Domingueira nº 32 - Setembro 2024

O princípio do controle humano aplicado à IA em saúde

Por Fernando Aith

Um discurso recorrente entre os entusiastas do uso da inteligência artificial em saúde deposita grandes esperanças no que vem sendo denominado como “princípio do controle humano” ou “supervisão humana”. Na literatura científica já começam a aparecer artigos relevantes sobre o conceito de “controle humano significativo sobre a IA em saúde”. O que se procura compreender, no atual estágio de conhecimento sobre essas novas tecnologias com uso de IA, é se é possível de fato um controle humano significativo sobre a IA para a saúde.

Atualmente o uso de sistemas automatizados está desempenhando um papel cada vez maior em várias áreas da sociedade. Abordagens como aprendizado de máquina, aprendizado profundo e redes neurais artificiais estão moldando o processamento e a análise de dados e são usadas para construir previsões nas áreas de saúde, defesa, transporte, logística, finanças e outras. Em todas essas áreas de aplicação, os sistemas automatizados são capazes de realizar suas tarefas sem controle ou intervenção humana.

No entanto, uma tarefa central ao lidar com sistemas automatizados é garantir que eles operem de acordo com metas predefinidas, que a situação inicial tenha sido adequadamente mapeada e que haja oportunidades efetivas de intervenção humana no caso de uma possível falha do sistema.

Para poder lidar com esses desafios conceitualmente, um estudo bastante esclarecedor sobre o tema do "controle humano significativo" (CHS) traz elementos importantes para uma reflexão crítica sobre o tema. Hille, Hummel e Braun apresentam o tema da seguinte forma: o CHS abrange a ideia de que "[...] humanos, não computadores e seus algoritmos, devem, em última análise, permanecer no controle e, portanto, moralmente responsáveis ​​por decisões relevantes [...]".

Na saúde, há vários desafios adicionais para controlar sistemas automatizados usados ​​em diferentes cenários: para recomendações de diagnóstico e tratamento, em cirurgia e cuidados (por meio da aplicação de robôs cirúrgicos e de cuidados), em telemedicina, em saúde pública (por exemplo, para monitoramento de pandemia), para decisões de triagem e muitos outros.

Ao menos três desafios são apresentados pelos autores no texto no que se refere ao controle humano sobre a máquina:

i) A tomada de decisão é complexa em contextos médicos, onde muitos atores diferentes têm que agir com conhecimento muitas vezes muito incerto das possíveis consequências e efeitos colaterais. Além disso, em contextos médicos, a omissão de ação é frequentemente associada a consequências severas para a pessoa em questão.

ii) Há princípios e regras morais e legais claramente negociados dentro da estrutura da medicina, que exigem um alto nível de evidência como base para a tomada de decisão.

iii) Não há apenas diferentes atores envolvidos na aplicação de sistemas automatizados na medicina, mas também intuições morais individuais muito diversas, algumas das quais permitem que conclusões diferentes sejam tiradas sobre a forma necessária de controle. Ao contrário do contexto de armas autônomas, as preferências individuais são de fundamental importância na medicina, por exemplo, em relação ao que a autodeterminação individual deve abranger na tomada de decisão clínica.

Segundo os autores, a exigência de controle, os atores necessários para a implementação do controle, bem como a possibilidade de avaliar o controle sobre sistemas automatizados variam significativamente. Nesse sentido, é preciso desenvolver o conhecimento sobre como entendemos o controle ao lidar com sistemas automatizados, quem precisa exercer controle sobre tais sistemas em contextos de saúde e como possíveis danos causados ​​por sistemas automatizados podem ser mitigados.

O controle ou supervisão humana sobre a IA em saúde é um elemento crucial e estratégico para que façamos um uso racional e voltado ao bem-estar do ser humano dessas novas ferramentas tecnológicas. Além de garantir eficácia, qualidade e segurança para a IA em saúde, o controle humano deve ser capaz de evitar que erros da máquina e de sistema tenham consequências reais e até letais sobre seres humanos.

Para quem já se viu várias vezes seguindo o caminho do aplicativo de mapas (Waze, Google Maps, p.e.) mesmo sabendo que tinha um caminho melhor para seguir, como eu, sabe por experiência própria que a “supervisão humana” sobre a máquina pode ser falha, muitas vezes.

Seja por insegurança, seja por conforto, seja pelo que for, fato é que, sem nem pensar, nos vemos rotineiramente terceirizando nosso poder de decidir à máquina, mesmo que no fundo saibamos que a decisão e o caminho a seguir que ela nos oferece não é necessariamente o melhor para nós. Podemos correr o mesmo risco com a IA aplicada à saúde?

---

Publicado no JOTA

---

Hille EM, Hummel P, Braun M Meaningful Human Control over AI for Health? A Review Journal of Medical Ethics Published Online First: 20 September 2023. doi: 10.1136/jme-2023-109095

---

Fernando Aith - Professor titular da Faculdade de Saúde Pública da Universidade de São Paulo (USP). Professor visitante da Faculdade de Direito da Universidade de Paris. Diretor do Centro de Pesquisas em Direito Sanitário da USP

---

Inscreva-se: congressodses.com.br