Quando a IA erra com confiança

O ponto de partida

Imagine um programa de inteligência artificial que detecta pneumonia num raio-X com desempenho brilhante. Quase perfeito. Aí você leva esse mesmo programa para outro hospital e ele desaba. O que aconteceu? Ele nunca aprendeu a doença. Ele decorou de qual hospital vinha a imagem. Hoje eu vou te mostrar como a IA consegue errar, e errar com toda a confiança do mundo. E como você, ginecologista, aprende a desconfiar na hora certa.

Números lindos, motivos errados

Nas aulas anteriores a gente viu como a máquina aprende e como a gente mede se ela é boa. Hoje eu quero virar a mesa e te mostrar o outro lado: por que um modelo pode parecer excelente no papel e, ainda assim, estar completamente errado. Deixa eu te contar um caso real, publicado em 2018 pelo grupo do Zech. Uma rede de computador foi treinada para detectar pneumonia em raio-X de tórax. O desempenho, medido por uma métrica chamada AUC, aquele número de zero a um que resume a acurácia, deu 0,93. Excelente. Só que, quando testaram no raio-X de outro hospital, caiu para 0,82. E quando foram investigar por quê, a descoberta foi desconcertante: o modelo conseguia reconhecer de qual hospital vinha a imagem em quase 100% dos casos. Ele tinha aprendido um atalho. Cada serviço tem uma prevalência diferente de pneumonia, e o modelo usava a 'assinatura' da máquina de raio-X, um detalhe na borda da imagem, para chutar. Ele acertava, mas pelo motivo errado. Fora da casa dele, o atalho evaporou. E aqui está a lição que abre a aula de hoje: o viés faz o modelo falhar de dois jeitos perigosos. Primeiro, ele parece melhor do que é, inflando os números lá no estudo. Segundo, e pior, ele falha em silêncio na prática. Sem alarme, sem aviso, quando muda o hospital, muda o aparelho ou muda a população. A pergunta da aula é essa: como você distingue um modelo que aprendeu a doença de um que só aprendeu um atalho?

As três portas de entrada do viés

Então de onde vem esse viés? Eu gosto de pensar em três portas de entrada. A primeira porta são os dados. O modelo herda o viés do dado, sempre. Se o treino não representa a sua população, idade, etnia, o aparelho que você usa, o tipo de serviço, ele aprende um mundo estreito e falha fora dele. E olha que sério: grupos pouco representados no treino recebem um desempenho pior. Isso não é só perda de acurácia, é um problema de equidade. Até o rótulo enviesa. Num estudo famoso, o de Obermeyer em 2019, um sistema usou 'custo de saúde' como se fosse sinônimo de 'estar doente'. Como historicamente se gastou menos com pacientes negros, o modelo concluiu, erradamente, que eles eram mais saudáveis. Um rótulo mal escolhido injetou viés racial. A segunda porta é o desenho, ou seja, como o teste foi avaliado. E aqui entram dois vieses clássicos, descritos lá em 1978 por Ransohoff e Feinstein. O viés de verificação: só entra na conta quem fez o exame padrão-ouro. Como os casos óbvios são os mais confirmados, a sensibilidade sai artificialmente inflada. E o viés de espectro: se você testa só em doente muito grave contra gente muito sadia, sensibilidade e especificidade parecem lindas. Só que a vida real é cinza, cheia de casos duvidosos. A lição: como o teste foi avaliado importa tanto quanto o número que ele produz. A terceira porta é o uso, como a gente confia. Excesso de confiança no modelo, e na gente, transforma um erro do sistema em erro de conduta. E é dessa terceira porta que eu falo no próximo bloco.

O Clever Hans da medicina

Deixa eu te contar de onde vem o apelido dessa armadilha. No começo do século vinte havia um cavalo na Alemanha, o Clever Hans, o Hans Esperto, que supostamente fazia contas: batia o casco no chão o número certo de vezes. Só que ele não sabia matemática. Ele lia a linguagem corporal do dono, que relaxava sem querer quando o cavalo chegava ao número certo. O cavalo acertava pelo motivo errado. E é exatamente isso que os modelos fazem. Eles encontram uma pista mais fácil que a doença e usam essa pista. Além do caso do hospital, tem um exemplo perfeito para nós, da dermatologia, publicado por Winkler em 2019. Um modelo de melanoma ia muito bem, até perceberem que ele reparava nas marcações que os médicos desenham na pele e na régua ao lado da lesão. Lesões preocupantes tendem a ser mais marcadas e medidas. Quando essas marcas apareciam, o modelo gritava 'melanoma'. Resultado: a especificidade despencou de 84% para 46%. Ou seja, quase metade dos casos benignos passou a ser sinalizada erradamente por causa de um rabisco na pele. Teve o mesmo enredo na COVID, com o DeGrave em 2021: modelos que 'diagnosticavam' pelo modo como a imagem foi adquirida, não pela doença no pulmão. E tem mais uma armadilha, a mudança de distribuição, ou dataset shift, descrita pelo Finlayson em 2021: muda o aparelho, muda a prevalência ao longo do tempo, muda a própria definição da doença, e um modelo que era bom hoje piora amanhã. Sem monitoramento contínuo, essa queda passa despercebida. Repare no fio que costura tudo isso: acertar não é entender.

Fixando

Vamos fixar. Pense rápido: um modelo com AUC alta, quase perfeita, num hospital, e que despenca em outro. Do que ele sofreu? A resposta é aprendizado por atalho, somado à mudança de distribuição. Ele aprendeu uma pista da casa dele, não a doença. E a segunda: o que é o viés de verificação, o tal workup bias? É quando entra na avaliação só quem fez o padrão-ouro. Como os casos óbvios são os mais confirmados, a sensibilidade sai inflada, parece melhor do que é. Guarde essas duas: atalho e verificação.

Para levar

• O modelo herda o viés do dado: se o dado não representa a sua população, ele falha nela e pode discriminar grupos.
• Acertar não é entender: métricas excelentes podem esconder um atalho (o hospital, a régua, o aparelho) que desaba fora da origem.
• O viés também é humano: ilusão de validade e viés de automação levam a confiar demais; a defesa é validação externa, monitoramento e um humano cético no circuito.

No próximo episódio

Episódio 05 — "IA generativa e visão computacional": o que muda quando a máquina "escreve" e "enxerga" — alucinação, grounding e anotação de imagem.