Como um modelo aprende

O ponto de partida

Imagina que você lê um artigo e ele diz: nosso algoritmo acertou 99%. Impressionante, né? Aí vem a pergunta que muda tudo: isso basta pra você usar no seu serviço? A resposta, na maioria das vezes, é não. E hoje eu quero te mostrar por quê. Porque um número bonito num paper e um modelo que ajuda de verdade na sua rotina são duas coisas bem diferentes. A diferença não está no algoritmo. Está em como ele aprendeu.

O elo mais fraco não é o algoritmo

Vamos começar pelo começo. Quando a gente pensa em inteligência artificial, a cabeça vai logo pro algoritmo, pra matemática misteriosa lá dentro. Mas quero te convidar a olhar pra outro lugar. O que separa um modelo útil de um número bonito não é o algoritmo. É o dado com que ele aprendeu, o rótulo que ele tentou prever e a forma como ele foi testado. E a literatura mostra isso de um jeito que incomoda. Numa revisão de estudos de IA em imagem, apenas 25 de 82 fizeram validação externa, ou seja, foram testados fora do dado em que nasceram. Em outra, 58 de 81 estudos estavam em alto risco de viés. E só 6 desses 81 foram testados num ambiente clínico real. Sacou o tamanho disso? A maioria dos modelos nunca é testada fora do berço. Existe até uma frase que resume: entra lixo, sai lixo. O modelo nunca é melhor do que os dados e os rótulos com que ele aprendeu. Se o dado é enviesado, ele aprende o viés. Se o rótulo está errado, ele aprende o erro. O algoritmo raramente é o gargalo. O dado, os rótulos e a validação, quase sempre.

Decorar não é aprender

Agora a pergunta central da aula: o que é, de fato, aprender? Um modelo só é útil se o que ele aprendeu vale pra pacientes que ele nunca viu. Aí entra a diferença entre decorar e generalizar. Decorar é o sobreajuste: o modelo vai muito bem no dado que ele já conhece e fracassa no dado novo. O número infla, mas a utilidade não. Generalizar é o contrário: ele aprende o padrão, não o exemplo, e se sustenta lá fora. Como a gente garante isso? Separando três conjuntos de dados. O treino, onde o modelo aprende. A validação, onde a gente escolhe e ajusta o modelo. E o teste, que é a prova final, tocada uma única vez, em dados nunca vistos. Se esses conjuntos se misturam, acontece o erro mais traiçoeiro de todos: o vazamento de dados. Informação do teste vaza pro treino, o desempenho parece maravilhoso e depois desaba na prática. E isso não é teoria. Na pandemia de COVID, centenas de modelos prometeram diagnóstico por imagem de tórax. Uma revisão de mais de dois mil trabalhos concluiu que nenhum era clinicamente utilizável. Nenhum. E a causa não foi o algoritmo. Foi vazamento de dados, bases montadas juntando fontes incompatíveis e sobreajuste. O problema morava no dado e na validação.

A prova é a validação externa

Chegamos no cuidado que eu mais quero que você leve. O rótulo é uma escolha. E uma escolha errada injeta viés sem ninguém perceber. Tem um caso clássico: um algoritmo populacional usou custo de saúde como substituto de gravidade da doença. Parece razoável, mas custo não é doença. Resultado: viés racial. Corrigir esse rótulo elevaria a proporção de pacientes negros recebendo ajuda extra de 17,7% para 46,5%. Um proxy ruim ensina a coisa errada. E tem mais: se o dado de treino não representa a população onde o modelo vai ser usado, ele falha justamente ali. Troca o aparelho, troca o serviço, troca o perfil do paciente, e o desempenho cai. É a tal mudança de distribuição. Por isso a acurácia interna alta não garante nada. A prova que vale é a validação externa: testar em outro serviço e ao longo do tempo, porque a população muda. Pensa naquele modelo com AUC de 0,97 no artigo, treinado num único serviço e num único aparelho. Levou pra outro hospital e despencou. Não foi azar. Faltou validação externa. E aqui está a regra de ouro: a IA apoia, quem decide é você.

Fixando

Bora fixar. Sobreajuste ou generalização? Um: o modelo vai ótimo no treino e mal em dados novos. Dois: o modelo aprende o padrão e se sustenta em pacientes que nunca viu. Pensa rápido. O primeiro é sobreajuste, ele decorou, inclusive o ruído. O segundo é generalização, que é exatamente o que a gente quer. E lembra: quem prova a generalização não é a acurácia interna, é a validação externa. Pegou?

Para levar

• O algoritmo raramente é o gargalo; o dado e os rótulos, quase sempre — dado enviesado ensina viés.
• Treino, validação e teste têm de ser separados: misturá-los é vazamento de dados, que infla o desempenho e engana.
• Acurácia no teste interno não basta — exija validação externa, em outro serviço e ao longo do tempo, porque a população muda.

No próximo episódio

Episódio 03 — "As métricas que o médico precisa ler": sensibilidade, especificidade e o que a acurácia esconde, porque um só número quase nunca conta a verdade inteira.