As métricas que o médico precisa ler

O ponto de partida

Deixa eu te fazer uma pergunta rápida. Um teste com 90% de sensibilidade e 90% de especificidade acabou de dar positivo na sua paciente. Qual a chance de ela realmente ter a doença? Se você pensou 90%, segura essa: pode ser só 8%. Não errei o número. Hoje eu te mostro por que o mesmo teste conta duas verdades diferentes — e como ler a métrica certa para a SUA decisão.

Sensibilidade × especificidade: o que descreve o teste

Bora começar pelo básico bem-feito. Imagina uma tabelinha de dois por dois: de um lado quem tem a doença, do outro quem não tem. A sensibilidade olha só a coluna dos doentes e pergunta: quantos o teste consegue pegar? Um teste sensível quase não deixa doente passar batido. A especificidade olha a coluna dos sadios: quantos o teste consegue liberar sem falso alarme? Um teste específico quase não acusa quem está bem. Sensibilidade, o teste acerta os doentes. Especificidade, o teste acerta os sadios. Pegou? E aqui vai a chave da aula inteira: essas duas são propriedades do teste. Elas não mudam quando você troca de população. O mesmo exame tem a mesma sensibilidade num rastreamento de baixo risco e num ambulatório cheio de casos graves. Guarda isso, porque no próximo bloco eu vou te mostrar duas primas dessas métricas que fazem exatamente o contrário — mudam conforme a paciente que está na sua frente. E cuidado com uma palavra que parece amiga e engana: acurácia. Numa doença rara, se eu disser "negativo" para todo mundo, eu acerto 99% dos casos. Acurácia altíssima. E um teste completamente inútil, com sensibilidade zero. Acurácia sozinha esconde tanto quanto revela.

VPP/VPN e por que a prevalência muda tudo

Agora as duas primas: VPP e VPN. O valor preditivo positivo responde à pergunta que a paciente realmente faz: "deu positivo, qual a minha chance de ter mesmo?". O valor preditivo negativo é o contrário: "deu negativo, qual a chance de eu estar realmente livre?". E aqui está o pulo do gato: esses dois dependem da prevalência, ou seja, de quão comum é a doença naquela população. Vou voltar ao susto do começo. Teste de 90 e 90, aplicado num rastreamento onde só 1% tem a doença. Faz a conta comigo, devagar: em cada 100 positivos, cerca de 92 são falsos. O VPP fica em torno de 8%. Agora pega o mesmíssimo teste e leva para um grupo de alto risco, onde metade tem a doença. O VPP sobe para uns 90%. O teste não melhorou nada — sensibilidade e especificidade continuam 90 e 90. O que mudou foi só a população. Isso é o teorema de Bayes na prática: o resultado do teste se combina com a probabilidade que a paciente já tinha antes de entrar no consultório. Por isso um número de VPP solto, sem a prevalência, não significa absolutamente nada. E tem consequência prática direta: para rastrear, você quer sensibilidade, para não deixar doente escapar. Para confirmar um diagnóstico, você quer especificidade e VPP. A pergunta clínica é que escolhe a métrica.

ROC/AUC, kappa e calibração — o que cada um responde e engana

Três métricas que aparecem em todo estudo de IA — e cada uma responde uma coisa diferente. Primeira: a curva ROC. Muitos modelos não cospem um sim ou não, cospem um escore contínuo, e alguém precisa escolher o ponto de corte. A cada corte possível você tem uma sensibilidade e uma taxa de falso alarme. Liga todos esses pontos e nasce a ROC: o mapa de todos os equilíbrios entre pegar doentes e evitar falsos positivos. Foi assim, escolhendo o melhor corte numa curva ROC, que o nosso próprio grupo derivou os limiares para nódulo intestinal na endometriose. A AUC é só a área embaixo dessa curva: um número de 0,5 a 1,0. 0,5 é jogar cara ou coroa, 1,0 é separação perfeita. Ela significa a chance de o modelo dar mais suspeita a um doente do que a um sadio, sorteados ao acaso. Mas atenção: a AUC mede só separação. Não conta a prevalência e não te diz se a probabilidade está certa. Segunda: o kappa, que mede concordância além do acaso — entre dois avaliadores, ou entre o modelo e o médico. Na prática, a classificação AAGL de 2021 alcançou kappa 0,62, concordância substancial, contra 0,32 da antiga rASRM. Concordar melhor é o que torna uma classificação confiável. E a terceira, a mais esquecida: calibração. A AUC pergunta "o modelo ordena bem?". A calibração pergunta "o número está certo?". Se o modelo disse 20% de risco, na vida real acontece perto de 20%? Um modelo pode discriminar lindamente e mesmo assim informar uma probabilidade errada, e aí ele engana a sua conduta. Não à toa chamam a calibração de calcanhar de Aquiles dos modelos.

Fixando

Quiz relâmpago, responde antes de mim. Pergunta um: sensibilidade e especificidade mudam quando a doença é mais rara ou mais comum na população? Pensa... Não. São propriedades do teste. Quem muda com a prevalência são o VPP e o VPN. Pergunta dois: um modelo com AUC de 0,90 já é, por isso, clinicamente confiável? Pensa de novo... Não necessariamente. A AUC mede discriminação — não mede calibração, não mede benefício líquido e nem olha a prevalência. Acertou as duas? Então você já lê melhor um estudo do que muita propaganda por aí.

Para levar

• Sensibilidade e especificidade são propriedades do teste; VPP e VPN dependem da prevalência — um VPP sem a prevalência da população não significa nada.
• AUC alta é discriminação, não utilidade clínica: pergunte sempre também pela calibração (a probabilidade prevista bate com a real?) e pelo benefício líquido.
• Nenhuma métrica sozinha conta a verdade — escolha a métrica pela pergunta clínica e pela sua população; a IA apoia, quem decide é o médico.

No próximo episódio

Episódio 04 — "Quando a IA erra com confiança": os vieses e as armadilhas — viés de dados, viés de verificação, ilusão de validade e distribution shift.