Por dentro da IA
Validação externa: a prova que vale
Validação externa é testar o modelo fora do berço: em outro serviço, com outro aparelho, em outra população, e ao longo do tempo. É o que mostra se ele generaliza de verdade, ou se só funcionava em casa.
O ponto de partida
Se um número só conta meia história, qual é a prova que vale para confiar num modelo? Validação externa.
O conceito do dia
Validação externa é testar o modelo fora do berço: em outro serviço, com outro aparelho, em outra população, e ao longo do tempo. É o que mostra se ele generaliza de verdade, ou se só funcionava em casa.
Por que importa para o médico
Porque a população muda, o equipamento muda, o perfil do paciente muda. Um modelo que não foi testado fora da origem é uma promessa, não uma prova.
Um exemplo simples
Um modelo com desempenho excelente num único centro é levado a outro hospital e cai. Não foi azar: faltou validação externa. O que parecia pronto não estava.
A armadilha a evitar
Aceitar "validado" quando o que houve foi teste interno. Pergunte: validado onde, em quantos serviços, por quanto tempo?
Para levar
- A prova que vale é a validação externa: outro serviço, outra população, ao longo do tempo.
Referências
- 1.Roberts M, et al. Common pitfalls and recommendations for using machine learning to detect and prognosticate for COVID-19 using chest radiographs and CT scans. Nat Mach Intell. 2021;3:199-217. https://doi.org/10.1038/s42256-021-00307-0
Revisão científica: Prof. Dr. Paulo Ayroza Ribeiro