Por dentro da IA
Viés: quando a IA erra com confiança
Viés é quando o modelo aprende, do dado, uma distorção do mundo, e a repete. Não é aleatório: é um erro que se concentra, muitas vezes contra quem já é sub-representado nos dados.
O ponto de partida
A IA pode errar de um jeito perigoso: com confiança e de forma sistemática, contra um grupo inteiro. Isso é viés.
O conceito do dia
Viés é quando o modelo aprende, do dado, uma distorção do mundo, e a repete. Não é aleatório: é um erro que se concentra, muitas vezes contra quem já é sub-representado nos dados.
Por que importa para o médico
Porque um modelo enviesado pode funcionar bem na média e falhar justamente no grupo que menos apareceu no treino. E, como ele responde com a mesma confiança, o erro passa despercebido.
Um exemplo simples
Um algoritmo populacional usou custo de saúde como substituto de gravidade da doença. Parecia razoável, mas custo não é doença: o resultado embutiu um viés racial que só apareceu quando alguém foi checar.
A armadilha a evitar
Supor que "o modelo é neutro porque é matemático". Ele herda o viés do dado. A defesa é checar o desempenho por subgrupo, não só na média, e manter um humano cético no circuito.
Para levar
- A IA herda o viés do dado e erra com confiança. Cheque por subgrupo, não só na média.
Referências
- 1.Obermeyer Z, Powers B, Vogeli C, Mullainathan S. Dissecting racial bias in an algorithm used to manage the health of populations. Science. 2019;366(6464):447-453. https://doi.org/10.1126/science.aax2342
Revisão científica: Prof. Dr. Paulo Ayroza Ribeiro