Vieses Algorítmicos: Quando a IA Herda Nossos Preconceitos

Vieses algorítmicos ocorrem quando sistemas de inteligência artificial, treinados em dados históricos, reproduzem e amplificam padrões de discriminação presentes nesses dados. O algoritmo não "inventa" preconceito: ele o detecta como padrão estatístico nos dados de treinamento e o codifica matematicamente como regra de decisão.

Se uma base de dados de contratação mostra que, historicamente, 85% dos engenheiros contratados eram homens brancos, o algoritmo aprende que "homem branco" é um preditor positivo para "bom engenheiro". Não porque seja verdade, mas porque o dado reflete uma estrutura social desigual. A IA herda a discriminação como se fosse informação objetiva.

Em 2016, a organização jornalística ProPublica publicou uma investigação que abalou o debate sobre IA e justiça. Analisaram o COMPAS (Correctional Offender Management Profiling for Alternative Sanctions), um algoritmo usado em tribunais dos EUA para prever a probabilidade de reincidência criminal de réus. O resultado era usado por juízes para decidir sobre fiança, sentença e liberdade condicional.

A investigação revelou que o COMPAS classificava réus negros como "alto risco" quase duas vezes mais que réus brancos, mesmo quando se controlavam fatores criminais objetivos (tipo de crime, histórico, idade). Falsos positivos (classificar como alto risco alguém que não reincidiu) eram desproporcionalmente maiores para negros: 44.9% contra 23.5% para brancos.

Em 2018, Joy Buolamwini e Timnit Gebru publicaram o estudo "Gender Shades" pelo MIT Media Lab. Testaram três sistemas comerciais de reconhecimento facial (Microsoft, IBM, Face++) e descobriram disparidades dramáticas: a taxa de erro para mulheres de pele escura chegava a 34.7%, enquanto para homens de pele clara era inferior a 1%.

A causa era direta: as bases de dados usadas para treinar esses sistemas eram compostas majoritariamente por rostos brancos e masculinos. O algoritmo simplesmente tinha visto poucos rostos de mulheres negras durante o treinamento, e por isso não sabia reconhecê-los. Não era malícia: era negligência estrutural na curadoria dos dados.

Em 2018, a Reuters revelou que a Amazon havia desenvolvido e depois descartado uma ferramenta de IA para triagem de currículos. O sistema, treinado em dados de contratação dos últimos 10 anos, aprendeu a penalizar sistematicamente currículos que contivessem indicadores de gênero feminino: o nome de uma universidade feminina, participação em clubes de mulheres, ou até a palavra "women's" no currículo.

A lógica era simples e devastadora: como a vasta maioria dos engenheiros contratados pela Amazon historicamente eram homens, o algoritmo aprendeu que "ser homem" era um preditor positivo de contratação. Não porque homens fossem melhores engenheiros, mas porque o pipeline de contratação historicamente favorecia homens. A IA otimizou o viés existente.

A solução ingênua parece óbvia: basta remover variáveis protegidas (raça, gênero, religião) dos dados de treinamento. Essa abordagem, chamada "fairness through unawareness", falha sistematicamente. O motivo é que a estrutura social inteira está correlacionada: CEP correlaciona com raça (por causa da segregação residencial), tipo de escola correlaciona com classe social, padrões linguísticos correlacionam com etnia.

Essas variáveis correlacionadas funcionam como proxies: substituem a variável protegida sem que o desenvolvedor perceba. Um algoritmo de crédito que usa CEP como variável está, na prática, usando raça como preditor, porque décadas de redlining (recusa de crédito imobiliário a bairros negros) criaram uma correspondência quase perfeita entre CEP e composição racial.

O campo de fairness em machine learning propõe múltiplas definições matemáticas de "justiça algorítmica". As três principais são: paridade demográfica (mesma taxa de decisão positiva para todos os grupos), igualdade de oportunidade (mesma taxa de verdadeiros positivos), e calibração (mesmo significado do score para todos os grupos).

Em 2017, Alexandra Chouldechova demonstrou matematicamente que, quando a taxa base de um evento difere entre grupos (ex: taxa de reincidência diferente entre grupos raciais, por razões socioeconômicas), é impossível satisfazer simultaneamente calibração e igualdade de taxas de erro. Não é uma limitação técnica: é um teorema de impossibilidade. Toda escolha de métrica de fairness é uma escolha ética, não apenas técnica.