Sesgos algorítmicos: cuando la IA hereda nuestros prejuicios

Los sesgos algorítmicos ocurren cuando los sistemas de inteligencia artificial, entrenados con datos históricos, reproducen y amplifican patrones de discriminación presentes en esos datos. El algoritmo no «inventa» prejuicios: los detecta como patrones estadísticos en los datos de entrenamiento y los codifica matemáticamente como reglas de decisión.

Si una base de datos de contrataciones muestra que, históricamente, el 85% de los ingenieros contratados eran hombres blancos, el algoritmo aprende que «hombre blanco» es un predictor positivo de «buen ingeniero». No porque sea verdad, sino porque los datos reflejan una estructura social desigual. La IA hereda la discriminación como si fuera información objetiva.

En 2016, la organización periodística ProPublica publicó una investigación que sacudió el debate sobre la IA y la justicia. Analizaron COMPAS (Correctional Offender Management Profiling for Alternative Sanctions), un algoritmo utilizado en tribunales de EE. UU. para predecir la probabilidad de reincidencia criminal de los acusados. Los jueces usaban el resultado para decidir sobre la fianza, la sentencia y la libertad condicional.

La investigación reveló que COMPAS clasificaba a los acusados negros como de «alto riesgo» casi dos veces más que a los acusados blancos, incluso al controlar factores delictivos objetivos (tipo de delito, antecedentes, edad). Los falsos positivos (clasificar como de alto riesgo a alguien que no reincidió) eran desproporcionadamente más altos entre las personas negras: 44.9% frente a 23.5% entre las blancas.

En 2018, Joy Buolamwini y Timnit Gebru publicaron el estudio «Gender Shades» a través del MIT Media Lab. Probaron tres sistemas comerciales de reconocimiento facial (Microsoft, IBM, Face++) y descubrieron disparidades dramáticas: la tasa de error para las mujeres de piel oscura llegaba al 34.7%, mientras que para los hombres de piel clara era inferior al 1%.

La causa era directa: las bases de datos usadas para entrenar estos sistemas estaban compuestas mayoritariamente por rostros de hombres blancos. El algoritmo simplemente había visto pocos rostros de mujeres negras durante el entrenamiento y, por eso, no sabía reconocerlos. No era malicia: era negligencia estructural en la selección de los datos.

En 2018, Reuters reveló que Amazon había desarrollado y luego descartado una herramienta de IA para seleccionar currículos. El sistema, entrenado con datos de contratación de los últimos 10 años, aprendió a penalizar sistemáticamente los currículos que contenían indicadores de género femenino: el nombre de una universidad para mujeres, la participación en clubes de mujeres o incluso la palabra «women's» en el currículo.

La lógica era simple y devastadora: como históricamente la gran mayoría de los ingenieros contratados por Amazon eran hombres, el algoritmo aprendió que «ser hombre» era un predictor positivo de contratación. No porque los hombres fueran mejores ingenieros, sino porque el proceso de contratación históricamente favorecía a los hombres. La IA optimizó el sesgo existente.

La solución ingenua parece obvia: basta con eliminar de los datos de entrenamiento las variables protegidas (raza, género, religión). Este enfoque, llamado «fairness through unawareness», falla sistemáticamente. El motivo es que toda la estructura social está correlacionada: el código postal se correlaciona con la raza (por la segregación residencial), el tipo de escuela se correlaciona con la clase social y los patrones lingüísticos se correlacionan con la etnia.

Estas variables correlacionadas funcionan como proxies: sustituyen la variable protegida sin que el desarrollador se dé cuenta. Un algoritmo de crédito que usa el código postal como variable, en la práctica, está usando la raza como predictor, porque décadas de redlining (denegación de crédito hipotecario a barrios negros) crearon una correspondencia casi perfecta entre el código postal y la composición racial.

El campo de la equidad en machine learning propone múltiples definiciones matemáticas de "justicia algorítmica". Las tres principales son: paridad demográfica (la misma tasa de decisiones positivas para todos los grupos), igualdad de oportunidades (la misma tasa de verdaderos positivos) y calibración (el mismo significado del score para todos los grupos).

En 2017, Alexandra Chouldechova demostró matemáticamente que, cuando la tasa base de un evento difiere entre grupos (por ejemplo: una tasa de reincidencia distinta entre grupos raciales por razones socioeconómicas), es imposible satisfacer simultáneamente la calibración y la igualdad de las tasas de error. No es una limitación técnica: es un teorema de imposibilidad. Toda elección de una métrica de fairness es una decisión ética, no solo técnica.