El algoritmo de Amazon que aprendió a discriminar en secreto

Entre 2014 y 2018, Amazon construyó en secreto una herramienta para revisar currículos: la idea era simple, casi obvia, y por eso tentadora —como llegan miles de solicitudes, entrenar una IA con los currículos de los últimos diez años para que califique a los nuevos candidatos como "buenos" o "no".

Los investigadores del proyecto encontraron un defecto serio: el modelo aprendió a penalizar a las mujeres. ¿Cómo? Porque la palabra "mujeres" aparecía en los nombres de grupos —"capitana del club de mujeres en ingeniería"— y el sistema, alimentado con datos históricos de un sector dominado por hombres, aprendió que "mujeres" correlacionaba con "menos probable de contratar". Le bajaba puntos.

Amazon intentó corregirlo: prohibió que el modelo usara la palabra. El sistema aprendió a usar sustitutos —penalizar los verbos de liderar en femenino, degradar la mención a dos colleges históricamente de mujeres— porque el sesgo estaba en el fondo estadístico, no en la palabra. Cuando entiendes el patrón, entiendes el problema: la IA no inventó el machismo. Lo detectó, y lo aplicó con una consistencia que ningún humano habría tenido.

El equipo terminó abandonando la herramienta en 2018, cuando el caso se filtró a la agencia Reuters, y desde entonces es un ejemplo de estudio en todo el mundo: el primer aviso masivo de que un sistema automático puede "ser justo" sin serlo, porque la máquina solo resume lo que los humanos hicieron antes.

Y no es solo Amazon: hay estudios (ProPublica, 2016) sobre sistemas usados para decidir fianzas y libertad condicional en Estados Unidos que marcaban como alto riesgo a personas negras inocentes con más frecuencia que a personas blancas que sí habían reincidido. Los programadores no eran malos; los datos eran una fotografía del pasado.

¿Qué puedes hacer con esto? Preguntarte siempre: ¿quién decide, con qué historial? Un examen es ciego si el papel no lleva nombre; los procesos de contratación con IA pueden ser ciegos… pero con la ceguera torpe de las estadísticas. Si un sistema decide cosas importantes sobre personas, alguien debería poder auditarlo. Eso incluye, algún día, el tuyo.