El caso se remonta a principios de enero: Robert Williams fue arrestado en Detroit y pasó 30 horas detenido porque un programa concluyó erróneamente que la foto de su licencia de conducir y la imagen de un ladrón de relojes capturada por las cámaras de vigilancia eran idénticas. Según la Unión Americana de Libertades Civiles (ACLU), que presentó una denuncia en su nombre el 24 de junio, “aunque es el primer caso conocido, probablemente no sea la primera persona que ha sido detenida e interrogada erróneamente sobre la base de un problema de reconocimiento facial”.
Para Joy Buolamwini, fundadora del grupo activista Algorithmic Justice League, el caso está revelando “cómo el racismo sistémico puede codificarse y reflejarse en las inteligencias artificiales (IA)”.
Bajo la presión de grupos como la poderosa ACLU, Microsoft, Amazon e IBM anunciaron a principios de junio que limitarían el uso de sus herramientas de análisis facial por parte de las fuerzas del orden. La IA se basa en el aprendizaje automatizado de los datos insertados por el diseñador, que la máquina analiza. Si esta materia prima está sesgada, el resultado se distorsiona. Un estudio del Massachussets Institute of Technology publicado en febrero de 2018 reveló fuertes inexactitudes en los principales programas de reconocimiento facial en lo que respecta a la distinción de los rostros según los grupos de población, con tasas de error inferiores al 1% para los hombres blancos y de hasta el 35% para las mujeres negras.
Termómetro y pistola
En un tuit que se hizo viral, Nicolas Kayser-Bril, de la ONG Algorithm Watch, muestra que frente a imágenes de personas que sostienen un termómetro en la frente, el programa de análisis de imágenes “Google Vision” reconoce “binoculares” en una mano blanca y “un arma” en una mano negra. Según él, este sesgo “probablemente se debió a que las imágenes utilizadas en la base de datos que incluían a los negros se asociaban más a menudo con la violencia, que las de los blancos”. Google reconoció que el resultado es “inaceptable”.
No obstante, este tipo de programas son vendidos a empresas y gobiernos de todo el mundo, y no sólo por gigantes de la industria tecnológica. “Esto hace que sea muy difícil identificar las condiciones en las que se recogió el conjunto de datos, la calidad de las imágenes y cómo se creó el algoritmo” , dice Seda Gürses, investigadora de la Universidad Tecnológica de Delft en Holanda. Esta multiplicidad de actores reduce los costos, pero complica la asignación de responsabilidades, según Gürses. “Con un algoritmo, estás atascado en todas las decisiones con el mismo algoritmo, cuya calidad está determinada por sus costos de producción y la demanda del mercado”.
Las tecnologías de reconocimiento facial no sólo sirven para identificar a sospechosos, sino que son usados para predecir comportamientos. Hace poco estalló una polémica por un programa que promete “predecir con un 80% de exactitud” si una persona puede caer en la criminalidad “basándose únicamente en una foto” suya. Más de 2.000 personas, incluyendo varios científicos, firmaron una petición pidiendo a Springer Nature que no publique un artículo sobre esta tecnología.
“Reconociendo la preocupación” planteada por el documento, Springer Nature aseguró que “en ningún momento” aceptó publicarlo. Para Mutale Nkonde, investigadora de inteligencia artificial de las universidades Stanford y Harvard, “no se puede cambiar la historia del racismo y el sexismo” pero “nos podemos asegurar de que los algoritmos no sean los que tomen las decisiones finales”.