Los padres de una niña de 13 años demandaron a Google al alegar que ella planificó un posible suicidio y su funeral usando la tecnología de inteligencia artificial (IA) de la empresa en una computadora proporcionada por la escuela.

Se trata del primer caso conocido que acusa al gigante tecnológico estadounidense de negligencia relacionada con integraciones de IA en los Chromebooks, sus laptops de bajo costo utilizan millones de alumnos en Estados Unidos y en todo el mundo.

La adolescente, identificada con el nombre de Emma, no pudo acceder a la aplicación Gemini de Google ni a ChatGPT de OpenAI, porque su escuela las había bloqueado.

Lea más: China pide cautela ante la sustitución de trabajadores por IA

No obstante, pudo usar el motor de búsqueda de Google, que incluye herramientas impulsadas por IA.

Esas funciones no figuran entre las herramientas que Google anunció esta semana que serán desactivadas por defecto para estudiantes.

“Las escuelas deberían desactivar la búsqueda y mantenerla desactivada hasta que Google elimine el modo de IA de la búsqueda o garantice que cada estudiante esté siempre seguro cuando interactúe con la IA”, declaró a la AFP el jueves Andrew Liddell, uno de los abogados de la familia.

La demanda, presentada el lunes ante un tribunal de California, afirma que Emma había sido una “niña feliz de 13 años” en Carolina del Norte, que obtenía excelentes calificaciones, tocaba música y participaba en las Girl Scouts.

Pese a “no tener antecedentes” de enfermedad mental, en cuestión de meses de usar la búsqueda con IA de Google en su computadora portátil escolar, comenzó una “silenciosa espiral en una grave crisis psicológica”, según la demanda.

Software de monitoreo

El 17 de marzo, el software de monitoreo de la escuela marcó un documento titulado “Funeral” y el centro educativo notificó a sus padres.

Su madre vio entonces a Emma escribir una carta de despedida en tiempo real tras iniciar sesión en la cuenta de su hija, y su padre intervino.

“Estamos revisando las alegaciones de la demanda y nos tomamos esto muy en serio”, declaró a la AFP el portavoz de Google, Jose Castaneda.

Google sostiene que el modo de IA incluye protecciones contra autolesiones y contra intentos de eludirlas.

Lea más: Anthropic alerta de que la IA podría propagarse sola por dispositivos domésticos

Pero Emma “pudo seguir volviendo una y otra y otra vez”, dijo Liddell. “Cualesquiera que fueran las protecciones que creen haber implementado, fueron obviamente insuficientes”, agregó el abogado.

Los desarrolladores de tecnología de IA, de muy rápida evolución, se enfrentan a una larga lista de demandas similares en Estados Unidos.