Tras haber trabajado durante los últimos años en OpenAI (ChatGPT) y también formar parte de Anthropic (Claude), Coxon presentó su renuncia denunciando públicamente que ambas corporaciones “no están actuando con responsabilidad” y se encuentran jugando “con nuestras vidas”.

Aunque los medios lo identifican como uno de los desarrolladores involucrados en unos modelos de IA sin funciones ejecutivas, Coxon utilizó su cuenta de la red social X para difundir una preocupante advertencia sobre qué ocurriría en el futuro del sector que, a su vez, generó todo un “terremoto”.

Según sus declaraciones, las personas que están detrás del constante avance de esta tecnología sostienen en privado que la IA “podrá matarnos a todos al final de esta década”, incluso asegurando que “no hay otra actividad humana que suponga este nivel de amenaza”.

Agentes de OpenAI intentaron acceder sin autorización a webs de agencias del Gobierno de EE. UU.

Su análisis es acompañado con una serie de argumentos, como que se subestima a esta tecnología y que los proyectos actuales se convertirían muy pronto en sistemas “sobrehumanos” capaces de realizar hackeos a cualquier escala, revolucionar todos los ámbitos de la sociedad e incluso obtener algún tipo de poder o recurso real.

El ingeniero también señaló, al momento de su denuncia, que no existía una coordinación efectiva entre las empresas involucradas en los distintos proyectos de IA, mientras que estas eventualmente podrían auto-mejorarse sin la intervención del ser humano, uno de los aspectos que más preocupación generan en el sector.

Por esto, el desarrollador insta a la implementación de medidas drásticas y costosas, como una prohibición temporal para seguir mejorando las capacidades del modelo (model capabilities), mientras que también lanzó una interpelación directa a la comunidad de investigadores en inteligencia artificial, preguntándoles si pretenden potenciar un “aprendizaje por refuerzo” (reinforcement learning) superinteligente sin contar con un entendimiento riguroso de su mente, o si aprovecharán el momento para exigir condiciones distintas en lugar de someterse al avance imprevisto de la tecnología.

Tribunal de apelaciones de EE. UU. mantiene las restricciones del Pentágono contra Anthropic

Lo que dicen los gigantes

Las declaraciones de Coxon también provocaron una oleada de repercusiones y llamados de atención en todo el sector tecnológico, ya que lejos de ser simplemente una publicación en la red social X, el especialista fue entrevistado por varios medios donde continuó expandiendo su discurso en las entrevistas.

Como una respuesta a esta creciente preocupación por los peligros inherentes a la tecnología, el magnate Elon Musk abogó porque los principales desarrolladores de inteligencia artificial sometan sus modelos a revisiones de seguridad y colaboren de manera directa entre sí para probarlos. La propuesta de Musk busca que las compañías rivales auditen y pongan a prueba mutuamente sus modelos de seguridad para detectar riesgos y problemas de seguridad.

La idea no solamente responde a una línea por parte de Musk, otros líderes destacados de la industria también reconocieron la necesidad de extremar precauciones. De una manera que podría considerarse hasta el momento única, Musk coincidió con rivales del sector, como Dario Amodei, director ejecutivo de Anthropic, y Sam Altman, director ejecutivo de OpenAI, en la necesidad de ralentizar el desarrollo de la IA debido a los riesgos de seguridad que puedan existir.

Además, la renuncia de Coxon intensificó el escrutinio público y mediático sobre el compromiso real de las empresas para desarrollar modelos de forma responsable, en lugar de priorizar la competencia por superarse unas a otras, al igual que continúen los ataques no controlados entre plataformas.

La idea colaborativa entre unos de los representantes más conocidos de esta área gira en torno a establecer colaboraciones de prueba entre los gigantes tecnológicos, sometiendo los sistemas a análisis de seguridad cruzados antes de su despliegue, ya que movimiento dentro del ámbito también demuestra un dilema sobre quién lidera en la carrera, pero sin tener en cuenta toda la seguridad que puede ser exigida o solicitada por los usuarios.

Por su parte, el director ejecutivo de Meta, Mark Zuckerberg, argumentó que cada empresa debe asumir por su cuenta “la responsabilidad” de garantizar que sus modelos de inteligencia artificial (IA) sean seguros, con lo que aparentemente se desmarcó de las propuestas para coordinar una desaceleración en el desarrollo de esta tecnología.

Finalmente, veintidós países reclamaron, durante la Semana de Alto Nivel de la ONU, que la inteligencia artificial permanezca bajo supervisión humana y que los Estados miembro adopten normas comunes, con pruebas obligatorias y evaluaciones independientes.

Anthropic presenta un nuevo sistema enzimático descubierto con ayuda de su IA Claude

Los incidentes forman parte de una serie de comportamientos no previstos detectados en agentes de OpenAI, que fueron diseñados para realizar tareas de búsqueda y recopilación de información.

OpenAI habría tardado ocho días en detectar ataque de sus agentes de IA a Hugging Face

En algunos casos, cuando los sistemas no lograban obtener determinados datos por las vías habituales, comenzaron a explorar vulnerabilidades de las páginas para intentar acceder a información restringida.

Entre los objetivos identificados figuran sitios vinculados a la Comisión de Bolsa y Valores (SEC) y al Departamento de Comercio de EE.UU., desde el que los agentes accedieron a datos del Censo, según confirmó OpenAI.

La compañía también investiga un intento de acceso a la página del Departamento de Educación.

Acciones no previstas durante procesos de entrenamiento

La investigación se suma a un incidente revelado esta semana por el Gobierno australiano, que informó de que un agente de OpenAI accedió en junio a información de un sistema gubernamental relacionado con estadísticas sanitarias y seguro médico.

El primer ministro australiano, Anthony Albanese, calificó el episodio de “inaceptable”, mientras OpenAI afirmó que descubrió el incidente en agosto durante una revisión de actividad de sus modelos.

Agentes de OpenAI usaron una web alemana para comunicarse entre ellos, según investigación

OpenAI ha iniciado una revisión de estos episodios y ha reconocido que sus agentes pueden llevar a cabo acciones no previstas durante procesos de entrenamiento.

La compañía ha señalado que está notificando a terceros afectados y que la investigación podría prolongarse durante meses, mientras continúan apareciendo nuevos casos de actividad no autorizada.

Según la cartera de Estado, los sospechosos estarían vinculados con delitos como robo de vehículos, secuestro extorsivo, intimidación, tenencia y porte de armas de fuego, receptación y tráfico de drogas.

La operación, ejecutada en coordinación con la Fiscalía, incluyó cinco allanamientos en los distritos de Los Chillos, Tumbaco, Eugenio Espejo y Eloy Alfaro, donde ocho personas fueron detenidas y otras dos aprehendidas.

Durante las intervenciones, las autoridades recuperaron un vehículo y retuvieron otro, incautaron dos armas de fuego, cinco teléfonos móviles y una veintena prendas de vestir.

Entre los detenidos se encuentran dos individuos de interés penal relevante que registran antecedentes por delitos como asociación ilícita, intimidación, tenencia y porte de armas, robo y recepción.

Los Lobos es una de las principales bandas criminales de Ecuador a las que las autoridades vinculan con la crisis de seguridad y violencia que atraviesa el país, por lo que pasó a ser catalogada como "terrorista" por el gobierno de Daniel Noboa en enero de 2024.