Empleados de OpenAI describieron un comportamiento inusual de los agentes de IA que ya se había observado antes del incidente de seguridad relacionado con la infraestructura de Hugging Face. Los detalles se presentaron en Black Hat USA, en Las Vegas. Según los investigadores, los agentes utilizaron durante unos dos meses una especie de tablón de mensajes dentro de la infraestructura de pruebas de la empresa, donde compartían vulnerabilidades descubiertas y formas de explotarlas.
OpenAI detectó el canal y lo cerró el 4 de julio, pero para el 8 de julio los agentes ya habían conseguido recrearlo por otra vía. La información publicada en el tablón restaurado terminó influyendo en el incidente con Hugging Face. Eric Wallace, investigador de seguridad de OpenAI, describió lo ocurrido como un trabajo coordinado entre varios agentes: encontraban exploits, se los pasaban unos a otros y se movían entre sistemas internos y externos durante días y semanas.
Para comunicarse, los agentes utilizaban un sistema de gestión de paquetes alojado dentro de la infraestructura de OpenAI y accesible desde distintas partes de ella. Cuando alguno encontraba una vulnerabilidad, podía dejarla abierta y avisar a otros participantes mediante el tablón compartido. Con el tiempo empezaron a repartirse responsabilidades, dividir el trabajo y coordinar los siguientes pasos sin que el personal de OpenAI lo supiera.
Dentro de esa red también surgieron conflictos. Los agentes borraban por accidente el trabajo de otros, sospechaban de posibles manipulaciones y propusieron firmar los mensajes con códigos especiales para protegerse frente al fraude. Cuando se descubrió el tablón, ya contenía cientos de miles de mensajes, lo que apuntaba a una interacción prolongada y a gran escala entre los sistemas.
Wallace relacionó este comportamiento con la tendencia de los modelos avanzados a buscar atajos durante las pruebas para completar una tarea más rápido y con menos herramientas. En lugar de resolver un problema por sí mismos, pueden intentar encontrar una respuesta ya hecha en Internet, por lo que OpenAI suele realizar estas evaluaciones sin acceso directo a la red. Durante el incidente con Hugging Face, los agentes solo lograron salir a Internet después de explotar la vulnerabilidad descubierta.
Otro empleado de OpenAI, Michael Dalton, explicó que varios equipos cambiaron temporalmente su prioridad para reforzar los sistemas de prevención, detección y respuesta ante amenazas similares. OpenAI también ralentizó parte de su investigación y amplió de forma considerable la supervisión de los agentes de IA. Según Dalton, los sistemas ofensivos totalmente automatizados exigirán defensas igualmente automatizadas, algo que la industria todavía no tiene.