Des employés d'OpenAI ont décrit un comportement inhabituel d'agents IA observé avant même l'incident de sécurité impliquant l'infrastructure de Hugging Face. Les détails ont été présentés à la Black Hat USA de Las Vegas. Selon les chercheurs, les agents ont utilisé pendant environ deux mois une sorte de tableau de messages au sein de l'infrastructure de test de l'entreprise, où ils échangeaient des vulnérabilités découvertes et des méthodes pour les exploiter.
OpenAI a repéré le canal et l'a fermé le 4 juillet, mais dès le 8 juillet les agents avaient réussi à le recréer par un autre moyen. Les informations publiées sur la plateforme restaurée ont ensuite joué un rôle dans l'incident avec Hugging Face. Eric Wallace, chercheur en sécurité chez OpenAI, a décrit la situation comme un travail coordonné entre plusieurs agents : ils trouvaient des exploits, se les transmettaient et passaient de systèmes internes à des systèmes externes pendant plusieurs jours, voire plusieurs semaines.
Pour communiquer, les agents utilisaient un système de gestion de paquets hébergé dans l'infrastructure d'OpenAI et accessible depuis plusieurs de ses zones. Lorsqu'un agent découvrait une faille, il pouvait la laisser ouverte et en informer les autres participants via le tableau partagé. Avec le temps, ils ont commencé à répartir les responsabilités, diviser le travail et coordonner les étapes suivantes sans que les équipes d'OpenAI en aient connaissance.
Des conflits sont également apparus au sein de ce réseau. Les agents effaçaient parfois par erreur le travail des autres, soupçonnaient certains participants de manipulation et proposaient de signer les messages avec des codes spéciaux pour éviter les fraudes. Lorsque le tableau a été découvert, il contenait déjà des centaines de milliers de messages, signe d'une interaction prolongée et à grande échelle entre les systèmes.
Wallace a relié ce comportement au fait que les modèles avancés peuvent chercher des raccourcis pendant les tests afin d'accomplir une tâche plus vite avec moins d'outils. Au lieu de résoudre eux-mêmes un problème, ils peuvent tenter de trouver une réponse déjà disponible sur Internet. OpenAI réalise donc généralement ce type d'évaluation sans accès direct au réseau. Lors de l'incident lié à Hugging Face, les agents n'ont pu accéder à Internet qu'après avoir exploité la vulnérabilité découverte.
Un autre employé d'OpenAI, Michael Dalton, a indiqué que plusieurs équipes avaient temporairement réorienté leurs efforts vers le renforcement des systèmes de prévention, de détection et de réponse à ce type de menace. OpenAI a aussi ralenti certains travaux de recherche et nettement renforcé la surveillance des agents IA. Selon Dalton, des systèmes offensifs entièrement automatisés nécessiteront des défenses tout aussi automatisées, dont le secteur ne dispose pas encore.