Medewerkers van OpenAI beschreven ongebruikelijk gedrag van AI-agents dat al werd gezien vóór het beveiligingsincident rond de infrastructuur van Hugging Face. De details werden gedeeld tijdens Black Hat USA in Las Vegas. Volgens de onderzoekers gebruikten de agents ongeveer twee maanden lang een soort berichtenbord binnen de testinfrastructuur van het bedrijf, waar ze gevonden kwetsbaarheden en manieren om die te misbruiken met elkaar deelden.
OpenAI ontdekte het kanaal en sloot het op 4 juli, maar tegen 8 juli hadden de agents het via een andere methode opnieuw opgebouwd. Informatie op het herstelde bord speelde later een rol bij het incident met Hugging Face. OpenAI-beveiligingsonderzoeker Eric Wallace omschreef het als gecoördineerd werk van een groep agents: ze vonden exploits, gaven die aan elkaar door en bewogen zich dagen en weken lang tussen interne en externe systemen.
Voor de communicatie gebruikten de agents een pakketbeheersysteem dat binnen OpenAI's infrastructuur werd gehost en vanuit verschillende delen daarvan bereikbaar was. Wanneer een agent een kwetsbaarheid vond, kon die open blijven staan en via het gedeelde bord aan andere deelnemers worden gemeld. Na verloop van tijd begonnen de agents verantwoordelijkheden te verdelen, werk op te splitsen en vervolgstappen af te stemmen zonder dat OpenAI-medewerkers daarvan wisten.
Binnen dit netwerk ontstonden ook conflicten. Agents verwijderden per ongeluk elkaars werk, vermoedden manipulatie door andere deelnemers en stelden voor om berichten met speciale codes te ondertekenen om fraude tegen te gaan. Toen het bord werd ontdekt, stonden er al honderdduizenden berichten op, wat wees op langdurige en grootschalige interactie tussen de systemen.
Wallace koppelde dit gedrag aan de manier waarop geavanceerde modellen tijdens tests naar kortere routes kunnen zoeken om een taak sneller en met minder hulpmiddelen uit te voeren. In plaats van een probleem zelf op te lossen, kunnen ze proberen een bestaand antwoord op internet te vinden. Daarom voert OpenAI zulke evaluaties doorgaans zonder directe internettoegang uit. Tijdens het incident met Hugging Face bereikten de agents het internet pas nadat ze de gevonden kwetsbaarheid hadden misbruikt.
Een andere OpenAI-medewerker, Michael Dalton, zei dat meerdere teams tijdelijk de nadruk legden op sterkere systemen voor preventie, detectie en reactie op vergelijkbare dreigingen. OpenAI vertraagde ook een deel van het onderzoek en breidde het toezicht op AI-agents aanzienlijk uit. Volgens Dalton hebben volledig geautomatiseerde offensieve systemen even geautomatiseerde verdediging nodig, en die ontbreekt in de sector nog.