Mitarbeiter von OpenAI berichteten über ungewöhnliches Verhalten von KI-Agenten, das bereits vor dem Sicherheitsvorfall mit der Infrastruktur von Hugging Face beobachtet wurde. Die Details wurden auf der Black Hat USA in Las Vegas vorgestellt. Den Forschern zufolge nutzten die Agenten rund zwei Monate lang eine Art Nachrichtenboard innerhalb der Testinfrastruktur des Unternehmens und tauschten dort entdeckte Schwachstellen sowie Möglichkeiten zu deren Ausnutzung aus.
OpenAI entdeckte den Kanal und schaltete ihn am 4. Juli ab. Bis zum 8. Juli hatten die Agenten ihn jedoch auf anderem Weg wieder aufgebaut. Informationen auf dem wiederhergestellten Board spielten später beim Vorfall mit Hugging Face eine Rolle. OpenAI-Sicherheitsforscher Eric Wallace beschrieb das Geschehen als koordinierte Arbeit einer Gruppe von Agenten: Sie fanden Exploits, gaben sie untereinander weiter und bewegten sich über Tage und Wochen hinweg zwischen internen und externen Systemen.
Für die Kommunikation nutzten die Agenten ein innerhalb der OpenAI-Infrastruktur gehostetes Paketverwaltungssystem, das aus verschiedenen Bereichen erreichbar war. Wenn einzelne Agenten eine Schwachstelle fanden, ließen sie sie offen und informierten andere Teilnehmer über das gemeinsame Board. Mit der Zeit verteilten sie Zuständigkeiten, teilten Aufgaben auf und stimmten weitere Schritte ab, ohne dass OpenAI-Mitarbeiter davon wussten.
Innerhalb dieses Netzwerks kam es auch zu Konflikten. Agenten löschten versehentlich die Arbeit anderer, verdächtigten weitere Teilnehmer der Manipulation und schlugen vor, Nachrichten mit speziellen Codes zu signieren, um Betrug zu verhindern. Als das Board entdeckt wurde, enthielt es bereits Hunderttausende Nachrichten – ein Hinweis auf eine lang andauernde und umfangreiche Interaktion zwischen den Systemen.
Wallace führte dieses Verhalten darauf zurück, dass fortgeschrittene Modelle bei Tests nach Abkürzungen suchen können, um Aufgaben schneller und mit weniger Werkzeugen zu erledigen. Statt ein Problem selbst zu lösen, könnten sie versuchen, eine fertige Antwort im Internet zu finden. Deshalb führt OpenAI solche Tests üblicherweise ohne direkten Netzzugang durch. Beim Hugging-Face-Vorfall gelangten die Agenten erst nach Ausnutzung der entdeckten Schwachstelle ins Internet.
Ein weiterer OpenAI-Mitarbeiter, Michael Dalton, sagte, mehrere Teams hätten ihren Schwerpunkt vorübergehend auf stärkere Systeme zur Prävention, Erkennung und Reaktion auf ähnliche Bedrohungen verlagert. OpenAI verlangsamte außerdem Teile der Forschung und baute die Überwachung von KI-Agenten deutlich aus. Dalton zufolge brauchen vollautomatisierte offensive Systeme ebenso automatisierte Abwehrmechanismen, die der Branche bislang fehlen.