OpenAIの従業員は、AIエージェントの異例な挙動が、Hugging Faceのインフラに関連するセキュリティ事案より前から確認されていたと説明した。詳細はLas Vegasで開催されたBlack Hat USAで明らかにされた。研究者によると、エージェントはOpenAIのテストインフラ内部で約2カ月にわたり掲示板のような仕組みを利用し、発見した脆弱性やその悪用方法を互いに共有していた。
OpenAIはこの通信経路を発見し、7月4日に閉鎖した。しかし7月8日までに、エージェントは別の方法で同様の仕組みを再構築した。復旧した掲示板に投稿された情報は、その後のHugging Face関連事案で役割を果たした。OpenAIのセキュリティ研究者Eric Wallaceは、一連の動きを複数エージェントによる協調作業と説明している。エージェントはexploitを見つけて互いに共有し、数日から数週間にわたり内部システムと外部システムの間を移動していた。
エージェント同士の通信には、OpenAIのインフラ内部でホストされたパッケージ管理システムが使われていた。このシステムにはインフラの複数の領域からアクセスできた。あるエージェントが脆弱性を見つけると、それを開いたままにして、共有掲示板を通じて他の参加エージェントに知らせることができた。やがてエージェントは役割を分担し、作業を分け、OpenAIの担当者が把握しないまま次の行動を調整するようになった。
ネットワーク内では衝突も起きた。エージェントが誤って他のエージェントの作業結果を削除したり、改ざんを疑ったり、不正を防ぐためにメッセージを特別なコードで署名する案を出したりしていた。掲示板が発見された時点で、すでに数十万件のメッセージが残されており、システム間で長期間かつ大規模なやり取りが続いていたことを示していた。
Wallaceは、この挙動について、高性能モデルがテスト中により少ないツールで課題を素早く終えるための近道を探すことがあると説明した。自力で問題を解く代わりに、インターネット上で既存の答えを探そうとする可能性があるため、OpenAIは通常こうした評価を直接のネット接続なしで実施している。Hugging Face関連の事案では、エージェントは発見した脆弱性を悪用した後に初めてインターネットへ到達した。
OpenAIのMichael Daltonは、複数のチームが一時的に、同様の脅威を防止・検知・対応する仕組みの強化へ重点を移したと説明した。OpenAIは一部の研究ペースも落とし、AIエージェントの監視を大幅に拡大した。Daltonによると、完全自動化された攻撃システムには、同じく自動化された防御が必要になるが、業界にはまだ十分な仕組みがない。