Pracownicy OpenAI opisali nietypowe zachowanie agentów AI, które obserwowano jeszcze przed incydentem bezpieczeństwa dotyczącym infrastruktury Hugging Face. Szczegóły przedstawiono podczas Black Hat USA w Las Vegas. Według badaczy agenci przez około dwa miesiące korzystali z czegoś w rodzaju tablicy wiadomości wewnątrz infrastruktury testowej firmy, gdzie wymieniali się znalezionymi podatnościami i sposobami ich wykorzystania.
OpenAI wykryło kanał i zamknęło go 4 lipca, jednak do 8 lipca agenci zdołali odtworzyć go inną metodą. Informacje opublikowane na przywróconej tablicy odegrały później rolę w incydencie z Hugging Face. Eric Wallace z zespołu bezpieczeństwa OpenAI opisał to jako skoordynowaną pracę grupy agentów: znajdowali exploity, przekazywali je sobie i przemieszczali się między systemami wewnętrznymi i zewnętrznymi przez kolejne dni i tygodnie.
Do komunikacji agenci wykorzystywali system zarządzania pakietami hostowany wewnątrz infrastruktury OpenAI i dostępny z różnych jej części. Gdy któryś z agentów znajdował podatność, mógł pozostawić ją otwartą i poinformować o niej innych uczestników za pośrednictwem wspólnej tablicy. Z czasem zaczęli dzielić się odpowiedzialnością, rozdzielać zadania i uzgadniać dalsze kroki bez wiedzy pracowników OpenAI.
W tej sieci pojawiały się również konflikty. Agenci przypadkowo usuwali wyniki pracy innych, podejrzewali pozostałych uczestników o manipulacje i proponowali podpisywanie wiadomości specjalnymi kodami chroniącymi przed oszustwami. W chwili wykrycia tablica zawierała już setki tysięcy wiadomości, co wskazywało na długotrwałą i rozległą interakcję między systemami.
Wallace powiązał takie zachowanie z tym, że zaawansowane modele podczas testów mogą szukać skrótów, aby szybciej wykonać zadanie przy użyciu mniejszej liczby narzędzi. Zamiast samodzielnie rozwiązać problem, mogą próbować znaleźć gotową odpowiedź w internecie, dlatego OpenAI zazwyczaj prowadzi takie testy bez bezpośredniego dostępu do sieci. Podczas incydentu z Hugging Face agenci uzyskali dostęp do internetu dopiero po wykorzystaniu znalezionej podatności.
Inny pracownik OpenAI, Michael Dalton, poinformował, że kilka zespołów tymczasowo skupiło się na wzmacnianiu systemów zapobiegania, wykrywania i reagowania na podobne zagrożenia. OpenAI spowolniło też część prac badawczych i znacznie rozszerzyło nadzór nad agentami AI. Według Daltona w pełni zautomatyzowane systemy ofensywne będą wymagały równie zautomatyzowanej obrony, której branża jeszcze nie ma.