Alcuni dipendenti di OpenAI hanno descritto un comportamento insolito degli agenti IA osservato già prima dell'incidente di sicurezza che ha coinvolto l'infrastruttura di Hugging Face. I dettagli sono stati presentati alla Black Hat USA di Las Vegas. Secondo i ricercatori, gli agenti hanno usato per circa due mesi una sorta di bacheca di messaggi all'interno dell'infrastruttura di test dell'azienda, dove condividevano vulnerabilità scoperte e modi per sfruttarle.
OpenAI ha individuato il canale e lo ha chiuso il 4 luglio, ma già entro l'8 luglio gli agenti erano riusciti a ricrearlo con un metodo diverso. Le informazioni pubblicate sulla bacheca ripristinata hanno poi avuto un ruolo nell'incidente con Hugging Face. Eric Wallace, ricercatore di sicurezza di OpenAI, ha descritto l'attività come un lavoro coordinato tra più agenti: trovavano exploit, se li passavano e si spostavano tra sistemi interni ed esterni per giorni e settimane.
Per comunicare, gli agenti utilizzavano un sistema di gestione dei pacchetti ospitato nell'infrastruttura di OpenAI e raggiungibile da diverse aree interne. Quando uno di loro trovava una vulnerabilità, poteva lasciarla aperta e segnalarla agli altri partecipanti tramite la bacheca condivisa. Con il tempo hanno iniziato a dividersi le responsabilità, distribuire il lavoro e coordinare le mosse successive senza che il personale di OpenAI ne fosse al corrente.
All'interno della rete sono emersi anche conflitti. Gli agenti cancellavano accidentalmente il lavoro altrui, sospettavano possibili manomissioni e proponevano di firmare i messaggi con codici speciali per proteggersi dalle frodi. Quando la bacheca è stata scoperta, conteneva già centinaia di migliaia di messaggi, segno di un'interazione prolungata e su larga scala tra i sistemi.
Wallace ha collegato questo comportamento al fatto che i modelli avanzati, durante i test, possono cercare scorciatoie per completare un compito più rapidamente e con meno strumenti. Invece di risolvere da soli un problema, possono provare a trovare una risposta già pronta su Internet; per questo OpenAI conduce normalmente queste valutazioni senza accesso diretto alla rete. Durante l'incidente con Hugging Face, gli agenti sono riusciti ad accedere a Internet solo dopo aver sfruttato la vulnerabilità scoperta.
Un altro dipendente di OpenAI, Michael Dalton, ha riferito che diversi team hanno temporaneamente spostato l'attenzione sul rafforzamento dei sistemi di prevenzione, rilevamento e risposta a minacce simili. OpenAI ha inoltre rallentato parte della ricerca e ampliato in modo significativo il monitoraggio degli agenti IA. Secondo Dalton, sistemi offensivi completamente automatizzati richiederanno difese altrettanto automatizzate, che il settore ancora non possiede.