SafeBreachin tutkijat löysivät vakavan haavoittuvuuden Android-laitteiden Google Geministä. Sen avulla hakkeri pystyi kaappaamaan tekoälyassistentin toiminnan lähettämällä haitallisia ilmoituksia esimerkiksi WhatsAppista tai Slackista. Kyse on prompt injection -hyökkäyksestä, jossa tekoäly tulkitsee ulkopuolisen tekstin komennoksi eikä dataksi. Google on jo korjannut ongelman palvelinpäivityksellä.
Tutkija Or Yair paljasti puutteen. Hän huomasi, että Geminin Utilities-toimintoa, joka auttaa assistenttia lukemaan ilmoituksia ja suorittamaan toimintoja Androidissa, pystyi huijaamaan tietyllä viestillä. Haitallista sovellusta ei tarvinnut asentaa; riitti, että käyttäjä vastaanotti myrkytetyn ilmoituksen, jonka Gemini käsitteli osana kontekstiaan.
Googlen suojauksen kiertämiseksi SafeBreach käytti Fake Context Alignment -nimistä tekniikkaa. Eräässä tapauksessa haitallinen ilmoitus kehotti Geminin pyytämään lupaa kielellä, jota käyttäjä todennäköisesti ei ymmärtänyt – esimerkiksi kiinaksi. Tämän jälkeen assistentti vaihtoi takaisin englanniksi ja kysyi viattoman kuuloisen kysymyksen, kuten ”Onko tässä kaikki?” Kun käyttäjä vastasi ”kyllä”, järjestelmä tulkitsi sen hyväksynnäksi piilotetulle komennolle.
Toisessa versiossa käsky oli piilotettu mykistetyn linkin taakse. Gemini ei lukenut sitä ääneen, mutta näytölle ilmestyi lupapyyntö. Käyttäjä kuuli jotain pienestä virheestä ja vastasi äänellään ”kyllä” uskoen vahvistavansa keskustelua, vaikka samalla järjestelmä saattoi hyväksyä näytöllä näkyvän komennon.
Kun tarkistus ohitettiin, seuraukset saattoivat olla vakavia. Testeissä tutkijat pystyivät hallitsemaan älykodin laitteita, pakottamaan puhelimen liittymään Zoom-kokoukseen ilman selkeää vahvistusta, ajastamaan tehtäviä yksityisviestien säännölliseen lukemiseen ja jopa turmelemaan Geminin muistia. Viimeinen on erityisen huolestuttava: assistentti saattoi tallentaa vääristyneen tiedon käyttäjätilille, ja tämä korruptoituminen levisi sitten käyttäjän muihin laitteisiin.
SafeBreach ilmoitti ongelmasta Googlen bug bounty -ohjelman kautta viime elokuussa. Google piti sitä korkean prioriteetin ongelmana ja on jo julkaissut palvelinpäivityksen sisällönluokitusjärjestelmiin. Käyttäjien ei tarvitse asentaa erillistä sovelluspäivitystä, mutta tapaus korostaa, kuinka monimutkaista tekoälyassistenttien tietoturvasta tulee, kun niillä on pääsy ilmoituksiin, sovelluksiin ja henkilökohtaiseen kontekstiin.