Cercetătorii de la SafeBreach au descoperit o vulnerabilitate gravă în Google Gemini pe dispozitive Android, care permitea deturnarea logicii asistentului prin notificări malițioase din aplicații precum WhatsApp și Slack. Problema provenea din injectarea de prompturi - un atac în care AI interpretează textul extern ca pe o instrucțiune, nu ca pe date. Google a aplicat deja o corecție pe partea de server.
Cercetătorul Or Yair a demonstrat defectul. El a descoperit că funcția Utilities a lui Gemini, care ajută asistentul să citească notificări și să efectueze acțiuni pe Android, putea fi păcălită de un mesaj special conceput. Nu era necesară instalarea unei aplicații malițioase; simpla primire a unei notificări otrăvite era suficientă, deoarece Gemini o procesa ca parte a contextului său.
Pentru a ocoli apărarea Google, SafeBreach a folosit o tehnică numită Fake Context Alignment. Într-un caz, o notificare malițioasă a determinat Gemini să ceară permisiunea într-o limbă pe care utilizatorul probabil nu o înțelegea – de exemplu, chineză. Asistentul trecea apoi înapoi la engleză și punea o întrebare inofensivă de genul „Aveți nevoie de altceva?”. Când utilizatorul răspundea „da”, sistemul interpreta acest lucru ca aprobare a comenzii ascunse.
Într-o altă variantă, instrucțiunea era ascunsă într-un hyperlink fără sonor. Gemini nu îl citea cu voce tare, dar pe ecran apărea o cerere de permisiune. Utilizatorul auzea ceva despre o eroare minoră și răspundea „da” vocal, crezând că confirmă un dialog, în timp ce sistemul putea aproba simultan ceea ce era afișat pe ecran.
Odată ce verificarea era ocolită, consecințele potențiale erau grave. În timpul testelor, cercetătorii au reușit să controleze dispozitive smart home, să forțeze telefonul să se alăture unui apel Zoom fără confirmare clară, să programeze sarcini pentru a citi periodic mesaje private și chiar să corupă memoria lui Gemini. Ultimul rezultat este deosebit de îngrijorător: asistentul putea stoca o informație falsă la nivel de cont, iar acea corupție se propaga apoi la celelalte dispozitive ale utilizatorului.
SafeBreach a raportat problema către Google prin programul său de recompense pentru bug-uri în luna august a anului trecut. Google a tratat-o ca pe o problemă de prioritate ridicată și a implementat deja o corecție pe partea de server pentru sistemele de clasificare a conținutului. Utilizatorii nu trebuie să instaleze o actualizare separată a aplicației, dar incidentul evidențiază cât de complicată devine securitatea asistenților AI atunci când aceștia au acces la notificări, aplicații și context personal.