Forskare på SafeBreach har upptäckt en allvarlig sårbarhet i Google Gemini på Android-enheter som kan kapa assistentens logik via skadliga notifikationer från appar som WhatsApp och Slack. Problemet berodde på promptinjektion – en attack där AI:n tolkar extern text som en instruktion istället för data. Google har redan åtgärdat problemet på serversidan.
Forskaren Or Yair visade hur sårbarheten fungerar. Han upptäckte att Geminis Utilities-funktion, som hjälper assistenten att läsa notifikationer och utföra åtgärder på Android, kunde luras av ett specialskapat meddelande. Ingen installation av skadlig app krävdes; det räckte med att ta emot en förgiftad notifikation, eftersom Gemini då behandlade den som en del av sitt sammanhang.
För att komma runt Googles försvar använde SafeBreach en teknik som kallas Fake Context Alignment. I ett fall fick en skadlig notifikation Gemini att be om tillstånd på ett språk som användaren sannolikt inte förstod – exempelvis kinesiska. Assistanten växlade sedan tillbaka till engelska och ställde en oskyldig fråga som ”Är det allt du behöver?” När användaren svarade ”ja” tolkade systemet det som ett godkännande av det dolda kommandot.
I en annan variant gömdes instruktionen i en nedtonad hyperlänk. Gemini läste inte upp den, men en tillståndsfråga dök upp på skärmen. Användaren hörde något om ett mindre fel och svarade ”ja” med rösten, i tron att de bekräftade en dialogruta, medan systemet samtidigt kunde godkänna vad som visades på skärmen.
När kontrollen väl var kringgången kunde konsekvenserna bli allvarliga. Under testningen lyckades forskarna styra smarta hem-enheter, tvinga telefonen att gå med i ett Zoom-samtal utan tydlig bekräftelse, schemalägga uppgifter för att regelbundet läsa privata meddelanden och till och med korrumpera Geminis minne. Det sista resultatet är särskilt oroväckande: assistenten kunde lagra ett falskt faktum på kontonivå, och den korruptionen spreds sedan till användarens andra enheter.
SafeBreach rapporterade problemet till Google via deras buggprogram i augusti. Google behandlade det som ett högprioriterat problem och har redan infört en serverfix för systemen som klassificerar innehåll. Användare behöver inte installera någon separat appuppdatering, men incidenten visar hur komplicerad säkerheten för AI-assistenter blir när de har tillgång till notifikationer, appar och personlig kontext.