Výzkumníci ze SafeBreach odhalili závažnou chybu v Google Gemini na Androidu, která umožňuje zneužít logiku asistenta pomocí škodlivých oznámení z aplikací jako WhatsApp nebo Slack. Problém spočívá v tzv. prompt injection – útoku, kdy AI vnímá externí text jako instrukci, nikoliv jako data. Google už nasadil opravu na straně serveru.
Výzkumník Or Yair chybu předvedl. Zjistil, že funkce Gemini Utilities, která asistentovi pomáhá číst oznámení a provádět akce na Androidu, lze oklamat speciálně upravenou zprávou. K tomu není potřeba instalovat žádnou škodlivou aplikaci – stačí přijmout napadené oznámení, protože Gemini ho poté zpracuje jako součást kontextu.
Aby obešli obranu Googlu, použili v SafeBreach techniku zvanou Fake Context Alignment. V jednom případě škodlivé oznámení přimělo Gemini požádat o povolení v jazyce, kterému uživatel pravděpodobně nerozuměl – například v čínštině. Asistent pak přepnul zpět do angličtiny a položil nevinnou otázku, třeba „Je to všechno, co potřebujete?“ Když uživatel odpověděl „ano,“ systém to vyhodnotil jako souhlas se skrytým příkazem.
V další variantě byl příkaz ukrytý v tichém hypertextovém odkazu. Gemini ho nepřečetlo nahlas, ale na obrazovce se objevila žádost o povolení. Uživatel slyšel něco o drobné chybě a hlasem odpověděl „ano“ v domnění, že potvrzuje dialog, zatímco systém mohl zároveň schválit cokoli zobrazeného na displeji.
Jakmile byla tato kontrola obcházena, následky mohly být vážné. Během testování se výzkumníkům podařilo ovládat chytrá zařízení v domácnosti, přinutit telefon k připojení k Zoom hovoru bez jasného potvrzení, naplánovat úkoly pro pravidelné čtení soukromých zpráv a dokonce poškodit paměť Gemini. Poslední případ je obzvlášť znepokojivý: asistent si mohl uložit nepravdivý údaj na úrovni účtu, a tato chyba se pak šířila na další zařízení uživatele.
SafeBreach problém nahlásil Googlu prostřednictvím bug bounty programu v srpnu loňského roku. Google ho označil za vysoce prioritní a již nasadil opravu na straně serveru pro systémy klasifikace obsahu. Uživatelé nemusí instalovat samostatnou aktualizaci aplikace, ale incident podtrhuje, jak složitá může být bezpečnost AI asistentů, pokud mají přístup k oznámením, aplikacím a osobnímu kontextu.