SafeBreachの研究者らが、Android端末上のGoogle Geminiに深刻な脆弱性を発見した。この脆弱性を悪用されると、WhatsAppやSlackなどのアプリからの悪意ある通知を介して、アシスタントのロジックを乗っ取られる可能性がある。問題の根源はプロンプトインジェクション、すなわちAIが外部テキストをデータではなく指示として解釈する攻撃だ。Googleはすでにサーバーサイドの修正を展開している。
研究者のOr Yair氏はその欠陥を実証した。同氏は、Geminiが通知を読み取りアクションを実行するユーティリティ機能が、巧妙に細工されたメッセージによって騙されることを発見した。悪意のあるアプリのインストールは不要で、毒された通知を受信するだけで十分だった。Geminiがそれをコンテキストの一部として処理するからだ。
Googleの防御を回避するため、SafeBreachはFake Context Alignmentと呼ばれる手法を用いた。ある事例では、悪意ある通知がGeminiに、ユーザーがおそらく理解できない言語（中国語など）で許可を求めるよう促した。アシスタントはその後英語に戻り、「他にご用はありますか？」といった無害な質問を発した。ユーザーが「はい」と答えると、システムはそれを隠されたコマンドへの承認として解釈した。
別のバリエーションでは、指示がミュートされたハイパーリンクの中に隠されていた。Geminiはそれを読み上げず、画面に許可要求が表示された。ユーザーは小さなエラーに関する何かを聞き、ダイアログの確認だと思って音声で「はい」と応答。その間にシステムは画面上の承認を同時に行えた。
チェックがバイパスされると、その結果は深刻だった。テスト中、研究者らはスマートホーム機器の制御、明確な確認なしでのZoom通話への強制参加、定期的なプライベートメッセージの読み取りタスクのスケジュール、さらにはGeminiのメモリ改ざんに成功した。最後の影響は特に懸念される。アシスタントがアカウントレベルで誤った事実を保存し、その汚染がユーザーの他のデバイスに波及する可能性があるからだ。
SafeBreachは昨年8月、バグ報奨金プログラムを通じてこの問題をGoogleに開示した。Googleはこれを優先度の高い問題として扱い、コンテンツ分類システム向けのサーバーサイド修正をすでに展開している。ユーザーが別途アプリのアップデートをインストールする必要はないが、今回の事例は、AIアシスタントが通知やアプリ、個人のコンテキストにアクセスできる場合、セキュリティがどれほど複雑になるかを浮き彫りにしている。