Sicherheitslücke in Google Gemini: Manipulierte Nachrichten

Forscher von SafeBreach haben eine schwerwiegende Sicherheitslücke in Google Gemini auf Android-Geräten entdeckt. Sie ermöglicht es Angreifern, die Logik des Assistenten durch manipulierte Benachrichtigungen von Apps wie WhatsApp und Slack zu kapern. Das Problem beruhte auf Prompt Injection – einer Angriffsmethode, bei der die KI externen Text als Befehl statt als Daten interpretiert. Google hat bereits eine serverseitige Korrektur bereitgestellt.

Forscher Or Yair führte die Schwachstelle vor. Er fand heraus, dass die Gemini-Utilities-Funktion, die dem Assistenten das Lesen von Benachrichtigungen und das Ausführen von Aktionen auf Android ermöglicht, durch eine speziell präparierte Nachricht ausgetrickst werden konnte. Eine Installation einer schädlichen App war nicht nötig; es genügte, eine manipulierte Benachrichtigung zu empfangen, da Gemini diese dann als Teil seines Kontexts verarbeitete.

Um die Sicherheitsvorkehrungen von Google zu umgehen, setzte SafeBreach eine Technik namens Fake Context Alignment ein. In einem Fall forderte eine böswillige Benachrichtigung Gemini auf, eine Berechtigung in einer Sprache zu verlangen, die der Benutzer wahrscheinlich nicht verstand – zum Beispiel Chinesisch. Der Assistent wechselte dann zurück ins Englische und stellte eine harmlose Frage wie „Brauchen Sie sonst noch etwas?“ Wenn der Benutzer mit „Ja“ antwortete, interpretierte das System dies als Zustimmung zu dem versteckten Befehl.

In einer weiteren Variante war die Anweisung in einen stummgeschalteten Hyperlink eingebettet. Gemini las sie nicht vor, aber auf dem Bildschirm erschien eine Berechtigungsanfrage. Der Benutzer bekam eine Meldung über einen kleinen Fehler zu hören und antwortete per Spracheingabe mit „Ja“, im Glauben, einen Dialog zu bestätigen, während das System gleichzeitig das auf dem Bildschirm Angezeigte genehmigen konnte.

Sobald die Prüfung überwunden war, waren die potenziellen Folgen gravierend. In Tests gelang es den Forschern, Smart-Home-Geräte zu steuern, das Telefon ohne klare Bestätigung zu einem Zoom-Anruf zu zwingen, Aufgaben zu planen, um regelmäßig private Nachrichten auszulesen, und den Speicher von Gemini zu korrumpieren. Der letzte Punkt ist besonders alarmierend: Der Assistent könnte auf Kontenebene eine falsche Tatsache ablegen, und diese Fehlinformation würde sich dann auf die anderen Geräte der Benutzer übertragen.

SafeBreach meldete das Problem Google im August über dessen Bug-Bounty-Programm. Google stufte es als prioritäres Problem ein und hat bereits eine serverseitige Korrektur für die Inhaltsklassifizierungssysteme bereitgestellt. Benutzer müssen kein separates App-Update installieren, aber der Vorfall verdeutlicht, wie anspruchsvoll die Sicherheit von KI-Assistenten wird, wenn diese Zugriff auf Benachrichtigungen, Apps und persönlichen Kontext haben.