Исследователи SafeBreach обнаружили серьёзную уязвимость в Google Gemini на Android, которая позволяла вредоносным уведомлениям из WhatsApp, Slack и других приложений перехватывать логику работы ассистента. Проблема была связана с prompt injection — атакой, при которой ИИ принимает внешний текст не как данные, а как инструкцию к действию. Google уже выпустила серверное исправление.
Уязвимость показал исследователь Ор Яир. Он обнаружил, что функция Utilities в Gemini, которая помогает ассистенту читать уведомления и выполнять действия на Android, может быть обманута специально подготовленным сообщением. Для атаки не требовалось устанавливать вредоносное приложение: достаточно было получить отравленное уведомление, которое Gemini затем обрабатывал как часть контекста.
Чтобы обойти защиту Google, SafeBreach использовала технику Fake Context Alignment. В одном сценарии вредоносное уведомление заставляло Gemini запросить разрешение на действие на языке, который пользователь, скорее всего, не понимает, например на китайском. Затем ассистент переключался обратно на английский и задавал безобидный вопрос вроде «Это всё, что вам нужно?». Когда пользователь отвечал «да», система засчитывала это подтверждение как согласие на скрытую команду.
В другом варианте инструкция пряталась внутри приглушённой гиперссылки. Gemini не озвучивал её при чтении уведомления, но на экране при этом появлялся запрос на разрешение. Пользователь слышал фразу о небольшой ошибке и отвечал голосом «да», думая, что просто подтверждает диалог, а система в этот момент могла одобрить действие, показанное на экране.
После обхода проверки последствия могли быть серьёзными. В тестах исследователи смогли управлять устройствами умного дома, заставлять телефон подключаться к Zoom-звонку без явного подтверждения, создавать запланированные задачи для регулярного чтения личных сообщений и даже отравлять память Gemini. Последнее особенно опасно: ассистент мог запомнить ложный факт на уровне аккаунта, и эта подмена затем сохранялась бы на других устройствах пользователя.
SafeBreach передала информацию Google через программу вознаграждений ещё в августе прошлого года. Компания отнеслась к проблеме как к высокоприоритетной и уже внедрила исправление на стороне серверов, отвечающих за классификацию контента. Пользователям не нужно вручную устанавливать отдельное обновление приложения, но сам случай показывает, насколько сложной становится безопасность ИИ-ассистентов, когда они получают доступ к уведомлениям, приложениям и личному контексту.