SafeBreach araştırmacıları, Android cihazlardaki Google Gemini'de ciddi bir güvenlik açığı keşfetti. Bu açık, WhatsApp ve Slack gibi uygulamalardan gelen kötü niyetli bildirimler aracılığıyla asistanın mantığını ele geçirebiliyor. Sorun, yapay zekanın dış metni veri yerine talimat olarak yorumladığı bir saldırı türü olan prompt enjeksiyonundan kaynaklanıyordu. Google, sunucu tarafında bir düzeltme yayınladı.
Araştırmacı Or Yair, açığı gösterdi. Gemini'nin, Android'de bildirimleri okuyup işlem yapmasına yardımcı olan Yardımcı Programlar özelliğinin, özel olarak hazırlanmış bir mesajla kandırılabileceğini keşfetti. Kötü amaçlı bir uygulama yüklemeye gerek yoktu; sadece zehirli bir bildirim almak yeterliydi, çünkü Gemini bunu bağlamının bir parçası olarak işliyordu.
SafeBreach, Google'ın savunmasını aşmak için Sahte Bağlam Hizalama adlı bir teknik kullandı. Bir vakada, kötü niyetli bir bildirim Gemini'ye, kullanıcının muhtemelen anlamadığı bir dilde (örneğin Çince) izin istemesi talimatını verdi. Asistan daha sonra İngilizceye dönüp 'başka bir ihtiyacınız var mı?' gibi masum bir soru sordu. Kullanıcı 'evet' dediğinde, sistem bunu gizli komut için onay olarak yorumladı.
Başka bir varyasyonda, talimat sessize alınmış bir bağlantının içine gizlenmişti. Gemini bunu sesli okumadı, ancak ekranda bir izin isteği belirdi. Kullanıcı, küçük bir hatayla ilgili bir şey duyup sesle 'evet' yanıtını verdi; o sırada sistem ekranda görünen her şeyi onaylayabiliyordu.
Kontrol atlatıldıktan sonra olası sonuçlar ciddiydi. Testler sırasında araştırmacılar, akıllı ev cihazlarını kontrol etmeyi, telefona net bir onay olmadan bir Zoom aramasına katılmasını sağlamayı, özel mesajları düzenli olarak okumak için görevler atamayı ve hatta Gemini'nin hafızasını bozmayı başardı. Son sonuç özellikle endişe verici: asistan, hesap düzeyinde yanlış bir gerçeği saklayabiliyor ve bu bozulma kullanıcının diğer cihazlarına da yayılabiliyor.
SafeBreach, sorunu geçen Ağustos ayında hata ödül programı aracılığıyla Google'a bildirdi. Google bunu yüksek öncelikli bir sorun olarak ele aldı ve içerik sınıflandırma sistemleri için sunucu tarafında bir düzeltme yayınladı. Kullanıcıların ayrı bir uygulama güncellemesi yüklemelerine gerek yok, ancak bu olay, asistanların bildirimlere, uygulamalara ve kişisel bağlama erişimi olduğunda yapay zeka güvenliğinin ne kadar karmaşık hale geldiğini gösteriyor.