Erste KI-erstellte Zero-Day-Sicherheitslücke: Google bestätigt

Google hat den ersten bekannten Fall einer mithilfe von künstlicher Intelligenz erstellten Zero-Day-Sicherheitslücke bekannt gegeben. Die Entdeckung gelang der hauseigenen Cyber-Bedrohungsanalyse-Einheit GTIG. Dem AI Threat Tracker-Bericht zufolge setzten Angreifer ein KI-Modell ein, um eine Schwachstelle in einem weit verbreiteten Open-Source-Webverwaltungstool zu identifizieren und auszunutzen. Die Sicherheitslücke ermöglichte die Umgehung der Zwei-Faktor-Authentifizierung. Experten zufolge konnten die Vorbereitungen für eine größere Kampagne gestoppt werden, bevor es zu weitreichenden Angriffen kam. Google und die Entwickler der Software reagierten umgehend.

GTIG berichtet, dass der Exploit in Python geschrieben und sehr wahrscheinlich von einer KI erstellt wurde. Hinweise darauf seien übertriebene Inline-Kommentare, eine ungewöhnliche Code-Struktur, detaillierte Hilfemenüs und sogar ein erfundener CVSS-Score gewesen – Dinge, die echte Malware-Autoren normalerweise nicht einbauen.

Nach Angaben der Experten handelte es sich bei der Schwachstelle um einen Logikfehler. Der Entwickler des Authentifizierungssystems hatte einen Widerspruch in der Zugriffslogik eingebaut, der es ermöglichte, den Zwei-Faktor-Mechanismus zu umgehen. Herkömmliche Sicherheitsscanner übersahen das Problem, aber die KI entdeckte es durch die Analyse sowohl des Codes als auch der beabsichtigten Anwendungslogik. Der Bericht betont, dass die Angreifer weder Googles Gemini-Modelle noch Lösungen von Anthropic nutzten.

Experten sehen in diesem Vorfall den Beginn einer neuen Phase von Cyber-Bedrohungen. Während automatisierte Werkzeuge früher auf Speicherfehler oder Zugriffsfehler abzielten, können moderne Sprachmodelle nun die Anwendungsarchitektur analysieren und versteckte logische Widersprüche aufdecken, die herkömmliche Abwehrsysteme kaum registrieren.

Der leitende GTIG-Analyst John Hultquist erklärte, dass das Wettrüsten bei KI-Schwachstellen nicht nur unvermeidlich sei, sondern bereits begonnen habe. Er fügte hinzu, dass es für jede auf KI zurückführbare Zero-Day-Schwachstelle wahrscheinlich viele weitere gebe.

Der Bericht hebt auch andere KI-gesteuerte Cyberangriffe hervor. Die nordkoreanische Gruppe APT45 setzte KI für automatisierte Schwachstellenanalysen und Exploit-Entwicklung ein, während mit China verbundene Angreifer spezielle Prompts nutzten, um Schwachstellen für Remote-Code-Ausführung in TP-Link-Routern zu sondieren.

GTIG dokumentierte zudem den Einsatz von KI zur Erstellung von bösartigem Code, zur Produktion von gefälschtem Audio und zur Entwicklung von Android-Backdoors, die mit der Gemini-API interagieren.

Ein besonderes Augenmerk lag auf einem Angriff auf die Bibliothek LiteLLM, die KI-Dienste integriert. Angreifer schmuggelten bösartigen Code in infizierte PyPI-Pakete und stahlen AWS-Schlüssel und GitHub-Token. Analysten merken an, dass sich diese Angriffe zunehmend nicht gegen die KI-Modelle selbst richten, sondern gegen die umliegende Infrastruktur – APIs, Verbindungen und Integrationstools.

Cyberkriminelle nutzen auch die Popularität von KI-Diensten als Köder. Bereits zuvor hatten Forscher gefälschte Claude-KI-Websites entdeckt, die über Google-Suchanzeigen Malware verbreiteten.