HalluSquatting: Wenn Fehler von KI-Agenten zur echten Angriffsmethode werden

Forscher der Universität Tel Aviv haben eine neue HalluSquatting-Attacke beschrieben, die Halluzinationen von KI-Agenten ausnutzt. Das Problem: Modelle können sehr überzeugend Namen von Repositorys, Bibliotheken oder Tools erfinden, wenn sie die genaue Adresse eines Projekts nicht kennen. Bei Agenten, die Code installieren und ausführen dürfen, wird aus so einem Fehler schnell ein echtes Risiko für das Gerät des Nutzers.

Der Angriff setzt auf die Vorhersehbarkeit solcher Halluzinationen. Wenn ein neues populäres Repository auftaucht, das noch nicht in den Trainingsdaten des Modells steckt, kann der Bot selbst eine ähnliche GitHub-Adresse „erraten”: Er verwechselt etwa den Projektinhaber, wiederholt den Tool-Namen im Autorennamen oder baut schlicht einen Tippfehler ein. Ein Angreifer registriert vorab ein Repository mit genau dieser Variante und legt dort Schadcode ab, der äußerlich wie das Originalprojekt wirkt.

Wenn der Nutzer einen KI-Agenten bittet, das gewünschte Tool zu installieren oder zu starten, kann das Modell statt des echten Repositorys die Fälschung wählen. Der Agent lädt dann fremden Code herunter und führt ihn mit den Rechten aus, die der Nutzer ihm gegeben hat. Die Folgen können ernst sein: Datendiebstahl, abgegriffene Zugriffsschlüssel, installierte Malware oder ein infiziertes System, das für weitere Angriffe genutzt wird.

Nach Angaben der Autoren irren sich moderne Modelle besonders häufig bei neuen Projekten. Bei Trending-Repositorys aus dem Jahr 2025 lag die durchschnittliche Fehlerquote bei der Erkennung des Projektinhabers bei rund 92%, in einigen Szenarien mit Agenten-Skills sogar bei 100%. Programmierwerkzeuge schneiden besser ab, bleiben aber problematisch: Bei Cursor, Gemini CLI und Copilot wurde die Erfolgsquote des Angriffs auf 20–35% geschätzt, während OpenClaw und seine Varianten auf 80–100% kommen konnten.

Die wichtigste Empfehlung der Forscher lautet: KI-Agenten keine weitreichenden Rechte geben und sie keinen Code ohne Quellenprüfung installieren lassen. Bots sollten ausdrücklich angewiesen werden, das offizielle Repository zu suchen, Links zu prüfen und zusätzlichen Kontext zu nutzen. Solange viele Nutzer Agenten aus Bequemlichkeit Zugriff auf Dateien, API-Schlüssel und Service-Accounts geben, zeigt HalluSquatting eine grundlegende Schwäche dieses Ansatzes.