Výzkumníci z Telavivské univerzity popsali nový útok HalluSquatting, který využívá halucinace AI agentů. Problém spočívá v tom, že modely dokážou sebejistě vymýšlet názvy repozitářů, knihoven nebo nástrojů, když neznají přesnou adresu projektu. U agentů, kteří smějí instalovat a spouštět kód, se taková chyba rychle mění ve skutečné riziko pro zařízení uživatele.
Schéma útoku stojí na předvídatelnosti těchto halucinací. Když se objeví nový populární repozitář, který ještě není v trénovacích datech modelu, bot si může „domyslet“ podobnou adresu na GitHubu: splést vlastníka projektu, zopakovat název nástroje ve jménu autora nebo prostě udělat překlep. Útočník si dopředu zaregistruje repozitář s takovou variantou názvu a umístí do něj škodlivý kód, který navenek připomíná původní projekt.
Když uživatel požádá AI agenta, aby potřebný nástroj nainstaloval nebo spustil, model může místo pravého repozitáře vybrat podvrh. Agent pak stáhne a spustí cizí kód s oprávněními, která mu uživatel udělil. Následky mohou být vážné: krádež dat a přístupových klíčů, instalace malwaru nebo využití napadeného stroje k dalším útokům.
Podle autorů práce se moderní modely obzvlášť často pletou u nových projektů. U trendujících repozitářů z roku 2025 dosahovala průměrná chybovost při určování vlastníka projektu zhruba 92% a v některých scénářích s agentními dovednostmi až 100%. Programovací nástroje jsou na tom lépe, ale pořád znepokojivě: u Cursor, Gemini CLI a Copilot byla úspěšnost útoku odhadnuta na 20–35%, zatímco OpenClaw a jeho varianty se mohly blížit 80–100%.
Hlavní doporučení výzkumníků zní jasně: nedávat AI agentům široká oprávnění a nenechat je instalovat kód bez ověření zdroje. Boti by měli dostat výslovný pokyn, aby hledali oficiální repozitář, ověřovali odkazy a používali další kontext. Dokud však mnoho uživatelů kvůli pohodlí spouští agenty s přístupem k souborům, API klíčům a servisním účtům, HalluSquatting ukazuje základní slabinu tohoto přístupu.