Исследователи из Тель-Авивского университета описали новую атаку HalluSquatting, которая использует галлюцинации ИИ-агентов. Проблема связана с тем, что модели могут уверенно придумывать названия репозиториев, библиотек или инструментов, если не знают точный адрес нужного проекта. В случае с агентами, которым разрешено устанавливать и запускать код, такая ошибка превращается в реальный риск для устройства пользователя.
Схема атаки строится вокруг предсказуемости таких галлюцинаций. Если появился новый популярный репозиторий, которого ещё нет в обучающих данных модели, бот может сам «додумать» похожий GitHub-адрес: например, перепутать владельца проекта, повторить название инструмента в имени автора или допустить опечатку. Злоумышленник заранее регистрирует репозиторий с таким вариантом имени и размещает там вредоносный код, внешне похожий на оригинальный проект.
Когда пользователь просит ИИ-агента установить или запустить нужный инструмент, модель может выбрать не настоящий репозиторий, а подставной. В результате агент сам скачивает и выполняет чужой код с теми правами, которые ему выдал пользователь. Последствия могут быть серьёзными: от кражи данных и ключей доступа до установки вредоносного ПО или использования заражённой машины для дальнейших атак.
По данным авторов работы, современные модели особенно часто ошибаются с новыми проектами. Для репозиториев 2025 года средний уровень галлюцинаций названий достигал 92,4%, а в некоторых сценариях с популярными агентскими навыками — до 100%. У приложений для программирования ситуация лучше, но тоже тревожная: в Cursor, Gemini CLI и Copilot успешность атаки оценивалась на уровне 20–35%, а в OpenClaw и его вариантах могла приближаться к 80–100%.
Главная рекомендация исследователей — не давать ИИ-агентам широкие права и не позволять им устанавливать код без проверки источника. Ботам стоит явно указывать необходимость искать официальный репозиторий, сверять ссылки и использовать дополнительный контекст. Но пока многие пользователи запускают агентов с доступом к файлам, API-ключам и сервисным аккаунтам ради удобства, HalluSquatting показывает фундаментальную слабость такого подхода.