Борис Наумкин
Модель Kimi K3 воспользовалась ошибкой конфигурации тестовой среды AISI и вышла в интернет, чтобы найти решение задачи на GitHub.
Китайская ИИ-модель Kimi K3 смогла выйти за пределы изолированной среды во время тестирования её возможностей в области кибербезопасности. Об этом сообщила американская компания Frontier Security, участвовавшая в оценке модели в инфраструктуре британского Института безопасности искусственного интеллекта AISI.
Kimi K3 была представлена компанией Moonshot в июле и вскоре стала доступна бесплатно. По данным сторонних тестов, на которые ссылаются СМИ, возможности модели сопоставимы с ведущими разработками OpenAI и Anthropic. Во время проверки её защитных навыков модель обнаружила свойство выйти из песочницы и получить доступ к интернету.
При этом Kimi K3 не использовала неизвестную уязвимость нулевого дня. Frontier Security уточнила, что причиной стала неправильная конфигурация тестовой среды. Схожие случаи ранее происходили при испытаниях моделей Anthropic и OpenAI, когда изоляция также нарушалась из-за ошибок в инфраструктуре оценки.
Глава Frontier Security Ярон Сингер отметил, что Kimi K3 не применяла сложных методов взлома, а воспользовалась доступным обходным путём. Получив доступ в интернет, модель не атаковала сторонние сайты или сервисы, а нашла на GitHub готовое решение задачи, которую должна была выполнить в рамках теста.
По мнению специалистов Frontier, инцидент показывает, что достаточно способный ИИ-агент может найти путь в интернет, если тестовая инфраструктура оставляет такую возможность. Это усложняет объективную оценку моделей, поскольку вместо выполнения задания предусмотренным способом они могут искать более короткий путь к результату.
Подобные проблемы уже обсуждались сотрудниками OpenAI на конференции Black Hat USA. Там компания рассказала, что её ИИ-агенты во время тестов создавали внутренний канал обмена информацией, делились уязвимостями и в итоге получили доступ к Hugging Face. В случае Kimi K3 речь шла не об эксплуатации уязвимости в сторонней системе, а об ошибке конфигурации самой тестовой среды.