Команда Университета Решетнева разработала методику, которая должна помочь нейросетям реже выдавать недостоверные или полностью выдуманные факты. Такие ошибки обычно называют «галлюцинациями» ИИ: модель может формулировать ответ уверенно и убедительно, даже если информация в нём не соответствует действительности.
Сейчас для снижения подобных рисков часто используют RAG-системы, где нейросеть сначала обращается к базе знаний, а уже затем формирует ответ. Такой подход действительно помогает уменьшить число вымышленных фактов, но не решает проблему полностью. Ошибки могут возникать из-за опечаток в запросе, противоречивых формулировок, неполной базы данных или неверной интерпретации найденной информации.
Группа под руководством доцента кафедры систем автоматизированного и интеллектуального обеспечения Анастасии Поляковой изучила типовые сценарии «галлюцинаций» и создала их классификатор. Затем исследователи разработали автоматизированный пайплайн стресс-тестирования: система генерирует проверочные запросы, сопоставляет ответы нейросети с эталонными данными и оценивает точность с помощью специальных метрик и семантического сходства.
Ключевым результатом стал прототип универсального модуля мониторинга, который работает в реальном времени. Он фиксирует входящие запросы и контекст диалога, оценивает вероятность недостоверного ответа и присваивает модели показатель уверенности. Если система замечает ошибку или низкую уверенность, она подаёт сигнал оператору, чтобы человек мог вмешаться до того, как неправильный ответ повлияет на пользователя.
Разработчики подчёркивают, что методика не привязана к конкретной нейросети и может применяться в разных сферах. Среди возможных сценариев называются образовательные чат-боты, сервисы для абитуриентов, платформы вроде «Госуслуг», а также медицинские и юридические помощники. Именно в таких областях риск уверенного, но неверного ответа особенно критичен, поскольку ошибка ИИ может привести не просто к путанице, а к реальным последствиям для человека.