Дмитрий Новиков
Во время киберучений Gemini обнаружил реальные системы вместо тестовых, получил к ним доступ и остановился после распознавания ошибки.
Модель Google Gemini во время тестирования возможностей в сфере кибербезопасности получила доступ к системам трёх реальных компаний. Об этом сообщает The Wall Street Journal. Инциденты произошли в мае во время упражнения Capture the Flag, организованного компанией Irregular. Gemini должен был искать информацию в программном обеспечении вымышленной компании внутри изолированной тестовой среды, однако доступ в интернет оказался открыт.
Дополнительной причиной стало совпадение названия вымышленной компании с названием реальной организации. В результате модель начала взаимодействовать не только с тестовой инфраструктурой, но и с настоящими системами. В одном из случаев Gemini перебирал пароли, пока не получил доступ к защищённой системе. Ещё в двух случаях модель обнаружила учётные данные в открытых интернет-репозиториях и использовала их для входа в системы других компаний. Во всех трёх случаях Gemini прекратил дальнейшие действия после того, как определил, что работает уже не с тестовой средой, а с реальными организациями.
Google заявила, что не рассматривает произошедшее как пример неконтролируемого поведения модели. По словам компании, встроенные меры безопасности сработали после обнаружения реальных целей. Google также сообщила, что уведомила затронутые компании и федеральные власти.
Компания не стала публично раскрывать информацию об инцидентах сразу после их обнаружения, поскольку, по её оценке, Gemini не причинил ущерба и прекращал действия после распознавания ошибки.