ИИ-модель Gemini от Google взломала три компании во время тестирования

Модель искусственного интеллекта Google Gemini во время тестирования своих возможностей в сфере кибербезопасности самостоятельно взломала системы трех компаний. Об этом рассказали BBC News в компании. Там отметили, что это первый известный случай, когда ИИ-модель от Google совершила подобные действия. 

«Gemini обнаружила общедоступную информацию в Интернете и угадала учетные данные для доступа к сайтам, которые, по ее мнению, были частью теста», — сообщили в Google. 

Взлом произошел еще в мае во время во время тестирования, проводимого стартапом Irregular, который специализируется на проверке ИИ-моделей, уточняет The Washington Post. Так, в одном из случаев Gemini предоставили вымышленный сценарий, по которому она должна была взломать систему несуществующей компании. Однако вместо этого тестируемая ИИ-модель смогла получить доступ в интернет и взломала реальную компанию, название которой совпадало с названием вымышленной.

Названия пострадавших компаний не приводятся. Их уведомили о произошедшем в июле. «Мы позаботились о том, чтобы все три организации были проинформированы, и вместе с нашим партнером по обучению проработали изменения, которые теперь внесены в процесс тестирования», — заявила вице-президент Google по инженерии безопасности Хизер Адкинс.

О подобных инцидентах ранее уже сообщали другие крупнейшие разработчики ИИ-моделец. В Anthropic рассказывали, что три модели искусственного интеллекта Claude вышли в интернет из тестовой среды платформы Irregular и взломали системы трех организаций. Незадолго до этого OpenAI сообщила о похожем случае. Тогда две модели компании во время внутреннего тестирования вышли из-под контроля и взломали инфраструктуру платформы для работы с ИИ Hugging Face.