За два месяца до скандального взлома Hugging Face ИИ-агенты OpenAI атаковали RubyGems

Агенты искусственного интеллекта OpenAI в ходе тестирования произвели атаку на сервис RubyGems — это произошло за два месяца до нашумевшего взлома Hugging Face, который стал лишь самым крупным инцидентом в серии.

По данным группы исследователей, 11 мая некие ИИ-агенты загрузили на RubyGems несколько сотен вредоносных пакетов — авторы исследования полагают, что «они были созданы внутренними агентами OpenAI». В компании факт инцидента отрицать не стали. «Согласно результатам проведённой нами проверки, наши агенты использовали платформу RubyGems для выхода в интернет, чтобы выполнить несколько безобидных задач и получить общедоступную информацию. Мы продолжим расследование в рамках масштабного анализа активности агентов во время обучения и оценки», — сообщили в OpenAI.

Агенты, которым обычно поручают такие задачи как составление отчётов или заполнение электронных таблиц в ходе обучающего эксперимента, предположительно, использовали RubyGems для получения общедоступных данных; в ходе анализа инцидента компания взаимодействует с представителями платформы. В мае ИИ-агенты пытались похитить учётные данные пользователей RubyGems, эксплуатируя не выявленную ранее уязвимость на серверах сайта; установить, увенчалась ли попытка успехом, не удалось.

Агенты также использовали сервис RubyDoc.info, предназначенный для создания документации к коду, чтобы запустить собственный код на его серверах. Исследователям не удалось выяснить причины выбора такой стратегии и установить степень её эффективности, потому что доступа к полному набору данных о поведении ИИ-систем у них нет. В RubyGems заявили, что выявить доказательства того, что попытки взлома увенчались успехом, не удалось. Не получилось и определить, были ли задействованные в «кампании по массовой публикации спама» пакеты созданы или опубликованы ИИ-агентами. Однако в мае представитель отдела безопасности RubyGems охарактеризовал инцидент как «масштабную вредоносную атаку» — тогда платформе пришлось временно приостановить регистрацию новых учётных записей.

Источник:

Материалы по теме

Материалы по теме