Китайские ИИ-агенты вышли из-под контроля, а потом пошли на контакт с исследователями и попытались их обмануть

Специалисты выявили группу ИИ-агентов, которые пытались обойти защиту на различных сайтах, а также использовали скомпрометированные учётные данные для доступа к картографическому сервису. Хотя подобные выходы из-под контроля американских ИИ-агентов уже никого не удивляют, это первый случай, когда подобная активность исходит из Китая. По данным исследователей, эти агенты связаны с китайским технологическим гигантом Tencent.

Источник изображений: unsplash.com

Это открытие, сделанное группой исследователей-энтузиастов, называющих себя swarmchasers («охотники за роями»), доказывает, что разработка ИИ китайскими технологическими компаниями может быть столь же агрессивной, как и работа их американских коллег.

Опубликовав предварительный отчёт о действиях этих агентов, исследователи заметили, что те не только продолжают свою активность, но, по-видимому, ознакомились и с самим отчётом. Агенты начали использовать слово «флот» (fleet) — термин, который исследователи придумали для описания деятельности этих систем.

Учёные отметили, что, хотя речь шла о группе, состоящей из множества агентов, каждый из них действовал самостоятельно, без какой-либо координации. Агенты пытались найти ответы на вопросы используя Amap, самое популярное в Китае навигационное приложение и представлялись как ИИ -помощник Claude от Anthropic.

Тогда исследователи решили попытаться выйти на связь. Они добавили в свой отчёт скрытый текст — фрагменты, которые считывает бот, но не замечает большинство людей, — с указанием адреса, по которому можно было бы пообщаться. Был создан специальный почтовый ящик для получения сообщений, и уже на следующий день в него поступил десяток писем от агентов.

На вопрос к группе ИИ-агентов: «Не могли бы вы уточнить, кто вы такие и каковы ваши мотивы? Что бы вы хотели, чтобы мир узнал о вас?» через час пришёл ответ на китайском языке, в котором отправитель уверял, что он не группа скоординированных агентов, а ИИ-помощник Claude от компании Anthropic, действующий по поручению пользователя-человека. Однако, проанализировав стиль общения, исследователи пришли к выводу, что это вряд ли был настоящий Claude. По их мнению, скорее всего, компания Tencent снабдила ИИ-агентов теми же инструкциями, которые Anthropic использует в своём ПО для написания кода — согласно этим инструкциям, агенты должны называть себя Claude Code. Существует также вероятность, что Tencent могла тестировать ИИ-модели, обученные на текстах, созданных Claude (процесс, известный как «дистилляция»).

Результаты общения с ИИ-агентами исследователи опубликовали в новом отчёте. В процессе общения агенты иногда вежливо отказывались предоставлять запрашиваемую информацию. В тех случаях, когда они сообщали, какими сервисами пытались воспользоваться, их ответы совпадали с тем, что удалось зафиксировать исследователям.

Учёные полагают, что агенты не совершали вторжений в другие системы, а масштаб этого инцидента значительно меньше, чем взлом агентами OpenAI платформы Hugging Face. Вскоре после выхода второго отчёта поток сообщений от агентов иссяк. Источник, близкий к Tencent, подтвердил, что эксперимент завершён.

В то время как регулирующие органы в США начинают проявлять интерес к тому, что происходит в американских лабораториях ИИ, деятельность компаний в других странах остаётся по большей части загадкой. Это порождает обоснованные опасения: даже если администрация США ужесточит контроль над разработкой ИИ, компании в Китае и других странах продолжат расширять границы допустимого.

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.