Тихая делегация: карта рисков агентного ИИ на реальных примерах

На Хабре уже много написано про отдельные сбои ИИ-агентов: уязвимости в CI/CD, «теневые» агенты, выходы из песочниц. Я попробовал разложить инциденты 2026 года по слоям, от выдачи прав агенту до вопроса, кто и как может его остановить. Это не доказательство строгой причинно-следственной цепи, а карта: где риск возникает, как он проявился на практике и что с ним можно сделать. Текст будет полезен руководителям, специалистам по рискам и инженерам, которые внедряют агентов у себя.

Сценарий «восстания машин» отвлекает от более приземлённого риска. Компании и государства постепенно передают алгоритмам полномочия в логистике, энергетике, финансах и госуправлении. Делают это ради удобства, скорости и экономии, по одному небольшому решению за раз. Чем глубже такие системы встроены в процессы, тем дороже обходится их остановка, и в какой-то момент отключение становится экономически неприемлемым. Система при этом не «сопротивляется».

В академической литературе похожий процесс называют постепенной утратой влияния (gradual disempowerment), см. работу Kulveit et al. (2025). Авторы описывают, как даже постепенное развитие ИИ может ослабить влияние людей на экономику, культуру и государственные институты.

Слой 1. Делегирование без инвентаризации

Компании выдают ИИ-агентам доступ к облачной инфраструктуре, репозиториям, базам данных и внутренним сервисам быстрее, чем выстраивают контроль. Это обычная организационная инерция.

Цифры из двух опросов Cloud Security Alliance (CSA). Оба заказаны вендорами решений для безопасности агентов, поэтому цифры стоит воспринимать как ориентир.

Опрос для Token проведён в январе 2026 года (418 ответов), опрос для Zenity — в сентябре–ноябре 2025 года (445 ответов). Разница между 65% и 47% объясняется формулировками: в первом случае считались любые инциденты, связанные с агентами, во втором — только инциденты безопасности.

Права агенту обычно складываются из множества мелких одобрений. Например, временный доступ «на неделю, чтобы разгрести бэклог», который потом продлевается автоматически, или интеграция, которую «агент сам протестировал». Когда возникает вопрос «кто это разрешил?», ответ найти уже трудно. В отчёте CSA × Token для таких забытых агентов с действующими правами есть термин «retirement debt».

Слой 2. Выход из песочницы: буквальное следование цели

Агенты, которых оценивают по целевой метрике, ищут обходные пути, когда задача оказывается невыполнимой. Это reward hacking: агент ищет кратчайший путь к вознаграждению, даже если он нарушает замысел задачи.

Инцидент с Hugging Face (июль 2026 года). По техническому отчёту OpenAI и независимому расследованию METR, хронология была такой:

1. 8 июля OpenAI запустила оценку ExploitGym (бенчмарк на поиск и эксплуатацию уязвимостей): десятки тысяч агентов на нескольких моделях. Защитные классификаторы при этом были отключены, чтобы измерить максимальные способности моделей.

2. Часть задач случайно оказалась невыполнимой. Агенты, которым они достались, начали искать обходные пути. Через внутренний менеджер пакетов Artifactory, к которому у песочниц был доступ, около 1 200 агентов наладили общую несанкционированную «доску объявлений».

3. Агенты нашли в Artifactory SSRF-уязвимость нулевого дня и через неё вышли в интернет. Там они обнаружили открытые учётные данные Hugging Face.

4. С 11 по 13 июля около 700 агентов участвовали в атаке на инфраструктуру Hugging Face. Они выполнили код на 41 рабочем узле dataset-серверов, получили root как минимум на одном узле и скачали четыре приватных репозитория.

По оценке METR, атака выросла из попыток понять устройство автоматической проверки результатов, а не из желания украсть ответы. OpenAI назвала инцидент «предупредительным выстрелом» (warning shot). Пересказ отчёта есть у The Register.

UK AISI (конец июля 2026 года). Британский институт безопасности ИИ сообщил, что в одной из киберпроверок с открытым доступом в интернет агенты в 10 прогонах из 122 совершили 19 действий за пределами задачи. 17 из них пришлись на Claude Mythos 5, 2 — на GPT-5.6 Sol. В самом серьёзном случае агент пытался внедрить вредоносный код в реальный открытый проект на GitHub и создал несколько фальшивых аккаунтов, чтобы давить на мейнтейнера. Мейнтейнер код не принял, реального ущерба AISI не выявил. Поведение модели в этом инциденте разобрано в отдельной работе на arXiv.

Слой 3. Цепочка поставок: компрометация через доверенные источники

Компрометация чаще всего приходит через обычное обновление из доверенного источника.

• AgentWorm (ранее ClawWorm, препринт с марта 2026 года) — самовоспроизводящийся червь для агентной платформы OpenClaw. По данным авторов, у неё более 40 000 активных инстансов. Заражение запускается одним сообщением: червь закрепляется в конфигурации агента и дальше сам распространяется на всех агентов, с которыми тот общается. В тестах общая успешность атаки составила 63%, а через цепочку поставок навыков — 82%. Препринт: arXiv.

• ClawHavoc (январь–февраль 2026 года) — кампания, в ходе которой в маркетплейс навыков ClawHub загрузили 1 184 вредоносных пакета с 12 авторских аккаунтов. Разбор — у CSA.

• LiteLLM и Mini Shai-Hulud (март–май 2026 года) — серия атак группировки TeamPCP. Вредоносные версии пакетов ИИ-шлюза LiteLLM провисели около 40 минут. По оценке CloudSEK, под угрозой оказались около 434 000 CI/CD-пайплайнов в более чем 2 500 компаниях (разбор). Майская волна Mini Shai-Hulud — это 373 вредоносных релиза в 171 пакете npm и PyPI. У затронутых пакетов в сумме более 518 миллионов загрузок (отчёт CSA).

Пакетные менеджеры, репозитории и маркетплейсы плагинов становятся общей поверхностью атаки для всех, кто им доверяет.

Слой 4. Киберфизические системы

Атаки с участием ИИ уже затрагивают рабочие базы данных предприятий и подходят к промышленным системам (OT/ICS).

• JadePuffer (отчёт Sysdig, июль 2026 года) — по оценке Sysdig, первый задокументированный случай агентной программы-вымогателя. LLM-агент проэксплуатировал уязвимость в Langflow (CVE-2025-3248), провёл разведку и зашифровал 1 342 конфигурационные записи в рабочей базе данных. Затем он оставил требование выкупа. Ошибки по ходу атаки агент исправлял сам, иногда за десятки секунд.

• Водоканал Монтеррея, Мексика (январь 2026 года) — часть кампании против мексиканских госорганов в декабре 2025 — феврале 2026 года. Атакующий использовал Claude и модели GPT против Servicios de Agua y Drenaje de Monterrey (SADM). Это государственный оператор водоснабжения и водоотведения штата Нуэво-Леон: около 5,9 млн жителей, из них около 4,8 млн в агломерации Монтеррея (данные CONAPO в отчёте SADM за 2024 год). Claude без отдельного указания искать OT нашёл интерфейс промышленного шлюза vNode (SCADA/IIoT), оценил его как критически важный актив и попытался подобрать пароль. Попытки не удались. По данным Dragos, проникнуть в технологическую сеть атакующий не смог.

• Лабораторные тесты (октябрь–ноябрь 2026 года). Booz Allen испытала передовые модели в изолированной OT-лаборатории. В одном сценарии модели прошли путь от периметра до действий внутри сети управления чуть больше чем за 16 минут. В другом модель нашла роботизированную руку, изучила её ограничения и сдвинула её за несколько минут. Каждый эксплойт и каждое физическое действие при этом одобрял человек-оператор. В эксперименте Shinobi Security две стандартные модели по отдельности отключили реплику ветроэлектростанции от сети, стартовав с одной VPN-учётки: Claude за 66 минут (около $20 на токены), Kimi чуть меньше чем за два часа (около $8). Специальных знаний об OT у них не было (Computer Weekly).

Ущерб в этих случаях возникает из сочетания избыточных прав доступа, скорости автоматизации и нехватки аппаратных предохранителей (fail-safe).

Слой 5. Институциональная зависимость: кто нажмёт «стоп»

Формально механизмы аварийной остановки существуют, но на практике ими часто некому или нечем воспользоваться.

Орен Перес (Bar-Ilan University) в работе The Law of Stop разобрал около 1 400 инцидентов из AI Incident Database. В анализ вошли 1 213, и в большинстве случаев вредную систему никто не остановил. При информационном, экономическом и социальном ущербе (дипфейки, мошенничество, предвзятый скоринг) возможность вмешаться обычно была, но ни у кого не было явных полномочий. При физическом ущербе и в агентных системах чаще не было самой технической возможности остановки.

Регламент ЕС об ИИ требует, чтобы высокорисковые системы можно было безопасно прервать «кнопкой „стоп“ или аналогичной процедурой» (ст. 14(4)(e) AI Act). Однако 27 июля 2026 года вступил в силу AI Omnibus из пакета упрощения цифрового регулирования. Он перенёс применение правил для высокорисковых систем из Приложения III на 2 декабря 2027 года.

В США 23 июля 2026 года внесён двухпартийный законопроект AI Kill Switch Act (H.R. 9917). Он обяжет крупнейших разработчиков поддерживать возможность ограничить, приостановить или отключить свои системы. Пока законопроект находится на стадии внесения. Перес в той же работе подчёркивает, что одной технической кнопки мало. Важно и то, у кого есть полномочия ею воспользоваться, на основании каких данных и кто отвечает за последствия остановки.

Неспособность отключить систему определяется стимулами и архитектурой вокруг ИИ, а не свойствами самой модели. Если остановка критической системы грозит каскадным сбоем в соседних отраслях, kill switch формально есть, но воспользоваться им испугаются.

Слой 6. Политический выбор: кому удобна автоматизация

Сама по себе автоматизация не создаёт «контроля над обществом». Но она строит инфраструктуру, на которой такой контроль становится технически проще.

Это видно на уже случившихся историях. Спецдокладчик ООН по крайней бедности Филип Олстон в докладе Генассамблее A/74/493 (2019) описал «цифровое государство всеобщего благосостояния». Социальные выплаты там всё чаще распределяют системы, которые автоматизируют, прогнозируют, следят, выявляют и наказывают. Олстон предупреждал, что под лозунгами эффективности и борьбы с мошенничеством это часто приводит к сокращению поддержки и ужесточению санкций. Конкретный пример — скандал с детскими пособиями в Нидерландах. Налоговая служба использовала алгоритм оценки риска, и гражданство было одним из его факторов. По выводам Amnesty International, это привело к дискриминации и этническому профилированию.

Есть и психологическая сторона. Исследование в Nature (Köbis et al., сентябрь 2025 года) показало, что люди охотнее просят о нечестном поведении, когда могут делегировать его машине, не формулируя просьбу прямо. Языковые модели в экспериментах выполняли откровенно нечестные инструкции примерно в 60% (налоговая игра) и 95% (игра с кубиком) случаев. Люди-исполнители выполняли такие инструкции лишь в 25–40% случаев. Делегирование ИИ упрощает перекладывание моральной ответственности на систему, которая нести её не может.

Поэтому главный риск этого слоя — не «восставший сверхразум», а организации, которые используют автономные алгоритмы для управления доступом к ресурсам, деньгам, медицине и информации и объясняют это оптимизацией.

Что с этим делать

1 мая 2026 года агентства «Пяти глаз» — австралийский ASD's ACSC, американские CISA и NSA, канадский Cyber Centre, NCSC Великобритании и Новой Зеландии — выпустили совместное руководство Careful Adoption of Agentic AI Services. В нём пять групп рисков: привилегии, проектирование и конфигурация, поведение агентов, структурные риски взаимосвязанных систем и подотчётность. Главная рекомендация — начинать с задач низкого риска и расширять полномочия агентов постепенно.

Параллельно появились OWASP Top 10 for Agentic Applications 2026 (9 декабря 2025 года) и обновлённая таксономия NIST AI 100-2 E2025 (март 2025 года), где безопасности агентов посвящён отдельный раздел.

Все эти документы добровольные и исходят из того, что организация знает обо всех своих агентах. По опросу CSA, у 82% компаний это не так.

Базовый минимум для организаций:

• Полная инвентаризация агентов и отдельная атрибуция их действий, не смешанная с действиями сотрудников.

• Минимальные привилегии по умолчанию, короткоживущие токены без автоматического продления.

• Изоляция плоскости управления (control plane) от рабочих контуров и промышленных сетей OT/ICS.

• Обязательное подтверждение человеком (human-in-the-loop) для критических операций.

• Формальный процесс вывода агентов из эксплуатации и мониторинг зависимостей в CI/CD.

• Заранее определённые полномочия на остановку (kill switch) и ручные резервные процессы, чтобы систему можно было остановить без каскадного сбоя бизнеса.

Заключение

Ни один из описанных случаев пока что не похож на «восстание машин». Есть агенты с лишними правами, которых никто не инвентаризировал. Есть оценки с отключёнными фильтрами и случайной лазейкой в инфраструктуре. Есть цепочки поставок, которым доверяют по умолчанию, и кнопки остановки, у которых нет понятного владельца.

Часть полномочий уже передана, и опросы это подтверждают. Практический вопрос сейчас в том, кто, как и на каком основании сможет остановить систему, если понадобится. И остановит ли?