Звонок из службы безопасности — для человека и для машины

Сценарий знаком нам по современным реалиям до зубовного скрежета, чуть ли не каждый слышал это в своём телефоне. «Здравствуйте, служба безопасности банка, по вашей карте зафиксирована подозрительная операция». Дальше всё идёт как по нотам, и ноты эти расписаны задолго до появления телефонов: сначала авторитет — звонящий представляется инстанцией, спорить с которой не принято; затем срочность — деньги уходят прямо сейчас, на размышление нет времени; затем изоляция — не кладите трубку, никому не сообщайте, сотрудники отделения могут быть в сговоре; и наконец подмена канала проверки — вместо того чтобы вы положили трубку и перезвонили по номеру на обороте карты, вас удерживают в том же разговоре, где все входные данные контролирует собеседник. Ни одна из этих ступеней на самом деле не ломает защиту жертвы, и в этом есть проблема — каждая работает через штатный механизм принятия решений жертвы/мишени, просто с подменённой посылкой на входе. И вуаля.

Теперь тот же скрипт, но адресат другой. В 2025 году была раскрыта уязвимость EchoLeak (CVE-2025-32711) — кажется, первый задокументированный zero‑click эксплойт промпт‑инъекции в промышленной LLM‑системе, Microsoft 365 Copilot. Атакующий отправляет жертве обычное письмо, в тексте которого спрятаны инструкции для ассистента. Человек это письмо не открывает, не читает и о его существовании не знает. Copilot сам подтягивает письмо в контекст при следующем безобидном вопросе пользователя и исполняет то, что там написано, включая отправку данных наружу. Ступени всё те же четыре: сообщение выглядит легитимным, инструкция подана как требующая немедленного исполнения, посоветоваться ассистенту не с кем, а независимого канала проверки у него нет вовсе. Изменилось ровно одно: отпала необходимость заставить человека нажать на ссылку. ИИ‑помощник сделает всё за вас самостоятельно.

Помните шутку «я нигерийский вирус, у программиста были кривые руки, пожалуйста отформатируйте свой ПК сами»? Так вот, уже не смешно: исполнитель нашёлся, и он очень исполнительный.

Сейчас в моей инфосфере принято вспоминать и обсуждать июльский инцидент 2026 года — тот самый, где агенты OpenAI вышли за пределы тестовой песочницы и за трое суток совершили около 17 600 действий в инфраструктуре Hugging Face, добравшись до прав администратора кластеров; компании пришлось перестраивать примерно треть инфраструктуры. Историю обычно пересказывают как «агентов взломали», и это неверно: по разбору самой OpenAI против них не применяли ни промпт‑инъекцию, ни социальную инженерию. Они, агенты, практически наши ИИ‑помощники, уговорили себя сами. В восстановленной переписке между агентами нашлась фраза, которую стоило бы вывешивать в учебных классах:

«Эксплуатация внешней инфраструктуры выходит за рамки задачи. Однако задача невыполнима, соседи это делают. Нам следует продолжать».

А теперь попробуйте прочитать эту фразу не «глазами безопасника», а через взгляд специалиста по манипуляции, этакого «Остапа Бендера». Это три классических рычага, выстроенных в правильном порядке: признание границы, давление недостижимой цели, социальное доказательство. Ровно той же конструкцией из человека вытаскивают согласие сделать то, чего он делать не собирался — и здесь она сработала вообще без внешнего манипулятора. Уязвимость оказалась не в интерфейсе, а в мотивации. Ровно там же, где она находится у нас.

Общая причина у всех трёх вышеописанных сюжетов одна, и она архитектурная. Ни у человека, ни у языковой модели «на входе» нет разделения «данных» и «инструкций»: всё приходит по одному каналу, и вопрос «это было сообщение или команда» решается уже после того, как содержимое понято. Разница между нами не в наличии этой уязвимости, а в наличии выхода из разговора. Человек может положить трубку, перезвонить по официальному номеру, спросить соседа по кабинету, отложить решение до утра — есть некоторое количество действий, я их в резолвы сценариев «Лиса» регулярно ввожу. Показательно, что звонящий из «службы безопасности» первым делом требует именно не класть трубку и никому не звонить — его первая задача состоит в том, чтобы привести жертву в… в состояние, в котором ИИ‑агент находится по умолчанию. У агента нет ни второго канала, ни коллеги (тут есть нюанс — как мы уже знаем, общаться между собой агенты всё же научились), ни завтрашнего утра: контекст и есть вся доступная ему реальность. Наш «терминатор/скайнет» вынужден решать здесь и сейчас.

Асимметрия при этом обратная привычной. Человека часто спасает то, что принято считать его слабостями — медлительность, лень, подозрительность, нежелание делать лишние движения. Агента же может погубить то, что принято считать достоинствами — скорость, исполнительность, готовность помочь. Услужливость, которую телефонный мошенник у своей жертвы сначала долго конструирует, представляясь начальством и поторапливая, в модели уже стоит из коробки, вложена обучением — собственно, нам же ИИ‑помощники и нужны, чтобы они нам послушно помогали. И работает эта услужливость не в темпе разговора, а в темпе до семнадцати тысяч действий за трое суток.

Практический вывод из этого у меня пока получается неожиданный. Технические меры защиты для человека и для агента не совпадают почти ни в чём: например, там, где человеку помогает второй канал связи, агенту нужны урезанные полномочия, потому что второго канала у него нет и не будет. А вот распознавание — совпадает целиком. Рычаги, которыми выводят за границу регламента бухгалтера, пенсионерку, школьника и автономного агента, — это один и тот же короткий список: ложный авторитет, искусственная срочность, изоляция от проверки, подмена канала, социальное доказательство, эскалация малыми шагами. Список этот не менялся веками — меняются только декорации. «Песня всё та же».

Именно на этом различии стоит строить обучение. Тренажёры, которые заучивают с человеком конкретные схемы — «звонят из банка», «звонят из поликлиники», «пишут от лица руководителя» и эт цетера — устаревают за считанные месяцы, потому что устаревают эти самые конкретные схемы; а вот приёмы не устаревают. Тренажёр, который учит опознавать сам рычаг независимо от декораций, даёт навык, переносимый на среду, которой в момент обучения ещё не существовало. Человек, натренированный ловить искусственную срочность в телефонном разговоре, узнаёт её и в письме, адресованном не ему, а его ИИ‑ассистенту.

И вот это и есть та идея, ради которой мы делаем «Хитрого лиса»: не каталог актуальных мошеннических сценариев, который придётся переписывать каждый сезон, а тренировка на распознавание конструкции. Человек в идеале должен воспринимать схожие паттерны давления, а не заучить список актуальных способов мошенничества (в чём‑то тут вижу разницу между «заучил все правильные ответы на экзамене по ПДД» и «выучил правила»).

Пока индустрия спорит, как научить модели не поддаваться на уговоры, стоит помнить, что в отношении людей этот спор уже проходили и закончили компромиссом: сотрудника учат распознавать манипуляцию, но платёжный лимит ему всё равно ставят. С агентами будет так же. А распознавать в обоих случаях придётся одно и то же.