Почему AI-агент не цифровой сотрудник

Привет, Хабр! На связи Алексей Лапунов из департамента информационной безопасности и системного администрирования ТЕХНОНИКОЛЬ Диджитал.

В прошлый раз мы разбирали, как анализировать сложные проблемы: почему важно не хвататься за первое попавшееся решение, а декомпозировать проблему и находить точки изменений.

Сегодня предлагаю посмотреть на AI-агента как на новый тип исполнителя: чем он отличается от человека и обычной автоматизации, почему способности выполнять работу недостаточно, чтобы называть его цифровым сотрудником, и какие механизмы управления нужны вокруг него.

Почему зрелый контроль агентов не спасает от откатов

В 2026 году компания Sinch опросила 2 527 руководителей о внедрении AI-агентов в клиентских коммуникациях. Среди компаний, где агенты уже работали в продуктиве, 74% хотя бы раз откатывали или закрывали запущенного агента из-за проблем с управлением. Среди тех, кто считал свои механизмы контроля зрелыми, доля оказалась ещё выше — 81%.

Авторы исследования объясняют это развитым мониторингом: зрелые компании раньше замечают то, чего другие ещё не видят.

Объяснение правдоподобное. Мониторинг отвечает на вопрос, как обнаружить нежелательное поведение. Но он ничего не говорит о том, почему оно вообще стало нежелательным и почему ответом стал откат, а не исправление. Вернусь к этим цифрам позже, когда у нас появится объяснение.

Агент делает выбор

Идея цифровой рабочей силы появилась задолго до AI-агентов. RPA тоже должна была забрать у людей повторяющуюся офисную работу.

Но RPA автоматизировала только те процессы, где необходимый выбор удавалось заранее закрепить в коде, настройках и логике конкретной реализации. При неизменности условий этот выбор не определялся заново при каждом запуске.

Агент устроен иначе: он интерпретирует ситуацию и выбирает способ действия во время работы. Именно это позволяет передавать AI задачи, которые раньше оставались человеку из-за необходимости интерпретации и суждения. И у этой же способности есть обратная сторона: то, что организация не закрыла явно, становится доступным вариантом действия.

Что организация получает вместе с человеком

При управлении работой организация опирается на несколько вещей: кому поручить работу и как подготовить, какие нормы он разделяет, что ему разрешено, какой результат нужен и что следует за его оценкой. Часть из них компания формулирует сама. Часть получает вместе с человеком в готовом виде, и создавать дополнительные механизмы не требуется.

Способности исполнителя организация оценивает до начала работы: проводит тщательный отбор, проверяет знания, квалификацию и диплом. Часть норм сотрудник приносит с профессией, а часть усваивает уже внутри компании, подстраиваясь под устоявшиеся правила и культуру. Оперативная коррекция часто происходит устно и фиксируется в протоколах встреч. Если же возникает прецедент, организация выпускает регламент, приказ или ЛНА. Но ключевое отличие человека в том, что он способен понимать не только слова, но и контекст этих правил, как устных договорённостей, так и письменных.

Часть границ не строят вообще. Их задают не правила, а ограничения исполнителя: отсутствие знаний, инструментов или доступа. Сотрудник знает только штатный интерфейс системы, поэтому других путей к данным для него не существует и запрещать их незачем. Агенту дают другой набор инструментов, и он может найти неприемлемый путь. Ограничение, достаточное для человека, для цифрового исполнителя не действует, хотя формально его никто не менял.

Требования к результату организация формулирует сама. А вот связь оценки с последствиями для сотрудника — вознаграждением, полномочиями, репутацией — работает без отдельного механизма и влияет на выбор ещё до того, как результат получен. У агента такого регулятора нет. Сообщить ему, почему не устраивает результат работы, не то же самое, что изменить следующее исполнение. Поэтому эти предохранители приходится замещать внешними правилами.

В итоге цифровой сотрудник — это агент, вокруг которого построены механизмы управления работой: и те, что приходят вместе с человеком по умолчанию, и те, которые организация создаёт дополнительно.

Чем заменить недостающие опоры

Недостающие опоры собираются из трёх средств.

Детерминированное ограничение. Система не позволяет выполнить действие за пределами полномочий, изменить недопустимое состояние или перейти дальше без обязательного условия. Работает только там, где границу уже знают и явно закрыли.

Проверка исполнения. Проверять приходится и результат, и способ: правильный результат можно получить недопустимым путём. Для оценки результата нужны критерии и независимое основание для сравнения. Для проверки способа — сохранённый след того, что происходило во время работы.

Решение человека — там, где действие создаёт обязательство или риск, который организация не готова передать цифровому исполнителю. Настраивается порогом: выше какого уровня риска исполнение останавливается и решение переходит к человеку.

Сколько контроля нужно

Всё зависит от двух свойств работы: сколько стоит проверить исполнение и насколько обратимы последствия ошибки.

Там, где проверка дешёвая, а ошибку можно безболезненно устранить, внешняя опора почти не нужна: достаточно проверить результат, ошибку откатить, а вариативность оставить агенту. В разработке ПО у агента есть тесты, компиляция и откат коммита — дешёвая и быстрая проверка, встроенная в процесс задолго до AI. Отсюда ощущение, что инструменты для агентов уже созданы, хотя они существуют только для подобного класса задач.

Чем дороже проверка и критичнее последствия, тем больше ограничений приходится обеспечивать до совершения действия. Юридический документ, письмо, создающее обязательство, аналитический отчёт для принятия решения — здесь проверка стоит дорого при высокой цене ошибки. Отдельные механизмы для этого есть: управляемый контекст, ограничение доступных агенту инструментов и полномочий, трассировка исполнения, шлюз подтверждения человеком перед необратимым действием. Но сами по себе они не определяют, какие ограничения, критерии и пороги нужны конкретной работе.

Проектирование границ и определение критериев до начала работы — это цена, которую приходится платить. И тут возможны перекосы. Границ мало — значимая вариативность остаётся внутри выбора агента, и стоимость управления смещается в проверку каждого исполнения. Границ много — отбрасываются полезные решения, а агент превращается в дорогой способ выполнить заранее известный алгоритм.

Почему агента приходится откатывать, а не корректировать

Вернёмся к данным Sinch. Зрелый мониторинг объясняет, почему проблема обнаруживается раньше. Но остаётся другой вопрос: почему её приходится решать откатом, а не настройкой работающего агента?

Правдоподобное объяснение в том, что для коррекции недостаточно знать, что агент ошибся. Нужно понимать, какую часть системы исполнения менять: ограничение, критерий проверки или порог эскалации. Если готовых настраиваемых механизмов заранее не создано, то и быстро скорректировать нечего.

Откат становится способом остановить исполнение до тех пор, пока такой механизм не будет создан.

Что нужно, чтобы агент стал цифровым сотрудником

Способность автономно выполнять задачи — свойство агента. Цифровой сотрудник — это конструкция вокруг него: агент плюс механизмы ограничения, проверки исполнения и передачи решения человеку, собранные под конкретную задачу.

Для некоторых классов задач значительная часть такой конструкции уже существует. Например, в разработке есть тесты, компиляция, контроль версий и откат. Агент встраивается в уже существующий контур проверки, поэтому здесь путь к цифровому сотруднику сравнительно короткий.

С бизнес-задачами сложнее. Необходимые правила и ограничения определяются спецификой конкретной организации и часто отсутствуют в готовом виде. Получить их вместе с моделью, платформой или агентным фреймворком нельзя. Технология может реализовать ограничения и проверки, но не определить их содержание за организацию.

Поэтому организации придётся извлекать недостающую часть конструкции из работы.

С чего начать

Начинать можно уже на первом пилоте: определить полномочия и обязательные условия, критерии приёмки и независимые основания для проверки, требования к следу исполнения, порог передачи решения человеку. Всё это не зависит от платформы и переживёт смену модели, вендора и инструмента.

Для этого можно использовать список вопросов, на которые стоит ответить до запуска агента, а не после первого инцидента. Ответы на них и образуют организационную часть конструкции: то, что не купить вместе с платформой. Глубина ответов определяется теми же двумя свойствами работы: стоимостью проверки исполнения и обратимостью последствий ошибки. Там, где проверка дешёвая, а ошибку можно откатить, достаточно коротких ответов, и часть механизмов не понадобится. Чем дороже проверка и необратимее последствия, тем больше должно быть определено до запуска.

• Какие решения агент принимает самостоятельно?

• Какие действия должны быть технически невозможны независимо от его выбора?

• По каким критериям принимается результат и откуда берутся основания для проверки?

• Нужно ли проверять только результат или также способ его получения?

• Какой след исполнения должен сохраняться?

• Перед какими действиями обязательно решение человека?

• Можно ли исправить выявленное отклонение настройкой существующих механизмов или потребуется пересобирать агента?

• Какие из этих механизмов сохранятся при смене модели, среды исполнения (harness) или платформы?

Источник данных Sinch:

Sinch, «Sinch research reveals 74% of enterprises have rolled back live AI customer communications agents», пресс-релиз, 13 мая 2026: sinch.com/news/sinch-releases-ai-production-paradox