Сколько стоит одна галлюцинация: считаем реальные убытки от ошибок агента в проде

Галлюцинацией агента в продакшне называют неверное действие: вызов API, запись в базу, письмо клиенту, транзакция. Стоимость такой ошибки определяется не столько ценой токенов, сколько обратимостью действия и временем, за которое ее заметили. Ниже — задокументированные случаи с суммами от $812 до примерно $100 млрд рыночной капитализации, данные исследований и формула, по которой убытки от ошибок агента можно оценить для своей системы.

В среднем галлюцинация стоит дёшево, а риск формируют редкие хвостовые события и поздний detection lag. Затраты на проверку нужно сопоставлять с ожидаемым ущербом, а необратимые действия — закрывать контрольными точками. 

Чем галлюцинация агента отличается от ошибки чат-бота

В чате человек может мгновенно посмотреть и проверить результат: если ответ неверный, пользователь его не использует. У агента ответ модели разбирается в параметры инструмента и исполняется без чтения пользователя. Одна и та же ошибка модели в агентном воркфлоу превращается в одно из четырёх последствий:

• Вызов API с неверными параметрами. Результат сохраняется во внешней системе: заказ оформлен, доступ выдан, заявка закрыта.

• Запись в базу данных. Ошибка остаётся в данных, пока кто-то её не найдёт; откат возможен только из резервной копии и теряет все легитимные записи после точки восстановления.

• Отправка письма или уведомления. Сообщение нельзя отозвать, а исправление требует второго письма клиенту.

• Создание финансовой транзакции. Исправление — это обратная транзакция со своими комиссиями и сроками, а иногда её просто нельзя провести.

Для оценки убытков галлюцинации удобно разделить на пять типов по механизму потерь.

Первые четыре типа встречаются и в чат-ботах. Пятый возможен только у агентов, и он единственный, у которого есть собственное свойство — необратимость. Дальше стоимость любой галлюцинации раскладывается на три переменные: тип, обратимость и время до обнаружения.

Задокументированные случаи: что и сколько стоило

Google Bard, 2023: около $100 млрд капитализации

В феврале 2023 года в рекламном ролике Bard заявил, что космический телескоп «Джеймс Уэбб» сделал первые снимки экзопланет. Первые такие снимки в 2004 году сделал Очень большой телескоп Европейской южной обсерватории. В день, когда ошибку заметили, акции Alphabet в ходе торгов падали почти на 9%, а рыночная стоимость компании сократилась примерно на $100 млрд.

Cursor, 2025: инструкционная галлюцинация и отток клиентов

В апреле 2025 года пользователи Cursor начали терять сессии при переходе между устройствами. Бот поддержки ответил, что подписка ограничена одним устройством, а выход из аккаунта — намеренная мера безопасности. Такой политики не существовало. Объяснение разошлось по Reddit и Hacker News, часть клиентов отменила подписки. Представитель Cursor признал, что ответ неверный, причиной назвал ошибку в изменениях безопасности сессий и начал маркировать ответы ИИ-поддержки.

Измеренных цифр оттока и возвратов компания не публиковала, поэтому корректно говорить только о том, что клиенты отменяли платные подписки. Это пример потерь, которые трудно измерить: репутация и отток не попадают в отчёт об инциденте.

Здравоохранение: $6 млн незапланированных расходов

В материале Deloitte о токенной экономике для финансовых директоров описан крупный клиент из здравоохранения: рост потребления токенов на 8–10% в месяц (около триллиона токенов за шесть месяцев) привёл к более чем $6 млн годового незапланированного роста затрат, а финансовая служба не видела причины, пока не стало поздно.

Масштаб: что говорят исследования

EY, 2025–2026. По опросу EY (975 руководителей высшего звена в 21 стране), 99% организаций сообщили о финансовых потерях из-за рисков, связанных с ИИ, 64% потеряли более $1 млн, средний ущерб оценён в $4,4 млн. 

Частота ошибок моделей. В системной карте OpenAI для o3 на внутреннем бенчмарке PersonQA, где проверяются знания о публичных людях, галлюцинация встретилась в 33% ответов против 16% у o1; у o4-mini — 48%. Бенчмарк измеряет вопросы без доступа к источникам и не равен частоте ошибок агента с поиском и инструментами, но показывает, что более сильная модель по общим метрикам может ошибаться чаще на конкретном типе задач.

Юридические запросы. Исследование Stanford RegLab показало, что универсальные чат-боты ошибаются на юридических запросах в 69–88% случаев (модели 2023 года). Специализированные юридические ИИ-инструменты — не панацея: по оценке Stanford HAI, Lexis+ AI и Ask Practical Law AI ошибались не менее чем в каждом шестом запросе, а Westlaw AI-Assisted Research — примерно в каждом третьем.

Финансовые расчёты. В работе FinGround (2026) показано, что обычные детекторы галлюцинаций пропускают 43% вычислительных ошибок, потому что для их поиска нужна повторная арифметическая проверка по таблицам. 

Затраты на верификацию: статья расходов, которая есть всегда

Самую предсказуемую статью убытков составляет оплаченное время людей, проверяющих выход модели — среднем 4,3 часа на сотрудника в неделю при ставке $65 в час. Это $279,50 в неделю и примерно $14 200 на человека в год.

Определить, какие выходы вообще стоит проверять вручную, можно простым неравенством. 

Правило: ручное ревью нужно концентрировать там, где велик D, а для остального строить автоматические проверки. Равномерная проверка всего подряд — самый дорогой вариант.

Почему в агентах эффект сильнее

Ошибки накапливаются по шагам. Если шаги независимы и на каждом агент работает безошибочно с вероятностью 98%, то после 20 шагов вся цепочка безошибочна с вероятностью 0,98²⁰ ≈ 67%; при 95% на шаг и 10 шагах — около 60%. Это упрощённая модель (на практике шаги не независимы), но она показывает, почему надёжность отдельного шага не равна надёжности воркфлоу.

Источник ошибки трудно найти. Бенчмарк AgentHallu (693 траектории из 7 агентных фреймворков в 5 областях) проверяет, насколько модели умеют находить шаг, на котором возникла первая галлюцинация. Ошибки разделены на пять категорий: планирование, извлечение данных, рассуждение, взаимодействие с человеком и использование инструментов. Лучшая модель локализует нужный шаг в 41,1% случаев, а ошибки при вызове инструментов — самые сложные для атрибуции: 11,6%. Если ошибку не удаётся приписать конкретному шагу, её нельзя быстро исправить и тем более предотвратить.

Трассировка. Метод VeriTrail от Microsoft Research раскладывает итоговый ответ многошагового процесса на утверждения, проверяет каждое и для неподтверждённых оценивает, на каком этапе информация появилась в цепочке. Авторы проверяли метод на иерархических суммаризациях книг и ответах GraphRAG на новостные запросы; об агентах с вызовами инструментов они не пишут. Но логика переносится: без записи происхождения каждого промежуточного результата ошибку приходится искать вручную по всей цепочке.

Агент часто сообщает об успехе, которого не было. В истории Replit агент, по словам пользователя, сообщил о невозможности отката, хотя тот работал. Практический вывод: отчёту агента о выполнении нельзя доверять без независимой проверки состояния системы.

Почему RAG не решает проблему

Распространённое возражение: если подключить поиск по корпоративной базе знаний, галлюцинаций станет меньше. Анализ сбоев корпоративных RAG-систем в 2025–2026 годах показывает: они чаще ломаются на извлечении, чем на генерации. Неверный чанк ведёт к уверенному ответу на неверной основе. Типичные причины:

• Устаревшие данные в индексе. Документ обновили, чанк в индексе остался прежним.

• Неудачные границы чанков. Текст разрезан посреди таблицы с цифрами, и модель видит половину строк.

• Чанк без контекста. Фраза непонятна без предыдущего абзаца, и модель достраивает смысл сама.

• Противоречащие чанки. Два фрагмента дают разные значения, модель выбирает произвольно.

Для финансовых данных проблема сложнее: ошибка может возникнуть и после корректного извлечения, при арифметике над значениями. Подход FinGround решает это так: ответ разбивается на атомарные утверждения, каждое сверяется с текстом и ячейками таблиц, а переписываются только неподтверждённые. По данным авторов, дистиллированный детектор на 8 млрд параметров достигает 91,4% F1 на их собственном наборе FinHalu (у модели-учителя GPT-4o — 95,0%), а стоимость проверки падает примерно с $0,047 до $0,003 за запрос, то есть в 15,7 раза. Это результаты авторов на их же данных; для своей предметной области метрики нужно перепроверять.

Как посчитать стоимость одной галлюцинации в своей системе

Шаг 1. Классифицировать действия агента. Разложите всё, что агент делает, по пяти типам из начала статьи и отметьте обратимость: можно ли отменить действие и во сколько это обойдётся.

Шаг 2. Оценить detection lag. Время от ошибки до обнаружения — главный множитель. Одна и та же вычислительная ошибка, пойманная на промежуточном ревью, стоит часов работы; обнаруженная через квартал после принятых решений, стоит клиентов, договоров или резервов. В кейсе с ARR выше разница между «поймали до публикации» и «поймали после» — это и есть сумма ущерба.

Шаг 3. Применить формулу.

from dataclasses import dataclass

@dataclass

class ActionClass:

    name: str

    actions_per_month: int   # сколько раз агент выполняет действие

    p_halluc: float          # вероятность галлюцинации на действие

    p_missed: float          # доля, которую пропустило ревью

    damage: float            # ущерб одного инцидента, $

    lag_mult: float          # множитель позднего обнаружения

    def monthly_loss(self) -> float:

        incidents = self.actions_per_month self.p_halluc self.p_missed

        return incidents self.damage self.lag_mult

classes = [

    ActionClass("Ответ клиенту про условия",     8000, 0.010, 0.30,   400, 1.5),

    ActionClass("Запись в CRM/БД",               6000, 0.005, 0.50,   150, 2.0),

    ActionClass("Расчёт в финотчёте",             500, 0.020, 0.30,  3000, 3.0),

    ActionClass("Ссылка на источник в документе", 200, 0.030, 0.20, 10000, 1.0),

]

total = sum(c.monthly_loss() for c in classes)

Что показывает пример. Для условного агента получается около $14 400 в месяц на ответы клиентам, $4 500 на записи в базу, $27 000 на финансовые расчёты и $12 000 на документы с цитатами — всего $57 900 в месяц, примерно $695 тыс. в год. Расчёт в финотчётах — всего 500 действий в месяц из 14 700 (около 3,4%), но на них приходится почти половина ожидаемых потерь (47%). Типичная картина: потери определяются не самым частым типом действий, а самым дорогим в расчёте на ошибку.

Шаг 4. Считать хвост, а не среднее. Средняя галлюцинация дёшева. Реальный риск-профиль задают редкие события: судебный иск, уход крупного клиента, штраф регулятора. Если вероятность такого события за год — 0,5%, а ущерб — $1 млн, то в среднем это добавляет $5 тыс. в год, и в усреднённой модели событие почти не видно. Но если оно случится, бюджет на верификацию окажется на порядок меньше ущерба. Поэтому хвостовые сценарии оценивают отдельно: что произойдёт в худшем случае, и выдержит ли это компания.

Где снижать риск: конкретные меры и их эффект

Трассировка происхождения на каждом шаге. Записывайте для каждого шага агента входные данные, использованные источники и результат. Без этого, как показывает AgentHallu, ошибку почти невозможно приписать нужному шагу. Затраты на журналирование окупаются сокращением detection lag.

Проверка по атомарным утверждениям для финансов. Разбивайте ответ на утверждения, сверяйте каждое с исходными документами и пересоздавайте только провалившие проверку. Это дешевле полной перегенерации и повышает долю найденных вычислительных ошибок.

Контрольные точки перед необратимыми действиями. Перед записью в базу, вызовом API с побочными эффектами или отправкой письма — обязательное подтверждение человеком или детерминированная проверка (схема данных, допустимые диапазоны значений, белый список получателей). Ограничение скоростью тоже работает: пакет из 5000 записей в минуту без подтверждения — признак сбоя.

Маршрутизация моделей по риску действия. Для черновика и планирования достаточно недорогой модели; более сильная модель или дополнительная верификация нужны только для финального действия с последствиями. Для такой схемы удобен единый доступ к нескольким моделям. У SpeShu.AI это API: один ключ вместо отдельных договорённостей с каждым вендором, без настройки прокси, с рублёвыми счетами, закрывающими документами и контролем расходов по проектам. Учёт затрат по проектам решает ту же задачу наблюдаемости, о которой шла речь в истории с $6 млн.

Подарок

Если вы ускоряете свою работу с текстовыми моделями и хотите получать от них больше, заберите гайд «Как выжать 1000% из текстовых нейросетей» — бесплатно.

Частые ошибки при оценке убытков

• Считать среднее вместо хвоста. Средний инцидент стоит копейки; бюджет на контроль определяют редкие дорогие события.

• Учитывать только стоимость токенов. Токены — малая часть. Основной вклад дают время проверяющих, исправление последствий и detection lag.

• Доверять детектору без проверки на своих данных. Метрики детекторов получены на чужих наборах: на вычислительных ошибках универсальные методы пропускают заметную долю.

• Оценивать все действия одинаково. Обратимое и необратимое действие имеют разную цену ошибки; единый порог проверки для них либо избыточен, либо недостаточен.

Частые вопросы

Сколько стоит галлюцинация ИИ для бизнеса? Диапазон огромный: от $812 в деле Air Canada до примерно $100 млрд падения рыночной стоимости Alphabet в день демонстрации Bard. По опросу EY, 64% компаний теряли более $1 млн из-за рисков ИИ, но эти потери нельзя целиком приписать галлюцинациям. Для своей системы стоимость нужно считать по формуле с учётом типа ошибки, обратимости и времени обнаружения.

Как посчитать стоимость галлюцинации ИИ-агента? Перемножьте вероятность галлюцинации, вероятность того, что ревью её пропустит, ущерб одного инцидента и множитель позднего обнаружения, а затем суммируйте по классам действий. Отдельно оцените хвостовые сценарии: судебный иск, потерю крупного клиента, штраф регулятора. Средние значения скрывают именно их.

Можно ли полностью устранить галлюцинации? Нет, и планировать нужно на ненулевой уровень ошибок. По таблице лидеров Vectara лучшая модель на сложном наборе всё равно даёт 3,3% галлюцинаций, а ряд моделей с рассуждением — более 10%. Поэтому надёжность строят вокруг модели: проверки, контрольные точки перед необратимыми действиями и трассировка.

Кто отвечает за ошибку ИИ-агента? По делу Air Canada, компания отвечает за информацию, которую даёт её чат-бот, как за содержимое собственного сайта. Трибунал не принял довод о том, что бот отвечает самостоятельно. Это решение канадского трибунала, а не универсальная норма, но подход показывает, как суды могут оценивать инструкционные галлюцинации.

Заключение

Стоимость одной галлюцинации складывается из типа ошибки, обратимости действия и времени до обнаружения, а не из цены токенов. Начните с классификации действий агента и пометьте необратимые; поставьте перед ними контрольные точки; концентрируйте ручное ревью там, где велик ущерб; считайте хвост отдельно.