Доверяй, но проверяй: как не пропустить ошибки ИИ-ассистента

Когда ответ ИИ звучит уверенно и профессионально, его хочется сразу принять как руководство к действию. Но иногда мы не учитываем, что за безупречной формулировкой может прятаться «фантазия» искусственного интеллекта. Не потому что он плохой, а потому что ему «скормили» неправильные данные.

Бывает так: сотрудник спрашивает, может ли он самостоятельно согласовать отгрузку по счёту. Ассистент находит подходящий регламент и отвечает утвердительно. Всё выглядит убедительно, но в документе есть сноска к приложению с исключениями, которые ИИ не смог связать. Сотрудник тоже это не заметил и в итоге товар на большую сумму без подтверждения финотдела отгрузили клиенту из стоп-листа.

Такие ситуации встречаются довольно часто и приводят к неприятным последствиям. Причин несколько: от неправильной подготовки документов для базы знаний до банальной человеческой психологии. В статье разберем почему AI-ассистенты ошибаются и как научить сотрудников фильтровать их ответы.

Почему люди слепо верят ИИ?

Чем чаще человек получает от нейросети правильные ответы, тем меньше у него поводов сомневаться. Постепенно проверка становится чем-то необязательным: зачем открывать документы, если ассистент уже всё объяснил?

В психологии даже есть термин – automation bias – склонность чрезмерно доверять алгоритмам ИИ. Это происходит по нескольким причинам:

• Убедительная подача. Нейросеть формулирует ответы уверенно, использует профессиональные термины, раскладывает рекомендации по пунктам. Даже ошибочный текст может выглядеть как инструкция опытного специалиста.

• Экономия времени. Сотрудник обращается к ИИ, чтобы не тратить время на поиск информации. Поэтому желание перепроверить готовый ответ возникает далеко не всегда. Особенно когда нужно срочно решить несколько задач.

• Привычка. Если ассистент регулярно помогает в работе, человек перестаёт замечать, что перед ним не эксперт, а система, которая тоже допускает ошибки.

• Недостаток опыта. Новичку сложнее распознать неточность. Он может не знать об исключениях из правил или недавних изменениях регламента.

Эту проблему изучали исследователи Microsoft Research и Университета Карнеги – Меллона. В исследовании 2025 года они опросили 319 специалистов, использующих генеративный ИИ в работе, и рассмотрели 936 примеров его применения.

Обнаружилась интересная связь: чем выше сотрудники оценивали надёжность ИИ, тем меньше усилий, по их собственным словам, они тратили на критическую оценку ответов. А люди, уверенные в своих профессиональных знаниях, чаще проверяли полученную информацию.

Исследование не доказывает, что нейросети делают людей менее внимательными. Но показывает, как меняется отношение к проверке информации, когда рядом всегда есть удобный помощник.

Какие ошибки корпоративного ИИ остаются незамеченными

Когда говорят об ошибках нейросетей, обычно вспоминают галлюцинации. Модель может выдумать несуществующий документ, правило или факт и представить их как достоверную информацию.

Однако в корпоративной среде чаще всего опасны не очевидные фантазии, а вполне правдоподобные ответы. В них могут присутствовать реальные факты, ссылки на документы и правильно изложенные положения регламентов. Ошибка скрывается в деталях.

Устаревшая информация. Компания изменила порядок возврата товаров, но прежняя инструкция осталась в базе знаний. Ассистент находит её и сообщает сотруднику уже недействующие правила.

Неправильный контекст. В компании существуют разные процедуры оформления доступа для штатных сотрудников и подрядчиков. ИИ выбирает инструкцию для первой категории, хотя вопрос касается второй.

Пропущенные условия. Согласно регламенту, руководитель может самостоятельно согласовать закупку до определённой суммы. Но для специализированного оборудования предусмотрено исключение. Ассистент сообщает основное правило, не упоминая дополнительное согласование.

Неверная интерпретация. Бывает так: система находит нужный документ, но трактует его не совсем верно – например, берёт одно правило и «подтягивает» к нему условие из другого случая. В итоге получается вроде бы логичная инструкция, а на деле она смешивает разные ситуации. Сотрудник видит чёткую рекомендацию и действует по ней, даже не догадываясь, что пункты не должны работать вместе.

Недостаток исходных данных. Допустим, сотрудник спрашивает, какие документы нужны для оформления командировки. При этом не уточняет, куда направляется и на какой срок. Ассистент может выдать стандартный перечень, хотя в конкретном случае действуют дополнительные требования.

Иногда правильнее было бы задать уточняющий вопрос. Однако нейросеть может выбрать наиболее вероятный вариант и ответить так, будто все обстоятельства ей известны.

Эксперты OWASP относят недостоверную информацию к существенным рискам приложений на основе языковых моделей. Среди факторов, которые усиливают последствия ошибок, они отдельно выделяют чрезмерное доверие пользователей.

Получается, важно не только то, насколько часто ошибается ИИ. Не меньшее значение имеет способность человека распознать ошибку до того, как она повлияет на рабочий процесс.

Как RAG и база знаний помогают избежать ошибок

Один из способов повысить достоверность ответов – технология RAG (Retrieval-Augmented Generation). Ассистент ищет информацию в корпоративных документах и использует найденные материалы при подготовке ответа.

Но RAG не гарантирует точность. Если в базе знаний лежат две версии инструкции, система может выбрать устаревшую. А если документ составлен неоднозначно, модель способна неверно истолковать его содержание.

Поэтому важно поддерживать порядок в корпоративных знаниях: назначать ответственных за документы, обновлять регламенты, убирать недействующие версии и устранять противоречия.

В TEAMLY AI ответы формируются на основе корпоративных материалов с учётом прав доступа. Пользователь может ограничить поиск определённым пространством или статьёй, а затем перейти по ссылке к источнику информации.

Это облегчает проверку, но не отменяет её. Даже если ассистент ссылается на реальный документ, стоит убедиться, что он правильно понял правило и применил его к нужной ситуации.

Какие ответы ИИ требуют обязательной проверки

Не нужно сверять с документами каждый ответ – иначе никакой экономии времени не будет. Но есть ситуации, где одной подсказки недостаточно: цена ошибки слишком высока.

Проще всего делить запросы по уровню риска:

• Низкий риск – справочная информация. Например, где лежит шаблон заявления, как оформить доступ, какой срок подачи отчёта. Тут достаточно ответа из базы знаний: последствия ошибки минимальны.

• Средний риск – операционные действия с контролем. Выдать права, создать заявку, согласовать типовой документ. Здесь нужна сверка с актуальным регламентом или подтверждение ответственного: ошибка приведёт к переделке и срыву сроков.

• Высокий риск – решения, влияющие на деньги, безопасность или обязательства перед клиентом. Согласовать платёж, изменить настройки с широкими правами, утвердить финальную версию договора. В таких случаях одной подсказки мало: обязательно требуется согласование по внутренним правилам и проверка экспертом.

Особенно строгий контроль нужен там, где система сама выполняет действия – меняет настройки, создаёт заявки, отправляет уведомления. Чем больше у инструмента полномочий, тем жёстче должны быть процедуры подтверждения.

Как научить сотрудников критически оценивать ответы ИИ

Призыв «не доверяйте нейросети без проверки» вряд ли изменит поведение сотрудников. Гораздо полезнее объяснить, что именно нужно проверять.

Для начала можно предложить пять вопросов, которые стоит задавать себе при работе с ассистентом.

1. Откуда взялась информация? Если ответ содержит ссылку на корпоративный документ, желательно убедиться, что источник действительно подтверждает рекомендацию. Особенно когда речь идёт о новых или незнакомых правилах.

2. Документ ещё действует? Инструкции, тарифы, правила согласования и требования безопасности меняются. Устаревший источник может содержать вполне правильные сведения – но только для прошлого периода.

3. Нет ли исключений? Обращайте внимание на слова‑маркеры: «при условии», «за исключением», «после согласования». Одна пропущенная оговорка может полностью перевернуть смысл инструкции.

4. Подходит ли правило к конкретной ситуации? Правило должно соответствовать ситуации. Учитывайте подразделение и категорию сотрудника: универсальные рекомендации не всегда подходят. Сверяйтесь с актуальным локальным регламентом.

5. Насколько серьёзны последствия ошибки? Если максимум – придётся ещё раз открыть инструкцию, можно действовать по текущей версии. Если на кону деньги, репутация или безопасность – не полагайтесь на одну подсказку: проверьте документ или уточните у эксперта.

Здесь есть важный нюанс. Иногда сотрудники пытаются проверить нейросеть, задавая ей повторный вопрос: «Ты уверен?», «Проверь ещё раз», «Точно ли это правильно?»

Такая проверка ненадёжна. Модель может повторить прежнюю ошибку и даже привести новые аргументы в её пользу.

Лучше попросить показать конкретный пункт регламента, открыть исходный документ и самостоятельно сравнить условия.

Учить критическому отношению к ИИ нужно на рабочих примерах.

Допустим, сотрудникам предлагают три ответа на вопрос о согласовании закупки. Один полностью соответствует регламенту, второй опирается на устаревший документ, третий содержит верные сведения, но пропускает исключение.

Нужно определить, какой ответ можно использовать, где допущена ошибка и к каким последствиям она приведёт. Упражнение помогает развить внимательность к деталям. Особенно полезно проводить такое обучение для новичков: у них ещё нет опыта, позволяющего сразу замечать сомнительные рекомендации.

На платформе Teamly для этого можно создать небольшой курс с примерами ошибочных ответов, практическими заданиями и тестами. Главное – проверять не умение запоминать правила, а способность применять их в конкретной ситуации.

Как организовать проверку ИИ на уровне компании

Даже самый внимательный сотрудник не застрахован от ошибки. Бывает, в базе лежат сразу два документа по одному вопросу – и они друг другу противоречат. А понять, какой из них актуальный, просто некому: никто не назначен ответственным. В такой ситуации любая подсказка будет рискованной – неважно, насколько аккуратно человек ищет.

Поэтому нельзя рассчитывать только на то, что сотрудники сами всё перепроверят. Нужен системный контроль.

Для начала стоит закрепить владельцев знаний: чтобы за каждый тип документов отвечал конкретный отдел или специалист. Их задача – следить, чтобы в базе не было устаревших версий и противоречий, и вовремя исправлять неточности.

Дальше прописывают в каких случаях вопрос переадресовывается эксперту. Это нужно, когда подходящего документа не нашлось, когда источники противоречат друг другу или когда решение требует специальных полномочий.

Сотрудник должен понимать, к кому обратиться. Иначе он продолжит задавать вопросы нейросети, пытаясь добиться ответа, который его устроит.

Не менее важно организовать обратную связь. Допустим, пользователь обнаружил, что ассистент неправильно объяснил порядок оформления возврата. Он сообщает об ошибке ответственному специалисту. Тот проверяет исходный запрос и документы, находит причину и исправляет инструкцию. После этого тот же вопрос нужно задать ассистенту повторно. Если проблема осталась, значит, одного изменения документа оказалось недостаточно и потребуется дополнительная настройка или проверка системы.

Желательно, чтобы подобные случаи не терялись в переписке. Их можно фиксировать в отдельном реестре, в котором прописаны: дата обращения, ошибочный ответ, причина, ответственный, результат исправления.

Отдельный вопрос – разделение ответственности.

IT-специалисты обеспечивают работоспособность ассистента и качество технических настроек. Владельцы знаний отвечают за документы. Руководители устанавливают правила использования ИИ. Сотрудники соблюдают эти правила и сообщают о замеченных ошибках.

Как оценить работу помощника?

Эффективность ассистентов часто оценивают по скорости ответов и количеству обращений, которые удалось автоматизировать.

Но представьте ситуацию: ИИ-помощника внедрили – число обращений в поддержку сократилось на треть. Доказывает ли это, что ИИ помогает сотрудникам самим решать свои вопросы? Не факт. Есть вероятность, что люди просто пользуются его ответами без проверки и ошибаются. А поддержка об этом пока не знает.

Проверить надёжность агента можно только собрав статистику по ответам:

• Точность. Какая доля проверенных ответов соответствует действующим документам? Для оценки можно использовать выборку реальных вопросов сотрудников.

• Критические ошибки. Сколько раз рекомендация из базы знаний могла привести к убыткам, утечке данных или нарушению обязательств? Такие случаи нужно разбирать отдельно: они принципиально отличаются от мелких неточностей вроде опечатки или устаревшего названия формы.

• Корректная передача вопросов экспертам. Понимает ли ассистент, когда информации недостаточно? Не пытается ли отвечать на вопросы, которые должны решать специалисты?

• Скорость исправления. Сколько времени проходит между сообщением об ошибке и устранением её причины?

Полезно собрать перечень тестовых запросов и периодически проверять на них ассистента. В него стоит включить типовые вопросы и сложные случаи: исключения из правил, противоречивые документы, неполные исходные данные.

После изменения важных регламентов тестирование лучше повторять. Так можно обнаружить ситуации, когда новая информация уже появилась в базе знаний, но ассистент продолжает использовать старую.

Почему контроль ИИ не должен становиться формальностью

Корпоративные ассистенты способны заметно упростить повседневную работу. Вместо долгого поиска нужного регламента сотрудник получает готовый ответ и может быстрее решить задачу.

Но вместе с удобством появляется новый риск: человек постепенно отвыкает проверять информацию, которой пользуется.

Яркий пример того, к чему приводит слепая вера автоматике, произошёл в августе 2025 года в Верховном суде Виктории (Австралия). Старший адвокат Риши Натхвани (King's Counsel) готовил материалы по делу об убийстве и поручил генеративному ИИ подобрать правовые аргументы. Система сгенерировала подборку: она включила несуществующие ссылки на решения Верховного суда и вымышленные цитаты из парламентских речей. Адвокат не перепроверил источники вручную – он лишь убедился в корректности части ссылок, а остальные принял на веру. Когда судьи попытались найти указанные дела в базах, выяснилось, что их не существует. Это вызвало задержку процесса на сутки, а судья Джеймс Эллиотт публично подчеркнул: способность суда доверять материалам стороны фундаментальна для правосудия, и использовать ИИ можно только при условии независимой и тщательной проверки результата. Натхвани был вынужден взять на себя полную ответственность и публично извиниться.

Этот случай – весомый аргумент в пользу того, что даже самый убедительный ответ инструмента требует финальной человеческой проверки. ИИ отлично помогает структурировать информацию и находить зацепки, но он подвержен «галлюцинациям»: генерирует правдоподобную, но ложную информацию. Поэтому ключевой вывод для практики: автоматизация – это помощник, а не замена критическому мышлению и верификации первоисточников.