Как искусственный интеллект проверяет договор: 5 частых ошибок

Юрист, бухгалтер или предприниматель загружает договор в чат и получает уверенный ответ: «существенных рисков не выявлено». Верить ли ему? Разбираем, какие задачи при проверке договора искусственный интеллект решает хорошо, где пропускает ошибки и как построить проверку, чтобы не пострадать от уверенного тона.

Что значит «проверить договор»

«Проверить договор» — это четыре разные задачи, и нейросеть справляется с ними по-разному:

1. Извлечь данные. Стороны, предмет, сумма, сроки, неустойка, подсудность.

2. Понять смысл. Ответить на вопрос по тексту, пересказать условия простыми словами, составить краткое содержание.

3. Найти риск. Односторонний отказ, несоразмерная неустойка, автопролонгация, отсутствие ограничения ответственности.

4. Исправить текст. Предложить правки так, чтобы они были юридически точными и не ломали остальные пункты.

Когда говорят «ИИ проверил договор», обычно смешивают все четыре задачи в одну. Из-за этого и возникают ожидания «он всё найдёт» или, наоборот, «ему нельзя доверять». Для каждой задачи результат свой, и ниже они разобраны по порядку.

Важная оговорка про данные. Все независимые измерения, которые удалось найти, сделаны на английских договорах, в основном американских: популярный набор CUAD собран из договоров, опубликованных в базе SEC. Измерений на договорах по российскому праву мы не нашли. Поэтому ниже речь о том, что известно в общем, а для своих договоров всё нужно проверять отдельно: в конце есть способ, как это сделать.

Как ИИ помогает с документами

Сильнее всего нейросети проявляют себя там, где нужно прочитать текст и вытащить из него то, что в нём прямо написано.

В отчёте Vals Legal AI Report от 27 февраля 2025 года четыре юридических ИИ-продукта сравнивали с контрольной группой юристов на семи задачах. По итогам ИИ-инструменты в совокупности показали результат не хуже юристов или лучше на большинстве задач. В вопросах по документам лучший продукт набрал 94,8%, в кратком содержании CoCounsel получил 77,2%, причём юристы в этих задачах уступили всем ИИ-продуктам. Юристы выиграли лишь в двух задачах: исследовании по базе EDGAR и правках текста.

К похожим выводам пришла команда Onit в работе Better Call GPT: языковые модели сравнялись с младшими юристами и аутсорсерами по точности определения юридических проблем, а эталоном служили оценки старших юристов. Авторы заявляют снижение стоимости на 99,97% и работу на порядки быстрее. Но оценка вендорская, а договоры английские, так что цифры нужно воспринимать как ориентир, а не как гарантию.

Есть и результаты по ошибкам, которые видны по самим словам. В препринте ContractScrub (август 2026) полнота (recall) оказалась высокой для определений (0,835), повторно определённых терминов (0,689) и неиспользуемых определений (0,781). Это препринт, то есть работа без научной рецензии, поэтому цифры стоит перепроверять по тексту работы.

Работать с длинным договором можно в SpeShu.AI: в одном окне доступны ChatGPT, Claude и Gemini, оплата идёт в рублях через СБП. Для регулярной работы есть собственные модели SpeShu Claude, SpeShu Gemini и SpeShu ChatGPT: за 1690 рублей пользователь получает более 20 000 запросов, то есть больше 100 запросов в день на полгода, а новым пользователям положена скидка 50%. Только помните, что договор перед загрузкой нужно обезличить: почему, объясняем ниже.

Практический вывод для этой группы задач такой: ИИ хорош как быстрый первый читатель. Извлечь стороны, сроки и суммы, пересказать условия, ответить на вопрос «что будет, если мы опоздаем с оплатой» он может за секунды. Но цифры всё равно сверяются с оригиналом.

Что он пропускает

Картина меняется, когда нужно найти риск или исправить формулировку.

Правки. В том же отчёте Vals при правках текста лучшим результатом был 79,7% у группы юристов, и именно в этой задаче ИИ-инструменты остались позади. Нейросеть может предложить правку, которая выглядит убедительно, но ломает связанный пункт или меняет смысл.

Рискованные пункты. В исследовании ContractEval (NLLP 2025) проверили 19 моделей на наборе CUAD. Лучшие проприетарные модели, например GPT-4.1, показали F1 около 0,64, и авторы сравнивают это с уровнем младшего юридического помощника. Лучшая из открытых, Qwen3 8B в режиме рассуждения, получила 0,54. У открытых моделей авторы отмечают частую ошибку: они отвечают «такого пункта нет», хотя он в договоре есть. Режим рассуждения повышает полноту ответа, но снижает точность, а квантование ускоряет работу и ухудшает результат. Практический вывод: ответ «пункта нет» нельзя принимать на веру, его проверяют поиском по тексту.

Ошибки, зависящие от контекста. Те же авторы ContractScrub показали обратную сторону: определения, ошибки в которых видны только «в контексте», найдены с полнотой всего 0,427, неопределённые термины с заглавной буквы — 0,351, а лучшая модель набрала лишь 0,75 по среднему recall. Там, где ошибка не лежит на поверхности слов, нейросеть слабее.

Отдельная проблема — то, чего в договоре нет. Об этом ниже.

Сводная таблица

Длинные договоры и «потеря в середине»

Договор поставки с приложениями легко занимает десятки страниц. У языковых моделей есть известное свойство, описанное в работе Lost in the Middle (TACL 2024): информацию из середины длинного контекста они используют хуже, чем из начала и конца. Для договора это значит, что условие, спрятанное на сороковой странице между техническим заданием и порядком приёмки, получает меньше внимания, чем пункт о предмете в самом начале.

Что с этим делать:

• делить договор на части: основной текст, каждое приложение, спецификации отдельно;

• спрашивать по каждой части отдельно, а не «проверь весь договор»;

• отдельно проверять ссылки между документами: договор часто отсылает к приложению, которое в чат не загрузили, а нейросеть об этом может не сказать;

• просить цитату с номером пункта для каждого вывода, чтобы утверждение можно было проверить за секунды.

Чего в договоре нет

Самое трудное для нейросети — заметить отсутствие. ИИ читает то, что написано, а условие, которого нет, не бросается в глаза. Бенчмарк CLAUSE (EACL Findings 2026) выделяет омиссии, неоднозначности, внутренние противоречия и ошибки структуры как отдельные классы ошибок, на которых проверяют модели, потому что их заметить труднее всего.

Здесь помогает простое правило: отсутствие пунктов проверяют по чек-листу, а не по впечатлению. Для договора по российскому праву в чек-лист обычно входят:

• предмет, цена и срок как существенные условия;

• ответственность сторон и её ограничение;

• порядок разрешения споров и подсудность;

• конфиденциальность, форс-мажор, порядок уведомлений;

• основания и порядок расторжения.

Список можно отдать нейросети и попросить отметить, чего в договоре нет. Но окончательно проверить это должен человек с чек-листом на столе.

Проверить такой чек-лист на практике можно бесплатно: SpeShu Free работает без оплаты, так что учебный договор с подброшенными ошибками из теста ниже можно прогнать через промпты из конца статьи и посмотреть, что модель находит, а что пропускает. В бесплатный чат, как и в любой другой, нужно загружать только обезличенный текст.

Выдуманные ссылки на нормы и практику

Если попросить нейросеть обосновать риск ссылкой на статью закона или судебное решение, она может выдать красиво оформленную ссылку на то, чего не существует. Такие ошибки называют галлюцинациями. Это проблема не только универсальных чат-ботов: в исследовании Stanford RegLab и HAI специализированные юридические сервисы выдавали некорректную информацию в более чем 17% запросов, а один из них — в более чем 34%. Юристы собирают и реальные случаи: база Дамьена Шарлотена фиксирует судебные дела, в которых участники сослались на несуществующую практику.

Уверенный тон без проверки — общая черта генеративных моделей. О том, как они создают убедительные, но фальшивые изображения и голоса, подробно рассказано в разборе дипфейков: механизм доверия там тот же, внешняя убедительность не равна правде.

Практическое правило для команды: ссылка на норму без номера статьи и первоисточника не принимается. Любую цитату закона проверяют в справочной системе или на официальном портале правовой информации.

Конфиденциальность: что нельзя загружать

Договор часто содержит коммерческую тайну (закон 98-ФЗ) и персональные данные (152-ФЗ). Загрузка такого документа в личный аккаунт чат-бота может нарушить условия NDA, а закон о персональных данных требует, чтобы запись, хранение и извлечение данных граждан РФ происходили в базах на территории страны: подробности есть в статье 18 закона 152-ФЗ. Применимо ли это к загрузке конкретного договора в чат, решает юрист компании.

Что известно об условиях обучения моделей. У OpenAI бизнес-тарифы и API по умолчанию не используют данные для обучения, а личные аккаунты используют, если пользователь не отключил эту настройку. У Anthropic потребительские тарифы дают пользователю выбор, а коммерческие условия такого использования исключают. Правила сервисов меняются, как, например, правила скачивания у Suno, поэтому условия хранения и обработки данных перечитывают перед загрузкой, а не один раз при регистрации.

Что делать на практике:

• обезличить договор: заменить названия сторон, реквизиты, суммы и персональные данные нейтральными обозначениями;

• не загружать документы под NDA в личные аккаунты;

• для рабочих задач использовать бизнес-тариф или API с понятными условиями;

• помнить про локальные модели: они не отправляют данные наружу, но хуже. Авторы ContractEval отмечают, что открытые модели чаще «ленятся» и отвечают «пункта нет».

Рабочий порядок проверки

Семь шагов, которые превращают нейросеть из источника уверенных ответов в полезный первый фильтр:

1. Обезличить договор. Убрать названия, реквизиты, персональные данные.

2. Попросить таблицу данных. Стороны, предмет, сроки, суммы, ответственность, расторжение, подсудность.

3. Попросить список обязанностей сторон с дедлайнами и цитатой из договора для каждого пункта.

4. Проверить определения и ссылки отдельным проходом. Термины с заглавной буквы, ссылки на пункты и приложения.

5. Проверить по чек-листу, чего нет. Список обязательных условий для вашего типа договора.

6. Сверить всё с оригиналом. Цифры, даты, названия.

7. Передать юристу. Риски и правки утверждает человек, который за них отвечает.

Как проверить инструмент на своих договорах

Независимых данных по российским договорам нет, поэтому надёжнее всего измерить результат самому. Для этого хватит двух-трёх часов.

1. Возьмите типовой договор поставки или услуг, который не содержит конфиденциальных данных.

2. Подбросьте в него десять ошибок: неопределённый термин; ссылку на несуществующий пункт; расхождение суммы в тексте и в приложении; расхождение дат; отсутствие ограничения ответственности; несоразмерную неустойку; односторонний отказ только у одной стороны; отсутствие подсудности; противоречие между пунктами о сроке оплаты; автоматическое продление.

3. Составьте ключ ответов.

4. Прогоните договор через две-три нейросети одним и тем же промптом.

5. Посчитайте, сколько ошибок найдено, сколько придумано лишнего и что пропущено.

Такой тест покажет, где ваш инструмент надёжен, а где требует ручной проверки, и даст цифры, которым можно доверять больше, чем чужим бенчмаркам на английском языке. Для массового контента без проверки это особенно важно: о цене такого подхода хорошо написано в материале про ИИ-«конторки».

10 промптов для проверки договора

Промпты на английском, ответ можно попросить на русском. Не вставляйте в них конфиденциальные данные.

1. Extract from this contract: parties, subject, price, payment terms, term, termination, penalties, governing law. Quote the exact clause and give the clause number for each. If a field is not found, write 'NOT FOUND'.

2. List all obligations of each party with deadlines. Quote the source sentence for each.

3. Check all defined terms: list terms used with a capital letter but not defined, defined but never used, and defined twice.

4. Check all cross-references to clauses and annexes. List any that point to a missing or wrong clause.

5. List standard clauses a [contract type] usually contains and mark which are missing here: liability limit, dispute resolution, confidentiality, force majeure, notices.

6. Find clauses that favor only one party and explain in one sentence what each allows the other side to do.

7. Compare version A and version B. List every change that affects price, deadlines, liability or termination.

8. Find inconsistencies between the body of the contract and its annexes: amounts, dates, names.

9. Do not make enforceability claims and do not cite laws. List questions I should ask a lawyer about each risky clause.

10. Review only the text I provide. If a referenced document is missing, say so and do not guess.

Больше приёмов работы с текстовыми нейросетями собрано в бесплатном PDF-гайде «Как выжать 1000% из текстовых нейросетей»: формулировки из него подходят и для работы с документами.

Частые вопросы

Заменит ли искусственный интеллект юриста при проверке договора?
Нет. Для разных задач результат разный: данные и пересказ нейросеть извлекает на уровне юриста или лучше, а правки текста, поиск контекстных ошибок и оценку рисков она выполняет хуже. Окончательное решение остаётся за человеком.

Можно ли загружать договор в чат с нейросетью?
Только обезличенный или в бизнес-тариф с понятными условиями обработки данных. Если договор подпадает под NDA или содержит персональные данные, сначала уточните условия у юриста компании.

Можно ли верить ответу «такого пункта в договоре нет»?
Нет, его нужно перепроверить поиском по тексту. В исследовании ContractEval открытые модели часто отвечали, что пункта нет, хотя он присутствовал в договоре.

Проверит ли нейросеть договор по российскому праву?
Независимых измерений на российских договорах нет, поэтому качество проверки нужно оценивать самостоятельно на своих документах, например с помощью теста с подброшенными ошибками.

Какую нейросеть выбрать для работы с договорами?
Выбирают по задаче и по условиям хранения данных. Для извлечения данных и вопросов по тексту подойдёт любая сильная модель с длинным контекстом, а для рабочих документов важнее бизнес-тариф или API, чем само название модели.

Итог

Искусственный интеллект полезен как быстрый первый читатель договора: он вытащит данные, перескажет условия и подскажет, о чём спросить юриста. Но то, что нейросеть не нашла, не значит, что этого нет, а правки и ответственность за риск остаются за человеком. Для команд, где с договорами работают несколько сотрудников, в SpeShu.AI есть корпоративные аккаунты: руководитель распределяет лимиты между сотрудниками и видит расход, подключается API с OpenAI-совместимым эндпойнтом, а закрывающие документы выдаются для бухгалтерии. Промокод HABRSPESHUAI даёт +15% к пополнению баланса.