Как мы научили ИИ-модель понимать документы и теперь оформляем новых сотрудников в 2 раза быстрее

Странно говорить о современном стеке и одновременно предлагать новым сотрудникам вручную вписывать данные паспорта в кадровую анкету. Автоматизируя процесс онбординга, мы пошли дальше стандартной OCR. На базе LLM VL-модели разработали цифровой продукт Sminex Start, который проводит процесс оформления. Ручные трудозатраты свелись к минимуму, данные не покидают внутренний контур, новые сотрудники с первого дня понимают, что пришли в технологичную компанию. Как нам это удалось и какие преимущества в цифрах и отзывах мы уже видим — рассказываем в статье.

LLM vs OCR

Можно было бы использовать при оформлении новых сотрудников одну из технологий OCR. Такая система считывает текст с размеченных полей и загружает в форму, что избавляет от ручного ввода данных. Но мы изначально смотрели на задачу шире. В результате оцифровали не только работу с документами, а весь процесс онбординга при помощи собственного веб-приложения Sminex Start. Оно последовательно проводит оформление нового коллеги с момента получения им персональной ссылки в первый день в компании.

В отличие от классической OCR, LLM-модель не просто «читает» данные — она их «понимает». Определяет тип документа и подход к работе с ним, какие поля нужны системе — например, ФИО, номер и дата выдачи паспорта. Это даёт универсальность и гибкость — если загружать иностранный паспорт или нестандартный формат диплома, всё работает так же точно, как и с типовыми форматами. И это стало самым большим вызовом. Мы прошли множество итераций по настройке и адаптации модели и логики обработки документов, первоначального универсального сценария оказалось недостаточно. В результате решение научилось извлекать необходимые кадровые данные из существенно отличающихся друг от друга документов. Более того, технология позволяет распознавать в том числе и рукописный текст, а интерфейс поддерживает несколько языков, включая языки стран СНГ.

Как мы «учили» модель

Сначала мы пошли самым простым путём: нейросеть одна, инструкции для каждого типа документа свои, но написаны свободно — «посмотри и верни всё, что увидишь». Фотографию документа отдавали нейросети целиком, она сама и читала текст с картинки, и раскладывала его по полям. Но точности не хватало, мы искали другие решения.

В том числе провели эксперимент с автоматизированной оптимизацией промптов для распознавания паспортов и дипломов. Мы формировали набор примеров: загружали фотографии документов и вручную задавали эталонный структурированный результат в формате JSON — то есть то, какие именно данные система должна была извлечь из изображения и в каком виде их вернуть. Затем задавался первоначальный промпт, после чего отдельный AI-агент итерационно изменял и совершенствовал его, каждый раз прогоняя модель на тестовом наборе и сравнивая полученный JSON с эталонными ответами. AI стал фактически инструментом разработки — один AI помогал автоматически настраивать инструкции для другого AI, сокращая объём ручного перебора и позволяя быстрее повышать стабильность распознавания. У нас были большие ожидания от такого подхода: мы хотели добиться максимального соответствия цепочки «фотография паспорта или диплома → понимание его содержимого → строго структурированный JSON» для любого типа документа, независимо от формата, года выдачи и так далее. Но по факту оказалось, что такой сценарий нельзя сделать универсальным.

Тогда мы попробовали просто заменить нейросеть другой — тоже не помогло, вернули прежнюю. На этом этапе стало понятно, что дело не в выборе нейросети, а в том, что мы ей плохо объясняем задачу. Мы изменили свой подход:

• Переписали инструкции в строгий бланк (фиксированный список полей, форматы, закрытые списки значений, запрет догадываться) и одновременно разделили работу на два этапа — сначала документ читает отдельный сервис распознавания текста (он только вытаскивает буквы с картинки), а нейросеть уже получает готовый текст и раскладывает его по полям бланка. Заодно сделали правило: какой документ каким маршрутом идёт, задаётся настройкой — для каждого типа отдельно. Если основной маршрут падает, автоматически включается запасной, и документ не зависает.
  

• Отдельно проверили отказоустойчивость: искусственно «роняли» часть ответов сервисов и убеждались, что документ не зависает, а уходит на запасной маршрут. Параллельно продолжали дорабатывать инструкции под конкретные документы — например, отдельно усилили правила там, где много полей со списком допустимых значений.

Универсальной цепочки «любой документ по одному правилу» не получилось — зато получилось надёжное решение под каждый тип: свой бланк с правилами, свой маршрут обработки и запасной вариант на случай сбоя.

Безопасность — база, а не фича

Безопасность — приоритет в целом, кроме того, управление персональными данными регламентируется законодательством. Поэтому защита ПД была одним из наших базовых архитектурных требований ещё на этапе разработки продукта. Вся обработка происходит исключительно во внутреннем контуре компании. Используемая AI-модель развёрнута локально и не обращается во внешние AI-сервисы, документы не отправляются в публичные облака. Sminex Start их тоже не хранит: приложение выполняет свою функцию по распознаванию необходимых сведений и передаёт их в корпоративные системы, прежде всего в 1С:ЗУП, но не используется в качестве дополнительного архива.

Сотрудник сам фотографирует свои документы, не выпуская из рук. Тут влияет человеческий фактор: очень многие положительно оценили не только технологичность процесса, но и возможность не расставаться со своим паспортом даже на короткий промежуток времени.

Ещё один важный аспект — соблюдение требований ведомств при обработке персональных данных кандидата. Здесь одной из наиболее сложных задач стало распознавание и корректный экспорт адреса регистрации, который обычно называют пропиской, из штампа в паспорте. Платформа 1С:ЗУП требует жёсткой привязки адреса к ФИАС (Федеральная информационная адресная система). Если передать в 1С строку «как есть», например с сокращениями, орфографическими ошибками или устаревшими названиями переименованных улиц, система не сможет автоматически сопоставить её со своим адресным классификатором. Это заблокирует проведение кадрового приказа или приведёт к отказу в приёме отчётности на стороне СФР и ФНС.

Для решения этой проблемы мы спроектировали алгоритмический модуль нормализации, очистки и обогащения адресов, который работает через интеграционный REST-шлюз с эталонной базой ФИАС. В итоге рукописная строка из паспорта трансформируется в валидированный объект для 1С — чистый адрес, вероятность появления оборванных или некорректных данных исключена.

Алгоритм включает четыре этапа:

• Токенизация и первичная фильтрация. Распознанная OCR-строка очищается от системных шумов распознавания — случайных спецсимволов, двойных пробелов. Строка разбивается на отдельные токены, то есть слова.
  

• Семантическое геокодирование и сопоставление. Веб-сервис инкапсулирует очищенную строку в JSON-пакет и отправляет синхронный POST-запрос к нормализационному движку. Движок использует алгоритмы нечёткого поиска для сопоставления зашумлённого текста с эталонными записями в государственном реестре.
  

• Обогащение данных и извлечение GUID. В случае успешного сопоставления ФИАС возвращает не просто исправленный текст, а уникальные глобальные идентификаторы объекта — FIAS ID (GUID) и KLADR ID для каждого параметра: регион, район, город, улица, дом. Это гарантирует однозначную идентификацию объекта в пространстве, независимо от изменений его названия в будущем.
  

• Декомпозиция под объектную модель 1С:ЗУП. Полученный эталонный ответ разбирается веб-сервисом на строгие атомарные поля, соответствующие внутренней структуре XML/JSON-пакетов, которые требует 1С:ЗУП. Адрес раскладывается по уровням и типам объектов, например отдельно тип «ул.», отдельно название «Ленина».

Что видит сотрудник и как всё устроено под капотом

Рассказываем и показываем, как проходит оформление нового сотрудника. В первый день каждый получает индивидуальную ссылку, авторизуется и поэтапно проходит оформление в компанию в онлайн-режиме: фотографирует документы, выбирает нужные поля и заполняет чекбоксы. Ссылка и авторизация связаны с отдельной системой управленческого учёта, в которой создан механизм согласования выхода нового сотрудника.

• Авторизация онлайн, живая поддержка. Всё нативно понятно и прозрачно: пользователь выбирает язык и уже на следующем экране видит, кто из сотрудников сопровождает его оформление. Здесь тоже влияет человеческий фактор — новый коллега понимает, что поддержка рядом. Если что-то пошло не так, можно кликнуть «Мне нужна помощь». В этом случае срабатывает интеграция с корпоративным мессенджером. Именно этому сотруднику группы кадрового делопроизводства приходит уведомление, к кому и в какую переговорную необходимо подойти.

• Загрузка документов. Это основная часть, и для сотрудника всё просто: сделать фото или прикрепить готовое. Всё самое интересное происходит внутри. Содержимое распознаётся локальной vision-language-моделью семейства Qwen. Она дополнительно адаптирована под наши сценарии работы с кадровыми документами. Модель анализирует структуру, понимает назначение полей и извлекает из разных форм документов именно те данные, которые требуются для оформления. Благодаря интеграции с 1С:ЗУП распознанные и подтверждённые сотрудником данные передаются непосредственно в кадровую систему, поэтому сотрудникам HR не требуется повторно переносить информацию из анкет и документов вручную. При этом у нового коллеги есть возможность проверить корректность распознанных данных и при необходимости внести правки.

• Реквизиты для получения зарплаты. Пользователь указывает данные своего счёта, информация сразу поступает в группу расчёта заработной платы. Эта функция также оптимизирует работу бухгалтерии — данные для выплаты зарплаты новым сотрудникам оперативно поступают в автоматическом режиме.

• Ознакомление с нужными ЛНА. Мы изначально закладывали параметр гибкости. Сценарий оформления персонализируется в зависимости от конкретного сотрудника: должности, юридического лица, в которое он трудоустраивается. Система определяет требуемые параметры оформления, в том числе соответствующие локальные нормативные акты, обязательные для ознакомления и подписания. Раньше их выдавали в распечатанном виде, теперь пользователь может прочитать всё онлайн с экрана собственного смартфона. А далее факт ознакомления с ЛНА фиксируется в системе кадрового электронного документооборота с помощью электронной цифровой подписи.

• Фото для пропуска. На этом этапе сотрудник делает фото, загрузить готовое нельзя. Срабатывает интеграция с корпоративной системой и системой контроля и управления доступом. Фотография сразу передаётся в систему доступа для последующего прохода в офис.

• Раздел «Расскажи о себе». На нашем корпоративном портале есть раздел «Новые сотрудники». В нём отображаются фотографии коллег и информация, которую они сами пишут о себе: одни рассказывают об опыте работы и образовании, другие делятся навыками и увлечениями. Сейчас мы анализируем пользовательский опыт — если убедимся, что сотрудникам удобно рассказывать о себе на этапе оформления, тогда настроим интеграцию с корпоративным порталом.

Сначала путь сотрудника, потом код

Отличным решением стало вовлечение коллег из нескольких подразделений в разработку Sminex Start на начальном этапе. Мы не отталкивались от того, как проще выполнить техническую часть. Специалисты из отделов кадрового администрирования, подбора и адаптации в деталях описали пользовательский сценарий оформления: какие сведения необходимо получать из каждого типа документов, последовательность шагов, требования к интерфейсу и UX нового сотрудника. Каждый добавлял в решение свою экспертизу и взгляд на процесс, в том числе заранее учли частые вопросы, возникающие на разных этапах. Потом эту логику перевели в первый MVP и его тоже дорабатывали совместно. В результате удалось решить две задачи: снизить ручной труд и повысить удовлетворённость новых коллег.

• Сокращение ресурсов за счёт снижения времени на оформление одного человека. Раньше оформление одного человека занимало порядка 30 минут. С началом использования Sminex Start его сразу удалось сократить на 10 минут. Дальнейший план — цифровой приём документов за 15 минут для каждого сотрудника. В год это значительная экономия: в среднем 300 часов при текущей загрузке, при увеличении штата — ещё больше. Кроме того, новые коллеги используют Sminex Start одновременно — ранее специалист обрабатывал документы поочерёдно. Поэтому фактически общая скорость процесса оформления уже выросла в 2 раза и даже более.

• Улучшение пользовательского опыта. Теперь сотрудникам не нужно ждать, когда специалист освободится и возьмёт в работу их документы, не нужно никому отдавать свой паспорт, процесс оформления прозрачный и уже содержит ответы на частые вопросы. Первые пользователи отметили скорость, удобство и технологичность. Ещё из плюсов выделили интуитивно понятную логику и сохранение указанных данных при переходе на следующий этап. Частая проблема, когда при обновлении страницы всё слетает, — мы заранее это предусмотрели, поэтому даже в случае ошибок информация не пропадает и можно вернуться на шаг назад и продолжить заполнение.

Sminex Start хорошо отражает наш подход: это полноценный продукт, который выгоден бизнесу, удобен для людей и адаптирован к будущим изменениям.