Исследователи ИИ-центра «Т-Банка» разработали новые методы обучения моделей для снижения затрат на корпоративный ИИ

Исследователи ИИ-Центра «Т-Банка» представил два метода обучения ИИ-моделей для компаний, которые запускают ИИ на собственной инфраструктуре. Об этом CNews сообщили представители «Т-Банка».

Первый позволяет заменить множество узкоспециализированных языковых моделей одной универсальной, что позволяет экономить мощности GPU. В «Т-Банке» такая модель на 32 млрд параметров объединила более 200 внутренних сервисов. Она обрабатывает запросы в 2,8—3,9 раза дешевле, чем в семь раз более крупная Qwen3-235B. Исследователи «Т-Банка» стали первыми, кто описал воспроизводимую методику постобучения русскоязычных больших языковых моделей с агентскими навыками. Второй метод учит визуально-языковую модель извлекать данные из документов любого типа по текстовому запросу. Это обходится на 80% дешевле ручной обработки и на 50% дешевле, чем работа лучших открытых моделей.

Суть разработок

Некоторые компании не могут отправлять корпоративные данные во внешние ИИ-модели из-за требований безопасности, поэтому им приходится запускать модели на собственной инфраструктуре. Постоянное внедрение новых моделей без отключения предыдущих приводит к дроблению ограниченных вычислительных мощностей.

Исследователи «Т-Банка» разработали метод обучения языковых моделей под корпоративные запросы и внедрили его для создания универсальной модели, объединившей более 200 внутренних ИИ-сервисов компании. Обученная методом модель на основе Qwen3-32B уже принимает на себя половину всего трафика внутренней LLM-платформы компании ежемесячно. Она снижает стоимость обработки запросов в 2,8—3,9 раза по сравнению с Qwen3-235B, а в отдельных сервисах — в 4—9 раз.

В режиме без рассуждений обученная модель «Т-Банка» превосходит базовую Qwen3-32B, T-Pro 2.0 и Qwen3-235B с большим числом параметров на внутренних и публичных бенчмарках. В тестах, измеряющих качество ответов на типичные корпоративные запросы, модель получила 69,6 балла против 65,8 у более крупной Qwen3-235B, следование инструкциям — 0,85 против 0,83, вызов функций — 0,79 против 0,77.

Исследование проводили на примере Qwen3-32B, но сам метод не привязан к конкретной модели и может применяться к другим открытым большим языковым моделям.

Другая проблема, с которой сталкиваются современные компании, — это дорогостоящая обработка большого объема документов и извлечения из них нужных данных. Существующие решения имеют недостатки: специализированные OCR-системы (системы распознавания и извлечения текста из изображений и сканов документов) необходимо отдельно настраивать под разные типы документов, использование внешних ИИ-моделей ограничивается требованиями к конфиденциальности, а визуально-языковые модели с открытым кодом обходятся дороже ручной обработки документов человеком.

Исследователи «Т-Банка» разработали и внедрили метод обучения визуально-языковых моделей, который позволяет моделям находить и извлекать информацию из разных типов документов с помощью промптов. Модель на основе Qwen3.5-35B-A3B-Base, обученная с помощью этого метода, содержит 35 млрд параметров, из которых задействует только 3 млрд при обработке одного запроса, а для ее дообучения достаточно одного GPU Nvidia H100. Модель дообучили на внутренних данных компании и специально отобранных данных из открытых источников.

По качеству полученная модель превосходит другие доступные модели без режима рассуждений, в том числе с большим числом параметров, во внутренних тестах на понимание одностраничных, многостраничных документов и извлечение данных. По результатам замеров, использование модели сокращает затраты более чем на 80% по сравнению с ручной обработкой документов и более чем на 50% по сравнению с лучшей из протестированных открытых моделей.

Уникальность подходов

Low/no-code-революция: новая архитектура цифровой независимости Конференция

Метод обучения модели для корпоративных запросов состоит из трех этапов. Сначала модель обучают на примерах с правильными ответами. Затем ее улучшают по трем направлениям с помощью GRPO (эффективный по памяти метод обучения с подкреплением): как точно модель выполняет инструкции пользователя, правильно ли она вызывает внешние функции и как хорошо справляется с типичными корпоративными задачами. Для каждого направления исследователи создавали специализированную версию модели-эксперта, а затем объединили их в одну универсальную с помощью метода объединения весов SLERP.

Качество обученной по методу модели проверяли специальными тестами, которые имитируют реальные запросы сотрудников. Ответы проверяли двумя способами: либо автоматически по заранее заданным критериям, либо с помощью откалиброванных LLM-судей (больших языковых моделей, предварительно настроенных для подобной оценки). Исследователи «Т-Банка» стали первыми, кто описал воспроизводимую методику постобучения русскоязычных больших языковых моделей с агентскими навыками.

В ходе создания метода обучения моделей для работы с документами исследователи разработали пайплайн подготовки данных для обучения — Difficulty-Aware Data Curation, который отбирает из открытых PDF-документов близкие к реальным бизнес-задачам примеры и проверяет их качество. Также исследователи предложили модель расчета экономической эффективности, которая учитывает качество извлечения поля, стоимость инференса и работу человека. В зависимости от качества поле обрабатывается автоматически, с подтверждением человека или вручную, что позволяет использовать ИИ только там, где это выгоднее.

Внутренние расчеты показали, что полученная модель «Т-Банка» требует меньше GPU для запуска, чем наиболее популярная открытая модель Qwen3.5-397B-A17B-FP8, и обрабатывает большее количество документов в секунду, чем Qwen2.5-VL-72B.

Области применения

Метод обучения модели для корпоративных запросов будет полезен компаниям, которые используют языковые модели в большом количестве внутренних продуктов и процессов и размещают их на собственной инфраструктуре: финансовым организациям, телеком-компаниям, промышленным предприятиям и др. Подход может использоваться для корпоративных ИИ-ассистентов и инструментов для разработчиков, при работе с внутренними документами, для обработки обращений. В открытый доступ исследователи выложили методику создания внутренних тестов на основе реальных корпоративных запросов, описание подхода к постобучению, а также модель с открытыми весами, обученную по этой методике без использования внутренних данных компании.

Метод обучения визуально-языковой модели для работы с документами, а также оценка стоимости автоматизации могут быть полезны компаниям, которые обрабатывают большие объемы документов разных видов и извлекают из них структурированные данные, такие как реквизиты, даты, суммы и др. В первую очередь это банки, страховые, налоговые компании и другие организации, которым важно локально обрабатывать документы из-за требований к конфиденциальности.

Дмитрий Ушанов, директор Центра искусственного интеллекта «Т-Банка»: «Важный результат наших исследований — воспроизводимые методы обучения моделей, которые позволяют компаниям внедрять ИИ в бизнес-процессы с меньшими затратами. Во-первых, мы показали, что одну относительно компактную языковую модель можно дообучить под реальные корпоративные задачи, заменив ею более дорогие решения и сохранив качество. Во-вторых, обученная нами визуально-языковая модель для обработки документов не просто автоматизирует процесс, а снижает его стоимость, оставаясь экономически эффективной при совместной работе с оператором. Мы применили оба метода для обучения моделей, внедрили их в собственные бизнес-процессы и получили измеримый эффект по качеству и стоимости использования ИИ».