В Сбербанке создали компактную ИИ-модель, которая проверяет качество ответов других нейросетей

• CNews FORUM 12 ноября
• CNews AWARDS 12 ноября
• Школа Роста
• СУБД в эпоху ИИ
• КИИ в облаке
• 10 лет российского бэкапа
• SDN: Сеть как дом
• История облаков
• 30 лет ERP России
• Цифровизация
• Импортозамещение
• Безопасность
• ИТ в госсекторе
• ИТ в банках
• ИТ в торговле
• Телеком
• ИТ-бизнес
• Рейтинги

11 Ноября 2026 18:29 11 Ноя 2026 18:29 |

Исследователи из управления экспериментальных систем машинного обучения Сбербанка представили Pollux — открытую компактную модель-судью и инструментарий для оценки языковых моделей по критериям, которые задает пользователь. Новая модель поможет специалистам быстрее находить ошибки в ответах ИИ, а пользователям — получать более точные и безопасные ответы от нейросетей. Об этом CNews сообщили представители Сбербанка.

Открытая компактная модель-судья Pollux Judge на 4 млрд параметров оценивает не только пары «запрос-ответ» на русском и английском языках по критериям и шкалам, которые задаёт пользователь, но и диалоги, ответы с найденным контекстом (RAG) и цепочки вызовов инструментов.

Оценка генеративных моделей в задачах открытого типа остаётся сложной, ведь качество результатов может меняться по таким параметрам, как стиль, корректность, фактическая обоснованность и безопасность. Более того, упрощённая схема «запрос-ответ» оказывается недостаточной для универсальной системы оценки, так как современные приложения всё чаще включают многоходовые диалоги, использование внешних источников информации и вызовы инструментов (tool-calling). Сейчас в роли судей обычно применяют большие языковые модели: они дорогие и плохо масштабируются. Специализированные модели-судьи сложно встроить в реальные сценарии с диалогами, RAG и агентами.

Pollux решает эту задачу. Модель использует гибкие критерии, шкалы и форматы вывода, которые определяет пользователь. В основе методологии Pollux лежит подход из бенчмарка Pollux Benchmark. В бенчмарке собрано 35 групп задач и 2115 запросов, которые подготовили эксперты. Pollux обучена методом GRPO (алгоритм обучения с подкреплением) на русскоязычных и англоязычных данных. Модель спроектирована для двуязычного применения благодаря языково-независимой схеме взаимодействия.

На независимом тестовом наборе с экспертной разметкой и на отложенной выборке Pollux демонстрирует коэффициент корреляции Спирмена, равный 0,744 с оценками специалистов. Это выше всех протестированных универсальных моделей, в том числе систем с количеством параметров до 1,1 трлн. При этом Pollux остаётся компактным. Решение можно развернуть локально или использовать через API, совместимый с OpenAI.

Почему крупный бизнес держится за SAP и какой должна быть российская ERP Цифровизация

Сергей Марков, директор по развитию технологий искусственного интеллекта Сбербанка: «Для оценки ответов ИИ часто используют большие языковые модели, но при массовой проверке это дорого. Кроме того, критерии оценки зависят от задачи. Например, связность рассказа оценивают по развитию сюжета, а связность научной статьи — по логике аргументации. В Pollux мы разработали подробные критерии оценки и собрали большой набор данных с экспертной разметкой. И критерии, и разметка открыты для исследователей. На этих данных мы обучили компактную модель, которую можно запускать локально и использовать для оценки диалогов, RAG-систем и ИИ-агентов. В наших экспериментах её оценки лучше согласовывались с экспертными, чем оценки моделей с числом параметров в сотни раз больше».

Разработчики могут подключить модель Pollux к фреймворкам, таким как DeepEval и LightEval. Так можно оценивать ответы, пары ответов, RAG-системы и агентов по собственным критериям.