Сбербанк представил первый в России бенчмарк Cowork Bench для оценки ИИ-агентов на офисных задачах
- CNews FORUM 12 ноября
- CNews AWARDS 12 ноября
- Школа Роста
- Российский рынок облаков за 20 лет
- 30 лет рынку ERP в России
- Сеть как дом
- 10 лет российского бэкапа
- Цифровизация
- Импортозамещение
- Безопасность
- ИТ в госсекторе
- ИТ в банках
- ИТ в торговле
- Телеком
- Интернет
- ИТ-бизнес
- Рейтинги
- Инфографика
|
Сбербанк представил первый в России открытый русскоязычный бенчмарк — Cowork Bench, предназначенный для оценки качества выполнения офисных задач ИИ-агентами. Бенчмарк позволяет определить, какие рабочие процессы ИИ способен выполнять самостоятельно и насколько стабильно он с ними справляется. Разработкой платформы для создания и управления ИИ-агентами GigaCowork занимается российская ИТ-компания «Салют для бизнеса» (входит в экосистему Сбербанка). Об этом CNews сообщили представители Сбербанка.
Сowork Bench стал первым российским бенчмарком, ориентированным не на оценку ответов ИИ-моделей, а на способность агентов самостоятельно выполнять конкретные задачи от начала до конца: обрабатывать заявки клиентов, готовить отчёты, производить расчеты — без участия сотрудников.
Cowork Bench включает 475 сквозных офисных задач, охватывает 12 бизнес-функций и 26 корпоративных систем. В основу бенчмарка легли проверенные международные практики оценки ИИ-агентов, адаптированные под российский бизнес: сценарии учитывают реальные запросы отечественных компаний и их сотрудников и включают в себя работу с таблицами, документами, почтой, календарем, хранилищем данных, базой знаний и внутренними сервисами организаций. Например, одна из бизнес-задач агента – анализ бюджета: ему нужно сопоставить план-факт по четырём подразделениям, рассчитать отклонения, объяснить их причины, подготовить отчёт и презентацию, пересмотреть прогноз, отправить письма. Другая – организация командировки команды: отобрать сотрудников, подобрать билеты, посчитать бюджет, завести встречи в календарь.
Андрей Белевцев, старший вице-президент, руководитель блока «Технологическое развитие» Сбербанка: «На данный момент нет российских бенмарков-аналогов, которые оценивают способность ИИ-агентов выполнять офисные задачи от начала до конца, учитывая специфику компаний России — их корпоративные системы, сценарии и запросы. Cowork Bench — первый бенчмарк в таком классе, он помогает оценить, насколько хорошо агенты справляются с реальными рабочими процессами и какую их часть могут забрать на себя. И, главное, мы сделали его открытым для рынка: любой разработчик или компания может использовать Cowork Bench, чтобы проверить собственный harness и улучшить качество работы своих ИИ-агентов».
SDN против традиционной сети: сравниваем технологии на примере многоквартирного дома Сеть как дом
Для того чтобы оценить насколько окружение влияет на способность ИИ-агентов выполнять офисные задачи, разработчики GigaCowork сравнили девять решений на одной открытой модели, с одинаковыми задачами, данными и процедурой проверки. В сравнении участвовали восемь зарубежных инструментов — Goose, Claude Code, DeepSeek, Pi, Codex CLI, OpenHands, OpenCode, Strands baseline и российская платформа GigaCowork. Результаты показали, что выбор харнесса напрямую влияет на результат работы ИИ-агентов: доля успешно выполненных заданий варьируется от 62% до 80% в зависимости от обвязки, и в некоторых случаях разница доходит до 20% на одной большой языковой модели. GigaCowork справился с 75,2% задач, войдя в число лидеров сравнения. Лучше всего платформа показала себя при работе с объемными выгрузками, таблицами, документами Word и календарем.
Владимир Толмачев, генеральный директор «Салют для Бизнеса»: «Существующие бенчмарки оценивают возможности моделей — знания, рассуждения, решение математических задач или написание кода. Эти оценки полезны, но сами по себе не показывают, сможет ли система подготовить квартальный анализ бюджета и довести результаты до ответственных руководителей. Такая задача требует найти исходные файлы, сопоставить данные, выполнить расчёты, создать документы, отправить письма. В офисной работе результат работы ИИ во многом зависит от программной оболочки, которая управляет контекстом, памятью, инструментами и интеграцией агентов с корпоративными системами. Поэтому бизнесу важно выбирать не просто «умную» модель с высокими показателями, а решение, которое лучше справляется с их конкретными рабочими задачами».
KioskNews shows a cleaned-up reading view extracted from the publisher’s page — the original always lives on their site, not ours.