ITGlobal.com развернула для Qooqa Tech GPU-инфраструктуру на Nvidia H200
- CNews FORUM 12 ноября
- CNews AWARDS 12 ноября
- Школа Роста
- СУБД в эпоху ИИ
- КИИ в облаке
- 10 лет российского бэкапа
- SDN: Сеть как дом
- История облаков
- 30 лет ERP России
- Цифровизация
- Импортозамещение
- Безопасность
- ИТ в госсекторе
- ИТ в банках
- ИТ в торговле
- Телеком
- ИТ-бизнес
- Рейтинги
|
Компания Qooqa Tech модернизировала вычислительную инфраструктуру для своего ИИ-рекрутера, чтобы обрабатывать растущее число обращений и использовать более крупные языковые модели. ITGlobal.com предоставила выделенный сервер с тремя ускорителями Nvidia H200 и связала его с действующей инфраструктурой заказчика. Решение уже обрабатывает более 600 тыс. запросов к языковым моделям в сутки. Об этом CNews сообщили представители ITGlobal.com.
Qooqa Tech развивает ИИ-рекрутера на базе больших языковых моделей, развернутых во внутреннем контуре компании без обращения к внешним LLM API. По мере роста клиентской базы используемые ранее GPU начали ограничивать скорость инференса и возможности перехода на более крупные модели. Компании требовалось в сжатые сроки развернуть более производительную инфраструктуру и перенести на нее рабочие нагрузки.
После технического тестирования Qooqa Tech выбрала ускорители Nvidia H200. Специалисты ITGlobal.com развернули выделенный сервер с тремя Nvidia H200, каждый из которых оснащен 141 ГБ видеопамяти. Два ускорителя объединили с помощью Nvidia NVLink Bridge для работы основной языковой модели примерно на 122 млрд параметров. Такое соединение обеспечивает высокоскоростной обмен данными между ускорителями, необходимый при распределении вычислений крупной модели. Третью карту выделили для вспомогательной языковой модели и модели построения векторных представлений (эмбеддингов). Разделение задач между ускорителями позволяет обслуживать несколько компонентов системы на одном сервере.
Выделенный сервер интегрировали с существующей виртуальной инфраструктурой Qooqa Tech. Инженеры ITGlobal.com настроили L3-связность на базе VMware NSX и маршрутизацию между облачной и выделенной инфраструктурой.
По данным Qooqa Tech, сегодня инфраструктура обеспечивает скорость генерации на уровне 5000 токенов в секунду и медианное время отклика около одной секунды.
Low/no-code-революция: новая архитектура цифровой независимости Конференция
«Нам была нужна редкая для российского рынка комбинация: современные GPU Nvidia H200, размещение инфраструктуры в России, сжатые сроки запуска и интеграция с существующим облачным контуром. ITGlobal.com удалось закрыть эти требования одновременно. Сегодня наша платформа обрабатывает сотни тысяч LLM-запросов в сутки», — отметил Дмитрий Аболмасов, технический директор Qooqa Tech.
«В ближайшие годы конкурентоспособность ИИ-продуктов будет во многом зависеть от того, насколько быстро компании смогут наращивать вычислительные мощности и внедрять более сложные модели. Использование модульной платформы Nvidia MGX позволяет реализовывать индивидуальные конфигурации под текущие задачи и гибко масштабировать вычислительные мощности по мере роста ИИ-продукта, обеспечивая необходимую производительность на каждом этапе», — сказал Евгений Свидерский, вице-президент по облачным сервисам ITGlobal.com, корпорация ITG.
KioskNews shows a cleaned-up reading view extracted from the publisher’s page — the original always lives on their site, not ours.