Nodul запустила DeepSeek V4.1 Flash на 2 видеокартах вместо 8
- CNews FORUM 12 ноября
- CNews AWARDS 12 ноября
- Школа Роста
- СУБД в эпоху ИИ
- КИИ в облаке
- 10 лет российского бэкапа
- SDN: Сеть как дом
- История облаков
- 30 лет ERP России
- Цифровизация
- Импортозамещение
- Безопасность
- ИТ в госсекторе
- ИТ в банках
- ИТ в торговле
- Телеком
- ИТ-бизнес
- Рейтинги
|
Штатная конфигурация vLLM для DeepSeek V4.1 Flash на Nvidia H200 рассчитана на восемь видеокарт. Разработчики Nodul развернули модель для кодинг-агентов на двух H200, доработав движок vLLM. Веса часто используемых подсетей модели оставили в видеопамяти, а остальные перенесли в оперативную память сервера. При 20 одновременных сессиях медианная скорость генерации на том же сервере выросла с 5,4 до 36,4 токена в секунду на агента. Об этом CNews сообщил представитель Nodul.
На момент эксперимента Nodul не нашла в открытых англо- и китайскоязычных материалах готовой конфигурации, которая позволяла бы запустить DeepSeek V4.1 Flash на двух H200 и обслуживать 20 параллельных сессий со скоростью от 20 токенов в секунду на агента. На каждой H200 после запуска драйвера и движка оставалось около 139 ГБ видеопамяти, а только для весов модели требовалось около 147 ГБ. Дополнительная память была нужна для контекста рабочих сессий.
Замеры показали, что ИИ-модель обращается к своим подсетям, или экспертам, с разной частотой. Это позволило держать востребованные веса на GPU, а редко используемые — в оперативной памяти. Команда назвала подход Lossless Expert Tiering.
Первую раскладку для доработанного vLLM составили по публичной статистике. На GPU разместили веса экспертов, которых модель чаще всего задействовала на разных задачах. При 20 параллельных сессиях скорость выросла до 17,3 токена в секунду на агента.
Затем собрали статистику на нагрузке, близкой к рабочим сессиям кодинг-агентов. При работе с кодом модель чаще задействовала другой набор экспертов. Команда перенесла их веса на GPU, и одна только смена раскладки повысила скорость еще на 62%, до 28,1 токена в секунду.
При 20 сессиях резерв видеопамяти под контекст был занят меньше чем наполовину, поэтому часть места отдали экспертам. Движок также научился менять их размещение по частоте вызовов без перезапуска. Вместе эти изменения дали еще около 30% прироста и довели медианную скорость до 36,4 токена в секунду на агента.
Раскладку нельзя скачать. На разных задачах модель обращается к разным экспертам, и раскладка, собранная на одной нагрузке, на другой работает хуже.
Для проверки Nodul воспроизвела 1018 запросов из рабочих сессий Claude Code. При 20 параллельных сессиях в девяти случаях из десяти генерация начиналась в течение 2,5 секунды. При 30 сессиях медианная скорость составила 20,1 токена в секунду на агента. Все замеры на двух H200 провели на одном сервере Selectel с 360 ГБ оперативной памяти.
«По нашей оценке, аренда сервера на восьми GPU может стоить около 4 млн руб. в месяц. Для двух H200 мы ориентируемся на 400-500 тыс. руб. в месяц при почасовой аренде, если выключать сервер на ночь. Для команды примерно из 25-27 человек это около 15-20 тыс. руб. на разработчика. Этот вариант подходит для небольших и средних команд, которым служба безопасности запрещает отправлять код и документы во внешние API», — сказал Александр Данилов, генеральный директор и основатель Nodul.
KioskNews shows a cleaned-up reading view extracted from the publisher’s page — the original always lives on their site, not ours.