The Jerusalem PostBritain sanctions Israeli settlement firms in push to protect two-state solutionInquirerEx-UPLB school paper editors condemn student journalists’ arrestSky TG24Gerico, coloni aprono il fuoco: un morto e diversi feritiStraits Times SportDeChambeau to join DP World Tour after LIV collapseZDF heuteEntdecken Sie das ZDF-NachrichtenstudioRapplerLIVE UPDATES: 49th ASEAN Summit in Manila7sur7Pourquoi Robert Pattinson est sans doute le meilleur choix pour incarner James Bond (malgré les critiques)Capital FMStanChart funds receive five-star Morningstar ratingsRTL BoulevardPaus krijgt rozenkrans in zijn gezicht, maar reageert met humorThe South AfricanEllen DeGeneres weighs in on Cape Town’s baboon relocation war (watch)Rai NewsATP Finals, stasera in campo il nuovo numero 1 Zverev contro SheltonSBS 뉴스이 대통령 "부정행위는 중대범죄…수능 신뢰 절대 흔들려선 안돼"
The Daily Newsstand · Free, Always
Tuesday, November 17, 2026

Nodul запустила DeepSeek V4.1 Flash на 2 видеокартах вместо 8

Translate

|

Штатная конфигурация vLLM для DeepSeek V4.1 Flash на Nvidia H200 рассчитана на восемь видеокарт. Разработчики Nodul развернули модель для кодинг-агентов на двух H200, доработав движок vLLM. Веса часто используемых подсетей модели оставили в видеопамяти, а остальные перенесли в оперативную память сервера. При 20 одновременных сессиях медианная скорость генерации на том же сервере выросла с 5,4 до 36,4 токена в секунду на агента. Об этом CNews сообщил представитель Nodul.

На момент эксперимента Nodul не нашла в открытых англо- и китайскоязычных материалах готовой конфигурации, которая позволяла бы запустить DeepSeek V4.1 Flash на двух H200 и обслуживать 20 параллельных сессий со скоростью от 20 токенов в секунду на агента. На каждой H200 после запуска драйвера и движка оставалось около 139 ГБ видеопамяти, а только для весов модели требовалось около 147 ГБ. Дополнительная память была нужна для контекста рабочих сессий.

Замеры показали, что ИИ-модель обращается к своим подсетям, или экспертам, с разной частотой. Это позволило держать востребованные веса на GPU, а редко используемые — в оперативной памяти. Команда назвала подход Lossless Expert Tiering.

Первую раскладку для доработанного vLLM составили по публичной статистике. На GPU разместили веса экспертов, которых модель чаще всего задействовала на разных задачах. При 20 параллельных сессиях скорость выросла до 17,3 токена в секунду на агента.

Затем собрали статистику на нагрузке, близкой к рабочим сессиям кодинг-агентов. При работе с кодом модель чаще задействовала другой набор экспертов. Команда перенесла их веса на GPU, и одна только смена раскладки повысила скорость еще на 62%, до 28,1 токена в секунду.

При 20 сессиях резерв видеопамяти под контекст был занят меньше чем наполовину, поэтому часть места отдали экспертам. Движок также научился менять их размещение по частоте вызовов без перезапуска. Вместе эти изменения дали еще около 30% прироста и довели медианную скорость до 36,4 токена в секунду на агента.

Раскладку нельзя скачать. На разных задачах модель обращается к разным экспертам, и раскладка, собранная на одной нагрузке, на другой работает хуже.

Для проверки Nodul воспроизвела 1018 запросов из рабочих сессий Claude Code. При 20 параллельных сессиях в девяти случаях из десяти генерация начиналась в течение 2,5 секунды. При 30 сессиях медианная скорость составила 20,1 токена в секунду на агента. Все замеры на двух H200 провели на одном сервере Selectel с 360 ГБ оперативной памяти.

«По нашей оценке, аренда сервера на восьми GPU может стоить около 4 млн руб. в месяц. Для двух H200 мы ориентируемся на 400-500 тыс. руб. в месяц при почасовой аренде, если выключать сервер на ночь. Для команды примерно из 25-27 человек это около 15-20 тыс. руб. на разработчика. Этот вариант подходит для небольших и средних команд, которым служба безопасности запрещает отправлять код и документы во внешние API», — сказал Александр Данилов, генеральный директор и основатель Nodul.

View the original on CNews →

KioskNews shows a cleaned-up reading view extracted from the publisher’s page — the original always lives on their site, not ours.