InquirerPanelo faces Senate impeachment court show-cause order over bias claimsPunchFG unveils national grid video challenge for studentsCNN TürkCourier Blackline yola çıktıDaily MaverickTaiwan tells Meta thousands of China-linked accounts seek to influence electionsThe Jerusalem PostIsrael Police uncover buried stash of IDF artillery shell fuses, ammunition in northern villageSky TG24L’Era Glaciale: Punto di Ebollizione, il trailer del filmBollywood HungamaMohitt Maalik to play antagonist opposite Tiger Shroff in spiritual action film VajrCNN بالعربية"أنثروبيك" تحطم الرقم القياسي لأكبر طرح عام أولي في التاريخ.. وأرامكو ضمن الخمسة الكبار3DNewsИнсайдер раскрыл, когда и где покажут многострадальный ремейк Star Wars: Knights of the Old RepublicZDF heuteAktuelle Pressemitteilungen des ZDFالشرقبولندا تحقق في انتهاك محتمل لمجالها الجوي خلال هجوم روسي على أوكرانياThe South African · LifestyleRare black springbok born months after death of beloved Siya
The Daily Newsstand · Free, Always
Friday, November 20, 2026

Сколько видеопамяти нужно LLM: считаем веса, KV-кэш и запас на одновременных пользователей

Translate

Вопрос «какая видеокарта нужна под модель N миллиардов параметров» обычно получает ответ «возьмите побольше». Но это можно посчитать на салфетке, и считать нужно не только веса модели. На практике память чаще кончается не из-за весов, а из-за KV-кэша, когда к сервису приходит десяток пользователей с длинным контекстом. Ниже — две формулы, таблица для популярных моделей и разбор трёх типовых сценариев.

Все цифры получены из опубликованных конфигураций моделей (число слоёв, голов внимания, размер головы) и проверяются калькулятором. Это оценка снизу: реальные движки добавляют свои накладные расходы, о них — в конце.

Формула 1: веса модели

Память под веса = число параметров × байт на параметр.

Точность

Байт на параметр

FP16 / BF16

2

FP8 / INT8

1

INT4 (AWQ, GPTQ, GGUF Q4)

≈ 0,55–0,6

У 4-битного квантования не ровно 0,5 байта: к весам добавляются масштабы и нулевые точки групп, а часть слоёв (эмбеддинги, иногда выходной слой) часто остаётся в 16 битах. Для оценки берём 0,56.

Модель

Параметров

FP16

INT8

INT4

Llama 3.1 8B

8,0 млрд

16,1 ГБ

8,0 ГБ

≈ 4,5 ГБ

Qwen2.5 32B

32,8 млрд

65,6 ГБ

32,8 ГБ

≈ 18,4 ГБ

Llama 3.1 70B

70,6 млрд

141 ГБ

70,6 ГБ

≈ 39,5 ГБ

Отсюда первый вывод: 70B в FP16 не помещается даже в одну H100 на 80 ГБ, а в INT4 — помещается в одну карту на 48 ГБ. Но только веса.

Формула 2: KV-кэш

При генерации модель хранит для каждого уже обработанного токена ключи и значения внимания на каждом слое. Это и есть KV-кэш. На один токен:

KV на токен = 2 × число слоёв × число KV-голов × размер головы × байт на элемент

Двойка — потому что хранятся и ключи, и значения. Ключевой множитель — число KV-голов. Современные модели используют grouped-query attention (GQA): у них голов запросов много, а голов ключей и значений — мало, обычно 8. Это в разы уменьшает кэш.

Модель

Слоёв

KV-голов

Размер головы

KV на токен, FP16

Llama 3.1 8B

32

8

128

128 КиБ

Qwen2.5 32B

64

8

128

256 КиБ

Llama 3.1 70B

80

8

128

320 КиБ

Llama 2 7B (без GQA)

32

32

128

512 КиБ

Пример расчёта для Llama 3.1 70B: 2 × 80 × 8 × 128 × 2 байта = 327 680 байт = 320 КиБ на токен.

Последняя строка для сравнения: у старой Llama 2 7B без GQA кэш на токен вчетверо больше, чем у Llama 3.1 8B, хотя модель меньше.

Сколько кэша на один диалог

Умножаем на длину контекста:

Модель

8K токенов

32K

128K

Llama 3.1 8B

1 ГиБ

4 ГиБ

16 ГиБ

Qwen2.5 32B

2 ГиБ

8 ГиБ

32 ГиБ

Llama 3.1 70B

2,5 ГиБ

10 ГиБ

40 ГиБ

Один пользователь с полным контекстом 128K на 70B занимает 40 ГиБ — столько же, сколько сама модель в INT4. Это тот момент, когда «модель же влезла» перестаёт работать.

Итоговая формула

Память ≈ веса + KV на токен × контекст × число одновременных запросов + накладные расходы

Накладные расходы: CUDA-контекст (сотни мегабайт на карту), активации, буферы движка. vLLM по умолчанию забирает 90% памяти карты (параметр gpu_memory_utilization) и всё, что осталось после весов, отдаёт под кэш. Поэтому на практике вопрос звучит так: сколько одновременных диалогов нужной длины поместится в остаток.

Три сценария

1. Внутренний ассистент на Llama 3.1 8B, 50 пользователей, контекст 8K. Веса в FP16 — 16 ГБ. Кэш: 50 × 1 ГиБ = 50 ГиБ. Итого около 66 ГБ плюс накладные. Одна карта на 80 ГБ справится, на 48 ГБ придётся резать либо число одновременных запросов, либо контекст. Важная оговорка: 50 пользователей в чате — это не 50 одновременных генераций. Реально одновременно работает меньше, и движок с постраничным кэшем (PagedAttention в vLLM) выделяет память по факту, а не под максимальный контекст каждого.

2. Llama 3.1 70B в INT4, 20 одновременных запросов по 8K. Веса — около 40 ГБ. Кэш в FP16: 20 × 2,5 ГиБ = 50 ГиБ. Итого около 90 ГБ — в одну H100 на 80 ГБ не входит. Варианты: две карты по 48 ГБ с тензорным параллелизмом или кэш в FP8, который делит 50 ГиБ пополам. Тогда 40 + 25 = 65 ГБ — в 80 ГБ помещается с запасом под накладные.

3. Llama 3.1 70B, длинные документы по 128K. Только кэш одного такого запроса — 40 ГиБ. Для нескольких одновременных нужны либо 2–4 карты по 80 ГБ, либо FP8-кэш, либо честное признание: столько контекста не нужно, и документы лучше резать на части и искать по ним (RAG).

Что уменьшает память и чем за это платят

  • Квантование весов в INT4 — минус ~70% к FP16. Плата — небольшая потеря качества, сильнее заметная на малых моделях и в задачах с точными фактами и кодом.

  • FP8-кэш — вдвое меньше KV-кэша. Поддерживается в vLLM и TensorRT-LLM. Аппаратная поддержка FP8 есть у Ada Lovelace и Hopper, на старших поколениях проверяйте, что ваш движок и версия это умеют.

  • Тензорный параллелизм — веса и кэш делятся между картами. Плата — обмен данными между картами на каждом слое. С NVLink это почти бесплатно, через PCIe на больших моделях ощутимо.

  • Меньший контекст. Самый дешёвый способ. Если 95% запросов укладываются в 8K, ставить лимит 128K ради редких случаев — дорогое решение.

Ориентиры по картам

Видеопамять

Примеры карт

Что помещается с разумным запасом

24 ГБ

RTX 3090, RTX 4090, RTX A5000

8B в FP16 с несколькими диалогами; 32B в INT4 на короткий контекст

32 ГБ

Tesla V100 32GB

8B с запасом; 32B в INT4

48 ГБ

RTX A6000, L40S

32B в INT4 с запасом; 70B в INT4 на один-два коротких диалога

80 ГБ

A100 80GB, H100

70B в INT4 с десятком диалогов по 8K; 32B в FP16

141 ГБ

H200

70B в INT8 с запасом под кэш

Отдельно про старшие поколения: Tesla V100 (архитектура Volta) не поддерживает BF16 и FP8, и часть оптимизированных ядер для квантования в популярных движках требует архитектуру Turing или новее. Прежде чем строить расчёт на такой карте, проверьте в документации движка, какие режимы на ней работают.

Как проверить расчёт у себя

  1. Возьмите config.json модели и найдите num_hidden_layers, num_key_value_heads и head_dim (или hidden_size, делённый на num_attention_heads).

  2. Посчитайте KV на токен по формуле выше.

  3. Запустите vLLM и посмотрите в логе строку о размере KV-кэша и максимальной параллельности для заданной длины контекста — движок считает то же самое и печатает результат при старте.

  4. Под нагрузкой смотрите nvidia-smi и метрики движка: если запросы уходят в очередь при свободной вычислительной мощности, упираетесь в память под кэш.

Итог

Память под LLM — это веса плюс кэш, и кэш растёт линейно с длиной контекста и числом одновременных запросов. Для небольших моделей и коротких диалогов хватает одной карты на 24–48 ГБ. Для 70B с десятком пользователей нужна либо карта на 80 ГБ с FP8-кэшем, либо две карты. Для длинного контекста считайте кэш до покупки железа, а не после.

View the original on Хабр →

KioskNews shows a cleaned-up reading view extracted from the publisher’s page — the original always lives on their site, not ours.