Представлен программно аппаратный AI KV cache offloading с управлением на платформе «Боцман»

• CNews FORUM 12 ноября
• CNews AWARDS 12 ноября
• Школа Роста
• КИИ в облаке
• 10 лет российского бэкапа
• SDN: Сеть как дом
• История облаков
• 30 лет ERP России
• Цифровизация
• Импортозамещение
• Безопасность
• ИТ в госсекторе
• ИТ в банках
• ИТ в торговле
• Телеком
• ИТ-бизнес
• Рейтинги

23 Октября 2026 14:10 23 Окт 2026 14:10 |

Компания «Тантор Лабс» и разработчик платформы контейнеризации и управления ИИ-инфраструктурой «Платформа Боцман» (обе компании входят в «Группу Астра») представили новую программно-аппаратную технологию хранения кэша ключей и значений (KV-cache) без использования памяти DRAM.

По мере роста числа пользователей корпоративных ИИ-сервисов и длины контекста нейросетей увеличивается объём KV-cache — кэша промежуточных вычислений, необходимых для генерации ответов большими языковыми моделями. В процессе эксплуатации кэш увеличивается вместе с длиной контекста и количеством пользователей, занимает значительную часть ограниченной видеопамяти GPU, и когда доступного объёма не хватает, инфраструктуре приходится ограничивать число одновременных запросов, задействовать дополнительные ресурсы или выполнять вычисления повторно. Это увеличивает задержки и стоимость эксплуатации ИИ-сервисов.

Новое решение опирается на программно-аппаратный модуль, позволяющий переносить KV-cache из ограниченной HBM-видеопамяти GPU во внешнее NVMe-хранилище по протоколу RDMA и повторно использовать сохранённые данные при обработке запросов. В отличие от подходов, основанных на только программной организации внешнего кэширования, решение использует специализированный аппаратный KV-движок доступа к данным по ключу. Он ускоряет операции с KV-cache, резко снижая нагрузку на центральные процессоры серверов и позволяя эффективнее использовать ресурсы GPU. Решение интегрируется с vLLM, LMCache и Nvidia Dynamo и встраивается в существующий стек инференса без переписывания прикладного кода. Поддерживаются как GPU от Nvidia (Ampere, Ada Lovelace, Hopper, Blackwell) и AMD (Instinct, Radeon), так и от китайских популярных производителей Alibaba (PPU), MetaX (C-Series) и Baidu (Kunlun).

Архитектура аппаратного модуля обеспечивает низколатентный доступ к данным в рамках распределённой инфраструктуры Storage AI с использованием сетевых адаптеров 400 GbE (ConnectX 7), технологий RDMA и NVMe-oF. GPU-серверы с движком инференса vLLM взаимодействуют с отдельным узлом хранения на базе NVMe SSD. Модуль ускоряет инференс, сохраняет вычисленные KV кэши в распределенное масштабируемое хранилище Storage AI, загружает при повторных запросах, избегая перерасчетов, а также распределяет их между GPU, vLLM экземплярами и пользователями. Это позволяет эффективнее использовать видеопамять и поддерживать рост нагрузки без пропорционального увеличения количества GPU.

Новое решение «Тантор Лабс» и «Платформы Боцман» также позволяет реализовать дезагрегацию вычислительных ресурсов и хранения контекстной памяти (Compute–KV Storage Disaggregation) — архитектуру, в которой GPU-серверы выполняют инференс, а KV-cache хранится отдельно, в общем масштабируемом NVMe-хранилище. Благодаря этому контекстная память становится доступной всем GPU-серверам инфраструктуры, а её использование не привязано к конкретному ускорителю или серверу. При этом не требуется отдельно оркестрировать распределение кэша между серверами: аппаратный модуль обеспечивает доступ к сохранённым данным и их повторное использование, помогая эффективнее задействовать вычислительные ресурсы и масштабировать ИИ-сервисы независимо от объёмов вычислений и хранимого контекста.

В испытаниях на одинаковых серверах, LLM и нагрузке сравнивались конфигурации с использованием аппаратного решения и без него. Применение модуля позволило обслуживать в четыре раза больше клиентов на тех же GPU-мощностях при соблюдении заданных требований к задержке. Таким образом, заказчик получает «горячий» контекст на скорости, сопоставимой со скоростью памяти DRAM, при ёмкости и стоимости как у NVMe-накопителей. С точки зрения отдачи на вложенный бюджет стоимость на запрос и на токен становятся ниже, а один и тот же парк GPU позволяет обрабатывать больше запросов (RPS).

Low/no-code-революция: новая архитектура цифровой независимости Конференция

«Мы переносим опыт, накопленный в работе с аппаратными технологиями МБД Tantor XData Gen3, для решения задач, которые становятся критически важными в эпоху ИИ. Только программная оптимизация кэширования для ИИ решает часть проблемы, но создает сложности для эксплуатации и имеет заведомо меньшую производительность. Новое решение позволяет ускорить доступ к хранилищу контекстной памяти (KV-cache), освобождая ресурсы серверов для вычислений. В сочетании с платформой „Боцман“ это формирует оптимальную основу для масштабирования ИИ-инфраструктуры, в которой производительность определяется не только мощностью GPU, но и тем, насколько эффективно организована работа с памятью нейросетей», — сказал Вадим Яценко, генеральный директор «Тантор Лабс».

Программная поддержка внешнего хранения KV-cache и интеграция в инфраструктуру эксплуатации ИИ-моделей реализованы в платформе «Боцман», которая обеспечивает развёртывание, публикацию, обновление и масштабирование, управление вычислительными ресурсами на базе Kubernetes, маршрутизацию запросов через OpenAI-совместимый API, а также мониторинг и контроль потребления ресурсов. Таким образом, заказчик получает уникальную для рынка готовую технологию, встроенную в процессы эксплуатации и масштабирования ИИ-сервисов.

«„Боцман“ обеспечивает промышленную эксплуатацию ИИ-моделей и управление всей инфраструктурой их работы. Интеграция хранилища контекстной памяти (context memory storage) дополняет эти возможности поддержкой программно-аппаратной оптимизации использования KV-cache, позволяя максимально удобно использовать новую технологию в рамках единой платформы управления ИИ-сервисами», — отметил Михаил Кобик, технический директор «Платформы Боцман».