Запускаем локальные альтернативы ChatGPT и Claude: пять открытых ИИ-моделей для GPU 8–32 ГБ

В сентябре появились новые, более мощные модели: Claude Fable 5.1, GPT-6 Astra, Gemini 3.8 Flash. Однако использовать эти модели становится всё сложнее — из-за сокращающихся лимитов подписок, роста стоимости (уже есть подписка по 500 долларов в месяц!) и внезапных блокировок аккаунтов.

Альтернатива — открытые модели, которые можно развернуть на своем оборудовании или арендованном сервере. Для части из них достаточно обычной RTX с 8–12 ГБ видеопамяти; для более крупных нужна будет уже GPU с 24–32 ГБ. Мы выбрали несколько таких моделей, включая новинки последних месяцев, чтобы разобрать, на что они способны и какие задачи могут решать.

DeepSeek: новая V4.1 Flash и более доступные версии R1-Distill

В сентябре DeepSeek представила V4.1 Flash — мультимодальную MoE-модель, которая работает с текстом и изображениями и поддерживает контекст до 1 млн токенов. В основе — 552 млрд параметров, при этом при обработке запроса используется только часть из них: 8 млрд на этапе чтения входных данных и 16 млрд при генерации ответа.

Для локального запуска на более доступном железе у DeepSeek есть другое семейство — R1-Distill. Это отдельные модели на базе Qwen2.5 и Llama 3, дообученные на данных, сгенерированных DeepSeek-R1. Компания выпустила версии на 1,5, 7, 8, 14, 32 и 70 млрд параметров; для диапазона 8–32 ГБ VRAM интереснее всего модели от 7B до 32B.

С квантованием требования к памяти становятся заметно ниже. Например, в формате Q4_K_M:

• DeepSeek-R1-Distill-Llama-8B — 4,92 ГБ

• DeepSeek-R1-Distill-Qwen-14B — 8,99 ГБ

• DeepSeek-R1-Distill-Qwen-32B — 19,85 ГБ

Это только размер весов: дополнительная память потребуется под KV-кэш, контекст и сам движок инференса. Поэтому 8B можно запускать на RTX с 8 ГБ памяти, для 14B разумно ориентироваться минимум на 12 ГБ, а 32B — уже на 24–32 ГБ.

С ростом модели растет и качество. В официальных тестах DeepSeek результаты версий Qwen-7B, Qwen-14B и Qwen-32B выглядят так:

Для бизнеса выбор зависит от нагрузки и доступного железа. Версии на 7–8B подойдут для локальных помощников, обработки текста и несложного кода. 14B заметно сильнее в программировании и рассуждениях, но все еще помещается на одной потребительской видеокарте. 32B уже требует 24–32 ГБ памяти, зато лучше подходит для более сложного анализа и генерации кода.

Новая V4.1 Flash показывает верхний уровень семейства DeepSeek, но для одной RTX или одного облачного GPU из нашего диапазона она слишком велика. Для локального использования практичнее R1-Distill: можно подобрать размер модели под доступную видеопамять и запускать ее без обращения к внешнему API.

Qwen3.8-27B: универсальная модель для сложных рабочих задач

Если для запуска DeepSeek на одной видеокарте приходится выбирать компактные R1-Distill, то Qwen3.8-27B можно использовать целиком. Это модель на 27 млрд параметров, которая при подходящем квантовании помещается в 24 ГБ памяти.

Qwen3.8-27B распространяется под Apache 2.0 и изначально работает с текстом, изображениями и видео. Разработчики ориентируют ее на программирование, профессиональные задачи, исследования и длительные агентные сценарии. Нативный контекст составляет 262 144 токена, с возможностью расширения до 1 млн токенов.

В тестах разработчиков модель показывает высокие результаты в задачах, близких к рабочим:

SWE-bench Pro и CoWorkBench особенно показательны для корпоративного применения: первый оценивает работу с реальным кодом, второй — способность выполнять длинные многошаговые задачи. OSWorld дополняет их проверкой работы с интерфейсами, а OmniDocBench — документами.

В независимом тесте на RTX 3090 с 24 ГБ VRAM скорость генерации составляла около 75 токенов/с при контексте порядка тысячи токенов и снижалась примерно до 43 токенов/с при заполнении контекста до 90 тыс токенов.

Конкретные цифры зависят от квантования, движка инференса и его настроек, но сама зависимость закономерна: чем больше контекст, тем больше памяти занимает KV-кэш и тем тяжелее становится обработка запроса

На практике 24 ГБ VRAM позволяют использовать Qwen3.8-27B для программирования, анализа документов, корпоративных помощников и агентных задач. Но запас памяти здесь уже важен: длинный контекст оставляет меньше места под KV-кэш, а несколько одновременных запросов быстро увеличивают потребление ресурсов. На GPU с 32 ГБ или больше, будет комфортнее, если есть такая возможность. Но в статье рассматриваем задачу, как "упихать" модели в более доступные карты, как для своей инфраструктуры, так и для аренды.

Qwen3.8-27B дает заметно больше возможностей, чем компактные модели на 7–14 млрд параметров, но и поднимает нижнюю планку по железу примерно до 24 ГБ. Если нужно уложиться в 12–16 ГБ, придется выбирать более компактные модели.

В mClouds доступны к аренде серверы с видеокартами NVIDIA L4 24GB, NVIDIA L40S 48GB, RTX 6000 PRO 96GB.

Подробнее.

Qwen3.8-27B требует около 24 ГБ видеопамяти — Gemma 4 12B-it снижает порог входа до 16 ГБ VRAM или объединенной памяти, при этом остается мультимодальной. Google выпустила ее именно как модель для локального запуска на пользовательском железе. В официальном руководстве Google отдельно указана возможность работы на ноутбуках с дискретной GPU и 16 ГБ памяти.

Основные сценарии у модели такие:

• текст и документы — ответы на вопросы, суммаризация, RAG;

• изображения и видео — анализ визуального содержимого вместе с текстовым запросом;

• аудио — распознавание речи и работа со звуковыми данными;

• код и агенты — программирование и многошаговые сценарии с внешними инструментами.

Для локального инференса поддерживаются распространенные инструменты вроде llama.cpp, vLLM, SGLang и Transformers. Также модель можно поднять как OpenAI-совместимый локальный API.

С семейством Gemma мы уже работали сами. В августе тестировали Gemma 4 E4B и Qwen3.5-9B в локальной RAG-системе на NVIDIA L4 с 24 ГБ VRAM. Стек состоял из vLLM и Open WebUI, а модели отвечали на русскоязычные вопросы по подключенной базе знаний.

Результаты выглядели так:

В этом тесте Gemma отвечала короче и точнее придерживалась вопроса, а Qwen чаще добавляла дополнительные детали. При небольших базах документов Gemma оказалась быстрее, тогда как Qwen лучше подходила для более объемных и связанных наборов данных.

На фоне Qwen3.8-27B у Gemma другой профиль: меньше требований к памяти, но при этом есть работа с текстом, изображениями и аудио. Поэтому она интересна для локальных ассистентов, RAG и сервисов, где одной текстовой модели уже недостаточно.

gpt-oss-20B: открытая модель OpenAI для своей инфраструктуры

Gemma 4 12B интересна прежде всего мультимодальностью. А вот gpt-oss-20b решает другую задачу: это текстовая модель с упором на рассуждения, программирование и работу с инструментами, которую OpenAI разрешает развернуть на своей инфраструктуре. Она не входит в ChatGPT и не предоставляется через OpenAI API — веса можно скачать и использовать самостоятельно.

В gpt-oss-20b используется архитектура MoE: всего в модели 20,9 млрд параметров, но при обработке каждого токена задействуется около 3,6 млрд. Это позволяет снизить вычислительную нагрузку по сравнению с плотной моделью такого же общего размера.

OpenAI приводит такие характеристики для модели:

Модель обучали преимущественно на англоязычных текстах с акцентом на STEM, программирование и общие знания. После основного обучения OpenAI дополнительно настраивала ее на рассуждения и работу с инструментами.

Для рабочих сценариев у gpt-oss-20b есть несколько полезных возможностей:

• три уровня рассуждений — low, medium и high: можно выбирать между скоростью и глубиной анализа;

• вызов функций и структурированный вывод — для интеграции с внутренними сервисами;

• работа с инструментами — модель обучена использовать поиск и выполнение Python-кода;

• дообучение под свои задачи — веса доступны, поэтому модель можно адаптировать под корпоративный сценарий.

С требованиями к железу есть важный нюанс. OpenAI указывает для gpt-oss-20b около 16 ГБ VRAM при использовании MXFP4 и называет модель подходящей для одной мощной потребительской видеокарты. Но в официальном руководстве по запуску уточняется, что аппаратная поддержка MXFP4 есть у Hopper и более новых архитектур — среди потребительских карт это RTX 50-й серии. В BF16 та же модель требует уже около 48 ГБ памяти.

Поэтому заявленные 16 ГБ нельзя автоматически переносить на любую RTX. На RTX 50xx модель укладывается в этот диапазон благодаря MXFP4. На более старых картах требования и скорость будут зависеть от движка и используемого формата весов. При работе с 24–32 ГБ памяти запас дает больше свободы для контекста и параллельных запросов.

В отличие от Gemma, gpt-oss-20b не работает с изображениями или аудио. Ее сильная сторона — текстовые задачи, где нужны рассуждения и инструменты: программирование, внутренние помощники, автоматизация цепочек действий и обработка документов. При этом модель остается внутри инфраструктуры компании, а вызовы к внешнему API для самого инференса не нужны.

MiMo-V2.6-Distill-Qwen-9B: небольшой ИИ для работы с кодом и инструментами

Модель gpt-oss-20b уже требует около 16 ГБ памяти в подходящем формате. Если нужно уложиться в более массовые RTX на 8–12 ГБ, интереснее MiMo-V2.6-Distill-Qwen-9B от Xiaomi. Это 9B-модель на базе Qwen3.5-9B, которую дополнительно обучили на данных MiMo для программирования и агентных задач. Модель рассчитана на код, работу с инструментами, визуальное программирование и задачи кибербезопасности.

Главное отличие от исходной Qwen3.5-9B видно в тестах Xiaomi:

SWE-bench Pro проверяет работу с реальными программными репозиториями, AutomationBench — выполнение последовательностей действий, Terminal Bench — работу через терминал, а Toolathlon — использование внешних инструментов. То есть основной прирост пришелся как раз на сценарии, ради которых MiMo дообучали.

По требованиям к железу модель заметно доступнее, чем gpt-oss-20b. Полные BF16-веса занимают около 17,9 ГБ, а Q4_K_M-квантование занимает 5,84 ГБ. Это оставляет часть видеопамяти под KV-кэш и контекст даже на GPU с 8–12 ГБ.

Есть и практический замер на карте с 12 ГБ. При запуске Q6_K-версии MiMo потребляла около 7,6 ГБ VRAM при контексте 16K и 9,2 ГБ при 64K, а скорость генерации при коротком запросе составила 91,8 токена/с. То есть 12 ГБ позволяют держать модель целиком на GPU и оставляют некоторый запас под длинный контекст.

Для рабочих задач MiMo интересна прежде всего там, где модели недостаточно просто отвечать текстом: написать или исправить код, выполнить команды в терминале, вызвать инструмент и пройти последовательность действий. При этом Xiaomi публикует именно SFT-чекпойнт и называет его отправной точкой для исследований в области агентного reinforcement learning, а не готовой корпоративной системой. Поэтому надежность цепочек из нескольких действий стоит отдельно проверять на собственных сценариях.

MiMo закрывает нижнюю часть нашего диапазона по железу: агентную модель для кода и инструментов уже можно запускать на RTX с 8–12 ГБ, не переходя к 16–24 ГБ, которые нужны более крупным моделям.

Подведем итоги: какую модель выбрать под свою задачу

На видеокартах с 8–12 ГБ VRAM уже можно запускать модели для кода, рассуждений и агентных сценариев. 16 ГБ открывают доступ к Gemma 4 12B-it и gpt-oss-20b, а с 24–32 ГБ можно переходить к Qwen3.8-27B и старшим версиям DeepSeek-R1-Distill.

Единого лидера здесь нет. MiMo-9B и младшие R1-Distill подходят для одной массовой RTX и задач, где важны невысокие требования к железу. Gemma 4 12B-it интереснее для RAG и мультимодальных сценариев. gpt-oss-20b ориентирована на рассуждения, программирование и работу с инструментами. Qwen3.8-27B требует уже 24–32 ГБ VRAM, но лучше подходит для более сложного кода, документов и длинных многошаговых задач.

Собственный запуск при этом не делает ИИ бесплатным. Вместо платы за токены появляются расходы на GPU, хранение моделей и обслуживание инференса. Зато данные можно оставить внутри своей инфраструктуры, а работа модели не зависит от лимитов подписки, изменений тарифов и доступности внешнего сервиса. Такой вариант особенно интересен при постоянной нагрузке и работе с внутренними документами.

Собственная линейка открытых моделей развивается и в России. 21 сентября Яндекс представил AliceAI-Foundation-80B-A3B-Base — MoE-модель на 80 млрд параметров, из которых для каждого токена активируются 3 млрд. Модель ориентирована в том числе на русский язык, программирование и задачи с рассуждениями.

Пока это базовая модель, а не готовый чат-ассистент. Яндекс использует ее как основу для экспериментов с будущей единой рассуждающей моделью, которая должна получить и агентные возможности. Срок публичного релиза пока не объявлен, поэтому конкретную новинку до конца года обещать рано.