Нашел золотую середину LLM в приватность/цена/качество? Прогнал два Qwen на российском (!) API: сколько стоит моя задача

Похоже я нашел свой мидл-граунд между истинно локальным интересном и типовыми подписками. Положил на кошелёк 2000 ₽, прогнал два Qwen'а по три раза на своих двух наборах задач, и весь бенч обошёлся в 154 ₽ :)

0.58 vs 0.75: расстройство и "Миша, давай по-новой"

Первое, что я увидел: на приватных задачах с инструментами (а у меня есть свой личный пул с интересными задачками) qwen3.8-flash-next-ru получила 0.58, а остальные модели в моей таблице держатся около 0.8. Я уже начал искать, чем хостинг мог испортить веса. Причина очевидно (в последних сериях думаю стало ясно, что я рассказывать о косяках своих люблю) была во мне: часть этих задач (около 60%) оценивают три модели-судьи, а в первом прогоне у меня не было ключа для судей (OR стух, лимиты превышены, 500usd что я не так давно ставил в лимит - закончились), и баллы за эти задачи просто не начислялись. Перепрогнал оценку на тех же ответах: 0.75.

Что я прогонял, и почему только синтетику

Две модели через api.neuraldeep.ru: qwen3.8-flash-next-ru (MoE 125B, из них 6B активных, контекст 256K) и qwen3.8-27b. Каждую по три прогона.

Набор первый: 50 приватных русскоязычных задач на письмо и рассуждение (стратегия, архитектура, документы, разбор сделок, Bash, SQL, Python). Набор второй: 30 синтетических задач, где модель сама по шагам читает и правит файлы: финансовая таблица, досье контрагента, дневник, список проектов. Успех - оценка не ниже 0.6 из 1. Судьи те же, что и в прошлых частях: Gemini, GPT-5.1 и Claude Opus 4.8, оценки усредняются.

Приватных данных в этом прогоне нет совсем, в документе о приватности самого сервиса написано, что дежурный видит последние ~1000 запросов вместе с ответами, фид живёт в памяти не дольше 15 минут. Для синтетики это нормально, для моей переписки нет.

Ниже Terra и Haiku на 0.05-0.08, рядом с моей локальной 27B

Разброс между тремя моими прогонами одной модели 0.02-0.03: у flash-next 0.715, 0.745 и 0.771. Разрыв с Terra и Haiku больше этого (а с моей локальной 27B меньше) и отличать их друг от друга по трём прогонам я не берусь. На приватных задачах flash-next получила 0.752, а 27b 0.804. Для сравнения на этих же задачах в таблице модели от 0.72 до 0.90.

Поиск фразы в длинном тексте (семь вопросов на 19.8K и на 60K токенов) обе модели прошли в 7 из 7 раз. Восемь одновременных запросов: ошибок нет, flash-next отдаёт 186 tok/s суммарно, первый токен получаем через 1.2 с, а на p95 через 8.7 с. У 27b при одном запросе первый токен пришёл через 19 секунд.

Дешевле Haiku не получилось

На задачу flash-next стоит 0.22 ₽, на успешную 0.29 ₽; 27b соответственно 0.54 и 0.68 ₽. Haiku в средней настройке обходится в 0.07 ₽ за успешную задачу, и качество у неё выше. Прайс neuraldeep беру как опубликован: 19,38 ₽ за миллион входных токенов, 1,94 ₽ из кэша, 61,2 ₽ за выходные; есть ли в нём НДС, я не знаю, а у остальных строк цена без НДС по курсу ЦБ на 9 октября.

Тогда зачем он нужен? По заявлению самого сервиса: оплата в рублях, без VPN и зарубежных карт, модель стоит в России, есть закрывающие документы. Для меня это ответ на вопрос «что делать, если зарубежный API недоступен», а не способ сэкономить и я реально рассматриваю их как failover модель.

Кэш я проверил, специально

Заявление сервиса, которое можно проверить за секунды: префикс запроса берётся из кэша по ставке кэша. Отправил один запрос дважды, во втором ответе сервер показал cached_tokens = 66 при длине промпта 66. Совпало, можно копаться дальше, но по счетчику цены в течение пары часов в принципе я проблем не увидел.

Для меня это важно, потому что у меня почти всё идёт из кэша. За 30 дней до 10 октября через моих агентов прошло 104 млн входных токенов, 42 млн выходных и 12,5 млрд прочитанных из кэша. На flash-next по их прайсу это около 35 тыс. ₽ в месяц, если кэш попадает так же часто, как сейчас. Если попадает половина, выходит 144 тыс., если кэша нет вовсе, 253 тыс. Здесь я только считал: как кэш поведёт себя на моём объёме и при чужой очереди, я не проверял.

Куда я не стал лезть глубже

Я сделал - три прогона на наборе, который определил я, с моими судьями. Хостинг не раскрывает квантизацию, поэтому разницу с другими хостингами тех же весов я не трактую (но думаю там NVFP4, который я люблюю и цену). Параметр reasoning_effort принимается (none, low, high, xhigh), но на одной задаче число reasoning-токенов не сошлось: 738-896 при любом значении. Оговорюсь сразу - это один замер, и в бенче я параметр не отправлял. qwen3.8-27b у них уходит в режим проксирования к 1 декабря 2026, так что эта строка нужна как точка отсчёта, а не как рекомендация.

⟦РАСКРЫТИЕ: Я владею ООО «ЛИИ». Лаборатория использует клиентские и корпоративные, а также личные аккаунты; у части российских облачных провайдеров и глобальных сервисов есть кредиты и гранты. Здесь использован мой собственный кошелёк на neuraldeep, 2000 ₽; кредитов и грантов на этот прогон не было. ЛИИ не получает комиссий за выбор поставщика. Владелец сервиса согласился на прогон бенчмарк, ссылку передаю :)