Одна RTX 5070 Ti и российское облако: качество, рубли и свой бенч (часть 1)

В локальном прогоне на RTX 5070 Ti Qwen3.8-27B IQ3 получил успех на моих задачах в 91.1%, индекс 82.3 и 68.3 tok/s. Это один поток при контексте 131K, а не характеристика команды или очереди.

Читал и лично слышал очень много мнений, что 131К контекста - мало, IQ3 - глупый, но у меня есть что вам рассказать.

Метод и границы

Два набора задач: 30 публичных синтетических задач с инструментами и 50 закрытых русскоязычных письменных задач. Замеры 08-10.10.2026. Успех - оценка задачи не ниже 0.6; рядом публикуются доля успешных прогонов задач и индекс качества от 0 до 100. Основные сравнения используют три прогона (ради сокращения цены я попробовал все по одному разу, но потом встретил в другие тестах разбросы почти в 0.9 и понял, что надо стремиться к объективной оценке); разница до 4.3 пунктов индекса остаётся в пределах шума (математика, специально не стал округлять). Рубли показывают инференс с НДС 22% в сценарии 50% кэша; кэш не измерялся, стоимость судей в сырых записях отсутствует. И что интересно, часть провайдеров запросы к кэшу даже отдельно не выделяют в таблицах с ценами.

Часть облачных строк обозначена нейтральным кодом: право на публичное упоминание поставщика ещё проверяется; код не связан с результатом.

В таблице 11 кодов - российское облако с нераскрытым поставщиком, отсортированы по индексу, не по названиям. Qwen и Gemma - две строки на моей личной RTX 5070 Ti. Глобальные модели в эту таблицу не включены: они нужны как справка в следующей статье, здесь только то, что мы можем официально подключить в РФ.

Локальный Qwen не так далеко от двух облачных кодов

У Qwen индекс 82.3. У Российского облака Б - 84.0, у Российского облака Г - 84.3: разницы 1.7 и 2.0 пункта не выходят за порог шума.

Gemma получила 78.0. Российское облако Л с индексом 77.7, А с 75.1, Д с 74.6 и И с 73.8 также недалеко от Gemma по этому правилу: разницы 0.3, 2.9, 3.4 и 4.2 пункта. Здесь нельзя превращать порядок строк в порядок качества. У Российского облака З индекс 72.0, разница с Gemma 6.0 пункта; у этого сравнения уже другая граница.

Я честно думал, что облако будет сильно лучше чем то, что я могу крутить дома (смотрим на первые строки статьи), но не тут то было. Что порадовало.

Результат относится к указанным версиям и настройкам на дату замера. Он не описывает поставщика целиком и не обещает такой же результат на чужой задаче. Во второй статье я разбираю исправление контракта инструмента: прежнее чтение файла без номеров строк могло измерять угадывание адреса правки вместо самой правки.

Рубли показывают цену или качество?

У локальной Qwen расчётная цена успешной задачи - 0.09 ₽. Самая дешёвая строка, Российское облако В, показывает 0.01 ₽; это не делает её заменой Qwen, потому что её индекс 69.1, на 13.2 пункта ниже, что бы вы выбрали?

У Gemma - 0.03 ₽ и индекс 78.0. Самая дорогая строка, Российское облако И, показывает 3.31 ₽ и индекс 73.8. Её стоимость относительно Qwen выше в 37 раз по расчётам, а индекс ниже на 8.5 пунктов.

Цифры локального Qwen включает учётную стоимость карты, электричество и амортизацию, а не облачный тариф. Сценарий 50% кэша нужен только для одинаковой рамки расчёта (у меня использование кэша 97%, так что 50% не показатель). Но я не шучу, некоторые провайдеры, с кем я столкнулся в рамках теста - реально не имеют цены на использование кэша!

Закрытый набор задач остаётся истинно моим бенчем, для каждого он будет свой

50 своих задач не публикую: открыт только хэш и методика; публичный репозиторий содержит только 30 синтетических задач. На письме Qwen получил 84.7% и индекс 77.0. Среди всех строк ближе всего Российское облако Б: 79.3% и 70.0. Разница 7.0 пункта больше порога шума; это вывод только для письменного набора задач.

Свой сервер остаётся самой тюнингованной моделью и за счет этого так высоко?

В бенч-прогоне у Qwen измерены один поток, контекст 131K, 68.3 tok/s и медианная задержка 6.365 с. У Gemma - 94.4 tok/s и 2.86 с. Эти результаты не отвечают на вопрос об очереди или одновременных запросах. Нагрузочный тест с Gemma измерил формы N=1, 2, 4 и 8 по 32K на слот; Qwen при N=4 и 32K на слот получил CUDA out-of-memory. Третья статья даст больше ясности.