The Jerusalem PostBoard of Peace: Israeli steps could pave way for Hamas disarmamentInquirerPNP chief vows impartiality after Sara Duterte’s criticismPunch‘Don’t let your mouth kick people out of church’, Deeper Life fellowship warns bridal shower criticsZDF heuteEntdecken Sie das ZDF-NachrichtenstudioLa TerceraTemblor hoy, domingo 22 de noviembre en Chile: consulta epicentro y magnitudIl Fatto QuotidianoOperaio di 26 anni schiacciato da un manufatto d’acciaio alla Pittini di Osoppo, è gravekickerLIVE! Grönning sorgt für Hertha-Blitzstart - Sauer legt per Kopf früh für den FCK vorSportstarIndia A vs Pakistan A LIVE score, Rising Stars Asia Cup 2026: PAK-A 198/4 (32); Hasan reaches fifty, Samad run outESPN CricinfoInjury-hit Bangladesh face uphill task against Bavuma-less South AfricaESPNTransfer rumors, news: Antonee Robinson latest USMNT star linked with Man UnitedGMA NewsWALANG PASOK: Mga suspendidong klase sa Lunes, November 23, 2026Rai NewsSci, slalom maschile a Gurgl: fuori Braathen e Vinatzer. DIRETTA della seconda manche
The Daily Newsstand · Free, Always
Sunday, November 22, 2026

tiny-voca-ru: русский голос в 21 мегабайте

Translate

TL;DR. Я адаптировал открытую TTS-модель tiny-voca к русскому языку: обучил два голоса на открытом датасете Dialogs, собрал русский фонемайзер, добавил расстановку ударений и сделал голосового ассистента с веб-звонком и голосовыми сообщениями. Модель занимает около 21 МБ, работает офлайн на CPU и не требует облачной подписки. Демо: voice.lmchat.ru.

Зачем ещё одна русская TTS

Современные нейросетевые синтезаторы речи обычно дают высокое качество, но требуют заметных ресурсов: сотни мегабайт весов, GPU для комфортной задержки и, часто, облачный API. Для голосового ассистента это означает зависимость от внешнего сервиса, расходы на трафик и вопросы с передачей пользовательских данных.

Мне нужен был другой вариант: компактная русская модель, которая работает локально на обычном сервере, быстро отвечает на короткие реплики и может быть встроена в голосового бота. Когда я увидел tiny-voca — открытую модель на 4,5 млн параметров и 21 МБ ONNX-весов, — решил проверить, насколько реалистично сделать на её основе русскую речь.

Что получилось

В результате получилась русская версия tiny-voca:

Параметр

Значение

Параметры модели

4,5 млн

Размер ONNX

около 21 МБ

Частота дискретизации

24 кГц

Голоса

M1 — женский, D1 — мужской

Режим работы

офлайн, CPU

Лицензия модели и кода

Apache-2.0

Данные обучения

Dialogs, OpenRAIL

Модель синтезирует короткие ответы за доли секунды на CPU. Этого достаточно для голосового ассистента, интерактивного демо и интеграции с телефонным ботом.

Демо доступно здесь: voice.lmchat.ru.

На странице можно:

  • послушать примеры русской речи;

  • ввести произвольный текст и получить озвучку;

  • выбрать голос и изменить скорость;

  • открыть голосовой чат с ботом;

  • отправить голосовое сообщение и получить голосовой ответ;

  • позвонить боту в браузере: после гудков он отвечает голосом, слушает и отвечает;

  • послушать запись реального разговора с телефонным ботом.

Это не просто страница с кнопкой «синтезировать». Это работающий голосовой сценарий: микрофон, распознавание речи, языковая модель, синтез и воспроизведение ответа, совершить телефонный звонок на базе локальной модели qwen3.5:9b.

Данные: Dialogs

Для обучения я взял открытый датасет Dialogs. В нём — студийные эмоциональные диалоги трёх актёров; для задачи подошли два голоса: женский M1 и мужской D1.

После фильтрации и подготовки осталось около 12 часов чистой речи. Часть записей была отбракована на этапе контроля качества: слабое выравнивание, низкая уверенность аннотатора, неизвестные фонемы, слишком длинные фонемы и другие артефакты.

Этап

Объём

Исходный датасет

11 796 строк метаданных, 9 996 WAV, 17,42 часа

Отобранные голоса M1 + D1

6 849 клипов, 13,31 часа

После сплитов

train 6 310, val 269, test 270

После фонемизации

6 697 строк, 12,88 часа

После аннотации

около 12,1 часа

Для контроля качества я прогнал 60 клипов через ASR: WER составил 3,3%. Это не гарантия идеальных данных, но достаточно хороший сигнал, что разметка и выравнивание не разваливаются.

Русский фронтенд

В tiny-voca уже была основа для языковых профилей, но русского профиля не было. Я добавил его и собрал отдельный русский путь обработки текста.

Основные компоненты:

  • eSpeak NG 1.51 — фонемизация;

  • ударения из Dialogs — для фраз, которые есть в корпусе;

  • RUAccent — для произвольного текста и разрешения омографов;

  • eSpeak fallback — если внешняя модель расстановки ударений недоступна;

  • wav2vec2-based aligner — для разметки длительностей фонем.

Принципиальный момент: текст фонемизируется предложениями, а не отдельными словами. Иначе служебные слова читаются неестественно: например, предлог «с» может прозвучать как отдельная буква, а не как часть фразы.

Для произвольного текста я подключил RUAccent. Он помогает с ударениями и омографами, но я не стал делать его единственной точкой отказа: при ошибке система возвращается к обычному eSpeak-пайплайну.

Например, фраза «выбор голоса» размечается как:

textв+ыбор г+олоса

в+ыбор г+олоса

То есть «вЫбор гОлоса», а не «выбор голОса».

Отдельно я добавил небольшой словарь исключений для слов, где важно сохранить стабильное произношение: название модели, названия сервисов, отдельные грамматические формы. Такой подход практичен: нейросетевая разметка покрывает общий случай, а словарь — критичные для продукта слова.

Обучение

Обучение выполнялось в Docker на Ubuntu 24.04, Python 3.12 и PyTorch 2.6.0+cu124. Модель обучалась с нуля на подготовленных русских данных.

Сначала я провёл пилот на 15 000 шагов, чтобы проверить, что русский язык вообще обучается и данные не содержат критических ошибок. Уже на этом этапе Whisper large-v3 распознавал контрольные фразы без ошибок, хотя просодия была ещё недостаточно живой.

После этого я запустил полный прогон на 100 000 шагов.

Железо и скорость

Обучение сначала шло на Tesla P40 24 ГБ, затем я перешёл на Tesla V100 32 ГБ.

Этап

P40

V100

Pre-GAN

1,12–1,40 шага/с

около 6,0 шага/с

GAN

0,72–0,75 шага/с

1,66–1,75 шага/с

Пилот 15 000 шагов

около 4,7 часа

—

Полный прогон 100 000 шагов

около 35–38 часов

около 12,5 часа GPU-времени

V100 дала примерно 4–5-кратное ускорение на этапе до GAN и около 2,4-кратное на GAN-фазе. Для полного обучения это разница между полутора сутками и половиной суток.

Неожиданное наблюдение: power limit

Во время обучения на V100 я заметил неочевидную вещь: при снижении лимита мощности до 125 Вт скорость обучения оказалась выше, чем при 225–250 Вт.

Лимит

Шагов/с

Температура

100 Вт

2,09

66 °C

125 Вт

2,26

70 °C

150 Вт

1,96

71 °C

175 Вт

1,83

71 °C

200 Вт

1,76

73 °C

225 Вт

1,66

74 °C

250 Вт

1,74

75 °C

Эффект повторялся в нескольких измерениях. На 125 Вт карта работала стабильнее, а пайплайн подготовки данных успевал за GPU. При высоком лимите производительность проседала, хотя формально карта могла работать быстрее.

Я не хочу представлять это как универсальный закон: в большинстве задач ограничение мощности снижает производительность. Но в конкретной связке «V100 + этот training pipeline» лимит 50% оказался удачным компромиссом по скорости, температуре и шуму.

Результат обучения

После 100 000 шагов модель синтезирует русскую речь с двумя голосами. Итоговые сэмплы автоматически сохраняются в каталоге оценки и проходят контроль через Whisper large-v3.

Метрика пилота 15k

Значение

Loss

14,54

Validation mel

0,8385

Duration ratio

0,9408

Voicing accuracy

0,9417

Pause accuracy

0,9169

Pitch error

3,07 полутона

ASR-WER на контрольных фразах

0,000

Важно не переоценивать WER: он показывает разборчивость на контрольных фразах, но не измеряет естественность, интонацию и качество пауз. На пилоте речь уже была понятной, но всё ещё недостаточно живой. Полный прогон нужен был именно для улучшения просодии и стабильности.

Голосовой ассистент

Отдельная часть проекта — не сама TTS, а превращение её в полезный продукт.

Я собрал демо-страницу voice.lmchat.ru, где можно:

  • синтезировать произвольный русский текст;

  • переключать голоса M1 и D1;

  • менять скорость речи;

  • слушать примеры диалогов;

  • общаться с ботом голосом;

  • отправлять голосовые сообщения;

  • слушать свои сообщения и ответы бота в формате, похожем на мессенджер;

  • совершать веб-звонок боту без телефонии.

В голосовом чате пользователь говорит в микрофон, а бот отвечает голосом. Текст распознавания и текстовый ответ не выводятся: коммуникация выглядит как обмен голосовыми сообщениями. Каждый ответ можно переслушать.

Есть и режим веб-звонка: после нажатия кнопки звучат гудки, затем бот «берёт трубку», здоровается и начинает диалог. Это не телефония через SIP и не звонок на реальный номер, а браузерный голосовой сценарий через HTTP.

Для телефонного бота используется другой путь: Asterisk принимает вызов, передаёт аудио в сервис распознавания, локальная LLM формирует ответ, а tiny-voca синтезирует речь. Такой бот можно позвонить по номеру и поговорить с ним голосом.

Архитектура демо

Упрощённо пайплайн выглядит так:

textПользователь
   ↓ микрофон
ASR
   ↓ текст
LLM
   ↓ ответ
Русский фронтенд: нормализация, ударения, фонемы
   ↓
tiny-voca TTS
   ↓
Аудио в браузер или телефонную сеть

Пользователь ↓ микрофон ASR ↓ текст LLM ↓ ответ Русский фронтенд: нормализация, ударения, фонемы ↓ tiny-voca TTS ↓ Аудио в браузер или телефонную сеть

Для сайта используется HTTP-пайплайн: запись фразы, распознавание, генерация ответа, синтез и воспроизведение. Для телефонии — AudioSocket и Asterisk.

Локальная LLM работает через Ollama. Для демо я использую qwen3.5:9b; она формирует короткие ответы, подходящие для голосового диалога. Ollama предоставляет HTTP API для chat completions, включая non-streaming режим.

Ограничения

Проект не претендует на замену больших облачных TTS.

  • Качество речи ниже у крупных моделей, особенно на сложной интонации и длинных текстах.

  • Ударения в редких словах всё ещё могут ошибаться; RUAccent и словарь исключений снижают, но не устраняют проблему полностью.

  • Голоса M1 и D1 основаны на записях актёров Dialogs. Для коммерческого использования нужно отдельно учитывать условия OpenRAIL и не создавать рекламу или высказывания от их имени без соответствующих прав.

  • Модель оптимизирована для коротких реплик и диалоговых сценариев, а не для аудиокниг или длинного сторителлинга.

Вывод

Главный результат проекта — не рекорд качества синтеза, а доказательство, что голосовой ИИ может быть маленьким, локальным и доступным. Русская tiny-voca весит около 21 МБ, работает на CPU и не требует облачной подписки. Для коротких диалогов, голосовых уведомлений, интерактивных помощников и встроенных сценариев этого уже достаточно.

В оригинальной tiny-voca модель и вовсе способна работать прямо в браузере: пользователь вводит текст, а синтез происходит на его устройстве. Это хороший ориентир для того, куда может двигаться голосовой ИИ: не «отправить текст в облако и дождаться аудио», а запустить компактную модель рядом с пользователем.

Когда модели перестают занимать гигабайты, меняется сам подход к продукту. Голосового ассистента можно поставить не только на сервер, но и туда, где раньше ИИ казался избыточным: в кассу, терминал, автомобиль, умную колонку или бытовую технику.

И если однажды микроволновка спросит: «Разогреть как обычно?», а холодильник напомнит, что молоко заканчивается, — это не обязательно будет облачный сервис с подпиской. Возможно, внутри будет маленькая офлайн-модель вроде tiny-voca-ru: 21 мегабайт, который умеет говорить по-русски.

Демо: voice.lmchat.ru

Ссылки

Спасибо авторам tiny-voca за компактную открытую модель. 21 МБ, которые умеют говорить по-русски офлайн, — хороший аргумент в пользу локальных голосовых ассистентов.

View the original on Хабр →

KioskNews shows a cleaned-up reading view extracted from the publisher’s page — the original always lives on their site, not ours.