Whisper больше не нужен, русская диктовка мгновенно и без видеокарты

Случайно услышал на просторах интернета, что у Сбера, оказывается, есть открытая модель, которая по бенчмаркам русского языка бьёт Whisper, проверил, и понял, что она не просто не хуже, она работает мгновенно да еще и на обычном процессоре, без GPU, а текст появляется быстрее, чем успеваешь отпустить кнопку

Дальше понеслось, собрал диктовку для себя, раздал друзьям, всем понравилось, начали пользоваться, и разумеется, повалились хотелки, а давай сделаем это, а пусть оно ещё вот так, из этого за пару недель вырос целый продукт.

Что получилось и как работает:

Держишь правый ⌘ command, говоришь, отпускаешь, текст с пунктуацией и заглавными уже вставлен туда, где стоял курсор.

Замеры дали такие параметры: фраза на 6 сек вставляется за 0.08 сек, запись 30 сек транскрибируется меньше чем за полсекунды, а загрузка модели поднимается за 0,22 сек.

Все локально звук не покидает комп, сама модель весит 204 МБ, а приложение 32 мб и работает на процессоре, видеокарту не используем, код открыт, лицензия MIT, с названием мудрить не стал, раз пишет под диктовку, пусть будет Писарь

Почему Писарь, а не Whisper

Whisper прекрасная модель, но универсальная, под сотню языков, и русский не в приоритете, к тому же она тяжёлая, на процессоре работает медленно, поэтому обёртки гонят её на видюху, мак греется, комп притормаживает, а текст всё равно появляется с задержкой, качество русского, падежи, окончания и пунктуация у Whisper хромают.

GigaAM, на базе которого я собрал Писаря, обучена Сбером специально на русском, и на нём она заметно точнее, плюс расставляет пунктуацию и заглавные, английские вкрапления в русской речи (термины, названия) она тоже переваривает как надо.

Есть и ограничение, диктовать целиком по‑английски не выйдет, буквы будут латинские, а написание фонетическое, для полностью английской речи берите Whisper, мой инструмент про русскую диктовку.

Хотелки

Когда я раздал первую версию друзьям, реакция была одна «Ничего себе, как быстро», и сразу пошли хотелки. Первой стала волна у курсора, было непонятно, идет запись или нет, поэтому появилась плашка с эквалайзером

Потом запилил обновления по воздуху, чтобы не качать архив руками каждый раз, приложение научилось проверять свежую версию, скачивать её с гитхаба.

Дальше пошли запросы посерьезнее: я говорю с «ну» и «короче», «эээ», можно, чтобы она причесывала» Так в приложении появился Мозг, локальная нейронка, я так же взял сберовскую (6,5 гб) и как альтернативу еще добавил QWEN (2,5 гб).

Так родились команды над выделенным, во время диктовки можно в конце добавить «Писарь причеши/переведи/сократи», и ты получаешь уже обработанный текст, или альтернатива — когда ты выделяешь абзац, зажимаешь клавишу ⌘ command, говоришь команду и текст меняется прямо на месте. И все это без выхода в интернет.

Первый сторонний разработчик пришёл через несколько дней и с тех пор прислал три пул реквеста, в основном, это были косметические правки.

Так за две недели из утилиты для себя выросло приложение, которым пользуются люди, которых я даже не знаю.

Очень хотелось с вами поделится, уверен, что и вам Писарь зайдет, ну а если вы видите ссылку на гитхаб, значит, модераторы любезно пропустили мой первый пост в вашем уютном сообществе. Всем, кто прочитал спасибо, кто оставил коммент, низкий поклон:)