Вышел открытый проект OpenSubs для автоматического создания субтитров с помощью ИИ — аналог VEED и Kapwing

В открытом доступе стал доступен бесплатный сервис OpenSubs (сайт проекта. GitHub) для автоматического создания субтитров с точными таймкодами с помощью ИИ Whisper для Shorts, Reels и TikTok и других платформ. Исходный код решения написан на TypeScript, Rust и JavaScript и опубликован под лицензией GNU Affero General Public License v3.0.

Основные возможности проекта:

• 12 стилей оформления — от обычных субтитров до огромных анимированных надписей с подсветкой каждого произнесённого слова, как в вирусных роликах;

• перевод на 20 языков, включая русский. Можно даже показывать оригинальные и переведённые субтитры одновременно;

• экспорт готового MP4 без водяных знаков — субтитры сразу вшиваются в видео. Для этого нужна только бесплатная регистрация;

• решение работает в браузере, без установки программ и загрузки видео на чужие серверы. Для бесплатного локального перевода потребуется совместимая версия Chrome, а распознавание речи работает на локальном устройстве.

«Это альтернатива VEED и Kapwing с открытым исходным кодом для автоматического создания субтитров: ваше видео не покидает пределы вашего устройства. Добавляйте субтитры к любому видео, не загружая его ни на какие сторонние ресурсы. OpenSubs распознает речь, переводит её, оформляет и „вшивает“ прямо в видеоряд — при этом сам видеофайл остаётся на вашем устройстве, поскольку он никуда не передаётся. Если же вы предпочитаете использовать установленную версию или хотите наложить субтитры на видео, которое уже воспроизводится в другой вкладке браузера, существуют и другие способы запуска», — пояснили в команде проекта.

Функции разбиения строк, ограничения скорости чтения, стилевые пресеты и модуль записи формата ASS реализованы в виде единого пакета на языке Rust, который компилируется двумя способами: в WebAssembly (для работы в браузере) и в нативный бинарный файл (для всех остальных случаев). Благодаря этому все четыре компонента создают идентичные субтитры на основе одних и тех же входных данных, а не четыре «диалекта», которые лишь незначительно отличаются друг от друга.