Исследователи Сбербанка научили нейросети «понимать» течение времени при генерации видео
- CNews FORUM 12 ноября
- CNews AWARDS 12 ноября
- Школа Роста
- Российский рынок облаков за 20 лет
- 30 лет рынку ERP в России
- Главные
ИТ-сценарии 2026 - Цифровизация
- Импортозамещение
- Безопасность
- ИТ в госсекторе
- ИТ в банках
- ИТ в торговле
- Телеком
- Интернет
- ИТ-бизнес
- Рейтинги
- Инфографика
|
Команда Kandinsky разработала Time Adapter — легкую надстройку к генеративным моделям, которая управляет динамикой событий и частотой кадров в ролике. Она решает распространенную проблему видео-генерации: модели хорошо передают картинку в отдельном кадре, но плохо понимают, как должно течь время в ролике. Команда предложила новый подход к решению этой проблемы. Код доступен разработчикам бесплатно под открытой лицензией MIT, а научная статья о подходе была представлена на ведущей конференции по машинному обучению ICML. Об этом CNews сообщили представители Сбербанка.
Модели генерации видео не всегда корректно передают скорость происходящего: быстрые действия могут неестественно растягиваться, а медленные — замирать или, наоборот, ускоряться. Например, падение шарика, которое в реальности занимает доли секунды, модель может растянуть на несколько секунд. Сгенерированные дождь или туман могут двигаться слишком медленно или рывками, а движения бегущего человека — выглядеть неестественно.
Причина — в архитектуре моделей и в принципе обучения: приоритет традиционно отдается эстетике отдельного кадра, а не физической достоверности. В результате модель не умеет напрямую управлять динамикой событий и сцены, в сгенерированных роликах нарушается естественный темп происходящего.
Time Adapter — компактный модуль (меньше 1% от размера основной модели), который подключается к готовой нейросети. Он состоит из двух независимых блоков: один управляет частотой кадров (от 15 до 60 fps), другой — динамикой происходящего в каждый момент сцены. Обучающий датасет состоял из 40 тыс. видео с разной частотой и динамикой: динамичные сцены с людьми (ходьба, бег, танцы) и медленные природные процессы (туман, волны, облака, дождь). В процессе обучения модель училась отличать реальную скорость действия от скорости действия в видео с измененной динамикой.
Денис Димитров, CTO Kandinsky, управляющий директор по исследованию данных Сбербанка: «Раньше скорость происходящего в кадре задавали только слова в промпте, а повлиять на реальную динамику в создаваемом видео было достаточно сложно. С помощью Time Adapter модель понимает, как процессы разворачиваются во времени, и умеет естественно задавать нужный ритм в любой сцене, а не заучивает готовые шаблоны. Это ключевое условие для обучения физического ИИ и будущих моделей мира: система должна точно понимать длительность и динамику каждого действия. Новый метод позволяет делать из моделей инструменты, которые лучше подчиняются замыслу человека — режиссера, инженера, разработчика робототехники, любого творческого пользователя».
Точный контроль времени повышает качество видео в различных сценариях, позволяет быстрее получить нужный результат и экономит бюджет на производстве контента. Среди основных сценариев: создание физически достоверных синтетических данных для обучения физического ИИ; генерация пользовательских роликов без артефактов движения с произвольной динамичностью; создание рекламных, кино- и музыкальных роликов со строгим контролем темпа — под монтаж, музыку и бриф; упрощение обработки видео – получение эффектов замедления, ускорения и плавных переходов по темпу прямо в генерации, без отдельного специалиста по монтажу.
Минцифры запустит реестр доверенного ПО до конца года. Отбирать софт будут структура «Росатома» и еще 4 неизвестные организации
У Time Adapter есть два режима использования. В первом режиме адаптер обучается и далее подключается к предварительно обученной модели генерации видео: в этом случае движения становятся плавнее, при этом общий характер генерации не меняется. Во втором режиме модель дообучается совместно с адаптером — в этом случае меняется не только плавность движения, но и сама физика сцены. В результате возникает способность генерировать физические процессы, которые базовой моделью создавать не удавалось.
Дообученная с адаптером модель Kandinsky 5.0 Video Lite превзошла обычную версию по нескольким показателям при тестировании на наборе динамичных видео с людьми и природой: естественность движения возросла на 29%; визуальное качество — на 8%; видео стало на 19% точнее соответствовать текстовому запросу.
Исследователи и разработчики могут использовать решение бесплатно: исходный код опубликован на Hugging Face под открытой лицензией MIT, которая разрешает в том числе коммерческое применение.
KioskNews shows a cleaned-up reading view extracted from the publisher’s page — the original always lives on their site, not ours.