Как сделать мультфильм нейросетью: пайплайн от сценария до озвучки
В статье проведем тест передовых моделей для генерации видео: рассмотрим, как может выстраиваться процесс создания мультика и какие результаты выдадут модели text-to-video и image-to-video.
Также проверим ключевые характеристики результатов, цены на модели и дадим советы, как же создать собственный мультик при помощи нейросетей и какой из вариантов все же выдаст более предсказуемый результат.
Как покажут наши тесты, при жонглировании объекты могут менять свой цвет, почковаться и исчезать, герои могут не выдавать нужную речь на требуемом языке, проходить конечностями через собственное тело, а иногда персонаж может «ограбить» другого, забрав все реплики на себя, оставляя других участников сцены безмолвным декором.
Об этих и прочих нюансах детальнее расскажем далее в статье.
Для проверки и теста нам понадобятся текстовая модель, видеогенератор, инструмент озвучки и монтажный редактор. Для проведения эксперимента будем использовать BotHub — там можно найти все нужные нам для генераций инструменты.
Без лишних слов — приступим к тестам!
Генерируем мультфильм по тексту
Более простой вариант, требующий меньших временных и ресурсных затрат. Мы составим сцену так, чтобы можно было проверить следование сценарию, сохранение объектов и персонажей, анимацию и, немаловажно, озвучку — справятся ли модели с русским языком, правильно ли распределят реплики и будет ли визуально понятно, кто именно произносит фразы.
Поэтому для теста расставили для нейросетей следующие ловушки:
В сцене два персонажа: лис Тим и кот, который должен появиться позже. Проверим, сохранит ли модель последовательность событий;
Следующая сложность — лис будет жонглировать и ронять мячи при появлении кота — проверим, сохранятся ли количество и траектория мячей, а также корректно ли модель покажет взаимодействие персонажей
Разумеется проверим как выглядят и двигаются сами Тим и кот;
В финале посмотрим как модель озвучила персонажей и огласим стоимость каждого видео.
Проверять будем три модели — Veo 3.1, Grok Imagine Video 1.5 и Kling V3.0 Pro. Выбрали их как одни из наиболее продвинутых моделей для генерации видео от разных разработчиков.
После каждого теста покажем и опишем результат, а также укажем стоимость генерации каждого видео.
Единый промпт для тестов в формате text-to-video:
Скрытый текст
«A 6-second animated scene in a flat 2D children's cartoon style with clean outlines, simple rounded shapes, and soft vibrant colors.
A small cute orange fox cub named Tim is standing in a sunny forest clearing. He has a white muzzle and chest, large round dark eyes, a small black nose, short legs, a fluffy orange tail with a white tip, and a plain blue scarf. Tim is juggling several small red and blue balls.
Then a cat walks up to him from the right. The cat is small, cute, and cartoonish, with a simple clear design. Tim notices the cat, drops the balls to the ground, and looks at the cat with surprise. The cat then stands on its hind legs and shrugs its shoulders in a confused but funny way.
One continuous shot, medium-wide framing, static camera, consistent character appearance, smooth animation, forest background with grass, trees, and a few flowers.
Include synchronized character voices and natural sound. Tim says in Russian: «Ой». After that, the cat says in Russian: «Я просто спросить». No subtitles, no on-screen text, no cuts, no extra characters, no 3D style.»
Kling V3.0 Pro
Для первой генерации использовали Kling V3.0 Pro — продвинутую версию нейросети для генерации видео от китайской компании Kuaishou Technology.
В целом персонажи получились хорошо, движения довольно естественные (насколько это можно сказать об антропоморфных животных в мультяшном стиле). Графика простая и выглядит неплохо, но характерное нейросетевое размытие при движении тоже явно прослеживается.
Лично у меня само изображение не вызывает восторга — по ТЗ, но без изысков.
А вот по остальным критериям — полный провал. Во-первых, шары, которыми жонглирует лис, просто исчезают, подлетая вверх, постоянно меняют цвета, а перед падением пролетают мимо его лап. Озвучка, несмотря на требование русского языка, оказалась полностью на английском.
В общем, графика неплохая, но с динамичными объектами, их физикой и озвучкой модель в этой попытке с треском провалилась. Генерация шестисекундного видео обошлась в 153 рубля.
Радует, что дальше мы увидим действительно хороший результат у другого участника теста.
Veo 3.1
Следующей под нож попала Veo 3.1 — нейросеть для генерации видео от Google DeepMind.
В нашем тесте сразу видно: графика очень примитивная, шары слипаются и благополучно становятся единым целым в конце. На кота Тиму абсолютно всё равно, при этом мордочка кота конкретно так поплыла.
Озвучка тоже хромает — говорит только Тим, причём произносит все реплики. В целом результат посредственный за свои 363 рубля за одну генерацию — причём за четыре секунды, а не за шесть, как у остальных участников.
Grok Imagine Video 1.5
А теперь поговорим про Grok Imagine Video 1.5 — нейросеть для генерации видео от американской компании SpaceXAI (ранее xAI) Илона Маска.
Здесь всё получилось, на мой взгляд, очень даже хорошо: картинка яркая, персонажи приятно выглядят, а их движения ощущаются естественными, плавными и в целом радуют глаз. При этом персонажи произносят свои реплики вовремя и с корректной интонацией, а сам голос звучит приятно.
Но и здесь не без подводных камней: оба персонажа говорят одним голосом, а мячики при падении снова превращаются из трёх в пять.
Цена также радует — генерация обошлась дешевле, чем у остальных участников. Среди протестированных вариантов это мой персональный фаворит: по соотношению цены и качества, поведению персонажей, красочности картинки и общей эстетике.
Если хотите попробовать сгенерировать собственные видео — при регистрации по ссылке вам будут доступны 300 000 CAPS на любые модели: от текста до аудио и видео.
Делаем раскадровку и оживляем кадры
Мы решили продолжить тест на Veo 3.1 и дать ему возможность создать короткий отрывок на основе 2 кадров по заранее сгенерированному персонажу Тиму. Дальше поэтапно разберем процесс генерации персонажа, кадров и итоговое видео.
1. Фиксируем внешность героя
Сначала создайте изображение персонажа, которое будет референсом для остальных кадров. В нашем случае — рыжий лисёнок, белая мордочка и грудка, чёрный нос, короткие лапы, хвост с белым кончиком и синий шарф.
Промпт для первого референса:
Скрытый текст
«Один персонаж в полный рост, ракурс три четверти: маленький рыжий лисёнок, белая мордочка и грудка, чёрный нос, короткие лапы, пушистый хвост с белым кончиком, простой синий шарф без узора. Добродушное выражение. Плоская 2D-иллюстрация, чёткий контур, мягкие цвета, простые формы. Нейтральный светлый фон. Персонаж целиком помещается в кадре. Без надписей и дополнительных объектов.»
Обязательно проверьте результат до следующего шага: правильное число конечностей, целый шарф, понятный силуэт. Если по сюжету нужен профиль, подготовьте его из утверждённого референса и сравните пропорции. В нашем случае подойдет и одна генерация.
2. Готовим отдельный кадр для каждого плана
Раскадровка помогает четко определить, что будет происходить и в каком порядке. Поскольку для генерации видео из картинок Veo 3.1 требует фактически первый и последний кадры, на них и остановимся.
Изображения создаем в одном соотношении сторон — 16:9 для горизонтального видео.
Промпт для первого кадра:
Скрытый текст
«Используй приложенное изображение как референс персонажа. Сохрани внешность, пропорции и синий шарф. Горизонтальный кадр 16:9, тот же стиль плоской 2D-иллюстрации. Лесная поляна днём. Лисёнок стоит слева в полный рост, смотрит вправо и держит белый бумажный самолётик перед собой. В правой части кадра оставь свободное пространство для полёта. Самолётик ещё в лапе. Без бабочки, надписей и других персонажей.»
3. Составляем промпт и загружаем изображения
Теперь мы готовы оживить момент броска самолета Тимом — загружаем изображения, ставим нужные параметры и прописываем промпт:
Скрытый текст
«Animate a continuous transition from the first reference image to the second. Use the first image as the exact starting frame and the second as the target final frame.
Tim throws the paper airplane forward with a single, clear paw movement and releases it. The airplane briefly glides, loses height, and falls to the ground. Tim follows it with his eyes, then lowers his ears and shoulders, looking sad and disappointed. End with Tim’s pose, expression, and the airplane’s position matching the second reference image. Hold this final composition briefly.
Preserve Tim’s appearance, blue scarf, proportions, the original illustration style, background, and lighting. Keep the camera static with no cuts. Show only one paper airplane throughout: it must leave Tim’s paw, travel continuously through the air, and remain on the ground after landing. No duplicated objects, extra characters, dialogue, subtitles, or on-screen text.»
Результат получился качественный, но с двумя принципиальными ошибками — сцена сохранена, как и форма лиса и самолетика, нужное движение реализовано как надо, однако во время броска рука Тима резко провалилась в его шею, а у глаз появились белки, хотя изначально их не было.
В остальном мимика и жесты выполнены хорошо, как и падение самолетика — даже добавилась пыль при его приземлении.
По тексту или через раскадровку: какой способ выбрать
Если нужен отдельный анимационный эпизод — начните с текста. Если нужна история с узнаваемым героем в нескольких сценах, предпочтительнее начать с подготовки раскадровок и готовых изображений с референсом персонажа.
text-to-video | Image-to-video | |
|---|---|---|
Что передаём модели | Описание героя, окружения и действия | Готовый кадр и описание движения |
Что готовим заранее | Сценарий и промпты | Сценарий, образ героя и кадры каждого плана |
Что контролируем | Содержание через текст; конкретную внешность модель придумывает при генерации | Внешность, композицию и стиль исходного кадра; движение всё ещё может отклоняться от задания |
Основной риск | Герой и окружение меняются между отдельными генерациями | При движении и поворотах искажаются уже заданные детали |
Когда использовать | Короткая зарисовка, визуальная шутка, поиск идеи | Связная история, повторяющийся персонаж, заданный дизайн |
Раскадровка требует дополнительных действий и генераций изображений. Для первого проекта удобно взять одного героя, одну локацию и примерно 20–30 секунд видео.
Как озвучить мультфильм на русском
Есть два варианта: получить речь вместе с видео или сделать отдельную аудиодорожку. Первый способ удобен для короткой удачной реплики, а вторая опция позволяет менять текст, ударения и темп без повторной генерации изображения.
В качестве инструмента для озвучки подойдёт, например, ElevenLabs Multilingual v2 — русский входит в список поддерживаемых языков.
Выберите голос и озвучьте одну пробную фразу. Оцените произношение, тембр и темп.
Подготовьте весь текст, явно написав «ё», расшифровав сокращения и числа там, где они мешают чтению, а также расставив все знаки препинания, где они требуются для корректной интонации.
Сгенерируйте звуковую дорожку.
Прослушайте имена, ударения и окончания. Неудачную фразу перегенерируйте с тем же голосом и настройками.
Для подготовки дикторского текста можно использовать такой запрос к текстовой модели:
«Отредактируй эти пять фраз для спокойного закадрового рассказа в мультфильме на 25 секунд. Сохрани смысл и порядок событий. Убери слова, которые уже очевидны из изображения. Оставь время на паузы и действие. Выведи только текст рассказчика, без ремарок.»
В синтезатор речи передавайте именно произносимый текст, указания вроде «говори тепло» добавляйте только в предназначенное для инструкций поле: иначе сервис может прочитать их вслух.
Если герой должен говорить в кадре, простой замены звуковой дорожки недостаточно: движение рта останется прежним. Потребуется отдельная синхронизация губ, совместимая с вашим персонажем, либо новая генерация говорящего плана.
Собираем видео, речь и звуки
В монтажном редакторе расположите планы по сценарию, уберите неудачные начала и окончания, затем подстройте длительность под рассказчика. Не нужно заполнять речью каждую секунду: посадку бабочки зритель должен успеть увидеть.
Если добавляете отдельную озвучку, прослушайте исходный звук видеогенератора. Лишние голоса и случайную музыку отключите. Учтите: в готовом файле речь, музыка и шумы могут быть смешаны — тогда вместе с ненужным звуком пропадёт и нужный.
Добавьте несколько звуков по действию: шорох бумаги, взмах крыльев, лесной фон. Музыку, если она нужна, сделайте тише рассказчика. Титры и надписи проще добавить здесь же: их можно исправить без новой видеогенерации.
Перед экспортом проверьте стыки, направление движения, громкость и обрезанные слова. Сохраните единое соотношение сторон и согласованную частоту кадров. Повышение разрешения на экспорте само по себе не добавит детализации исходным роликам.
Промпты для других видов мультфильмов
Ниже — стартовые задания для отдельных эпизодов. Длительность и формат задавайте в настройках выбранной модели и помните — это шаблоны для адаптации, а не гарантия одинакового результата у всех генераторов.
Пластилиновая комедия, один визуальный гэг:
«Stop-motion clay animation, visible handmade clay texture. A small round robot sits at a kitchen table beside a white cup. It presses one large red button on the table. A tiny paper umbrella pops out of the cup. The robot tilts its head in confusion. One continuous medium shot, locked camera, soft studio lighting. No dialogue, no text.»
Аниме-зарисовка с минимальным движением:
«Hand-drawn 2D anime scene. An adult traveler in a dark green coat stands on an empty railway platform at sunset, holding a closed suitcase. A gentle breeze moves the coat and hair. The traveler slowly turns toward the tracks. Medium-wide shot, static camera, warm light, restrained motion. No dialogue, no text, no cuts.»
Обучающий мультфильм про рост растения:
«Flat 2D educational animation. Side cutaway view of a seed in moist soil. In a simplified time-lapse, one root grows downward from the seed and one shoot grows upward toward the soil surface. Clear shapes, plain background, fixed camera. No labels, no text, no dialogue. Show only this stage of germination.»
В обучающем эпизоде отдельно проверьте направление роста и последовательность изменений, а подписи и объяснение добавьте при монтаже. Если точность процесса важнее художественной картинки, удобнее анимировать заранее подготовленные элементы вручную.
Тест русской реплики в модели, где хотите проверить речь:
«A single continuous medium close-up of an adult cartoon lighthouse keeper in a yellow raincoat. He looks toward the sea, then says in Russian exactly: «Кажется, дождь закончился». One speaker, calm delivery, quiet sea ambience, fixed camera. No subtitles, no music, no other voices.»
Этот тест проверяет конкретную реплику, а не всю поддержку русского языка. Если важен гарантированно точный текст, возвращайтесь к отдельной озвучке.
Можно ли сделать мультфильм бесплатно
Часть работы можно выполнить без оплаты: написать сценарий самостоятельно, записать свой голос, собрать ролик в бесплатном редакторе. Бесплатность генерации изображений и видео зависит от действующих лимитов выбранного сервиса. Не стоит рассчитывать, что пробных кредитов хватит на все переделки.
Для бюджета считайте не только длительность финального мультфильма, но и суммарную длительность оплаченных генераций. Например, пять планов по восемь секунд при трёх попытках на каждый — это 120 сгенерированных секунд, даже если после монтажа останется 25.
Для первого мультфильма достаточно короткой истории, нескольких планов и одного рассказчика. Начните с одного законченного фрагмента — изображение, движение, звук. Когда он работает, собирайте остальные по той же схеме.
Заключение
Уже сейчас можно создавать короткие мультфильмы без навыков рисования и анимации, но получить качественный результат с первой попытки удаётся не всегда, а наши тесты показали, что даже продвинутые модели ошибаются в движении объектов, сохранении внешности персонажей и озвучке.
При этом крайне важно понимать, что для полноценного даже 10-минутного видео потребуется ощутимый бюджет — при затратах в 200 рублей за 6 секунд, потребуется около 20 000 рублей. Но это при условии, что каждая генерация будет удачной — закладывайте бюджет на повторные генерации, а финальную озвучку и монтаж выполняйте отдельно — так проще контролировать результат.
KioskNews shows a cleaned-up reading view extracted from the publisher’s page — the original always lives on their site, not ours.