Делам динамические элементы игрового фона в Seedance

Сегодня мы посмотрим как довольно бюджетная видео-модель Seedance 2.0 справляется с оживлением статичных элементов фона в условной игре а-ля “зомби-выживач”.

Пожарная часть

Промт:
Retro 16-bit pixel art, abandoned fire station at dusk, overcast sky. Red brick building with collapsed roof, rusty fire pole inside. Animated: rain falling in diagonal lines, puddles reflecting light, broken shutter banging softly, smoke rising from chimneys. Static: structure, fence, fireman's helmet on the ground. Looping tileable background, 2D game environment, 6 frames. No people, no zombies, no parallax layers. Plain background.

Промт был апгрейжен с помощью Дипсика, так как некоторые спецтермины касательно визуала мне неизвестны. Я просто вываливаю приблизительное описание картинки на русском Дипсику, blt. того как вижу анимированную версию пожарной части, и прошу упорядочить вводные в стройный, лаконичный промт. Но его все равно пришлось редачить руками, так как он содержал ненужные элементы: гараж с машинами, дождь и т.д.

Отбракованная пожарная часть:

Выглядит супер, особенно плавающая в луже пожарная каска. Но для игрового фона, увы, не годится. Может в качестве кадра для трейлера?

Пожарная машина

Промт:
Pixel art, abandoned rusty fire truck, side view, static vehicle. Flat tires, broken windows, peeling red paint, rust holes. Animated elements: dry autumn leaves flying horizontally from left to right, swirling slightly, looping seamlessly. Static elements: the truck itself, ground, background wall. Isometric or 2D side-scrolling game background prop. 6-frame loop. No characters, no camera movement, no other vehicles.

В моем описании была всего пара листочков, пролетающих мимо “пожарки”, но Дипсик решил не скупиться. Видимо, любит он осеннюю пору как Александр Сергеевич, а я уяснил, что даже для такого параметра нужно прописывать количественное значение. Хотя бы “a few”.

Бар

Промт
Dark night pixel art, abandoned roadside bar, neon sign "BAR" flickering in the rain. Rusty metal roof, shattered glass on the ground, overgrown weeds. Animated: neon sign flickering with glitch effect (pink and cyan). Static: bar structure, old gas pump nearby, broken windows. Looping background for horror/cyberpunk game, 8 frames. No people, no cars, no explosions. Palette: dark blue, neon magenta, rust orange, charcoal grey. 

Дипсик все время хочет сатурировать атмосферу и добавить то дождь с бликующими лужами, то листопад. Не знаю, черпает ли он идеи из предыдущих запросов или просто “художник так видит”, но промт обязательно следует вычитать перед отправкой и вырезать все ненужное.

Полицеский участок

Промт:
Animate the police station in the picture attached. Its left window should be on fire with smoke swirling upwards from the window. In the last frame one of the wooden planks from the right down window should fall off.

Этот промт я написал от руки, так как особых нюансов соблюдать было не нужно: просто горящее окно и отваливающиеся деревяшки в последнем кадре.

Банк

Промт:
Animated elements: wilted autumn leaves drifting across the scene, dust particles floating, broken shutter flapping gently in the wind. 2D game background prop, seamless loop, 6 frames. No characters, no camera movement, no UI.

Здесь пришлось вырезать половину промта. Потому что Дипсик начал фантазировать как ошалелый, добавляя кучу ненужных элементов. Еще он зачем-то постоянно уточняет цветовую палитру — для готового референса это лишняя инфа. Декорация получилась сносная, но почему-то в конце вдруг проседает разрешение, возможно потому что генерация была выбрана в 480.

Полицеская машина

Промт:
Pixel art, abandoned police car, side view. Destroyed vehicle, missing front wheels, smashed front bumper, dented hood, broken headlights, scratched doors, faded police decals. Foreground: tall dry grass and weeds around the car. Animated: emergency lights on roof slowly flashing (blue glow only, half brightness, fading in and out slowly like dying battery), thin smoke rising from under the hood, grass swaying in light wind. Static: car body, flat rear tires, ground. 2D game background prop, seamless loop, 10 frames. No characters, no other vehicles, no UI. Palette: faded navy blue, rust orange, concrete grey, dry yellow, dim red/blue glow.

Машинка получилась очень хорошей, но тут был допущен стратегический просчет: ассет получился слишком огромный, как музейная картина. Поэтому лучше сразу говорить нейронке. Какой размер мы желаем получить: 161х16, 32х32 и т.д.

Бомж

Промт:
Pixel art, homeless man sitting on the ground, leaning against a street lamp, side view. Ragged dirty clothes, worn coat, unkempt hair, beard, holding a brown bottle in his hand. Animation loop: sits still and calm for a few seconds, then slowly lifts the bottle to his mouth, takes a small sip, lowers it back down, rests again. Looping idle animation. Static elements: street lamp, pavement, wall behind. 2D game background character, 10-frame spritesheet, seamless loop. No UI, no other characters, no aggressive movements. Palette: dirty brown, faded grey, dark green coat, amber glass bottle.

Бомж немного разочаровал: слишком стерильный и лишенный характера. Предыдущие генерации, которые выдавал Seedance были лучше, но опять страдали из-за проблемы размера, перспективы, а также ненужных элементов.

Первый отбракованный бомж: 

Душещипательно, киношно, но для ассета совсем не годится. Максимум как какой-нибудь элемент для катсцены.

Второй отбракованный бомж: 

Уже получше, но все же слишком прилизанный и фотогеничный. Обычно бездомные так выглядят в аниме. Для пиксельарт-сурвайвала подошло бы что-то более комичное и условное, чтобы не перегружать сцену.

Велосипед

Промт
Rotate the front wheel of the bicycle. By the last frame it should gradually stop rotating. No other extra elements. Make the background plain white.

Модель велосипеда была сделана в Grok Image, а кручение колеса состоялось уже в Seedance с помощью написанной вручную инструкции — иногда это быстрее чем редачить стену дипсикового текста. Как проходной элемент выглядит сносно и даже физика инерционного движения не особо режет глаз.

Гнущееся дерево

Промт
Side view, isolated on a plain white background. Animation sequence: standing perfectly still for 2 seconds, then a wind gust hits, the trunk bends very slightly to the right, branches sway a bit, some dry leaves fall off, then the tree straightens back to its original pose. Looping idle animation. No people, no buildings, no UI. 

Дерево также было сначала нарисовано Гроком, потому что сам Seedance по заданному промту внезапно начал генерировать майнкрафтовскую растительность с вокселями. 

Отбракованное майнкрафто-дерево:

К счастью, Грок справляется хорошо с мрачным пиксель артом, а Seedance сделал анимацию согбенного под вихрем деревца довольно приличной!

_________________________________________________________________________________

Затестдрайвить Seedance 2.0 и Grok Image можно на Study24.ai. Для Хабра действует скидка -10% по промокоду.