Превращаем сгенерированные ассеты в анимации часть 2

В предыдущей части мы сшивали разрезанные спрайты в анимации для ассетов вручную. Теперь попробуем сделать это же, но с помощью нейросети Seedance 2.0 . Я выбрал несколько случайных спрайтов и использовал общий промт:

Retro pixel art sprite sheet animation. Multiple 8-bit frames of a game character seamlessly merge into one living animated sprite. Crisp pixel blocks, no anti-aliasing, no blur, no smooth interpolation — only hard pixels. Limited NES palette, looped idle/run animation, transparent checkerboard background, 12fps, strictly repeats all poses from source frames. First animate a walking/moving sequence, then attacking sequence.

Все референсы были разрезаны на кадры с помощью Ezgif в соответствующем порядке, чтобы Seedance понимал что за чем идет. Продолжительность первых экспериментов составляла 5 секунд, но нейронка вмещает приемлемую анимацию персонажа в 4 секунды, а это здорово экономит токены.

Рядовой зомби

На мой взгляд эту анимацию можно использовать как атаку, если разнообразить ее разными эффектами динамики (всплески крови, например). Единственное: у зомби почему-то на долю секунды увеличивается голова во время выпада. Зато неровная и спотыкающаяся походка неплохо отражают его андедовскую сущность.

Зомби-качки

Seedance выдал довольно плавную анимацию, единственное атаке зомби немного не хватает “ударности” — он как будто кастует спелл.

А этом спрайте атака представлена сочно, а ходьба безупречна, но почему-то по краям видны фантомные ноги от других фреймов, хотя каждый отдельный кадр был очищен от лишних артефактов перед генерацией.

И снова какая-то проблема: хорошая анимация, но фон почему-то поменялся с черного на шахматный, а затем начал мигать разными оттенками. Снова непонятные артефакты, хотя исходник был подготовлен.

Зомби-Элвис

Хромающая атака и качественный джеб — выглядят убедительно. Непонятно, правда, почему у ассета после атаки начались какие-то конвульсии, но это можно обрезать.

Броневик

Наверно это издержки исходной модели, потому что в данном случае стрельба выглядит не очень убедительно.

Зомби полицейский

Зомби-правоохранитель порадовал качеством движений. У него даже меняется лицо на более злобное во время удара: это отражено в исходнике и Seedance не упустил данный момент из виду.

Зомби-стриптизерша

Анимировать ходьбу Seedance в этом случае почему-то отказался, а сама атака больше похожа на задумчиво-томный танец. Но с ускорением на 125% смотрится уже живее:

К сожалению, оживить больше кадров мне помешали непредвиденные технические трудности. По результатам эксперимента, я могу сказать, что анимация спрайтов руками, наверное, все же лучше, при условии, что исходники будут тщательно допиленны: подгонка под один размер, отсутствие цветовых скачков, удаление артефактов в виде чужих рук-ног и т.д. 

Но Seedance 2.0 самостоятельно фиксит такие проблемы, как неправильная постановка ног при ходьбе у персонажей и это здорово экономит время, то есть перерисовывать вручную нужно. Вместе с тем, и это касается всех нейронок, за ним нужно пристально следить, убирая все лишние кадры, иначе получается такое:

Сразу после отстрела, у броневика отлетает башня и вырастает новая — проблема  в том, что в последовательность фреймов затесался кадр с повреждениями и Seedance просто покорно работал с тем, что ему дали. Вывод: видеогенератор может неплохо сэкономить время, но также при условии, что мы педантично обработаем спрайты.