Автор сделал вымышленную певицу Yuki Suno, выпустил песни и клипы на YouTube. В работе использовал Suno для музыки, Claude — для текстов, промптов, раскадровки и команд монтажа, а изображения и видео генерировал отдельными ИИ-инструментами. Версии сервисов в материале не указаны.

Титульный слайд о создании AI-музыки и музыкального видео одним человеком — в материале разобран такой же процесс.Источник: note.com

Первый клип споткнулся о консистентность: реалистичные кадры по отдельности выглядели хорошо, но рядом одни казались фотографиями, другие — иллюстрациями. Автор отказался от этого варианта и перешёл к 3D-стилю. 16 изображений и 55-секундный тизер он сохранил в отдельной папке, но использовать не стал. Тут интересно: модель не помнит, как выглядел персонаж в прошлый раз, поэтому правила приходится заново задавать в каждом промпте.

Процесс такой: автор выбирает тему в одну строку, Claude помогает написать слова и описать настроение музыки, а треки для Suno автор отбирает на слух. Затем Claude готовит промпты для сцен и раскадровку, изображения превращают в короткие видеокадры, а команды для склейки и добавления текста снова пишет Claude. На авторе остаются три решения: что делать, какие варианты выбрать и что публиковать.

Чтобы персонаж не менялся, автор заранее записывает неизменные детали — лицо, волосы, стиль, цвета и тип музыки. Ещё он готовит пять опорных изображений: анфас, три четверти, профиль, в полный рост и со спины. Но одежду референсы тоже переносят, поэтому для каждого клипа отдельно уточняет, какой наряд нужен. И материалов лучше делать с запасом: в клипе на 3,5 минуты использовали 14 роликов, из-за повторов он казался однообразным; теперь автор ориентируется на 20 и больше.

В клипе First Snow добавили три приёма: первые три секунды начинаются с того, как имя пишут на снегу; короткая белая вспышка повторяется в четырёх местах как визуальный знак; в инструментальных фрагментах кадры режут по такту. Темп песни — 173 удара в минуту. Во время вокала монтаж не дробят, чтобы не ломать движения губ. Эти решения добавили уже на монтаже, не поручая их видеогенератору. Думаю, главный вывод для креаторов тут в сборке: одинаковые материалы можно подать по-разному. На середину августа четыре полные песни набрали по 11–91 просмотру, а короткие вертикальные версии — по 112–260.

Главное

  • Первый вариант с реалистичной внешностью не склеился по стилю; автор перешёл на 3D и отложил прежние кадры.
  • Пять опорных ракурсов помогают удерживать персонажа, но одежду нужно задавать отдельно.
  • Для клипа на 3,5 минуты автор теперь планирует 20 и больше видеороликов вместо 14.
  • Белая вспышка стала повторяющимся знаком First Snow, а инструментальные части смонтировали по такту.
  • Короткие версии четырёх песен набрали 112–260 просмотров против 11–91 у полных клипов.

Источникnote #画像生成AI