Японский креатор на note собрал MV на 3:12 за 5–6 часов: после запуска он ни разу не вмешивался, а видеоклипы для сцен делала MiniMax H3 через ComfyUI. Для тех, кто делает клипы с ИИ, это разбор того, что за этим стоит на самом деле: один запрос в ChatGPT не даёт готовый MV, нужна связка инструментов.

Источник: note.com

По заметке, ChatGPT сначала помогает придумать сцены под текст песни, а автор сам проверяет предложения и передаёт их в скрипт main.py. Скрипт режет текст, делит время по длине трека и формирует промпты. Картинки для каждой сцены делает Z-Image Turbo в ComfyUI, а из каждой картинки потом получается короткое видео. В тестовой конфигурации это 5 секунд, и автор отдельно оговаривает, что это тест, а не длина всех сцен в финальном ролике.

Дальше за дело берётся FFmpeg: скрипт проверяет, что все нужные видеофрагменты на месте, приводит их к одному размеру и частоте кадров, склеивает и накладывает музыку. Если какого-то куска нет, склейка не запускается. По словам автора, это заменило ручную проверку «всё ли сгенерилось».

Подвох тоже есть. Чтобы прочитать LoRA, ChatGPT сначала предложил вариант с torch, потом с numpy: оба упали на отсутствующих библиотеках. Заработало только встроенными средствами Python. И по картинке итог неидеальный: сцены местами похожи друг на друга. Автор считает, что это уже вопрос замысла и монтажа, а не работы пайплайна.

Вывод: собрать MV из кусков уже можно почти без ручных шагов, а решать, что показывать, пока остаётся за человеком. Следующую часть автор обещает посвятить другой песне и тому, что в ней пошло не так с кадрами.

Источникnote #動画生成AI