Автор note Kamimoto собрал для MiniMax H3 двухпроходный воркфлоу: на RTX 4070 он генерирует 14-секундное видео за 125,7 секунды и чище передаёт голос. Металлический призвук уходит, а ролик получается примерно на 28 секунд быстрее прежней быстрой версии — хороший расклад для локальной генерации.

Источник: note.com

Секрет — разделить звук и картинку. В первом проходе видео уменьшают до 32×32 и за 8 шагов отдельно доводят аудио: каждый шаг занимает около 1,2 секунды. Во втором проходе голос фиксируют и генерируют под него видео. Текстовые и визуальные условия используют в обоих проходах, но тяжёлую языковую модель запускают только один раз.

Kamimoto сравнил аудио на 4, 5, 6 и 8 шагах: на первых двух металлический оттенок ещё слышен, на 6 и 8 он почти пропадает. Автор выбрал 8 шагов — они добавляют примерно 2,5 секунды. В стандартном воркфлоу весь проход со звуком увеличивает время генерации на 11–13 секунд. Быстрый вариант сочетает его с LBH 3+1: сначала видео считают в меньшем разрешении, затем увеличивают и обрабатывают последний шаг в большем.

Результаты на RTX 4070: быстрый вариант создаёт видео на 5 секунд за 60 секунд, на 10 секунд — за 93,6, на 14 секунд — за 125,7. Прежний вариант тратил на 14-секундный ролик 153,8 секунды, но со звуком похуже. Узлы и воркфлоу автор выложил для установки через ComfyUI-Manager. Стандартный вариант проще и позволяет свободно выбирать пропорции кадра; быстрый лучше для длинных роликов, но требует дополнительных узлов и одинаковых пропорций для низкого и высокого разрешения. Настройка не совсем в один клик, зато потом можно получать чище звучащее видео примерно за две минуты.

Источникnote #動画生成AI

Подробный разборMiniMax H3 улучшил звук: 14-секундное видео за 125,7 секунды на RTX 4070