Video Deflicker, который появился в свежей ComfyUI, гасит мерцание видео, сделанного покадровой обработкой картинковым ИИ. Японский автор note проверил его и пишет, что по замерам мерцание вернулось почти к уровню исходного ролика. Если вы прогоняете видео через ИИ-картинку по кадрам, это прямо про вашу проблему, и инструмент теперь есть в последней версии ComfyUI.

Источник: note.com

Суть простая. Когда каждый кадр перерисовывается отдельно, детали у соседних кадров выходят немного разными, и глаз видит это как дрожь. Deflicker берёт за образец исходное видео, движение между кадрами определяет через RAFT и выравнивает кадры по этому образцу. Настройки автор оставил по умолчанию.

Пример намеренно плохой: автор взял 4,5-секундный ролик H3 (480×832, 107 кадров), перерисовал каждый кадр через H3-Image с новым seed и получил заметное мерцание. Обычный H3 так не мерцает, это сделано для теста. Одна перерисовка кадра занимала около 23 секунд. Потом Deflicker прогнали по «сломанной» версии, исходное видео подали как guide. Обработка заняла 24 секунды и около 4 ГБ памяти.

На всём кадре разницы почти не видно, при увеличении она заметна, особенно на лицах и волосах. По замеру средняя разница яркости соседних кадров ушла к значениям оригинала. Автор отдельно прогнал тот же приём после видеоапскейла через RelayVSR и SeedVR2: мерцание по замеру упало примерно на 19% и 34%, но на глаз разница мелкая. Его гипотеза: видеоапскейлеры сами учитывают соседние кадры, поэтому и мерцают меньше.

Вывод для тех, кто делает видео по кадрам: инструмент рабочий и не тяжёлый по памяти, но лечит последствия, а не причину. Силу эффекта и разные значения настроек автор пока не проверял, обещает попробовать дальше. Пока это один ролик и один тест.

Источникnote #画像生成AI