Open-H3-Regenerate-2K — открытый рефайнер NVIDIA и MIT для видео на базе MiniMax H3. Он перерисовывает черновик в более высоком разрешении: до 2K, а в проекте показывают возможность 4K. Пользователь friedlc на Reddit запустил его в ComfyUI на RTX 4090. Пять секунд видео заняли 2–4 минуты, а при высокой силе модель изменила лицо и игру актёра.
Система заново генерирует детали по исходному видео. Она может добавить фактуру, но заодно поменять то, что вы хотели сохранить. Для пейзажа это может быть приемлемо. Для крупного плана с конкретной эмоцией — уже риск.
Open-H3-Regenerate-2K добавляет детали, но пересобирает кадр
Сначала нужен черновик MiniMax H3. Затем модель увеличивает его латентное представление, проходит несколько шагов и создаёт детали в целевом разрешении. Латентное представление — компактное внутреннее описание изображения, с которым модель работает до превращения результата в обычные пиксели.
По описанию проекта, открытый вариант рассчитан на вывод 2560×1440 и может доходить до 3840×2160. В основе — отдельная LoRA для детализации, латентный апскейлер и быстрый H3 VAE-декодер. LoRA — небольшой набор дополнительных весов. Он настраивает поведение базовой модели, не заменяя её целиком.
Команда проекта опубликовала замер на одной NVIDIA B200: обработка пятсекундного ролика заняла 22,45 секунды против 87,26 секунды в неоптимизированном варианте. Это данные авторов проекта, а не независимый тест. B200 — не RTX 4090, так что переносить эти цифры на домашнюю карту нельзя.
На RTX 4090 резкость зависит от того, сколько исходника вы сохраните
Для теста friedlc взял пятсекундный план: уставший офисный работник медленно зевает. Тут важны и композиция, и мелочи — тяжёлые веки, свободный галстук, пятно от кофе. Автор написал, что кадр получается резким, но меняется актёрская игра. Он также спросил, не ошибся ли в настройках.
| Настройка или модель | Что получилось |
|---|---|
| σ 0.909 | Очень резкое изображение, но герой выглядит моложе, глаза открыты, он говорит, галстука нет |
| σ 0.8 | Зевок и галстук вернулись, но усталость в глазах стала слабее |
| σ 0.7 | Ближе к исходному плану, но мягче, чем SeedVR2 |
| SeedVR2 | Самый резкий из проверенных вариантов, которые сохраняют исходную игру |
Для портрета это существенная потеря. Смысл сцены держится на микровыражении: глаза должны оставаться полуприкрытыми, а зевок — медленным. При σ 0.909 модель сохраняет общую сцену, но может потерять именно эти детали. Снижение силы помогает, однако максимальная резкость и полная верность оригиналу здесь конфликтуют.
Автор отметил меньше колебаний текстур по сравнению с SeedVR2 и отсутствие заметного сдвига цвета. На RTX 4090 пять секунд видео обрабатывались около 2–4 минут. Для пейзажа, животного или предметной съёмки небольшая перемена деталей может быть допустима. Для крупного плана с актёром риск выше.
В ComfyUI главный компромисс задаёт σ
По словам friedlc, исходная реализация требует около 150 GB видеопамяти. Для запуска в ComfyUI на RTX 4090 автор использовал Claude Code, чтобы подготовить веса. Это пользовательский способ запуска, а не подтверждение, что полный официальный workflow так же работает на такой карте.
В его конфигурации нужны H3 FL2VA checkpoint и латентный апскейлер LBH H3. LoRA загружается с весом 1.0; sampler — Euler, CFG — 1. Для более агрессивного варианта автор использовал ManualSigmas 0.909375, 0.857143, 0.666667, 0. Для мягкого — 0.8, 0.685714, 0.48, 0.
- Начните с мягкого набора σ, если важны лицо, жест и актёрская игра.
- Сравните результат с исходником на нескольких ключевых кадрах, а не только на первом.
- Для пейзажа или предмета попробуйте более высокое значение и проверьте, не изменились ли форма и цвет объекта.
- Сверьте результат с SeedVR2, если задача — сохранить исходное движение и выражение.
- Заложите 2–4 минуты на пятсекундный клип в тесте на RTX 4090. Это результат одного автора, а не универсальный норматив.
При переносе весов есть техническая возня. LoRA выпущена в формате Diffusers: q, k и v нужно объединить в fused qkv_proj для ComfyUI, а две половины MLP fc1 — поменять местами. Автор также сообщил, что дополнительный файл Sharp curve branches на 1,2 GB состоял из нулей и в его варианте был не нужен. Перед удалением файлов проверьте актуальные инструкции своего workflow.
Для коммерческого кадра проверьте лицензию и детали
Открытые веса позволяют встроить обработку в локальный workflow и не отправлять каждый исходник в облачный API. Но у них тоже есть лицензионные условия. В обсуждении загрузки весов на Hugging Face участники указали, что нужно сохранить лицензию MiniMax H3, добавить NOTICE и приложить лицензию латентного апскейлера. Там же отметили расхождение между лицензиями апскейлера на разных страницах. Если собираете пайплайн для клиента или распространяете сборку, сначала проверьте актуальные файлы лицензий.
Перед финальным рендером проверьте не одну резкость. Сверьте лицо, одежду, предметы в руках, цвет и движение на протяжении всего клипа. Рефайнер может хорошо восстановить фактуру, но изменить постановку.
Если детали несут смысл сцены, резкость без верности исходнику — сомнительный обмен.
Источники
Efficient-Large-Model/Open-H3-Regenerate-2K: обсуждение публикации весов и лицензий
Open-H3-Regenerate-2K: трёхшаговая обработка MiniMax H3
Тест Open-H3-Regenerate-2K на RTX 4090, пересказ AGI Hunt
Источникreddit.com
