Заменить актёра в готовом ролике так, чтобы его движения, камера и музыка остались на месте. Именно это умеет Viggle Remake, и с 4 ноября её веса лежат на Hugging Face. Берём видео, до четырёх нарисованных кадров-референсов и текстовое описание, на выходе получаем переснятый ролик.
Что именно выложили
В пакете лежит больше, чем веса. По карточке модели в репозитории лежит:
- два LoRA-адаптера на базе MiniMax H3: swap для замены людей и персонажей и edit для всего остального;
- reference-сэмплер sample.py и примеры запуска;
- наборы нод и воркфлоу для ComfyUI;
- квантованные версии int8 и GGUF для слабых видеокарт;
- LoRA меньшего ранга, rank-128 и rank-64;
- MCP-сервер, с которым агент режет видео, рисует кадры, рендерит и склеивает результат.
Слоган на карточке звучит так: «Remake any video. Just ask.» То есть «переделай любое видео, просто попроси». Звучит бодро, но за этой фразой стоит сложная механика, и пользоваться ей вручную сложнее, чем хочется.
Два режима: swap и edit
Модель разделена на два адаптера, и разница понятна по названиям:
- swap меняет людей и персонажей, одного или нескольких сразу;
- edit добавляет и убирает объекты, меняет локацию, погоду, свет и стиль.
- находит склейки и режет видео на окна;
- рисует ключевые кадры;
- пишет промпты;
- рендерит каждое окно;
- проверяет свою работу;
- собирает готовый ролик с исходным движением, камерой, таймингом и звуком.
Сколько это железо съедает
Веса тяжёлые. Базовая модель MiniMax H3 в полной точности весит около 144 ГБ, весь репозиторий — около 210 ГБ. Адаптеры по размеру уже приятнее:
- LoRA rank-256 — 2,67 ГБ каждый;
- rank-128 — 1,34 ГБ;
- rank-64 — 0,67 ГБ;
- GGUF Q4_K_M — 14,3 ГБ, Q6_K — 17,6 ГБ, Q8_0 — 22,3 ГБ.
Японский блог KOBO Lab прогнал ComfyUI на RTX 5090. Условия: 832×480, 226 кадров, то есть около 9,4 секунды, 6 шагов, время без загрузки модели. Цифры их:
| Вариант | Файлы, ГБ | Время на ролик | Пик VRAM, ГБ |
|---|---|---|---|
| Официальный int8 (LoRA вшиты) | 21,0 | 152–156 с | 31,6 |
| H3 int8 + LoRA отдельно | +3,8 к базе | 166–171 с | 31,4 |
| Официальный GGUF Q4_K_M | 14,3 | 198–201 с | 27,3 |
Авторы KOBO Lab советуют брать официальный int8: он быстрее и не требует ComfyUI-GGUF. Они же предупреждают, что int8 для edit и swap лежат отдельно, и вдвоём это уже 42 ГБ.
Тут есть расхождение. По материалам Thereelstack и Ordalin, документация описывает int8 и GGUF примерно от 12 ГБ VRAM с выгрузкой весов в оперативную память. В тесте KOBO пик на 5090 составил 27–32 ГБ. Скорее всего, разница в настройках выгрузки и длине ролика, но проверить это можно только на своей конфигурации. Thereelstack также цитирует Viggle: полная bf16-выборка требует 80 ГБ и больше.
Сам я модель локально не гонял, все цифры выше чужие, с именами авторов. Тайминги Ordalin взяты из замеров Viggle на NVIDIA B200, так что на вашей карте будет иначе.
Как запустить в ComfyUI
Инструкция из COMFYUI.md в репозитории довольно конкретна. Порядок такой:
- Ставите набор нод comfyui/ComfyUI-Viggle-Remake. Остальное в графе стоковое. Протестировано на ComfyUI 0.42.0.
- Берёте модель fl2va, а не ref2va: LoRA накладываются на базовый трансформер, те же веса, что грузит sample.py.
- Конвертируете исходник в 24 fps командой ffmpeg -i in.mp4 -r 24 source.mp4. В sample.py это делается автоматически, в ComfyUI — нет, и без этого кадры идут как есть.
- Кладёте входы под именами, которые ждут воркфлоу.
- Перетаскиваете на холст remake_swap_ui.json или remake_edit_ui.json и ставите в очередь. Файлы *_api.json — те же графы для API /prompt.
Входов несколько: source — кадры клипа, audio — звуковая дорожка (обычно из исходника), ref_1…ref_4 — референсы, на которые в промпте ссылаются как <Picture 1>…<Picture 4>, и pins — номера выходных кадров, к которым привязаны референсы, например 12, 184. Видео попадает в папку output/viggle_remake/.
Нужен ли pins, в материалах однозначного ответа я не нашёл. KOBO Lab выделила этот вопрос отдельным разделом, но в досье его текст не виден. Так что пока не буду советовать ни «да», ни «нет».
Без своего железа: облако и бесплатные попытки
Если локальный запуск не вариант, есть два пути. Первый — приложение Viggle, где Remake работает без установки и без GPU. По данным Thereelstack, со слов Viggle, стоимость — примерно $0,96 за 10 секунд в 720p, но это цифра самой компании, проверяйте в интерфейсе. Второй — бесплатное демо на Hugging Face, по описанию Ordalin, рассчитанное на клипы до 5 секунд.
Где подвох
- «Open weights» — с оговоркой. Веса идут как производная модель MiniMax H3 под community-лицензией MiniMax. Код инференса и MCP под Apache 2.0. Полностью свободно только то, что написано под Apache 2.0.
- «Видео любой длины» пока не подтверждено. Механизм нарезки на окна описан, но самый длинный прогон из материалов — около двух минут.
- Скачивать весь репозиторий через git с LFS не нужно, если нужны только LoRA или MCP. Viggle предупреждает, что полное дерево весит около 210 ГБ.
- Заявлено, что модель не умеет проверять согласие. KOBO Lab прямо пишет, что в модели нет механизма подтверждения личности или согласия героя. Такие ролики нельзя делать с чужими людьми без их разрешения.
- Цифры по памяти расходятся между источниками, и точные значения знает только ваш прогон.
Что это меняет для креатора
В итоге Remake закрывает три задачи: переснять сцену, которую не хочется снимать заново, сделать вариант ролика под другой персонаж или локацию и собрать предпросмотр (previz) до съёмки. Операторская работа, тайминг и звук остаются из исходника, и это отличает такой подход от генерации с нуля.
Для рекламы и локализации это интересно прежде всего экономикой. Но пока я вижу узкое место в железе и настройке. Пока проще взять hosted-приложение на короткий тест и понять, нравится ли результат, и только потом думать о локальной конфигурации.
Что проверить самому
- Лицензию и условия коммерческого использования весов и результата. KOBO Lab выделила это в отдельный раздел, но в досье его текст не виден.
- Память на своей карте: короткий клип в int8 и один прогон с GGUF Q4_K_M.
- Как агент работает с вашим видео: сколько окон получилось и где пошёл сбой.
- Есть ли смысл в pins для вашей сцены.
А вы бы сейчас поставили Remake у себя или сначала дождались, пока MCP-агент сам научится работать с обычной видеокартой?
Источники
Viggle/Viggle-Remake · Hugging Face
COMFYUI.md · Viggle/Viggle-Remake
Viggle Remake open weights for video recasting
Viggle Remake: open H3 LoRAs that re-shoot any clip
Viggle RemakeをComfyUIで実測|KOBO Lab
Viggle Remake: free video-remake model, GPUs, ComfyUI and MCP · Ordalin
Источникreddit.com
