Круговое видео можно превратить в 3D-сцену, не загружая его никуда и не устанавливая софт. Gausify Orbit стал open source под лицензией MIT и собирает Gaussian Splat прямо в браузере. Для тех, кто делает видео в ComfyUI, это способ превратить генерацию в объект, который можно крутить, экспортировать и показывать в VR/AR.
На вход подойдут ролик вокруг объекта, видео с телефона или папка изображений. Orbit выбирает резкие кадры по кругу, восстанавливает положение камер и обучает сплаты. Если ИИ-объект начинает «плыть» к концу ролика, проблемный участок можно обрезать. Для изоляции объекта есть SAM 2.1 на WebGPU: достаточно указать его на одном кадре, дальше маска отслеживается по видео. Еще доступны хромакей и RMBG-1.4 — у последнего лицензия запрещает коммерческое использование.
Вычисления идут локально через WebGPU: файлы не покидают устройство, а после первого запуска приложение может работать офлайн. Установка не нужна, но нужен настольный Chrome или Edge с поддержкой WebGPU. Обучение в браузере примерно втрое медленнее, чем в нативном Brush, — всё ещё рабочий вариант, но скорость зависит от видеокарты. Готовую сцену можно выгрузить в PLY или сжатый SOG; автор пишет, что файлы обычно становятся в 5–15 раз меньше.
Самое интересное — доработка ракурсов, которых не было в исходном видео. Orbit рендерит сцену с новой траекторией камеры, отправляет клип на восстановление видеомоделью через ComfyUI и дообучает сплаты на полученных кадрах. Можно подключить собственный workflow, сохранить проект и продолжить обучение отдельно, не пересчитывая камеры. Автор пока тестирует этот способ с LTX 2.5 и Decompression LoRA: результат иногда хорош, но специализированная LoRA, по его оценке, подошла бы лучше. Короче, браузер тут уже не просто показывает 3D — он его собирает и помогает дорисовать невидимое.
ИсточникReddit: AI-видео и картинки
