Vauss обучает 3D Gaussian Splat из видео в 5,4 раза быстрее gsplat и тратит примерно вдвое меньше памяти GPU, об этом пишет Джон Холлиман в своём посте в X. Для тех, кто делает видео, это значит: кусок реального ролика или AI-клипа можно превратить в 3D-сцену и снять с другого угла, не генерируя новый ролик заново.

Источник: note.com

Работает так: из видео выбираются кадры, по ним определяется положение камеры, а сцена собирается из множества цветных точек, у каждой из которых есть размытие и цвет. В примере из поста комнату снимают, обходя её по кругу. Результат экспортируют в формат SPZ, открывают в Blender 5.3 и рендерят с другого угла. Видео может быть как съёмкой, так и сгенерированным.

Цифры взяты из сравнения, которое провела Voyager на одной карте L40S по семи сценам. Помимо скорости и памяти, метрика LPIPS, которая показывает отличие от исходного изображения, улучшилась на всех семи сценах. Это замер одной команды на одном железе, а не независимый тест на ваших роликах, так что проверять придётся на своём материале.

Код выложен под собственной лицензией Vauss Preview License, а не под открытой лицензией, так что для коммерческого использования её стоит прочитать до начала работы. Если нужен быстрый 3D-проход по съёмке, Vauss точно стоит попробовать. Поворот простой: ролик, который уже снят, теперь можно не переснимать ради нового ракурса.

Источникnote #動画生成AI

Подробный разборVauss заявляет, что обучение в 5,4 раза быстрее gsplat — замер самой команды