Японский дайджест «生成AIニュース+» от 15 ноября собрал за день двенадцать релизов. Для видеокреатора важнее всего один: Vauss делает из уже снятого или сгенерированного ролика 3D-сцену, и в Blender 5.3 по ней можно отрендерить новый ракурс без пересъёмки. По замеру команды, обучение идёт в 5,4 раза быстрее gsplat, а памяти GPU уходит примерно вдвое меньше.

Источник: note.com

Что написано в японском дайджесте

Источник: artrealmai.com
  • Vauss: «実写やAI生成の動画から、別の視点でも見られる3Dシーンを作るコマンドラインツールです». Командная утилита, которая из реального или AI-видео строит 3D-сцену для других ракурсов.
  • Kitten TTS 2 Mini: около 82 млн параметров, 16 языков, 118 голосов. Работает на CPU, без видеокарты.
  • MiniMax-H3-Image-Character-Swap: меняет человека на фото на персонажа из референса. Фон, свет и других людей сохраняет, а заменяемого перерисовывает в исходной позе.
  • comfy-fooocus-ui: экран в стиле Fooocus внутри ComfyUI. Промпт, размер, стиль и LoRA задаёте в форме, а граф собирается сам.
  • ComfyUI Smart Guides: направляющие и выравнивание нодов на холсте.
  • make-font: навык для AI-агентов. По референсу подбирает шрифт и выдаёт TTF, WOFF2 и PDF-образец.
  • Project Maya: большие языковые модели на своём ПК, с чатом в браузере и API.

По make-font есть и реакция автора релиза Arlan Marat в X. В переводе редакции: «загрузи пару референсов, и получится книга шрифтов, в которой ты выглядишь круто». Смысл понятен: референсы на входе, шрифт на выходе.

Vauss: из ролика в 3D, без пересъёмки

Японский текст описывает весь путь. Из видео выбираются кадры, по ним определяется положение камеры, и сцена собирается из множества цветных точек с размытием. Пример из дайджеста: комнату снимают, обходя её по кругу. Результат экспортируют в SPZ, открывают в Blender 5.3 и рендерят с другого угла.

Автор релиза Джон Холлиман (John Holliman) написал в X 14 ноября. В переводе редакции:

Blender 5.3 умеет работать с Gaussian splats. Поэтому мы сделали способ создавать их заметно быстрее.

Теперь цифры. По японскому тексту, сравнение провела Voyager на одной карте L40S, на семи сценах. Vauss учится в 5,4 раза быстрее gsplat-MCMC, памяти уходит примерно вдвое меньше, а LPIPS, метрика отличия от исходного кадра, улучшилась на всех семи сценах.

Тут два нюанса. L40S — датацентровая карта, а не домашняя. Досье отмечает, что это замер одной команды на одном железе, а не независимый тест. Какая видеокарта нужна обычному креатору, в материалах не сказано.

А для креатора полезнее другое. Если локацию уже сняли, второй ракурс для б-ролла можно получить без повторной съёмки. Снимать для этого нужен проход камеры вокруг объекта, и японский пример как раз такой. Думаю, для б-ролла это самый практичный сценарий.

И про лицензию. Код выложен под собственной Vauss Preview License. Досье прямо пишет, что это не открытая лицензия: для коммерции её стоит прочитать до начала работы.

Kitten TTS 2 Mini: озвучка на процессоре

Для черновой озвучки японский дайджест выделяет Kitten TTS 2 Mini: 16 языков, 118 голосов и int8 ONNX-файл 82,7 МБ, который работает на CPU через ONNX Runtime. По досье, это одна из трёх моделей семейства.

МодельПараметрыРазмер int8 ONNXЯзыкиГолоса
Pico7,2 млн на язык8,0 МБ830
Nano17 млн на язык17,4 МБ837
Mini82 млн, одна модель82,7 МБ16118

ComfyUI: что в дайджесте для тех, кто собирает ноды

comfy-fooocus-ui. После установки открываете /fooocus в браузере. Есть готовые workflow для SDXL и Anima, а свой граф на стандартном KSampler можно выгрузить в API-формате JSON и загрузить сюда. Внутри увеличение, перерисовка выделенной области, дорисовка за пределами кадра и восстановление настроек из PNG.

Smart Guides. При перетаскивании нод прилипает к соседям по высоте разъёмов. Shift отключает прилипание. Несколько нодов выравниваются по краям или центру, а промежутки можно сделать равными.

The Layout Studio for MOSS-Image. Это редактор в браузере: человек, предмет или текст задаются прямоугольниками с описанием. Экспортированный JSON вставляете в поле промпта ComfyUI, и модель ориентируется на рамки. В примере из текста заголовок стоит сверху, а человек внизу.

MiniMax-H3-Image-Character-Swap. LoRA для замены людей обучили Akatz Labs на видео, а встроили в веса статичной модели MiniMax-H3-Image.

  • Project Maya: сам движок открыт, но модель скачивается отдельно. Maya-XS весит 73 ГБ, а рекомендуемая связка в примере — 24 ГБ видеопамяти и 64 ГБ RAM.
  • Kitten TTS 2 Mini: 82,7 МБ, CPU, 118 голосов.
  • Vauss: собственная Vauss Preview License, не открытая.
  • ShadeNet-5-35M: модель обратного рендеринга (отделяет освещение и тени от цвета поверхности, даёт карты глубины и нормалей). Вход 448×448, на CPU, 35 МБ с корректирующей моделью.
  • Smart Guides, comfy-fooocus-ui, make-font: в дайджесте условий доступа нет.

Где подвох

  • Версии Maya расходятся. В японском дайджесте указана v1.1.64, в досье — v1.1.50 у Dev Radar (2 ноября) и v1.1.56 на странице-калькуляторе (6 ноября). Актуальную смотрите в репозитории.
  • Vauss: цифры получены одной командой на L40S, и лицензия не открытая.
  • Kitten Mini работает на CPU, но качество голоса на ваших текстах в материалах не оценено. Слушайте сами.
  • Smart Guides, Layout Studio и make-font пока описаны, но установка и работа в дайджесте не расписаны. Идите по репозиториям.
  • Maya рассчитана на большие языковые модели. Для сценариев и автоматизации это удобно, но 73 ГБ на диске — много.

Что это меняет и как применить у себя

Меняется одно: 3D из обычного видео становится шагом монтажа, а не отдельным проектом. Раньше второй ракурс значил вторую камеру или пересъёмку. Теперь хватает одного прохода камеры и конвейера.

  1. Снимите круговой проход вокруг локации или объекта. Подойдёт и готовый AI-клип с движением камеры.
  2. Прогоните ролик через Vauss на машине с GPU.
  3. Откройте SPZ в Blender 5.3 и отрендерите ракурсы для б-ролла или виртуальной камеры.
  4. До коммерческого использования прочитайте Vauss Preview License.
  5. Для черновой озвучки поставьте Kitten TTS 2 Mini в int8 ONNX на CPU и послушайте несколько из 118 голосов на своём тексте.
  6. Если работаете в ComfyUI, Smart Guides поможет держать граф в порядке, а comfy-fooocus-ui даст экран без ручной сборки нодов.

Цифры Vauss лучше проверить на своём материале. Что бы вы попробовали первым: 3D из ролика или озвучку на процессоре?

Если собираете цепочки из нод, посмотрите, как это делается в Workflow

Источники

KittenTTS 2 Pico, Nano and Mini: Tiny Open CPU TTS | ArtRealmAI

Vauss обучает 3D Gaussian Splat из видео в 5,4 раза быстрее gsplat

Project Maya GitHub: Datacenter Models on Your Own GPUs | The Calculator

GLM-5.3-Flash Maya-XS: a 73 GB GLM for… | Dev Radar

Источникnote.com