Японский дайджест «生成AIニュース+» от 15 ноября собрал за день двенадцать релизов. Для видеокреатора важнее всего один: Vauss делает из уже снятого или сгенерированного ролика 3D-сцену, и в Blender 5.3 по ней можно отрендерить новый ракурс без пересъёмки. По замеру команды, обучение идёт в 5,4 раза быстрее gsplat, а памяти GPU уходит примерно вдвое меньше.
Что написано в японском дайджесте
- Vauss: «実写やAI生成の動画から、別の視点でも見られる3Dシーンを作るコマンドラインツールです». Командная утилита, которая из реального или AI-видео строит 3D-сцену для других ракурсов.
- Kitten TTS 2 Mini: около 82 млн параметров, 16 языков, 118 голосов. Работает на CPU, без видеокарты.
- MiniMax-H3-Image-Character-Swap: меняет человека на фото на персонажа из референса. Фон, свет и других людей сохраняет, а заменяемого перерисовывает в исходной позе.
- comfy-fooocus-ui: экран в стиле Fooocus внутри ComfyUI. Промпт, размер, стиль и LoRA задаёте в форме, а граф собирается сам.
- ComfyUI Smart Guides: направляющие и выравнивание нодов на холсте.
- make-font: навык для AI-агентов. По референсу подбирает шрифт и выдаёт TTF, WOFF2 и PDF-образец.
- Project Maya: большие языковые модели на своём ПК, с чатом в браузере и API.
По make-font есть и реакция автора релиза Arlan Marat в X. В переводе редакции: «загрузи пару референсов, и получится книга шрифтов, в которой ты выглядишь круто». Смысл понятен: референсы на входе, шрифт на выходе.
Vauss: из ролика в 3D, без пересъёмки
Японский текст описывает весь путь. Из видео выбираются кадры, по ним определяется положение камеры, и сцена собирается из множества цветных точек с размытием. Пример из дайджеста: комнату снимают, обходя её по кругу. Результат экспортируют в SPZ, открывают в Blender 5.3 и рендерят с другого угла.
Автор релиза Джон Холлиман (John Holliman) написал в X 14 ноября. В переводе редакции:
Blender 5.3 умеет работать с Gaussian splats. Поэтому мы сделали способ создавать их заметно быстрее.
Теперь цифры. По японскому тексту, сравнение провела Voyager на одной карте L40S, на семи сценах. Vauss учится в 5,4 раза быстрее gsplat-MCMC, памяти уходит примерно вдвое меньше, а LPIPS, метрика отличия от исходного кадра, улучшилась на всех семи сценах.
Тут два нюанса. L40S — датацентровая карта, а не домашняя. Досье отмечает, что это замер одной команды на одном железе, а не независимый тест. Какая видеокарта нужна обычному креатору, в материалах не сказано.
А для креатора полезнее другое. Если локацию уже сняли, второй ракурс для б-ролла можно получить без повторной съёмки. Снимать для этого нужен проход камеры вокруг объекта, и японский пример как раз такой. Думаю, для б-ролла это самый практичный сценарий.
И про лицензию. Код выложен под собственной Vauss Preview License. Досье прямо пишет, что это не открытая лицензия: для коммерции её стоит прочитать до начала работы.
Kitten TTS 2 Mini: озвучка на процессоре
Для черновой озвучки японский дайджест выделяет Kitten TTS 2 Mini: 16 языков, 118 голосов и int8 ONNX-файл 82,7 МБ, который работает на CPU через ONNX Runtime. По досье, это одна из трёх моделей семейства.
| Модель | Параметры | Размер int8 ONNX | Языки | Голоса |
|---|---|---|---|---|
| Pico | 7,2 млн на язык | 8,0 МБ | 8 | 30 |
| Nano | 17 млн на язык | 17,4 МБ | 8 | 37 |
| Mini | 82 млн, одна модель | 82,7 МБ | 16 | 118 |
ComfyUI: что в дайджесте для тех, кто собирает ноды
comfy-fooocus-ui. После установки открываете /fooocus в браузере. Есть готовые workflow для SDXL и Anima, а свой граф на стандартном KSampler можно выгрузить в API-формате JSON и загрузить сюда. Внутри увеличение, перерисовка выделенной области, дорисовка за пределами кадра и восстановление настроек из PNG.
Smart Guides. При перетаскивании нод прилипает к соседям по высоте разъёмов. Shift отключает прилипание. Несколько нодов выравниваются по краям или центру, а промежутки можно сделать равными.
The Layout Studio for MOSS-Image. Это редактор в браузере: человек, предмет или текст задаются прямоугольниками с описанием. Экспортированный JSON вставляете в поле промпта ComfyUI, и модель ориентируется на рамки. В примере из текста заголовок стоит сверху, а человек внизу.
MiniMax-H3-Image-Character-Swap. LoRA для замены людей обучили Akatz Labs на видео, а встроили в веса статичной модели MiniMax-H3-Image.
- Project Maya: сам движок открыт, но модель скачивается отдельно. Maya-XS весит 73 ГБ, а рекомендуемая связка в примере — 24 ГБ видеопамяти и 64 ГБ RAM.
- Kitten TTS 2 Mini: 82,7 МБ, CPU, 118 голосов.
- Vauss: собственная Vauss Preview License, не открытая.
- ShadeNet-5-35M: модель обратного рендеринга (отделяет освещение и тени от цвета поверхности, даёт карты глубины и нормалей). Вход 448×448, на CPU, 35 МБ с корректирующей моделью.
- Smart Guides, comfy-fooocus-ui, make-font: в дайджесте условий доступа нет.
Где подвох
- Версии Maya расходятся. В японском дайджесте указана v1.1.64, в досье — v1.1.50 у Dev Radar (2 ноября) и v1.1.56 на странице-калькуляторе (6 ноября). Актуальную смотрите в репозитории.
- Vauss: цифры получены одной командой на L40S, и лицензия не открытая.
- Kitten Mini работает на CPU, но качество голоса на ваших текстах в материалах не оценено. Слушайте сами.
- Smart Guides, Layout Studio и make-font пока описаны, но установка и работа в дайджесте не расписаны. Идите по репозиториям.
- Maya рассчитана на большие языковые модели. Для сценариев и автоматизации это удобно, но 73 ГБ на диске — много.
Что это меняет и как применить у себя
Меняется одно: 3D из обычного видео становится шагом монтажа, а не отдельным проектом. Раньше второй ракурс значил вторую камеру или пересъёмку. Теперь хватает одного прохода камеры и конвейера.
- Снимите круговой проход вокруг локации или объекта. Подойдёт и готовый AI-клип с движением камеры.
- Прогоните ролик через Vauss на машине с GPU.
- Откройте SPZ в Blender 5.3 и отрендерите ракурсы для б-ролла или виртуальной камеры.
- До коммерческого использования прочитайте Vauss Preview License.
- Для черновой озвучки поставьте Kitten TTS 2 Mini в int8 ONNX на CPU и послушайте несколько из 118 голосов на своём тексте.
- Если работаете в ComfyUI, Smart Guides поможет держать граф в порядке, а comfy-fooocus-ui даст экран без ручной сборки нодов.
Цифры Vauss лучше проверить на своём материале. Что бы вы попробовали первым: 3D из ролика или озвучку на процессоре?
Если собираете цепочки из нод, посмотрите, как это делается в Workflow
Источники
KittenTTS 2 Pico, Nano and Mini: Tiny Open CPU TTS | ArtRealmAI
Vauss обучает 3D Gaussian Splat из видео в 5,4 раза быстрее gsplat
Project Maya GitHub: Datacenter Models on Your Own GPUs | The Calculator
GLM-5.3-Flash Maya-XS: a 73 GB GLM for… | Dev Radar
Источникnote.com
