По данным Pandaily, Dawa Technology из Чунцина представила Scenes AI — модель мира на 34 млрд параметров для редактирования видео с камеры в реальном времени. Ставка понятная: менять сцену по частям и сохранять её устройство, причём запускать всё локально, без облака. Для создателей видео это потенциально интерактивная площадка вместо ещё одной очереди генерации. Пока оговорка простая: показатели приводит сама компания, независимого теста в материале нет.
Обычные видеомодели предсказывают следующий кадр, а Scenes AI поддерживает постоянное состояние мира: отдельно учитывает сцену, людей, камеру, свет, объекты и физику. В демонстрации комната превращается в нарисованный луг, но кресло, плюшевый мишка и шкаф остаются на месте. Надпись на стене тоже сохраняется, даже когда люди уходят, а снег сменяется дождём. Вот это уже полезная логика для правок: не пересобирать всё заново из-за одного изменения.
Систему делят на управляющий модуль Latent Stage и генератор LiveStage. Первый раскладывает сцену на элементы и задаёт физические ограничения для твёрдых тел, ткани, жидкостей и частиц; второй обновляет только изменившиеся области. Из 34 млрд параметров на каждом шаге активны примерно 4 млрд. По заявлению Dawa, это снижает нагрузку на GPU на 40–60% и ускоряет работу в 3–5 раз относительно обычной видеодиффузии.
На одной потребительской NVIDIA GeForce RTX модель, по словам разработчиков, выдаёт 720p при 25 кадрах в секунду. Компания также сообщает о 98,2% успешных целевых правок и сохранении внешности людей в 93,3% случаев. Scenes AI получила награду за выдающиеся достижения на мероприятии NVIDIA для стартапов в Сучжоу 15 октября: до финального этапа дошли 30 участников из более чем 580. Данные для обучения собрали на 84 тысячах квадратных метров студий, в 300 с лишним съёмках и 180 ТБ данных о состоянии миров. Как выразился директор по продукту Li Zongxing, видео может закончиться, а мир должен продолжать работать. Красивый замах — теперь бы увидеть, как он держится не только в демо.
ИсточникPandaily
