Редкий сценарий для автопилота, например ночной ливень или авария на перекрёстке, снимать долго и дорого.

18 ноября NVIDIA показала способ обойти это.

Источник: blogs.nvidia.com

Две текстовые команды кодинг-агенту.

Дальше агент сам ищет, переделывает и размечает видео. По собственным замерам компании, сборка датасета идёт до 60 раз быстрее.

Ядро называется Cosmos Data Factory (CDF): пять облачных blueprint-ов и шесть компонуемых agent skills. Blueprint — готовый пайплайн под типовую задачу, skill — отдельный кирпичик, который можно взять или не брать.

Корейский текст описывает процесс как две команды на естественном языке.

Первая — проверить среду и поставить нужные сервисы.

Вторая — сама задача: найти похожие сцены в уже снятом проезде, перевести их в дождь, снег или туман и проверить, что физика не поехала.

Пять задач, которые агент берёт на себя

В техническом блоге NVIDIA (автор — Nakul Arora) суть описана одной строкой: «Curate, augment, generate, and label physical AI data, orchestrated by your coding agent».

Источник: reviewramble.com
  • Поиск нужных сцен в большом видеоархиве. Cosmos Dataset Search ищет по смыслу сцены, пространственным связям и движению, а не только по метаданным.
  • Генерация редких событий: пожар, падение человека, авария, отказ техники.
  • Смена погоды и освещения на уже отснятых кадрах без повторной съёмки.
  • Дефекты для промышленного контроля, например плохая пайка на печатных платах или смещённые детали.
  • Авторазметка: объекты, трекинг, описание сцены.

Сколько это стоит на самом деле?

Сутки GPU: сколько стоит один кадр

Все цены в исходнике даны в долларах, а курса в материале нет, поэтому в рубли я пересчитывать не стал.

Расчёт учитывает только GPU. Сервер из восьми RTX PRO 6000 Blackwell стоит около 40 долларов в час, или примерно 960 долларов в сутки.

Стоимость одной единицы считается от суточного объёма генерации.

СценарийСтоимость у NVIDIA, $Сравнение, $
Редкий сценарий для автопилота (одно видео)2,66125 за реальную съёмку
Пара изображений с изменёнными атрибутами0,0230,25 за покупку данных
Видео около 5 минут для аугментации3,1522 за покупку данных
Редкое событие (одно видео, около 4 минут генерации)2,50нет данных

По суткам у NVIDIA получилось так: около 130 редких сценариев для автопилота, около 42 600 пар изображений, около 305 размеченных видео для аугментации и около 384 видео с редкими событиями.

Задача с дефектными изображениями занимала около двух месяцев, а теперь уложилась в один день.

Для сравнения: один редкий сценарий для автопилота обходился около 2,66 доллара GPU, а реальный сбор дорожных данных — 125 долларов на ситуацию. Это примерно в 45 раз дешевле, по расчёту NVIDIA.

Цена без людей и другие подвохи

В корейском тексте есть и раздел про подводные камни.

  • Цена без людей. В расчёт попали только GPU. Подготовка исходников, работа агента, хранение и ручная проверка в экономику не входят. Источник прямо говорит, что из этих цифр нельзя напрямую вывести экономию для всей компании.
  • Цифры вендора. По данным AI Lookout, Porsche ждёт до 90% меньше повторных тест-драйвов, а ANYbotics сообщает о росте recall на 24%. Это заявления самих компаний, не независимые замеры.
  • Не одна лицензия. Blueprint-ы, skills, базовые модели и внешние сервисы лицензируются отдельно. Веса Cosmos 3 идут под OpenMDW-1.1, которая разрешает коммерческое использование (по ReviewRamble и ComfyDeploy), но текст лицензии перед продакшном лучше прочитать целиком.
  • Железо. Замеры шли на восьми GPU. Модель Cosmos3-Super на 64B, по данным ComfyDeploy, нацелена на H200, B200 и GB200.
  • Физика. Ролик может выглядеть натурально и при этом неверно передавать движение. Сам NVIDIA-текст и корейский материал говорят об этом прямо: нужна отдельная проверка.

Рутину можно отдать агенту

CDF — инструмент для датасетов.

Студии, которая делает рекламу или клипы, он напрямую не нужен.

А вот открытые модели Cosmos 3 интереснее. Nano весит 16B, генерирует видео, картинку, звук и действия.

По данным ReviewRamble, разрешение 256p, 480p или 720p, от 5 до 400 кадров на клип, по умолчанию 189.

Идея для image-to-video простая: взять отснятый кадр и переложить его на другую погоду или свет.

Как это работает на ваших кадрах, сам не гонял.

По описанию модель сохраняет структуру сцены и движение, но лица и мелкие детали (руки, надписи, номера) проверять придётся глазами.

Я бы отдал агенту самую нудную часть: редкие события и смену погоды, которые сейчас делаются руками и занимают много времени.

Три шага, если есть архив

  1. Открыть репозиторий NVIDIA на GitHub и посмотреть blueprint-ы и skills. Там лежат инструкции запуска, а сами блоки доступны и в облаках Azure, Nebius и CoreWeave.
  2. Для видео взять Cosmos3-Nano и прогнать один отснятый кадр на другую погоду. Ограничения помните: до 720p, тестировалось только на Linux в BF16.
  3. Если у вас большой архив роликов, посмотреть Cosmos Dataset Search. Он под лицензией Apache 2.0, поэтому его можно встроить в свою систему поиска по смыслу сцены.
  4. Если ML-пайплайнов в студии нет, это watch-list: следить за обновлениями, а не ставить на сегодня.

Если решите тестировать, проверьте три вещи: совпадает ли движение с оригиналом, не поплыли ли мелкие детали и подходит ли вам лицензия под ваш сценарий.

Источники

Build Training-Ready Physical AI Datasets with Two Prompts in NVIDIA Cosmos | NVIDIA Technical Blog

NVIDIA Cosmos Opens New Tools to Train, Evaluate and Deploy World Models | NVIDIA Blog

NVIDIA Cosmos 3 review: pricing and verdict (2026)

NVIDIA Cosmos 3: Open World Models for Video and Image Generation | ComfyDeploy

NVIDIA expands Cosmos with Data Factory blueprints

Источникaitimes.kr