Google DeepMind показала Genie 4 — world model для интерактивных виртуальных сцен. Она меняет сцену по текстовым командам и генерирует звук. По заявлению компании, связность сохраняется до 2 минут — вдвое дольше, чем у предыдущей версии. Пока Genie 4 тестирует ограниченный круг пользователей.

Корейское издание ETNews называет world model «мозгом физического AI»: модель должна не просто рисовать кадр, а симулировать, что произойдёт после изменений в виртуальной среде. Звучит громко. Для креаторов полезнее другое: можно менять сцену прямо во время генерации, не пересобирая ролик после каждой идеи.

Заставка Genie 4 с изображением колибри в сферической сцене, связанная с интерактивной симуляцией миров.Источник: blog.google

Genie 4 меняет сцену на лету и добавляет к ней звук

В описании Google пользователь может менять симуляцию на ходу: повернуть камеру, сменить погоду, добавить человека или предмет. Модель параллельно генерирует звуковую среду — музыку, фоновые шумы и диалог, который реагирует на происходящее.

Такой формат отличается от обычного видео по промту. Вы задаёте начальную сцену, а потом направляете развитие мира. На раннем этапе работы это может пригодиться, чтобы прикинуть движение камеры или атмосферу кадра. Ещё можно проверить варианты сцены до финального монтажа.

  • Менять погоду и ракурс во время симуляции.
  • Добавлять в виртуальную сцену людей и предметы.
  • Генерировать музыку, шумы и интерактивный диалог вместе с изображением.
  • Поддерживать связность сцены до 2 минут — вдвое дольше, чем Genie 3.

Genie 4 теснее связана с моделями Gemini. По описанию Google DeepMind, Gemini Omni помогает симуляции сохранять реалистичные внешний вид и поведение. Другие модели Gemini отвечают за рассуждение и связность событий. Gemini планирует действия по шагам и проверяет кадры, пока Genie строит изображение.

В Google Blog исследовательский директор Техас Кулкарни описывает будущую связку так: Gemini пишет код и текст, а Genie в реальном времени симулирует мир на разных уровнях детализации. Это может пригодиться за пределами игр. Google называет робототехнику и интерактивное обучение, а TechCrunch пишет, что тестеры также рассматривают раннее прототипирование сцен для кино.

Для креатора это инструмент превизуализации, а не готовый рендер

Инженер Google DeepMind Диего Ривас объяснил ценность работы в реальном времени через «состояние погружения» в творческий процесс. По его словам, Genie 4 может помочь быстро накидать идеи или собрать сториборд. Мне эта оценка кажется точной: здесь важен темп перебора. Первый результат ещё не обязательно можно отдавать клиенту.

Реальное время особенно ценно в творческом процессе, когда важно сохранять состояние погружения. Это полезно там, где нужно быстро придумать варианты — например, при разработке идеи или сториборда. — Диего Ривас, инженер Google DeepMind; перевод с корейского.

Если Genie 4 станет доступна шире, я бы проверял её на черновой постановке и поиске вариантов: набросать пространство, поменять погоду, проверить другой ракурс, добавить персонажа. Весь производственный пайплайн на ней пока строить рано. В опубликованных материалах нет оснований считать Genie 4 обычным видеоредактором с предсказуемым контролем каждого кадра.

Главный риск Genie 4 — связность пока не равна точности

Две минуты — заявленная максимальная длительность связной сцены. Это не гарантия безошибочной непрерывности. TechCrunch отмечает, что в длинной симуляции могут расплываться детали и меняться предметы. Точность аудио и читаемость текста внутри виртуального мира тоже остаются нерешёнными задачами.

В обсуждении на Hacker News пользователь inkcapmushroom заметил, что объекты могут меняться, если исчезают за краем кадра и возвращаются: в одном примере появляется второй замок, в другом меняются люди на платформе. Пользователь recursive обратил внимание на несовпадение звука с запросом: вместо саксофона модель выдала звучание кларнета. Это отдельные замечания к опубликованным примерам, а не систематический тест. Но по ним понятно, что стоит проверять.

Другой участник Hacker News, numlock86, считает результат заметным шагом вперёд и напоминает, насколько хуже выглядели ранние генерации видео. Думаю, для креатора обе оценки могут быть верны: прогресс впечатляет, а конкретный дубль всё равно нужно проверять.

Genie 4 пока не открыта всем подписчикам и разработчикам

Google начала с исследовательского предпросмотра для доверенных тестеров. В ближайшие недели компания планирует расширить доступ через Project Genie для подписчиков Google AI Ultra. Также Google собирается подключить ранних партнёров Gemini API и Google AI Studio. Точной даты массового доступа и цены в опубликованных материалах нет. Подписка Google AI Ultra пока не означает, что Genie 4 доступна каждому подписчику.

Genie 4 появилась на фоне гонки за world models. TechCrunch упоминает GWM Worlds 2 от Runway и сделки вокруг World Labs, Decart и Third Dimension. Теперь компании соревнуются в том, насколько хорошо модель удерживает мир и показывает последствия изменений, а не только в качестве отдельного кадра.

Креаторам пока стоит следить за Genie 4 ради интерактивного поиска сцен и быстрой превизуализации. Когда доступ появится, я бы проверял не только первый красивый кадр: важно, что происходит с объектами, когда они возвращаются в кадр, как ведут себя персонажи и совпадает ли звук с заданием. Тут есть что потестировать.

Мои видео и тесты генеративных моделей — в работах

Источники

Genie 4: A new generation of world simulation — Google DeepMind

We’re announcing Genie 4, our new world model for real-time interactive simulation — Google

Google’s Genie 4 world model adds audio, more realistic worlds, and real-time steering — TechCrunch

Genie 4 — Better Hacker News

Источникetnews.com