Google DeepMind представила Genie 4 — модель, которая создаёт интерактивный виртуальный мир примерно на 120 секунд. Внутри можно ходить, менять погоду и добавлять объекты текстом. Окружение и персонажи получают звук. Креатору Genie 4 пригодится для быстрых сценических проб; готовый ролик пока не цель.

Самое интересное — сцену можно исследовать и менять на ходу. Вы двигаетесь по миру, задаёте новые условия, а система генерирует продолжение. Пока симуляция длится около двух минут, а детали могут со временем дрейфовать.

Кадр интерактивной симуляции с журавлём на заснеженном берегу и экранными клавишами управления, связанный с Genie 4.Источник: ifanr.com

Genie 4 превращает видеогенерацию в управляемую сцену

Обычная генерация видео выдаёт готовый фрагмент. Genie 4 работает иначе: вы задаёте мир, входите в него с клавиатуры, двигаете камеру и пишете новые команды прямо во время симуляции. Например, можно изменить погоду или добавить человека и предмет. По описанию Google, заранее собирать трёхмерную карту и прописывать каждое событие не нужно.

Источник: ifanr.com

В публикации 爱范儿 приводятся ранние демонстрации. Профессор Уортонской школы бизнеса Итан Моллик задал сцену одной фразой: город в неоготическом бруталистском стиле, где живут роботы и лошади. Примерно за минуту появилась виртуальная среда. Затем он добавил дракона и дружелюбную выдру-персонажа. Инвестор a16z Джастин Мур показал свободное исследование AI-города и назвал его «GTA Waymo».

Это ранние демонстрации для тестеров. Они не показывают, что любой запрос сработает так же у каждого пользователя. Для раскадровки сам принцип любопытный: можно перемещаться внутри сцены и сразу проверять, что видит камера.

Что можно менять во время симуляции

  • Двигать персонажа и камеру, исследуя сцену с разных точек.
  • Менять погоду и добавлять людей или предметы текстовыми командами.
  • Создавать окружение, музыку и диалоги одновременно с изображением.
  • Пробовать физические взаимодействия: столкновения, падения и движение объектов.

Две минуты — шаг вперёд, но не открытый мир

По данным Google DeepMind и The Verge, Genie 4 может поддерживать связную симуляцию примерно до двух минут. Для Genie 3 указывался предел около одной минуты. За это время можно пройти небольшой участок, внести правку и посмотреть, как мир на неё отвечает.

Пост о полностью интерактивном видео в реальном времени, созданном с помощью Genie 4.Источник: ifanr.com
МодельДлительность сценыЗвукИзменение сцены во время работы
Genie 3около 1 минутынет данных в источникахинтерактивная симуляция
Genie 4до 2 минутгенерируется вместе с миромкоманды текстом в реальном времени

Две минуты — пока короткая прогулка, а не длинное путешествие. Детали и положение предметов могут смещаться, а после повторных правок модель способна потерять часть раннего контекста. Google также указывает на проблемы с точностью звука и устойчивостью симуляции. The Verge отдельно отмечает, что детали могут смещаться при долгой работе.

Для креатора Genie 4 сейчас лучше подходит для ранних этапов пайплайна. Я бы проверял с его помощью масштаб, движение камеры, настроение пространства или идею для игрового прототипа. Для кадров, которые пойдут в финал, потребуется дополнительная проверка. Непрерывность между дублями тоже стоит тестировать отдельно.

Звук делает мир убедительнее, но не решает задачу монтажа

Главное новшество — нативное аудио: звук создаётся в той же симуляции. В описании Google упоминаются окружающие шумы, музыка и интерактивные диалоги. У моря должны звучать волны, в лесу — ветер. Персонажи могут отвечать на ввод пользователя и события сцены.

Так проще представить будущий звук по превью. Для режиссёрского поиска можно оценить, как вместе ощущаются пространство, движение и аудиосреда. Нативное аудио пока не закрывает задачу саунд-дизайна: точность и согласованность звука остаются ограничениями модели. Финальный дубль всё равно придётся контролировать.

В сценах могут появляться персонажи, которые говорят и меняют реакцию вслед за происходящим. В традиционной игре NPC часто опирается на заранее заданные реплики и логику. Genie 4 пытается генерировать ответы динамически. Для интерактивного прототипа это перспективно; для законченного сценария пока слишком много неизвестных.

Gemini планирует действия, Genie 4 строит их последствия

Google описывает связку так: Gemini помогает планировать последовательность действий и следить за ходом симуляции, а Genie 4 генерирует мир. В официальном анонсе говорится о моделях Gemini, которые помогают сохранять связность происходящего. The Verge называет Gemini 3.8 Flash среди компонентов системы.

Руководитель исследований Google DeepMind Теджас Кулкарни описал направление как «гибридные мировые модели»: языковая модель структурирует события, а world model превращает план в симуляцию. Такой цикл может пригодиться для обучения роботов: сначала проверять действия в виртуальной среде, особенно когда реальные тесты сложны или рискованны. Всё зависит от того, насколько точно симуляция отражает физику. Genie 4 здесь ещё есть куда расти.

Для креатора Genie 4 пока полезнее как черновая площадка

Самый практичный сценарий на старте — визуальный поиск. Например, нужно быстро показать команде задумку сцены: задать место, свет, героя и действие, пройтись внутри, попробовать другой ракурс или поменять погоду. Вместо долгого обсуждения появляется интерактивный набросок.

Я бы начал с коротких сессий и небольших изменений: сначала задать место и действие, затем поменять один параметр — например, погоду или положение камеры. Если одновременно перестраивать мир, добавлять героев и менять сценарий, будет сложнее понять, что модель удержала, а что уже поплыло. Текст внутри виртуального мира и сложную физику тоже стоит считать зонами риска.

Доступ пока ограничен, а цена не объявлена

На момент анонса Genie 4 доступна доверенным тестерам в формате research preview. Google пишет, что дальше планирует открыть Project Genie подписчикам Google AI Ultra, а Gemini API и Google AI Studio — ранним партнёрам. В официальном объявлении нет конкретной даты общего доступа или цены на использование Genie 4. Поэтому сторонние цифры о стоимости подписки здесь не привожу.

У Google есть лист ожидания Project Genie. Запись в список пока не открывает доступ сразу. Тем, кто делает рекламу, клипы или игровые сцены, стоит присмотреться к новому формату: исследовать сцену и проверять варианты действия внутри неё.

Genie 4 пока держит мир около двух минут. Этого может хватить, чтобы проверить идею сцены; готовый дубль модель пока не обещает.

Мои генеративные видео и тесты моделей — в работах

Источники

Genie 4: A new generation of world simulation — Google DeepMind

Google’s next Genie AI model generates more realistic experiences — The Verge

Google’s Genie 4 world model adds audio, more realistic worlds, and real-time steering — TechCrunch

Источникifanr.com