Genie 4 создаёт миры со звуком и диалогами: Google показала управляемую симуляцию

Представьте сцену, в которой можно пройти вперёд, добавить персонажа, изменить погоду и услышать, как меняется окружающий мир. Именно такой подход Google DeepMind показала 27 октября в Genie 4. Модель генерирует интерактивную среду вместе со звуком, а пользователь направляет происходящее клавиатурой и текстовыми командами.

Симуляция отвечает на действия

Главное изменение — возможность корректировать сцену во время её развития. В демонстрациях можно менять камеру, добавлять объекты и задавать события. Встроенная генерация аудио охватывает шум окружения, музыку и речь персонажей.

В связке с Gemini одна система помогает планировать последовательность действий, а другая формирует видимый и слышимый мир. Исследователи рассматривают это как основу для прототипов интерактивных сцен и сред, в которых можно тренировать или проверять агентов.

Красивый ролик ещё не заменяет игровой движок

Genie 4 остаётся исследовательским предпросмотром для доверенных тестировщиков. Выход в Project Genie для Google AI Ultra и к партнёрам API только готовится. Доступ через обычную подписку и доступность в конкретной стране не следует считать подтверждёнными.

У модели сохраняются ограничения: детали и объекты могут меняться по ходу сессии, физика и звук не всегда точны, а длительная согласованность мира требует улучшений. Это важно при сравнении с играми: впечатляющая короткая сцена не доказывает, что система способна поддерживать полноценную кампанию с устойчивыми правилами.

Ниже — официальный выпуск Google for Developers с командой Genie 4. Он показывает технологию и объясняет её ограничения; сгенерированные сцены не являются съёмкой реального мира.

Авторы исследования: Райя Хадселл, Диего Ривас и Ханг Ци, Google DeepMind.