Google DeepMind 发布 Genie 4 实时世界模型，原生生成音频

Google DeepMind 已发布 Genie 4，作为面向可信测试者的研究预览版。Genie 4 世界模型可根据文本和图像提示实时生成可探索的世界。它还能生成声景：环境噪声、音乐和角色对话。用户通过键盘控制移动，并用自然语言提示引导事件发展。更大的变化在于架构。现在有一个 Gemini 模型作为规划器运行在模拟循环内部。这一模式对任何为智能体或机器人构建训练环境的人都很重要。

TL;DR

运行平台：仅限 Google 托管（Project Genie 网页应用、Gemini API 早期访问）。
性能：照片级真实世界，原生音频与实时文本引导。
最佳表现：场景一致性最长可达 2 分钟，是 Genie 3 的两倍，据 TechCrunch 的简报。
最差表现：会话仅持续几分钟，且反复编辑提示后物体会发生漂移。

什么是 Genie 4？

Genie 4 是 Google DeepMind 的世界模型，逐帧模拟交互式环境。它不是视频片段生成器。每一帧都会在用户输入到达时作出响应。

DeepMind 表示该模型原生多模态。音频、音乐和对话与视觉内容一同生成。这是 DeepMind 首个原生生成音频的实时世界模型。

它接替了 2025 年 8 月发布的 Genie 3。Genie 3 以 720p 和每秒 24 帧运行，视觉记忆可回溯 1 分钟。

Genie 4 如何使用 Gemini？

Genie 4 借鉴了 Gemini 家族的两个部分。Gemini Omni 锚定每个世界的外观和行为。其他 Gemini 模型负责保持模拟连贯性的推理。

运行时循环的工作方式如下：

解读：当你输入提示时，Gemini 会调整提示以适配正在运行的场景。
规划：Gemini 3.8 Flash 将目标分解为一系列步骤。
验证：它审查传入的帧，以确认每一步都成功。
适应：如果世界发生变化或你进行干预，它会修订计划。

在用户输入之间，Gemini 还会引导场景，使世界持续演进。DeepMind 团队将此视为迈向混合世界模型的早期一步。在该设计中，语言模型负责结构与叙事，而 Genie 渲染像素与声音。

在 Genie 4 世界中你能做什么？

用文本引导：你可以在会话中途改变天气、移动相机或添加新人物或物体。
模拟物理与人物：DeepMind 提到了空气动力学和碰撞。它称人体运动是最大的飞跃，角色会对周围环境作出反应。
聆听世界：每个世界都带有环境音频。角色还能进行实时响应你输入的对话。
测试机器人任务：在一个研究演示中，Gemini 4 Argon 将跳棋任务拆分为多个步骤。Genie 4 将每一步作为文本说明接收，并模拟 Apptronik 的 Apollo 人形机器人下棋。

Genie 4 与其他世界模型相比如何？

DeepMind 未发布 Genie 4 的基准测试表。下表中的比较仅使用各项目自身来源披露的规格。

特性	Genie 4	Genie 3	Runway GWM Worlds 2	Skywork Matrix-Game 3.0
发布日期	2026年10月27日	2025年8月5日	2026年9月3日	2026年3月27日
参数	未披露	未披露	未披露	5B（另有 2x14B MoE 变体）
分辨率 / 帧率	未披露	720p / 24 fps	720p / 24 fps	720p / 最高 40 fps
原生音频	支持，含对话	未报告	支持，48 kHz，含语音	未报告
会话中文本控制	支持，由 Gemini 中介	支持，可提示的世界事件	支持，带时间戳的文本动作	键盘和鼠标操作
循环中的 LLM 规划器	Gemini 3.8 Flash	否	否（可选外部测试框架）	否
一致性	几分钟；TechCrunch 测试为 2 分钟	几分钟；1 分钟视觉记忆	无预设时长；记忆不完美	分钟级记忆
硬件	Google 托管，未披露	Google 托管，未披露	Runway 托管，未披露	DiT 用 8 块 GPU，VAE 用 1 块
访问 / 许可	受信任测试者；AI Ultra 和 API 即将开放	Project Genie（AI Ultra）	研究预览，联系表单	MIT，开放权重

谁可以使用 Genie 4，何时可用？

Genie 4 今日起面向受信任测试者开放。据 DeepMind 称，预计很快将向 Project Genie 中的 Google AI Ultra 订阅者开放。接下来是 Gemini API 和 Google AI Studio 的早期访问合作伙伴。

所有 Genie 4 视频和音频都将带有 SynthID 水印。DeepMind 表示，在预览前已进行内部安全评估。

迄今为止的测试者涵盖创意产业、新闻业、教育、游戏和工程领域。

已报告的用途包括：

电影制作人为预可视化运行多个实时“镜头”。
摄影记者将单张档案照片转化为有依据的模拟。
游戏开发者在编写引擎代码前测试风格和机制。
企业合作伙伴生成从零到一的模拟场景。

Genie 4 有哪些局限？

DeepMind 在 Genie 4 模型页面上列出了若干未解决问题：

在较长会话中、复杂提示编辑后或导航过程中，视觉细节和物体恒存性会漂移。
交互仅限于几分钟，而非长时间会话。
真实世界地点的模拟并不完全准确。
可读文本通常仅在输入描述中出现时才会显示。
实时音频准确性和多智能体交互仍未解决。

关键要点

Genie 4 实时同时生成世界、环境音频和对话。
Gemini 3.8 Flash 在循环内进行规划、检查帧并重新规划。
未披露参数、分辨率、帧率或基准测试结果。
访问从受信任测试者开始，然后是 AI Ultra 和 Gemini API 合作伙伴。
漂移和短会话仍是主要实际限制。

查看 Genie 4 公告、Genie 4 模型页面和 Project Genie 候补名单。另外，欢迎在 Twitter 上关注我们，别忘了加入我们的 150k+ ML SubReddit 并订阅我们的新闻通讯。等等！你在 Telegram 上吗？现在你也可以在 Telegram 上加入我们。

需要与我们合作推广您的 GitHub 仓库、Hugging Face 页面、产品发布或网络研讨会等？联系我们

文章 Meet Google DeepMind’s Genie 4: Real-Time World Model With Native Audio 首次发表于 MarkTechPost。