李飞飞 World Labs 推出 Frameboy 实时世界模型演示

编辑｜Neo、泽南

今天，AI 圈的人在打游戏。

李飞飞的创业公司 World Labs 推出了自己的第一个「应用」

Frameboy

，由

AI

实

时生成第一人称画面

，把生成式 AI 变成了一种可以直接探索的体验。

Frameboy 是一个 Atlas 世界模型的优化演示版，使用云端 GPU 的流式传输，

帧率最高可以达到 15 fps

。实测出来模型的响应时间大概只有

70ms

，已经很接近云游戏了。

体验链接：https://frameboy.worldlabs.ai/

它目前提供精选场景供用户探索，包括各种真实世界中的风景、赛博朋克空间以及斯坦福大学的校园等。这些场景有的是从一张图片出发，让 Atlas 脑补出其他视角，逐步构成一个可探索的环境，也有的是输入了同一地点的多张照片，再由模型生成照片之间、以及照片之外的新视角。

World Labs 还在 beta 网络应用 Viewfinder 中直接集成了 Frameboy 作为流媒体覆盖渲染模式，这让用户能够用

自己的输入内容逐帧构建场景

，然后在实时中探索和扩展虚拟的世界。

就像使用摄像机一样，你可以从不同的视角导航并生成 3D 一致的世界视图。每一帧都由 Atlas 生成，包含颜色和深度信息。准备就绪后，用户可以触发 Frameboy 叠加层，在探索过程中实时播放生成的帧。

Atlas：从一张照片，推演出一个三维世界

要理解这次 Frameboy 实时演示的意义，首先需要看看它背后的

Atlas

究竟是什么。

今年 9 月 1 日，李飞飞创立的 World Labs 正式发布 Atlas，这是一个从头开始预训练的通用世界模型，能够处理文字、图像、视频和三维空间信息。与主要生成连续画面的视频模型不同，Atlas 试图解决一个更复杂的问题：如果摄像机移动到另一个位置，眼前的世界应该是什么样子？

World Labs 在发布时展示了一个很直观的例子。

研究人员先向 Atlas 提供一张花园的照片，要求它生成从空中俯瞰这片区域的画面。由于原始照片只包含花园的一部分，模型虽然重现了已有景物，却不得不自行推测周围的房屋和环境。

随后，研究人员加入第二张照片，展示花园旁边的一座小屋。这一次，Atlas 生成的画面同时包含花园和小屋，但更远处的建筑仍由模型自行补全。直到第三张照片加入，展示附近的主屋，模型才将整个场景重建得更接近真实环境。

这个过程展示了 Atlas 的一个重要特点：它既能根据有限的图像重建已经观察到的空间，也能利用训练中学到的世界知识，推测镜头之外可能存在什么。

World Labs 将其核心机制称为

「空间上下文」（Spatial Context）

。

简单来说，Atlas 不只是识别图片中有哪些物体，还会将每张图片与摄像机在三维空间中的位置、朝向关联起来。当用户指定新的观察位置时，模型便根据已有的空间信息，生成从这个位置应该看到的画面。

这也是 Atlas 与普通视频生成模型的一个重要区别。后者通常依靠「向左移动镜头」「绕着人物旋转」等文字描述控制运镜，而 Atlas 可以直接接收精确的摄像机位置和角度，让用户明确指定观察世界的视角。

在技术架构上，Atlas 采用

多模态自回归扩散 Transformer

。它结合了语言模型和扩散生成模型的思路：将文字、图像、摄像机位姿和深度信息组织成统一的空间上下文，再逐步生成新的画面及空间数据。

在最初的演示中，用户已经能够预先设计摄像机路径，让 Atlas 生成最长一分钟、最高 1440p 分辨率的视频，并在不同镜头之间尽可能维持场景的一致性。

但 Atlas 的能力并不止于生成视频。

它还可以

同时生成图像与深度信息

，并输出点云、3D Gaussian Splatting（三维高斯泼溅）等三维表示。换句话说，模型不仅能够呈现某个角度的画面，还能产生可供三维渲染、空间重建等工作流程使用的数据。

例如，研究人员曾使用三到五部普通手机和运动相机，从不同角度拍摄同一场景。Atlas 根据这些画面重建空间，使用户可以在动作发生的同一时刻切换观察角度，实现类似电影《黑客帝国》中

「子弹时间」

的效果，而不必部署传统的大规模多机位拍摄系统。

另一个应用方向是

机器人仿真

。研究人员可以通过手机视频记录真实环境，再利用 Atlas 重建空间，并生成机器人沿不同路线移动时，其机载摄像头可能观察到的画面和深度数据。这为利用少量真实记录构建机器人模拟环境提供了新的方法。

现在，Frameboy 的出现让人们基于世界模型的创作方式发生了改变，我们可以边移动边观察，边决定下一步。这种体验在电影勘景、空间概念设计、游戏关卡的构思上都具有潜力。

参考内容：

https://www.worldlabs.ai/blog/atlas-realtime

© THE END

转载请联系本公众号获得授权

投稿或寻求报道：liyazhou@jiqizhixin.com