NVIDIA 在 CoRL 发布 GR00T 2 世界动作模型与 Isaac Lab 3.0 等开源机器人技术

仿真长期以来一直是机器人学习行走、滚动和跳跃的试验场，如今它正帮助研究人员教机器人完成需要更精细触觉的任务：对齐齿轮、连接线缆和组装小型部件。

从运动控制到操作控制的转变，成为本周在德克萨斯州奥斯汀举行的机器人学习会议（CoRL）的焦点，与此同时，智能体机器人技术也在兴起——这是一种新范式，它集成前沿智能体，为物理机器人系统生成可解释的代码。

在 CoRL 上，NVIDIA 将推出新的开放机器人技术，包括世界动作模型、仿真工具、基准测试和智能体工作流。

在 CoRL 最佳论文奖的数千份投稿中，NVIDIA 有两篇论文跻身六篇入围论文之列：

GRAIL（Generating Humanoid Loco-Manipulation from World Models），它提出了一套用于机器人学习的 3D 资产和仿真就绪场景的数字生成流水线。
RoboTTT: Context Scaling for Robot Policies，它引入了一种机器人模型和训练方法，将视觉运动上下文扩展到超越当前最先进策略三个数量级，而不会增加推理延迟。

这些进展帮助研究人员在复杂任务上训练机器人，评估其在变化条件下的表现，并利用失败来指导进一步学习——从而构建从实验室演示走向工业部署所需的精度、适应性和自主性。

NVIDIA 正与 Ambi Robotics、Bosch Research、Dexmate、Dyna Robotics、FieldAI、Flexion、Noitom Robotics、Siemens、Skild AI、RLWRLD、UC Berkeley、Walden Robotics 和 the University of Washington 等合作伙伴携手，将这些进展带给更广泛的机器人社区。

世界动作模型实现更高水平的机器人自主性

更高水平的机器人自主性要求机器人感知周围环境、预判自身行动将如何改变环境，并以高精度执行复杂的多步骤任务。世界动作模型正是为此而生。

在 CoRL 上，NVIDIA 将推出 GR00T 2，这是一个基于 NVIDIA Cosmos 构建的开放前沿世界动作模型。该模型在多样化的机器人和人类数据上训练，包括 100,000 小时的 NVIDIA 开源人类自我中心数据，使机器人能够学习灵巧操作技能。主要特性包括：

开箱即用性能：在没有任务特定演示的情况下，至少完成一次 50 项评估任务中的 40 项。
技能迁移：从人类演示中学习，并在不同机器人本体之间迁移技能，无需机器人演示
少数据泛化： 每个任务仅需一次演示，即可在 50 个任务上实现 71% 的平均成功率，五次演示后提升至 95%。
智能体控制： AI 智能体可使用 GR00T 2 的应用程序编程接口及配套工具，按顺序执行技能并从错误中恢复。

在 RoboCasa365、RoboLab、RoboDojo 和 MolmoSpaces 基准测试中，GR00T 2 目前在全部视觉语言动作与世界动作模型类别中均位列前三，并多次登顶排行榜。

Nexuni 正在测试其用于机器人洗衣处理，Foxconn 正将 GR00T 2 应用于服务器制造的工厂自动化，Siemens 正在评估其在各类工业场景中的应用。

MicroAGI 正在使用通过强化学习后训练的 GR00T 2，配合 YAM 机械臂执行以太网线缆更换。其智能体机器人方法利用 Isaac Lab 3.0 和 Newton 自动创建与校准仿真环境，并在其中训练策略。

训练能力出众的机器人需要多样化数据。开放的 NVIDIA 工作流与模型为研究人员提供了更好的数据采集与标注工具：

对于构建机器人训练数据集的研究人员，NVIDIA 全新的开放 Video to Data 工作流可将人类视频转化为仿真机器人演示，并设有一项挑战赛邀请研究人员推动其发展。
NVIDIA EgoHand 开放模型 —— 正在 CoRL 上演示，发布两周内在 Hugging Face 下载量已超过 40,000 次 —— 可重建 3D 手部运动，其训练数据来自 Noitom Robotics。

训练与扩展发生的地方——仿真

预训练模型为机器人提供核心技能集。仿真让研究人员能够在部署到物理机器人之前，大规模训练、优化和评估技能。

NVIDIA Isaac Lab 是一个开源机器人学习框架，为这项工作提供基础。其最新版本 Isaac Lab 3.0 允许研究人员使用智能体，借助仿真就绪资产快速搭建训练环境，在 NVIDIA PhysX 与 Newton 物理求解器之间切换，为基于感知的训练选择渲染器，并将新的强化学习后训练库应用于 GR00T 等基础模型。

精确物理对于将学到的技能从仿真迁移到真实机器人至关重要。与开源物理引擎 Newton 的更紧密集成，使 Isaac Lab 现在能够对线缆和布料等可变形物体建模，也能对具有许多交互关节的机械手等复杂关节系统建模。

与 Newton 的集成可模拟草莓在机器人抓握下的形变。

Isaac Lab 与 Newton 相结合，将精确的物理模拟与规模扩展能力融为一体，使研究人员能够并行训练数千个模拟机器人。在基于视觉的灵巧操作基准测试中，搭载 Newton 的 Isaac Lab 3.0 训练吞吐量最高达到搭载 PhysX 的 Isaac Lab 2.3 的 2.5 倍。

Isaac Lab 支持使用 Newton 和 NVIDIA PhysX 进行机器人仿真。

开发者正在扩展 Newton 的能力。在 CoRL 上，Skild AI 发布了 Scalable Throughput-optimized Engine for Embodied Learning（简称 STEEL），这是一个基于 Newton 构建的新刚体物理求解器，用于借助 Isaac Lab 加速机器人训练。

Skild AI 的 STEEL 求解器。

Flexion 展示了 Isaac Lab 和 Newton 如何帮助训练 Reflect——其结合推理与全身操作的机器人智能模型。

Flexion 使用 Newton 配合 Isaac Lab 进行强化学习。

FieldAI 正在使用 Newton——以及基于 NVIDIA Omniverse 库构建的 Isaac Lab 和 Isaac Sim——来训练和验证机器人策略，以便部署到非结构化的真实环境中。Dyna Robotics 将演示 Isaac Lab 中的并行仿真如何帮助训练其半人形 Taku 机器人的全身控制器，用于仓库、酒店和餐饮服务工作。

Walden Robotics 正在利用 Isaac Sim 的照片级真实感渲染，在虚拟环境中训练和评估其面向制造与物流的通用机器人；而 Dexmate 正在探索编码智能体如何在 Isaac Sim 中演练并优化操作策略，然后再在其 Vega 机器人上执行。

AlphaNIST 在 Isaac Lab 中构建，展示了高效练习如何转化为精确操作。单一策略即可学会 NIST 装配任务板上的全部 20 项任务，仅凭“是或否”的成功信号来操作毫米级零件。其训练成功率超过 98%，而各任务单独策略的成功率为 81%，且所用 GPU 时间约少 39 倍。

AlphaNIST 使用 Isaac Lab 训练单一机器人策略，完成 NIST 装配任务板上的 20 项精密任务。

这些成果的背后是来自华盛顿大学和 NVIDIA 的 Success-Guided Sampling（简称 SGS）。该方法将练习集中在策略成功率约为一半的任务上，把训练引导至它仍在学习的技能。借助 SGS，机器人训练可扩展到超过一百万个并行环境。

德克萨斯大学奥斯汀分校计算学院和 Texas Robotics 使用 Isaac Sim 和 Isaac Lab 在仿真中训练机器人技能，让学生能够在物理硬件到位之前就开始开发。

面向机器人评估的新工业基准

学会一项技能是一回事。在变化的条件中稳定可靠地执行则是另一回事。

NVIDIA Isaac Lab-Arena 是一个用于规模化策略评估的开源框架，使开发者能够组合多样化且可重复的评估，然后并行地在数千种变体中运行策略。分析结果揭示了哪些条件会导致失败，从而让研究人员知道在下一次训练中需要修复什么。其最新版本 0.4 的开发者预览版将在 CoRL 上发布。

DexBench 和 VABAR 是两个新的开放基准，它们是最早一批旨在使用 Isaac Lab-Arena 和 Newton 衡量机器人在工业任务中的灵巧性和适应性的基准。

DexBench 由 RLWRLD 与 NVIDIA 合作开发，将灵巧性评估从桌面转移到真实工作流程中。它基于 NVIDIA Isaac Lab-Arena 构建，包含横跨零售、物流、制造和酒店服务四个场景的 15 项任务，测试在物体、空间和物理变化方面的泛化能力。

Genesis AI、mimic robotics 及其他行业合作伙伴正在通过早期访问评估 DexBench。

团队可以在 Manifold 上运行 DexBench，这是 Bifrost 的用于扩展机器人仿真的评估平台，无需设置，内置失败分析，并为初始评估提供免费额度。

VABAR——面向智能体机器人的变分自动化基准——由 UC Berkeley 和 NVIDIA 推出，评估机器人在六项工业任务中的表现。每项任务都带有标准化变体、难度等级和成功指标。

一个模拟的工具分拣任务展示了 VABAR 如何评估机器人在工业工作流程中的操作技能。

智能体将技能转化为机器人程序

成功完成任务需要机器人协调多种技能，并在出现问题时进行调整。为这些多步骤任务构建可靠的程序仍然是一项挑战。

智能体机器人技术有助于解决这一挑战。

UC Berkeley 的新 Graph-as-Policy（GaP）框架使用智能体将单个技能连接成机器人程序。智能体使用 NVIDIA Isaac 开放仿真技术测试这些程序，并根据失败进行改进。这有助于研究人员以更少的数据扩展开发，同时保持程序的可解释性，以便工程师在部署前进行审查和验证。

GaP 使用智能体和仿真将单个机器人技能转化为协调动作，例如擦拭吧台。

“对我来说，智能体机器人技术是自 1995 年互联网以来最令人兴奋的技术发展，”UC Berkeley 机器人学教授、VABAR 和 GaP 项目负责人 Ken Goldberg 说。

Ambi Robotics、Bosch Research 和 Siemens 都在探索将 GaP 用于其跨多种工业场景的智能体机器人工作流程。

通过加入 NVIDIA at CoRL 了解更多。