Nvidia 发布 GR00T 2 研究报告，可从人类视频学习机器人动作

为了让机器人学会新任务，人类通常必须在训练期间费力地对其进行远程操作。Nvidia 的新 AI 模型 GR00T 2 旨在通过将视频中的人类动作迁移到机械臂上，来减少这种工作量。

为了让机器人接受新任务的训练，工程师通常要花数小时远程操控机器。这种所谓的远程操作既昂贵又缓慢，而且每个机器人型号都需要自己的数据。在一份关于 GR00T 2 的新研究报告中，Nvidia 介绍了一种旨在缩短这一过程的新 AI 基础模型。

与以往的方法（包括其前代 GR00T 1）不同，GR00T 2 不会将摄像头图像和语言指令直接转换为电机动作。Nvidia 表示，该软件以公司所称的世界-动作模型方式工作。它会同时计算下一个动作和一段关于近期未来的短视频。例如，系统会预测当机械臂拿起物体时，摄像头图像应当如何变化。

这种视频预测应当能让模型在不同机器人形态之间迁移动作序列。Nvidia 在一个拥有超过一千块 GB300 芯片的集群上训练该系统，其中包括约 40 万小时的视频素材，展示人们佩戴头戴式摄像头执行各种任务。

研究人员表示，要教会机器人一项新任务，一个人用数据手套、专用手部抓取器或手指外骨骼演示步骤就足够了。当这些记录在训练期间与目标机器人的通用运动数据结合时，AI 会在其视频预测中生成机械臂而非人类手臂，并由此推导出匹配的控制指令。

在实验室测试中，一台拥有五指手的机器人能够以这种方式点燃火柴、切香蕉或将包裹抛到传送带上，而无需针对这些特定任务进行远程操作。

成功率因任务而异，在 10% 到 80% 之间。仅凭一段人手动作视频，系统还通过计算机模拟学会了钉钉子。对于模型在仅几个示例后就已经表现良好的 50 个选定任务，不到三分钟的常规训练就足以将成功率从 40% 提升到 95%。

更高层的语言模型有助于纠错，但会拖慢机器人速度

对于更长的装配工作，Nvidia 将该系统与更高层的 AI 语言模型（如 OpenAI 的 GPT-6 Astra）配对。GR00T 2 负责抓取动作，语言模型则将任务分解为各个步骤，在摄像头图像中对抓取点进行颜色编码，并在零件掉落时启动辅助例程。

当研究人员将玩具模型的散装零件无序地放在桌上时，组合系统在至少 97% 的试验中完成了组装。如果没有纠错语言模型和额外的微调，玩具车组装在 100 次尝试中仅成功了 23 次。团队还通过在真实设备上反复试错，训练了插入网线或充电器等精密任务。

对于双足机器人，Nvidia 开发了精简版 GR00T 2 Turbo，它处理的图像细节更少。它直接在人形机器人的 Jetson Thor 机载计算机上运行。在测试中，该机器能够舀爆米花、清理桌子，并用脚上的毛巾擦去液体。不过，最后一项任务的成功率略低于一半。

研究团队指出，在系统准备好可靠地用于现实世界之前，仍存在重大障碍。该模型尚未处理用于触觉的直接传感器数据，有时会漏掉诸如螺丝转了一半之类的细微错误。更高层的语言模型也显著拖慢了速度。在垃圾分类过程中，机器人约有三分之一的总时间处于空闲状态，因为它平均需要等待超过七秒才能得到规划模型的下一次计算。

其他实验室也在寻找用更少遥操作来教机器人新任务的方法。我们在 Neolabs 上的 AI Radar #5 中介绍过其中一些。