港科广与欧拉万象提出 SLA 空间-语言-动作模型，登顶 RoboDojo 真机榜

机器之心发布

把空间理解放进基础模型的持续学习过程，机器人能否更好地应对现实中的变化

？

机器人伸手抓取果蔬时，有人把目标挪走了。原本放好的物体，又被扔回桌面。另一组实验里，桌面不断升降，夹爪需要跟上目标的高度变化。同样是抓取和放置，空间关系一变，已经学过的技能还能不能继续用？

图 1 SLA 真机操作视频

香港科技大学（广州）与欧拉万象（OLA Dimensions）联合，围绕这个问题提出了 SLA（Spatial-Language-Action Model，空间 — 语言 — 动作模型）。

先看结果：在 RoboDojo-Real 公开真机评测中，SLA-Preview 以平均得分 42.3 分、完整任务成功率 33.9% 位居榜首；相比 π0.5，成功率提高 21.1 个百分点，约为其 2.6 倍。

图 2 RoboDojo-Real 真机榜单截图，SLA-Preview 平均得分排名第一

在研究团队设置的八类真机测试中，SLA 的平均物体级成功率达到 83.8%，较 π0.5 提高 24.0 个百分点。从公开榜单到动态抓取、桌面升降等测试，SLA 展示了应对真实场景变化的能力。

SLA 的核心思路，是在机器人学习动作时，同步培养支撑动作的空间表征

。空间监督从具体任务的后训练阶段，扩展到更大规模的持续预训练，并在下游适配时继续保留。

01 真机榜第一之后

再看机器人如何应对变化

RoboDojo-Real 覆盖 ARX X5、Piper 和 Piper X 三种机器人本体，共 18 项任务。SLA 联合使用三种本体的示范进行后训练，再用同一个模型完成测试。

在相同的公开评测中，π0.5 的平均得分与成功率分别为 22.9 分、12.8%，SLA 对应为 42.3 分、33.9%。得分反映部分任务进展，成功率则衡量完整任务是否完成。

榜单成绩给出了统一参照。要直观看到空间能力的作用，还可以看目标移动、桌面升降这些实验。

在果蔬抓取实验中，研究者先用 100 条基础场景示范完成后训练，再将同一个策略用于基础场景、位置扰动和动态干扰三类条件。测试时，物体可能被重新扔回桌面，抓取中的目标也可能被人移动。

位置与动态干扰条件没有额外采集对应的干扰示范用于后训练

。

图 3 基础果蔬操作、位置扰动、动态干扰与少样本跨本体适配。

位置扰动下，SLA 的物体级成功率为 82%，π0.5 为 52%；目标持续移动时，两者分别为 76% 和 42%。在桌面升降、目标高度不断变化的手表抓取条件下，两者分别为 78% 和 44%。

跨本体实验也有一个明确的数据条件：在原有 100 条 Piper 示范之外，额外加入 10 条 Franka 示范联合后训练，Franka 的物体级成功率达到 78%。这项结果检验的是少量目标本体数据下的适配能力。

八类部署条件各评估 50 个物体实例，成功要求完成该物体的完整操作过程。它们共同指向一个实际问题：当观察到的空间关系发生变化，策略能否据此调整动作。

02 空间理解

怎样进入机器人基础模型

视觉 — 语言 — 动作模型（VLA）把图像、指令和动作连接起来，能够利用视觉语言模型预训练获得的知识。但机器人执行操作，还要处理距离、朝向、物体遮挡和夹爪运动之间的关系。

认出一个杯子，与把夹爪准确移动到杯子旁边，需要的能力并不完全相同。物体位置变了，接近路径可能要变；抓取角度变了，手腕朝向也需要随之调整。

一种常见路线是在后训练时引入深度图、点云等几何信息。现实数据却并不总是具备一致的三维标注：深度可能缺失，相机位置和标定状态各不相同，部分公开示范只有 RGB 图像。

如果空间学习只能依赖整齐、完整的几何输入，就很难充分利用已经积累的异构机器人经验。

SLA 选择在训练期间，将空间信息对齐到 VLA 自身的中间视觉表征中。它继承 π0.5 的预训练架构与权重，通过持续预训练学习空间表征，并在后训练适配具体任务时继续使用空间监督。

图 4 SLA 整体框架。统一异构机器人数据，在持续预训练与后训练阶段进行空间对齐。

具体来说，冻结的三维感知模型 OmniVGGT 充当空间教师。它读取多视角 RGB 图像，并利用样本中已有的深度或相机标定信息，提取空间特征。

VLA 在学习预测动作的同时，也让中间视觉特征与教师的空间特征对齐。空间监督由此进入动作生成所依赖的表征，让模型在学习操作时获得几何信息。

面对不同场景、纹理和相机视角，SLA 还会根据输入自适应汇聚多个层次的视觉特征。在 RoboTwin 消融中，多层自适应融合的 Clean2Random 成功率为 72.3%，比最佳固定单层方案高 5.0 个百分点。

另一个设计是训练期的状态丢弃：以一定概率移除部分样本的机器人状态输入，鼓励策略更多利用当前图像，减少对示范轨迹中固定状态模式的依赖。

到了部署阶段，空间教师、对齐投影器和选层门控都被移除，深度与相机标定无需作为新增的策略输入。空间对齐分支不增加策略推理计算。RoboDojo 长时任务则另外使用了历史图像记忆，其榜单结果反映的是包含该机制的完整系统表现。

03 六类机器人数据

先统一动作的物理含义

空间监督要在更大规模上发挥作用，还需要回答一个基础问题：不同机器人的数据，怎样放在一起学习？

SLA 使用 InternData-A1、AgiBotWorld-Beta、RoboCasa365-Pretrain、RoboCOIN、DROID 和 MolmoAct 六类来源，覆盖真实与仿真、单臂与双臂。筛选和处理前，这些来源合计约 171 万条轨迹、14,330 小时示范。

图 5 持续预训练的数据来源。图中为筛选和处理前的规模，任务数按各数据集分别统计后相加。

数据规模之外，控制表示也必须一致。不同机械臂的关节数量和排列不同，同一组关节数值并不具备相同的物理含义，直接混合容易造成学习困难。

团队采用末端执行器位姿描述状态与动作，并统一机器人坐标约定：单臂以臂基座为原点，双臂以两臂基座中点为原点，坐标轴统一指向前、左、上。这样，移动方向、旋转和夹爪动作就有了可比较的物理含义。

旋转表示同样经过处理。直接相减的欧拉角可能在角度环绕边界产生离群值，SLA 通过 SO (3) 复合求相对旋转，再以旋转向量表示，配合逐通道归一化。

对重复度较高的仿真轨迹，团队按来源和任务进行下采样，并过滤不适用或异常的数据。持续预训练阶段也没有使用后训练数据集，以降低下游评测泄漏风险。

这一阶段使用 48 张 NVIDIA H100，耗时约 110 小时。数据处理与空间监督共同构成了持续学习的基础。

04 数据继续增加

空间能力能否一起增长

如果空间理解能够成为基础模型能力，它还需要经得起数据规模实验。

研究者从完整混合数据集中按任务抽样，使用 5%、25%、50% 和 100% 四档持续预训练数据，并分别控制持续预训练、后训练是否采用空间对齐，再在 RoboTwin Clean2Random 设置下比较表现。

两个阶段都采用空间对齐时，成功率随数据规模从 49.2% 提升到 60.5%、67.4%，最终达到 72.3%。在每一档数据规模下，这一组合都优于另外三种设置

。

图 6 持续预训练数据规模实验。两个阶段均使用空间对齐的方案，在各档数据规模下表现最好。

在全量数据下，只在持续预训练使用空间对齐，成功率为 63.2%；只在后训练使用，为 57.1%；两个阶段都不使用，为 48.2%。

这组对照支持了 SLA 的技术主张：空间表征可以先在更广泛的机器人经验中学习，再通过下游适配强化。在这一实验范围内，训练目标与数据覆盖共同影响了最终表现。

其他公开评测进一步检验了不同能力。在 RoboTwin 2.0 的 50 个任务中，SLA 使用每项任务 50 条 clean 示范联合后训练，Clean2Clean、Clean2Random 成功率分别为 86.0%、72.3%，平均为 79.2%。其中，Clean2Random 相比 π0.5 提高 26.3 个百分点，体现了随机化场景下的收益。

在 RoboCasa-Panda 的 24 个厨房任务中，每项任务使用 50 条下游示范，SLA 平均成功率为 68.4%。在 LIBERO-Plus 中，模型用标准 LIBERO 示范后训练后，接受相机、语言、光照、背景等扰动测试，加权成功率达到 87.4%。这些结果分别对应不同评测设置，不能简单合并成一个通用成功率。

05 从学会动作

到适应变化

香港科技大学（广州）与欧拉万象团队的 SLA 研究，将空间监督扩展到基础模型的持续预训练阶段，并通过榜单、消融实验和真机操作检验它的效果。空间能力如何形成、如何随机器人经验扩展，由此成为可以逐项测试的问题。

现有结果仍有适用范围：不同任务和本体之间存在明显差异，长程操作、开放任务以及更大规模的真实部署还需要继续验证。SLA 展示的，是一条在继承已有 VLA 能力的基础上，持续培养空间表征的路径。

论文与项目

论文：SLA: Scaling Spatial-Language-Action Model via Continual Pre-training

arXiv 地址：https://arxiv.org/abs/2611.08373

项目主页与动态实验：https://embodiedsla.github.io/

代码仓库：https://github.com/OpenHelix-Team/Spatial-Forcing

RoboDojo 真机榜单：https://robodojo-benchmark.com/leaderboard?bench=realworld

© THE END

转载请联系本公众号获得授权

投稿或寻求报道：liyazhou@jiqizhixin.com