ActionUNet:不重构预训练VLA结构,用轻量多尺度微调提升机器人鲁棒性
NeurIPS 2026|不重构预训练VLA结构,ActionUNet用轻量多尺度微调提升机器人鲁棒性
中国科学院大学 LAMP 实验室提出 ActionUNet,一种面向预训练 VLA 的高效多尺度微调框架。该方法在动作特征空间引入 Temporal U-Net 和条件 SIREN 解码器,冻结主干仅微调新增模块。
本文作者来自中国科学院大学 LAMP 实验室。其中,第一作者朱迪为中国科学院大学 2025 级硕士研究生,共同第一作者严子恒为中国科学院大学 2024 级博士研究生,主要研究方向为具身智能,重点关注视觉 — 语言 — 动作(VLA)模型与机器人操作学习。
指导教师:万方,中国科学院大学计算机学院副教授、博士生导师。
简介
大规模预训练让视觉 — 语言 — 动作(Vision-Language-Action,VLA)模型积累了丰富的视觉、语言与动作先验。然而,当模型使用有限的任务示范进行下游监督微调(SFT)时,仍可能过度适应训练场景:在熟悉的环境中完成操作,却在出现额外物体或场景变化时表现不稳定。如何在后训练 SFT 阶段以较低成本提高 VLA 模型的鲁棒性,同时保留已有预训练能力,是本文关注的问题。
中国科学院大学 LAMP 实验室提出
ActionU
Net
,一种面向预训练 VLA 的
高效多尺度微调框架
。该方法不重构预训练主干,而是在动作特征空间引入轻量级 Temporal U-Net,融合粗细不同的时间尺度信息,并通过条件 SIREN 解码器生成连续、平滑的动作。实验表明,在 π0.5 基线上,ActionUNet 分别使 RoboTwin 2.0 困难场景、LIBERO-Plus 扰动测试和真实双臂机器人困难场景的平均成功率提高
9.8
、
6.1
和
11.4
个百分点
。
论文标题:ActionUNet: Improving Robustness of VLA Models with Efficient Multi-scale Fine-tuning
论文链接:https://arxiv.org/abs/2609.34982
论文代码:https://github.com/Di-Zhu123/ActionUNet
动机
预训练 VLA 通常先从图像、语言指令和机器人状态中提取信息,再由动作专家预测接下来的动作序列。对于下游任务,常见做法是利用少量示范数据继续微调,使模型适应具体操作。但如果训练样本集中在有限的场景条件下,微调后的策略就可能过度依赖这些条件,难以充分发挥预训练获得的通用先验。
研究者从动作执行过程进一步分析了这一问题。以 “叠放积木” 为例,机械臂在转移物体时需要较大幅度的运动,在接近目标、抓取及对齐时则需要小幅而精确的调整。论文通过
相邻记录步的末端执行器位移
度量动作尺度,发现尺度差异不仅存在于不同任务之间,也存在于同一任务的不同阶段。图 1 展示了这种跨任务、跨阶段的多尺度现象。
图 1:不同任务及同一任务各阶段的动作尺度差异。
方法
1. 时间 U-Net 多尺度动作特征建模(Temporal U-Net)
。 对按时间步排列的动作特征进行逐级下采样,获得较粗尺度的整体运动信息,再逐级上采样,并通过跳跃连接保留细粒度动作细节。最终得到的特征既包含较长时间范围的运动结构,也保留关键操作阶段所需的局部信息。
2. 条件 SIREN 连续动作解码(Conditional SIREN)
。 多尺度特征融合后,直接逐步输出动作可能造成不连续的变化。研究者将一段动作表示为可随时间查询的连续函数:各时间位置的特征用于生成局部动作函数,再用 Matérn 核加权融合相邻结果,以减轻高频抖动。对于采用流匹配训练的模型,还使用时间相关噪声,使训练目标与连续动作表示相协调。这个模块的作用,是在保留多尺度表达能力的同时改善动作衔接。
3. 面向预训练 VLA 的高效微调
。 训练时冻结预训练主干,仅微调动作专家及新增的 ActionUNet。该模块可接入流匹配式的 π0.5,也可接入回归式的 OpenVLA-OFT,无需从头训练整套 VLA。这里的 “即插即用” 指的是架构易集成,
并不意味着新增模块无需训练
。在单张 RTX 4090 的相同测试条件下,加入模块后每次策略调用的平均计算延迟由 60.95 毫秒增加到 64.89 毫秒,额外开销约 6.46%。
图 2:ActionUNet 在预训练 VLA 的动作特征空间中引入多尺度建模与连续解码。
实验
RoboTwin Clean2Rand
在 RoboTwin 2.0 中,研究者选择了 12 个涵盖不同动作尺度组合的双臂任务,每项任务使用 50 条干净示范微调,并分别在 Easy 与 Hard 设置下评估。Hard 设置包含背景、光照、干扰物等环境变化,可用于观察模型从训练条件转向更复杂场景时的表现。
以 π0.5 为基线,ActionUNet 在 Easy 设置下的平均成功率由
59.6% 提升至 68.4%
,在 Hard 设置下由
29.8% 提升至 39.6%
,分别提高
8.8 和 9.8 个百分点
。单尺度、双尺度和三尺度任务组均观察到总体收益,说明多尺度微调不只对某一类动作模式有效。
图 4:RoboTwin 2.0 各任务在 Easy / Hard 设置下的成功率(原论文 Table 1)。
LIBERO-Plus
LIBERO-Plus 在 LIBERO 上增加相机、机器人状态、语言、光照、背景、传感器噪声和布局七类变化。强调
从干净训练数据到扰动测试环境
的泛化表现。模型先在标准 LIBERO 上完成微调,再直接在 LIBERO-Plus 测试。
在 π0.5 上,ActionUNet 使 LIBERO-Plus 平均成功率由
65.8% 提升至 71.9%
,七种扰动类型下均有改善;在 OpenVLA-OFT 上,平均成功率也由
60.9% 提升至 64.6%
。此外,在标准 LIBERO 上,加入 ActionUNet 后的平均成功率分别达到
97.7%(π0.5)
和
98.6%(OpenVLA-OFT)
。这些结果表明,多尺度微调不仅可改善扰动测试表现,也能维持较强的常规任务表现。
图 5:不同模型在 LIBERO-Plus 七类扰动下的成功率(原论文 Table 3)。
真实机器人实验
研究者进一步在 Realman Gen72 真实双臂机器人上测试物体入篮、叠积木和叠碗三个任务。在加入额外干扰物的 Hard 设置下,π0.5 的平均成功率为
57.3%
,加入 ActionUNet 后达到
68.7%
,提高
11.4 个百分点
;在 Easy 设置下则由
76.0% 提升至 88.7%
。
消融实验
为了判断性能增益来自多尺度建模还是动作平滑,论文在四个 RoboTwin 任务上分别测试了 Temporal U-Net、SIREN 及完整 ActionUNet。在困难场景中,原始 π0.5 平均成功率为
34.5%
;仅加入 U-Net 为
37.3%
,仅加入 SIREN 为
33.3%
,完整 ActionUNet 则达到
46.5%
。这说明仅使动作更平滑,并不足以获得多尺度微调带来的鲁棒性收益。
研究者还设计了
参数量匹配的单尺度对照
:保留相同参数规模,但移除时间下采样和跨尺度特征融合,其困难场景成功率为
38.5%
,仍低于完整方法的
46.5%
。这一对照进一步支持,性能提升不能仅归因于增加参数,关键在于多尺度动作特征建模。
可视化
论文进一步可视化了多尺度特征响应与预测动作轨迹。不同层级的时间特征对相应动作尺度具有更强响应;在相同初始条件下,ActionUNet 预测的末端执行器轨迹也更接近示范轨迹,局部动作变化更平顺。
图 6:相同初始条件下,π0.5 与 ActionUNet 的预测轨迹比较(原论文 Fig. 6)。
真实机器人可视化展示了额外干扰物存在时的物体入篮、叠碗与叠积木操作。图 7 中,上排为与训练场景一致的 Easy 设置,下排为增加干扰物的 Hard 设置,可以直观看到两种环境下的执行过程。
图 7:真实双臂机器人完成叠碗任务的关键帧,上排为 Easy,下排为 Hard(原论文 Fig. 7)。
整体而言,ActionUNet 采用一种
simple yet effective
的策略:在下游 SFT 阶段保留预训练主干,把改进集中在动作特征的多尺度建模与连续解码上,以较低额外开销提升给定干扰条件下的操作鲁棒性。
© THE END
转载请联系本公众号获得授权
投稿或寻求报道:liyazhou@jiqizhixin.com
来源:机器之心 · mp.weixin.qq.com