跳到正文
机器之心·· 1 小时前AI 评分38

ActionUNet:不重构预训练VLA结构,用轻量多尺度微调提升机器人鲁棒性

NeurIPS 2026|不重构预训练VLA结构,ActionUNet用轻量多尺度微调提升机器人鲁棒性

AI 导读

中国科学院大学 LAMP 实验室提出 ActionUNet,一种面向预训练 VLA 的高效多尺度微调框架。该方法在动作特征空间引入 Temporal U-Net 和条件 SIREN 解码器,冻结主干仅微调新增模块。

正文

本文作者来自中国科学院大学 LAMP 实验室。其中,第一作者朱迪为中国科学院大学 2025 级硕士研究生,共同第一作者严子恒为中国科学院大学 2024 级博士研究生,主要研究方向为具身智能,重点关注视觉 — 语言 — 动作(VLA)模型与机器人操作学习。

指导教师:万方,中国科学院大学计算机学院副教授、博士生导师。

简介

大规模预训练让视觉 — 语言 — 动作(Vision-Language-Action,VLA)模型积累了丰富的视觉、语言与动作先验。然而,当模型使用有限的任务示范进行下游监督微调(SFT)时,仍可能过度适应训练场景:在熟悉的环境中完成操作,却在出现额外物体或场景变化时表现不稳定。如何在后训练 SFT 阶段以较低成本提高 VLA 模型的鲁棒性,同时保留已有预训练能力,是本文关注的问题。

中国科学院大学 LAMP 实验室提出

ActionU

Net

,一种面向预训练 VLA 的

高效多尺度微调框架

。该方法不重构预训练主干,而是在动作特征空间引入轻量级 Temporal U-Net,融合粗细不同的时间尺度信息,并通过条件 SIREN 解码器生成连续、平滑的动作。实验表明,在 π0.5 基线上,ActionUNet 分别使 RoboTwin 2.0 困难场景、LIBERO-Plus 扰动测试和真实双臂机器人困难场景的平均成功率提高

9.8

、

6.1

和

11.4

个百分点

。

论文标题:ActionUNet: Improving Robustness of VLA Models with Efficient Multi-scale Fine-tuning

论文链接:https://arxiv.org/abs/2609.34982

论文代码:https://github.com/Di-Zhu123/ActionUNet

动机

预训练 VLA 通常先从图像、语言指令和机器人状态中提取信息,再由动作专家预测接下来的动作序列。对于下游任务,常见做法是利用少量示范数据继续微调,使模型适应具体操作。但如果训练样本集中在有限的场景条件下,微调后的策略就可能过度依赖这些条件,难以充分发挥预训练获得的通用先验。

研究者从动作执行过程进一步分析了这一问题。以 “叠放积木” 为例,机械臂在转移物体时需要较大幅度的运动,在接近目标、抓取及对齐时则需要小幅而精确的调整。论文通过

相邻记录步的末端执行器位移

度量动作尺度,发现尺度差异不仅存在于不同任务之间,也存在于同一任务的不同阶段。图 1 展示了这种跨任务、跨阶段的多尺度现象。

图 1:不同任务及同一任务各阶段的动作尺度差异。

方法

1. 时间 U-Net 多尺度动作特征建模(Temporal U-Net)

。 对按时间步排列的动作特征进行逐级下采样,获得较粗尺度的整体运动信息,再逐级上采样,并通过跳跃连接保留细粒度动作细节。最终得到的特征既包含较长时间范围的运动结构,也保留关键操作阶段所需的局部信息。

2. 条件 SIREN 连续动作解码(Conditional SIREN)

。 多尺度特征融合后,直接逐步输出动作可能造成不连续的变化。研究者将一段动作表示为可随时间查询的连续函数:各时间位置的特征用于生成局部动作函数,再用 Matérn 核加权融合相邻结果,以减轻高频抖动。对于采用流匹配训练的模型,还使用时间相关噪声,使训练目标与连续动作表示相协调。这个模块的作用,是在保留多尺度表达能力的同时改善动作衔接。

3. 面向预训练 VLA 的高效微调

。 训练时冻结预训练主干,仅微调动作专家及新增的 ActionUNet。该模块可接入流匹配式的 π0.5,也可接入回归式的 OpenVLA-OFT,无需从头训练整套 VLA。这里的 “即插即用” 指的是架构易集成,

并不意味着新增模块无需训练

。在单张 RTX 4090 的相同测试条件下,加入模块后每次策略调用的平均计算延迟由 60.95 毫秒增加到 64.89 毫秒,额外开销约 6.46%。

图 2:ActionUNet 在预训练 VLA 的动作特征空间中引入多尺度建模与连续解码。

实验

RoboTwin Clean2Rand

在 RoboTwin 2.0 中,研究者选择了 12 个涵盖不同动作尺度组合的双臂任务,每项任务使用 50 条干净示范微调,并分别在 Easy 与 Hard 设置下评估。Hard 设置包含背景、光照、干扰物等环境变化,可用于观察模型从训练条件转向更复杂场景时的表现。

以 π0.5 为基线,ActionUNet 在 Easy 设置下的平均成功率由

59.6% 提升至 68.4%

,在 Hard 设置下由

29.8% 提升至 39.6%

,分别提高

8.8 和 9.8 个百分点

。单尺度、双尺度和三尺度任务组均观察到总体收益,说明多尺度微调不只对某一类动作模式有效。

图 4:RoboTwin 2.0 各任务在 Easy / Hard 设置下的成功率(原论文 Table 1)。

LIBERO-Plus

LIBERO-Plus 在 LIBERO 上增加相机、机器人状态、语言、光照、背景、传感器噪声和布局七类变化。强调

从干净训练数据到扰动测试环境

的泛化表现。模型先在标准 LIBERO 上完成微调,再直接在 LIBERO-Plus 测试。

在 π0.5 上,ActionUNet 使 LIBERO-Plus 平均成功率由

65.8% 提升至 71.9%

,七种扰动类型下均有改善;在 OpenVLA-OFT 上,平均成功率也由

60.9% 提升至 64.6%

。此外,在标准 LIBERO 上,加入 ActionUNet 后的平均成功率分别达到

97.7%(π0.5)

和

98.6%(OpenVLA-OFT)

。这些结果表明,多尺度微调不仅可改善扰动测试表现,也能维持较强的常规任务表现。

图 5:不同模型在 LIBERO-Plus 七类扰动下的成功率(原论文 Table 3)。

真实机器人实验

研究者进一步在 Realman Gen72 真实双臂机器人上测试物体入篮、叠积木和叠碗三个任务。在加入额外干扰物的 Hard 设置下,π0.5 的平均成功率为

57.3%

,加入 ActionUNet 后达到

68.7%

,提高

11.4 个百分点

;在 Easy 设置下则由

76.0% 提升至 88.7%

。

消融实验

为了判断性能增益来自多尺度建模还是动作平滑,论文在四个 RoboTwin 任务上分别测试了 Temporal U-Net、SIREN 及完整 ActionUNet。在困难场景中,原始 π0.5 平均成功率为

34.5%

;仅加入 U-Net 为

37.3%

,仅加入 SIREN 为

33.3%

,完整 ActionUNet 则达到

46.5%

。这说明仅使动作更平滑,并不足以获得多尺度微调带来的鲁棒性收益。

研究者还设计了

参数量匹配的单尺度对照

:保留相同参数规模,但移除时间下采样和跨尺度特征融合,其困难场景成功率为

38.5%

,仍低于完整方法的

46.5%

。这一对照进一步支持,性能提升不能仅归因于增加参数,关键在于多尺度动作特征建模。

可视化

论文进一步可视化了多尺度特征响应与预测动作轨迹。不同层级的时间特征对相应动作尺度具有更强响应;在相同初始条件下,ActionUNet 预测的末端执行器轨迹也更接近示范轨迹,局部动作变化更平顺。

图 6:相同初始条件下,π0.5 与 ActionUNet 的预测轨迹比较(原论文 Fig. 6)。

真实机器人可视化展示了额外干扰物存在时的物体入篮、叠碗与叠积木操作。图 7 中,上排为与训练场景一致的 Easy 设置,下排为增加干扰物的 Hard 设置,可以直观看到两种环境下的执行过程。

图 7:真实双臂机器人完成叠碗任务的关键帧,上排为 Easy,下排为 Hard(原论文 Fig. 7)。

整体而言,ActionUNet 采用一种

simple yet effective

的策略:在下游 SFT 阶段保留预训练主干,把改进集中在动作特征的多尺度建模与连续解码上,以较低额外开销提升给定干扰条件下的操作鲁棒性。

© THE END

转载请联系本公众号获得授权

投稿或寻求报道:liyazhou@jiqizhixin.com

来源:机器之心 · mp.weixin.qq.com