戴盟机器人等提出触觉推理模型Touch-R1，入选NeurIPS 2026

看起来像硬质塑料，按下去却十分柔软 —— 当视觉与触觉发生冲突，人类往往会依赖触感修正视觉误区；但现有的多模态模型却常常更相信视觉，从而误判物体的真实物理属性。

图 1 研究概览：Touch-R1 在触觉推理评测基准 TouchReason-Bench 上的表现优于其他代表性多模态大语言模型（左）；Touch-R1 依据触觉证据，推翻视觉误判，将材料判断为橡胶（右）

戴盟机器人团队联合厦门大学、南京大学、大湾区大学、复旦大学提出 Touch-R1

，将强化学习用于跨传感器触觉推理。论文已被 NeurIPS 2026 接收。团队同时构建 TouchReason-1M 数据集与 TouchReason-Bench 基准，支持训练及评测。

论文标题：Touch-R1: Reinforcing Touch Reasoning in MLLMs

论文地址：https://arxiv.org/abs/2605.27154

项目主页：https://laiyingxin2.github.io/Touch-R1/

代码：https://github.com/laiyingxin2/Touch-R1

模型：https://huggingface.co/laiyingxin/Touch-R1

数据集：https://huggingface.co/datasets/laiyingxin/TouchReason

作为

首个触觉锚定物理 R1 模型

，该研究首次将强化学习系统性地引入触觉推理模型，让模型学会依据触觉本质，实现可跨传感器的物理推理，将触觉物理认知能力从 “看起来是什么” 转变为 “实际是什么”，为建立更可靠的触觉推理提供新路径。

01｜首个触觉锚定物理推理模型，为具身智能建立物理常识

人类判断物体的物理属性，通常先看，再通过触摸确认或修正判断。这种 “感知 — 验证 — 修正” 的循环，是我们与物理世界交互的重要方式。

但当前大模型仍偏重视觉

。

视觉能识别物体，却难以感知硬度、粗糙度、摩擦、形变和受力，面对透明、反光、被遮挡物体时更加容易失效。测试表明，当视觉与触觉信息冲突时，GPT-4o、Gemini-2.5-Pro 等模型往往更相信 “看起来怎样”，而非 “摸起来怎样”。这样的误判可能导致机器人抓取失败、损伤物品，甚至引发安全风险。

让模型读懂触觉，有三大难点：

一是触觉数据稀缺，触觉物理推理数据更少；二是软硬、粗糙等物理属性往往是序数型而非类别型；三是理解不同传感器的信号，使判断保持一致。

Touch-R1 针对这三大难点，让模型学会依据触觉证据推理，修正视觉误判。触觉由此不再只是辅助信息，而成为能够改变判断的物理依据。

02｜为具身模型首创触觉数据体系，建立触觉推理的完整基础设施

研究团队首先构建了

大规模、跨材料、跨传感器的触觉推理数据集 TouchReason-1M

，这是为具身模型首创的触觉数据体系，同时融合多传感器视触觉数据、序数属性标签与可验证推理问答。数据集覆盖 1,000 余个日常物体和 9 大类材料，汇集 DM-Tac X、GelSight Mini、Xense 和 Tac3D 四种视触觉传感器。与之前的触觉数据集不同的是，所有物体的数据都在严格控制的标准动作和标准力下进行采集，从而可以进行不同物体的横向对比。

TouchReason-1M 聚焦于视触觉感知，该技术可为大模型触觉推理提供足够高分辨率触觉数据。然而，不同传感器的弹性体、标记点、光路与结构不同，对于同一物体的接触会有天然各异的图像表现。TouchReason-1M 没有简单拼接既有数据，而是统一接触方式：从初始接触按压至 20N，再以标准力完成六种探索动作，并同步记录原始触觉图像、形变、切向变化、深度变化及物体接触视觉图像等数据。TouchReason-1M 总共包含 14,700 条有效触觉序列和 132.3 万个同步数据对，为模型的跨传感器一致性学习建立共同物理参照。

图 3 触觉推理数据集 TouchReason-1M

在模型层，Touch-R1 采用三阶段训练：首先通过预测未来触觉帧，学习接触的动态规律；随后通过结构化问答进行监督微调，形成 “感知 - 比较 - 结论” 的推理链；最后使用面向触觉设计的 GRPO 强化学习。

Touch-R1 进一步把跨传感器触觉感知从 “物理表征对齐” 推进到 “物理属性推理一致”：模型从不同传感器的触觉图像中解析物理属性并进行判断比较，并通过跨传感器一致性奖励对判断结果进行约束，从而消解异构传感器差异，获取真实稳定的物理属性本质。同时，模型还引入序数奖励，帮助模型理解硬度、粗糙度等物理属性的程度关系；结构化格式奖励与触觉触觉输入扰动则确保模型

依据触觉证据进行推理

，减少仅凭视觉猜答案、“答对但没摸懂” 的捷径。

图 4 Touch-R1 三阶段训练过程

03｜将触觉作为推理证据，Touch-R1 九项性能大幅领先

为了验证模型能力，团队同步构建了

触觉推理评测基准 TouchReason-Bench

，通过 4,800 组问答考察模型的物理属性识别、序数推理、比较推理、跨传感器一致性及视觉 - 触觉冲突处理，并以 200 个训练阶段未见物体考察模型的泛化表现。

图

5-TouchReason 问答对的构建流程概览

在该基准上，Touch-R1-7B 在物理属性识别、序数推理、跨传感器一致性等 9 项核心指标上均取得最优成绩

，综合分数达 60.1，比触觉专用模型 Octopi-13B 高 18.4 分，比 GPT-4o 高约 24.7 分，比此前最强触觉模型 SToLa 高 12.6 分。

图 6-Touch-R1-7B 在多项核心指标上全面领先

Touch-R1 还展示了如何以触觉修正视觉误判

：对于外观看似塑料的物体，模型能够结合触觉形变与力 - 深度曲线，识别物体的柔顺性，据此推翻视觉先验，将材料判断修正为橡胶。这体现了 Touch-R1 最重要的能力 ——

模型不只是同时接收视觉和触觉，而是在证据冲突时，判断哪一种信息更值得信任

。

图 7-Touch-R1-7B 问答例子

消融实验则进一步确定了 Touch-R1 架构各部分的贡献。冷启动监督微调、标准 GRPO、序数感知奖励、跨传感器物理一致性约束、结构化格式控制等，都为模型性能带来了不同程度的提升。同时，随着模型规模增大，多项指标均得到稳定提升，显示出 Touch-R1 的泛化潜能。

Touch-R1 的价值，远不止赋予模型触觉推理能力。

通过数据集、模型与评测基准的完整基础设施，Touch-R1 推动触觉从辅助感知转变为具身基础模型的核心模态。

同时，Touch-R1 以跨传感器一致的物理认知为基础，为触觉数据与模型能力的跨硬件迁徙奠定基础，并为材料识别、质量检测、精密装配、易碎品抓取和柔性物体操作等真实物理交互场景提供底层能力。

作者介绍

论文作者来自厦门大学、南京大学、大湾区大学、复旦大学和戴盟机器人。第一作者赖映鑫，目前为厦门大学博士生和戴盟机器人实习生；共同第一作者周亚飞，目前为大湾区大学硕士生和戴盟机器人实习生；通讯作者原玮浩，目前为南京大学副教授和戴盟机器人首席 AI 科学家。

© THE END

转载请联系本公众号获得授权

投稿或寻求报道：liyazhou@jiqizhixin.com