UMM-Reflection 让统一多模态模型自己看图改图，修复成功率从 20.6% 升至 64.9%

统一多模态模型既能看图，也能画图，那么它能不能像人一样，画完之后自己检查、发现问题、再动手改？

来自南洋理工大学、上海交通大学和东京大学的研究者给出了一个肯定的回答。他们提出 UMM-Reflection，在开源统一模型 BAGEL 上用强化学习训练完整的「反思—修改」多轮轨迹：同一个模型写出诊断，再按诊断重画，推理时不再需要任何外部打分器。

经过强化学习，模型对初始错误图像的修复成功率从 20.6% 提升到 64.9%，GenEval 从 0.72（反思 SFT）提升到 0.84，其中空间位置一项从 0.47 跃升到 0.89；在训练中从未见过的 WISE 上提升 11 个点，比直接对生成器做强化学习高出近 20 个点。代码、模型与训练数据均已开源。

论文标题：

Learning Native Reflection in Unified Models with Interleaved Reinforcement Learning

论文链接：

https://arxiv.org/abs/2609.35767

项目主页：

https://waltstephen.github.io/UMM-Reflection/

代码：

https://github.com/waltstephen/UMM-Reflection

模型与数据：

https://huggingface.co/collections/YijiaFan/umm-reflection-6ab95afe909092518d70a158

作者：

Yijia Fan*, Ziqi Huang*, Zhongang Cai, Yan Li, Zimo Wen, Wanqi Yin, Haiwen Diao, Ziwei Liu（*共同一作；Ziwei Liu 为通讯作者）

单位：

南洋理工大学、上海交通大学、东京大学

视频：

UMM-Reflection 中文讲解（2 分 51 秒）。

核心结果一览

修复成功率提升到 3 倍以上：

初始生成错误的图像中，反思 SFT 模型只能修好 20.6%，强化学习后达到 64.9%。

GenEval 提升 12 个点（0.72→0.84）：

空间位置 0.47→0.89（+42），颜色属性绑定 +14，计数 +10。三种模型的初始图像准确率几乎相同，增益全部来自反思轮次。

迁移到训练中从未见过的基准：

WISE 0.63→0.74，T2I-CompBench++ 0.50→0.55，OneIG 0.79→0.83。

同样的 RL 预算直接训练生成器（直接文生图 RL）：

GenEval 只到 0.76，WISE 甚至低于 Base；UMM-Reflection 在 WISE 上比它高 19.8 个点。

推理时不依赖任何外部批评者或验证器：

看图、诊断、修改与停止全部由同一个模型完成。

一、能看也能画，却不会改自己的图

随着文本指令越来越复杂，一次生成的图像常常带着错误：位置关系反了、数量不对、颜色绑定错了对象。传统文生图模型无从察觉这些错误，更谈不上修复。统一多模态模型（UMM）把视觉理解与图像生成放进同一个网络，理论上「画图的模型也能看图」，于是有可能复现大语言模型里常见的自我纠错闭环：检查、诊断、修改。

现有工作大致沿两条路线推进。一条路线把强化学习用在单次生成上，例如先写文本规划再出图，或者用模型自己对成图的理解作为奖励，但模型从不回头修改已经画出的图。另一条路线让模型在中间图像上继续推理和编辑，但主要依赖对合成轨迹的监督模仿（SFT）。也有工作用强化学习训练多轮重新生成，但各轮相互独立，不继承之前的上下文。

研究者关心的问题是：模仿学习到底教会了模型什么，又缺了什么？

二、关键观察：SFT 学会了「改」，却改不准

研究者先构造了 29,529 条多轮反思轨迹，对 BAGEL 做反思 SFT。结果显示，SFT 学到的远不止格式：95% 的轨迹遵守反思协议，并且对训练集中初始错误的图像各采样 16 条轨迹时，有 78% 的图像至少存在一条正确修复的路径。也就是说，有效的修改已经存在于模型的能力范围之内。

问题在于可靠性。只看单条轨迹，SFT 模型只能修好 20.6% 的初始错误图像，三轮反思在 GenEval 上总共只带来约 2 个点的提升，而且第一轮之后就基本停滞。如图 1 左上所示，SFT 的修改常常在原地打转：先挪领带，再挪狗，又挪回领带，最终仍然是错的。

图 1：

同一提示词与随机种子下，SFT 与 RL 的反思轨迹对比。SFT 已能写出有意义的修改，但单条轨迹常常绕圈；整轨迹 RL 让策略集中到能够抵达「正确图像区域」的修改路径上。

这意味着，从「会改」到「改得对」之间缺的是一种结果驱动的信号：一次反思是否有用，要等它触发的图像生成出来，甚至再过几轮之后才能知道。

三、方法：在同一个模型里，用整条轨迹做强化学习

研究者把这种由统一模型自身完成的多轮「检查—诊断—修改」行为称为原生反思（native reflection）。由于诊断文本与修改后的图像出自同一组参数（文本头负责写诊断，flow 头根据诊断重新渲染），同一个结果奖励可以沿着同一条轨迹同时更新两者。训练分为两个阶段。

第一阶段：反思 SFT 冷启动。

每一轮，模型观察原始请求、此前全部的图文历史和当前图像，输出结构化反思（THINKING / ACTION / EDIT），选择继续编辑或停止。训练数据由外部模型合成：GPT-5.5 担任批评者，Qwen-Image 与 Qwen-Image-Edit 负责生成与编辑，BAGEL 本身不参与，以免把它自己的失败模式蒸馏回监督信号。数据涵盖一次成功、自然修复、多步规划三类轨迹，提示词与所有评测基准无重叠。

第二阶段：整轨迹强化学习。

核心有两个设计：

（1）

共享初始图像的采样。

对每个请求只生成一张初始图像并将其从计算图中分离，再从这张完全相同的图出发采样 16 条完整的反思轨迹。这样组内相对优势比较的是不同反思策略的好坏，而不是谁的初始图像运气更好。

（2）

一条轨迹，一个优势。

每条轨迹只计算一个结果驱动的优势值，同时更新其中所有反思 token 和 flow 生成步骤。这样既避免了逐轮分配信用所需的指数级 rollout，也不需要额外训练价值模型。

图 2：

UMM-Reflection 的强化学习流程。16 条轨迹共享同一张初始图像，每条轨迹交替进行模型自身的反思与渲染（最多三轮）；冻结的验证器为每张图和每条轨迹打分，组内归一化后得到一个轨迹级优势，同时更新文本头与 flow 头。验证器仅在训练时使用。

奖励方面，冻结的验证器为每张图像给出 0 到 1 之间的分级分数，部分修复也能得到非零的进步信号。轨迹奖励同时考虑最终图像质量、每一轮的改进幅度，以及对「把对的改错」的惩罚。验证器只在训练时使用，推理时模型完全依靠自身完成反思与停止决策。

四、实验：提升集中在反思轮次，并能迁移到未见基准

所有对比都使用同一个 BAGEL 骨干、相同的提示词、分辨率与评分器。RL 只在 GenEval 六类任务的 3,000 条训练提示上进行，评测则覆盖全部 553 条 GenEval 官方提示，以及训练中从未出现的 WISE、OneIG-Bench 与 T2I-CompBench++。

表 1：

同一评测协议下的主要结果（0–1 分）。

在 GenEval 上，UMM-Reflection 相比反思 SFT 提升 12 个点，其中最依赖修正构图的空间位置（position）一项从 0.47 提升到 0.89，颜色属性绑定和计数也分别提升 14 和 10 个点。值得注意的是，Base、SFT 与 RL 三者的初始图像准确率几乎相同（70–73），初始生成本身不接受 RL 梯度，因此增益来自反思轮次而非更好的第一张图。逐提示配对统计显示，RL 在 109 条提示上胜过 SFT，仅在 38 条上落后（McNemar 检验 p ＜ 1e−8）；若只比较初始图像，两者没有显著差异。

表 2：

GenEval 分项结果（553 条官方提示，0–1 分）。

在训练中从未使用的三个基准上，同一检查点相比反思 SFT 依然分别提升：WISE +11.0、T2I-CompBench++ +4.6、OneIG +3.5。其中在 OneIG 上，单纯的 SFT 甚至略低于 Base。

图 3：

GenEval 准确率随反思轮数的变化。SFT 的三轮反思合计约 +2 个点，且在第一轮后趋平；RL 后仅第一轮就带来约 +9 个点，并持续增益至第三轮。

从测试时扩展的角度看，RL 后模型的条件修复率（初始错误的图像最终被修好的比例）从 20.6% 提升到 64.9%。代价是推理时最多需要生成 4 张图像，因此研究者也在相同的四图预算下做了对照。

五、效果展示

下面是 UMM-Reflection 在四个基准上的多轮反思结果。每一行从左到右依次是初始图像和三轮反思后的修改结果，模型逐步修正空间关系、颜色、材质、数量和世界知识方面的错误。

图 4：

四个基准上的反思轨迹（初始图像 → 第 1、2、3 轮修改）。

六、消融：只训生成器、只训一个头，都不够

一个自然的疑问是：如果把同样的强化学习预算直接花在生成器上会怎样？研究者用相同的 1,000 步 RL 更新直接优化文生图（直接文生图 RL）。它能把单次生成的 GenEval 从 71 提到 76，但几乎不迁移：WISE 只有 54（Base 为 55），而 UMM-Reflection 分别达到 84 和 74。论文中的完整消融如表 3 所示。

表 3：

GenEval 消融（0–100 分）。初始：第一张图的准确率；最终：反思结束后的准确率；修复率：初始错误的图像最终被修好的比例。

几组对照指向同一个结论：反思 SFT 本身只带来 2 个点；只训 flow 头或只训文本头分别只到 73 和 78，联合优化整条轨迹才达到 84。在相同的四张图预算下，从直接 RL 模型的四次采样中挑选最佳图像只能到 80，强制 SFT 模型每轮都修改也只有 72，说明增益并非来自「多画几张」，而是来自学会了哪些修改真正有效。

七、RL 究竟改变了模型的什么？

为了理解增益的来源，研究者把全部 553 条轨迹分别送入 Base、SFT 和 RL 三个检查点，在模型内部训练线性探针来读出「这张图是否正确」。结果显示，RL 几乎没有改变模型对正确性的内部判断：理解分支上的探针 AUC 在三个检查点上都在 0.80–0.82 之间。

真正改变的是图像在这个内部空间里的去向。对于初始错误的图像，经过三轮反思后落入「正确区域」的比例，在 RL 下从 34% 提升到 62%，而在 SFT 下只是从 36% 提升到 42%。换言之，模型本来就「知道」自己的图对不对，RL 教会它的是据此行动：在 SFT 已经能产生的众多修改中，选出那些真正能把错误图像推向正确区域的路径。

图 5：初始错误图像在模型自身正确性读出空间中的轨迹。横纵轴分别为理解分支与生成分支上「是否通过验证

」

的线性探针得分；绿色区域为通过验证的参考图像。左两幅为 RL 从第 0 轮到第 3 轮，右两幅为 SFT。

八、总结

这项工作表明，对统一多模态模型而言，「SFT 冷启动 + 整轨迹 RL」这一在大语言模型后训练中被广泛验证的范式，同样可以迁移到原生的多轮视觉自我修正上：SFT 让模型学会反思的格式与有意义的修改，RL 则让这些修改变得可靠。由于推理时不依赖任何外部批评者或验证器，模型在一个上下文中自己完成看图、诊断、修改与停止。

需要说明的是，多轮反思会带来额外的推理开销（最多生成 4 张图像）；RL 阶段的奖励来自 GenEval 式的组合对齐验证器，训练提示也只覆盖 GenEval 的六类任务，更多维度的奖励仍有待探索。研究团队已开源全部训练与评测代码、RL 与 SFT 模型权重以及 SFT 数据，希望为统一模型上的反思与强化学习研究提供一个可复现的起点。

转载请联系本公众号获得授权

投稿或寻求报道：liyazhou@jiqizhixin.com