字节发布 UniVR-34B 视觉推理模型并开源权重

UniVR：在视觉空间中思考，实现统一视觉推理

UniVR Overview

模型摘要

UniVR 是首个仅从纯视觉演示中同时学习复杂推理、细粒度物理动态和长期规划的框架——无需依赖密集的图像-文本对或任务特定的启发式方法。

UniVR 基于 Emu3.5（34B）构建，采用统一的下一 token 预测目标，在给定图像和指令时直接生成视觉推理轨迹。训练采用两阶段流程：先在 VR-X 数据集上进行监督冷启动初始化，随后使用 VR-GRPO 强化学习，并配合互补的全局奖励与步骤聚焦奖励。

特性	详情
架构	Emu3.5 34B（VQ-VAE 统一生成模型）
训练	SFT（310k 样本）→ VR-GRPO RL（3k 样本）
视觉思考	原生视觉空间推理，无中间文本链
基准	VR-X：16 个来源、6 个任务类别、1.8k 评估样本

可用检查点

模型	描述	路径
UniVR-34B-Planning	针对长时程规划任务优化（机器人操作、工具使用、多步控制）	`Planning/`
UniVR-34B-General	采用图文交错数据的完整 UniVR 方案；适用于通用视觉推理	`General/`

两个检查点均作为本仓库的子目录存放：ByteDance/UniVR-34B-Planning。

关键结果

VR-X 基准

UniVR 相比 Emu3.5 基线最高提升 25%，仅以 34B 参数逼近 Gemini 3 Pro + Nano Banana 2。

方法	视觉思考	引导	机器人	编辑	空间	拼图	搜索	总体↑
Gemini-3-pro + Nano Banana 2	✗	66.2	67.1	63.7	55.1	65.5	79.0	66.1
GPT-5 + GPT-image-1.5	✗	68.2	64.1	58.0	49.3	64.0	77.4	63.5
Emu3.5 34B	✗	38.6	42.8	32.7	35.3	43.4	46.2	39.8
UniVR 34B	✓	59.5	68.0	48.5	46.5	62.2	64.3	58.2
Δ 对比 Emu3.5		↑20.9	↑25.2	↑15.8	↑11.2	↑18.8	↑18.1	↑18.4

多模态理解

增强的视觉推理也提升了标准多模态基准——基础模型能力没有退化。

方法	MMMU	MME(P)	MME(C)	MMBench	MathVista	MM-Vet
Emu 3.5	0.292	781.1	324.6	0.183	41.7	28.0
UniVR	0.337	799.3	338.5	0.198	44.0	35.6
Δ 对比 Emu3.5	↑0.045	↑18.2	↑13.9	↑0.015	↑2.3	↑7.6

快速开始

安装

git clone https://github.com/bytedance/UniVR.git
cd UniVR
bash install.sh

推理

cd UniVR_SFT

# Download checkpoint (choose Planning or General subdir)
huggingface-cli download ByteDance/UniVR-34B-Planning --include "Planning/*" --local-dir weights/UniVR-34B-Planning

# Download VisionTokenizer
huggingface-cli download BAAI/Emu3.5-VisionTokenizer --local-dir weights/Emu3.5-VisionTokenizer

# Run inference
bash scripts/inference.sh

配置 configs/config.py 以设置模型路径和提示词：

{
    "prompt": "Tie the red rope around the white gift box. Finish this task in 3 steps.",
    "reference_image": "path/to/first_frame.jpg",
}

训练

SFT（冷启动初始化）：

cd UniVR_SFT
# LoRA (2 nodes × 8 GPUs)
bash scripts/train_sft_lora.sh
# Full parameter (4 nodes × 8 GPUs)
bash scripts/train_sft_full.sh

RL（VR-GRPO）：

cd UniVR_RL
bash examples/emu3_grpo_lora.sh

方法：VR-GRPO

UniVR 提出 VR-GRPO（Visual Reasoning GRPO），一种强化学习范式，结合：

全局奖励（R_g）：VLM 评估器通过成对比较评估整体任务完成度和视觉质量。
步骤聚焦奖励（R_s）：通过计算 rollout 样本间轨迹的 CLIP 特征方差，识别最易出错的子步骤，然后对关键窗口应用细粒度 VLM 评估。
组合奖励：R_reason = R_g − λ|R_g − R_s|，同时约束终端正确性和过程完整性。

该设计可防止长时程任务中的奖励黑客行为，因为仅使用全局奖励会忽略中间物理违规和逻辑缺口。

示例输出

训练数据

UniVR 在 VR-X 上训练，这是一个大规模基准，从 16 个多样来源的 1.5M 原始样本中整理而来：

类别	来源	示例
视觉引导	EgoDex、Action100M、Epic-Kitchen、VideoCraftBench	烹饪、手工制作、日常活动
机器人操作	AgiBot、Droid、Bridge、ZebraCoT-Robot	机器人抓取、工具使用、多步控制
编辑	ZebraCoT-Multiobject	物体操作、场景编辑
空间感知	ThinkMorph-Navigation、ZebraCoT-Embodiment	导航、空间推理
视觉搜索	VisualCoT、ThinkMorph-Search	物体定位、注意力
拼图与游戏	VRBench、Zebra-Jigsaw、ThinkMorph-VisPuzzle	迷宫、拼图、视觉谜题

下载：ByteDance/VR-X-SFT-RL

引用

@article{ren2026univr,
  title={UniVR: Thinking in Visual Space for Unified Visual Reasoning},
  author={Zhongwei Ren and Yunchao Wei and Zhao Yao and Guixun Luo and Yao Zhao and Weibo Gong and Xiao Liu and Anran Wang and Xiangtai Li and Xiaojie Jin},
  url={https://arxiv.org/abs/2607.12800},
  year={2026},
}

许可证

本项目基于 CC BY 4.0 许可证发布。

致谢

UniVR 基于 Emu3.5 和 verl 构建。我们感谢作者们出色的开源贡献。