微软等机构提出 WildAWM，合成电脑环境训练 computer-use agent

你是否也好奇 GPT-6 Astra 惊人的 computer-use agent (CUA) 电脑使用能力如何训练得到？

来自微软研究院 (Microsfot Research), 北卡罗来纳大学教堂山分校 (UNC-Chapel Hill), 佐治亚理工大学 (Gatech), 和美国东北大学 (Northeastern University) 的研究者提出了最新研究成果 WildAWM。

论文标题：Agent World Model in the Wild: Computer-Use Agent Environment Synthesis

arXiv 链接：https://arxiv.org/abs/2610.26828

项目主页：https://msr-orchard.github.io/WildAWM/

开源代码：https://github.com/MSR-Orchard/WildAWM

开源环境、任务与模型：https://huggingface.co/collections/ChilleD/agent-world-model-in-the-wild

想让 agent 学会用电脑，最简单直接的办法就是让它在电脑环境中进行交互、训练，可是一方面真电脑环境成本高、很难大规模铺开，而且可能会引入安全风险，比如 OpenAI 最近披露了一起 agent 在线环境中学习却意外地攻击了 huggingface 服务器的事件。

WildAWM 使用合成的个人电脑环境（有 shell，有文件系统，有浏览器，有常见的应用 MCP 服务比如 email）来作为现实训练环境的替代。而且，为了避免间接蒸馏私有模型的嫌疑，WildAWM 完全使用开源模型进行合成。合成环境后，再在里面合成高质量的 agent 任务、对应的 verifier 验证器，来组成 {environment, task, verifeir} 训练样本，只在这些合成的环境中训练两个 Qwen 模型（Qwen3.6-35b-a3b 和 Qwen3.5-4b)，却在 8 个横跨 web agent, claw agent 和 GUI computer-use agent OOD 常见评测榜单上全部有提升。

从 Agent World Model (AWM) 到 WildAWM

最近，前沿实验室已经展现了 RL 对于 agent 的性能提升有巨大的帮助。agent 要在交互里学，需要和环境进行交互。拿真实系统交互并不现实：环境没法大批量复制，状态也很难重置，agent 一旦点错，删掉的文件、发出去的邮件都是真的，还可能带来安全隐患。

今年 2 月，研究团队发布了 Agent World Model（AWM，ICML 2026）。区别于 world model 往往使用神经网络模拟环境、预测下一个 state（作为环境），AWM 用代码和数据库合成可执行、可交互的环境，一共生成了 1000 个，覆盖各种日常场景，专门用来给多轮调用工具的 agent 做强化学习。只在这些合成环境里训练，模型在三个 OOD benchmarks 上都有不错的分布外泛化。

WildAWM 是这个系列的新工作，这次面向通用的计算机使用 agent（computer-use agent，CUA），不再一个个地合成工具环境，而是直接合成一整台个人电脑。

合成一整台电脑环境

真正的 computer-use agent 应该是 agent 可以访问这台电脑的任何界面，而不局限于一种界面，agent 可以使用 CLI 就像 coding model 一样用代码高效完成任务，也可以使用 GUI，操纵鼠标、键盘访问图形界面网页，也可以接入 MCP service 发现便捷的软件 services（比如 email）。

网站、应用、MCP 服务和本地文件都在一台机器上，状态也连在一起。已有的合成方法大多做的是每个应用各自是一个孤立的环境，比如专门合成 terminal 环境的，比如专门合成网页环境的等等。

WildAWM 的每个环境都是某一个人的电脑。合成从一个虚构人物开始：先定下这个人的职业、联系人、常去的网站和手头在忙的几件事，再把这些事排成一天一天的计划。接着，使用一个 coding agent（GLM-5.2 加 OpenCode）按天把计划落到环境里，往数据库里写记录，往文件夹里放文件，每一天都接着前一天的状态往下做，自然数据也会一天天合成得越来越多。注意这些网页，应用，数据全部是合成的，全部在本地，不需要联网。

图 1: WildAWM 合成世界，包含 GUI web，MCP，CLI 三种 agent 常见的 computer-use 接口

为了让这个世界前后一致，每一天的状态都要独立重放两次，两次结果完全一样，所有服务和网站也都正常，才会留下来。还会启动另一个 agent 核对当天的数据和计划对不对得上。整个过程合成了 36 个人物、640 个世界状态。到最后一天，一个世界里平均有 17 万多条数据库记录和 50 个左右的本地文件，复杂程度超过同期的合成环境类工作。

高质量的合成 Task 是另一个难题

环境有了，接下来要在里面出题 Task。

WildAWM 合成的 Task 叫跨界面（cross-agent-interface, XAI）任务，每道题都必须用到 GUI、MCP 和 CLI 三种接口。

比如一道题：Jordan 要在 2 月 21 日跑半马，想在比赛前再确认一下跑表买哪块。训练笔记里记着几块备选的 GPS 手表，之前已经 “定下” 了一块，但 Jordan 想按比赛要用的标准，也就是 GPS 精度、屏幕看不看得清和预算，重新排一遍。agent 得先写个 python 脚本，从笔记里把候选表找出来排好序，存成文件。接着登录 Amazon，这时搜出来的手表可能不止一款，题目没给型号，只描述了外观（黑色圆形表壳，深色表带内侧有浅灰纹路），得看商品图来挑。加进购物车以后，还要往本地日志里补一条带日期的记录，写明选了哪块表、多少钱，最后在聊天应用里告诉好朋友 Naomi 选了哪一块。完成这个任务需要横跨多种 agent 界面，充分使用合成的环境。

这些任务平均包含 4.2 个子任务，要切换 3.1 次接口，74.5% 的任务做到中途还要回到之前用过的接口，有的需要超过 100 多步，是 long-horizon agent 任务。

图 2: agent 完成合成的任务需要横跨多种 computer-use 接口：CLI, GUI, 和 MCP

那么，怎样才能合成这样的高质量 task 呢？尤其是在不依赖任何闭源前沿模型的情况下，如何解决：

任务有效性（Task Solvability），确保合成的任务是可以正常被完成的；

任务难度（Task Difficulty），确保合成的任务是有足够的难度的，毕竟市面上大多数的 benchmarks 都已经饱和，我们必须要合成足够难度的任务，比如难倒 GPT-6 Astra 的任务

任务验证器的可靠性（Verifier Reliability），合成的 task 都有一个验证器，用于自动判定 agent 是否完成了任务，提供训练的奖励信号，必须确保足够准确和可靠，才能给出有效的 agent RL 强化学习信号

图 3：WildAWM 的整体流程。左边合成世界，中间详细介绍了合成任务的各个阶段，最右边用合成好的环境、任务和验证器做强化学习

WildAWM 的做法是在合成阶段就引入大量不同的 agent 去实际去尝试这些题目。研究团队使用 3 个开源模型（GLM-5.2、DeepSeek-V4-Flash、MiniMax-M3），配上 6 种 agent harness，其中 OpenCode、Codex、Claude Code 是编程 agent，Nanobot、OpenClaw、Hermes Agent 是 claw agent。每次合成的 task 要跑至少 6 次，一半给提示。

每次跑完由三种验证方式来评价：生成器写的验证脚本（verifier）、LLM judge，还有一个拥有最高权限的，可以自己进环境查看前后状态的 coding agent judge。它们依次增加了 test time 的时间和计算，理应会越来越准确。但是在 RL 训练当中，我们需要一个高效的验证器，也就是通常是一个脚本。所以我们的目的是将验证脚本 verifier 的准确度对齐 Agent Judge。

有了这些 agent 实际的执行过程 trajectory，一道 Task 要连过 5 道关才算合格：

评判一致：6 次执行里，verifier、LLM judge 和 agent judge 的结论必须完全一致。

初始未完成：agent 什么都不做的时候，verifier 必须判失败，免得出现一开始就 “已完成” 的题。

可解：6 次执行里至少要成功一次。

难度：不给提示的 3 次如果全都成功，说明题太简单，需要修改加难度。

反事实探针：大模型容易顺着别人的话说。研究者故意把相反的结论告诉 agent judge，让它重新查，它要是改了判定结果，那说明这次判定就不靠谱，需要重新修改

经过这些关卡，最后，2,551 个任务草稿里留下了 341 道合格的题目。

图 4: 合成任务的漏洞，每过一道关卡，就会筛选掉很多不合格的 task

这些合成的 Task 质量到底怎么样

先看能不能做（Task Solvability)

。研究者用 24 种模型和框架的组合（前面 3 个开源模型加上闭源较强的模型 Opus-4.8，各配 6 种框架）来做这批题，每道题都至少被一种组合做出来，就算只用合成时那 3 个较弱的开源模型，也能做出 95% 以上。

图 5: 合成的 Tasks 能够被多少 agent 解决：每个 task 都至少被一个 agent 成功解决，但没有一道能够被所有 agent 都解决

再看难不难（Task Difficulty）

。合成阶段不给任何提示时，agent 的平均成功率只有 21.3%，341 道题里有 273 道被标成了难题。在验证集上，GPT-6 Astra 第一次就做对的比例约为 Pass@1 60%，让它做 8 次，Pass@8 仍有 27.3% 的题一次都没做出来。WildAWM 完全使用开源模型，却能合成出让 GPT-6 Astra 都做不对的题（注意每到题都验证过是可以被解决的）。

图 6：各类模型在合成的 WildAWM 环境和 tasks 上的性能，右图展示了 Test time scaling 下的性能表现

最后看验证器（Verifier Reliability）

。在随机抽取的 100 条 agent 执行记录上（包含成功的和失败的），验证脚本 Verifier 和 agent judge majority 投票的一致率是 95%，Cohen's κ 为 0.90。一个轻量的验证脚本，判得和这些又重又贵的 agent judge 差不多准，这确保了 RL 训练时使用的 reward 足够可靠。

图 7：Verifier 和 agent judge 的一致性评估

只在合成环境里训练

能不能泛化到真实世界？

341 道题分成三份：100 道用于 SFT，208 道用于强化学习，33 道留作验证测试集。训练先用 GLM-5.2 在 SFT 那部分题上的 100 条轨迹做热启动，再跑最多 64 步强化学习，训练算法使用 GRPO，训练两个 Qwen 模型（Qwen3.6-35b-a3b 和 Qwen3.5-4b)。

评测选了 8 个训练时完全没见过的 OOD benchmarks，分三类：web agent（WebArena、Online-Mind2Web）、claw agent（QwenClawBench、ClawEval）、GUI computer-use agent（CUA-Gym、OSWorld-Verified、OSWorld 2.0、Agents' Last Exam）。

图 8：WildAWM 训练的模型在 8 个分布外 benchmarks 上的性能表现

两个 Qwen 模型在 8 个 benchmarks 上全部提升。Qwen3.6-35B-A3B 的平均分从 42.84 涨到 53.42，提高了 10.58 分，在 ClawEval、OSWorld-Verified、WebArena 和 CUA-Gym 上分别涨了 16.67、16.06、13.72 和 12.22 分。训练后，它在 WebArena 上和 GLM-5.2 打平（67.26），在 Online-Mind2Web 上超过了 GPT-5.5（80.77 对 72.22）。Qwen3.5-4B 的平均分从 21.83 涨到 30.04，提高了 8.21 分。在 WildAWM 自己的 33 道验证测试集上，35B-A3B 的通过率从 5.68% 提到 35.98%，和 GLM-5.2 （20x 的参数）的 37.88% 已经相差不远。

图 9：只在合成世界里训练后，Qwen3.6-35B-A3B 在每个 benchmark 上的涨幅

为了探究 WildAWM 合成环境到底贡献了什么 agent 能力，作者们还进行了更加深入的研究，下面节选两个重要的研究：

5 道 Task 质量关卡是不是都有必要

？研究者每次去掉一道进行消融实验，重新合成 SFT 数据来训练 Qwen3.5-4B，平均分都会下降，降幅在 2.60 到 9.30 分之间。影响最大的是评判一致和初始未完成。

图 10：WildAWM Task 合成 5 道关卡的消融实验结果

RL 强化学习训练有带给 agent 哪些改变？

相邻两次工具调用之间切换接口的比例，从 18.4% 升到了 25.5%，接近 GLM-5.2。这说明 agent 对于不同的电脑接口使用更加熟练，对于不同的需求，可以切换到最合适的接口进行完成任务

RL 让模型更能做长任务：在 40 到 120 步这一段，只做 SFT 的模型多解出 9.7 个百分点的题，完整训练后（+RL）的模型多解出 17.0 个百分点。

RL 不能给模型带来超越 Teacher model 本身的能力：将任务根据难度分成多个桶，可以发现即使经过了 RL 训练，agent 也只能够在 easy, medium, hard 中获得提升，而不能在 teacher model GLM-5.2 都不会做的 hardest 题中取得提升，这个发现和现在的主流研究也比较一致，RL 只能激发、排列组合 base model 已有的能力。

图 11：强化学习后 agent 的行为分析

全部开源

WildAWM 的合成流水线、341 个环境和任务、两个训练好的 Qwen 模型，还有整理好的 Harbor 格式的数据集，都已经全部开源。从生成环境、出题到判分，整个过程只用开源模型，不依赖任何闭源的前沿模型，可以直接使用，也可以进行复现。

研究团队认为，这为开源模型指出了一条路：自己合成可以不断扩大的环境和高质量的任务，在里面自己学习，进行迭代重复，最终成为强大的通用计算机使用 computer-use agent，整个过程不依赖任何闭源模型，避免间接蒸馏。这为开源模型奠定了 Recursive Self-Improvement (RSI）的基础。

转载请联系本公众号获得授权

投稿或寻求报道：liyazhou@jiqizhixin.com