跳到正文
The Decoder· Jonathan Kemper·· 2 小时前精选AI 评分72

南京大学与商汤等发布 OpenMobile-2 开源手机智能体

OpenMobile-2 proves open-source smartphone agents can rival proprietary models

AI 导读

南京大学、商汤等机构的研究者发布 OpenMobile-2,基于 Qwen3.5 和 Qwen3.6 构建 9B 与 27B 两个手机智能体模型,并公开训练环境、数据和复现说明。

推荐理由

原文给出训练环境搭建方式与多基准对比数据,可了解开源手机智能体与闭源模型的差距所在。

正文 · AI 翻译

仅靠更多数据并不能让智能手机智能体变得更好。在数据量相同的情况下,最关键的是智能体在多少个不同的应用上进行训练。

能够自主操作应用的AI 智能体主要通过实践来学习,但它们所需的数据大多被大公司锁住。因此,来自南京大学、AI 公司商汤科技以及其他几所大学的研究人员写道,开源模型落后于人。

OpenMobile-2 是他们为缩小这一差距所做的尝试。他们发布了两个智能体模型,分别基于 90 亿参数的 Qwen3.5 和 270 亿参数的 Qwen3.6,同时公开了完整的训练环境、数据以及复现全部内容的说明。作者称,他们的模型在当前的智能手机智能体中排名靠前。

为什么重建 110 个应用胜过在真实应用上训练

在真实应用上训练很痛苦,因为登录、真实购买以及无法重置状态使得整个过程成本高昂且难以重复。因此,研究人员重建了 35 个主要在中国流行的应用,包括淘宝、京东、滴滴和美团,以及 Slack 和 Google Drive 等全球使用的服务。结合现有的模拟环境以及在 Android 模拟器中运行的应用,这一练习场覆盖了 110 多个应用。

Left: an overview of more than 110 apps split into 63 simulator apps and 62 emulator apps by category. Right: a comparison between GUI-only interaction using swipe, click, and type actions versus a hybrid approach that adds app-native tools like list_order() and search_item() on a shared app state.
在混合模式下,智能体将常规屏幕操作与应用直接以工具形式暴露的功能结合起来。| 图片:Yan 等

人工审核人员将重建的应用与原始应用进行对比,并不断改进,直到工作流程和界面匹配。订单、预算和旅行计划可跨会话保留,数据可以通过剪贴板在应用之间传递。每个模拟环境都会自动重置到初始状态,而智能体只能看到截图,无法访问应用内部数据,从而模拟真人实际使用这些应用的方式。

基于这一设置,团队生成了约 11,600 个示例工作流程和 2,000 多个带有自动成功检查的练习任务。Google 的 Gemini 3.1 Pro 作为教师模型生成了这些示例,这意味着 OpenMobile-2 实际上是在向一个闭源系统学习。

Diagram showing five steps for rebuilding an app: tracing a user flow, encoding it as a JSON spec, building around a shared app state, replaying and checking expected behavior, and delivering a reusable app with replay checks.
对于每个重建的应用,研究人员预先定义哪个操作会改变哪个状态,然后自动验证结果。| 图片:Yan 等

真机性能提升最大

两个模型在现有基准测试上都表现出明显提升。在 AndroidWorld 上,较大模型从 67.1 分跃升至 79.9 分,较小模型则从 54.3 分升至 74 分。前代 OpenMobile-1 在同一测试中得分为 64.7。在更难的 MobileWorld 基准测试中(涵盖跨多个应用的较长任务),较大模型从 35.9 分提升至 50.4 分。

Five bar charts comparing OpenMobile-9B and OpenMobile-27B against Qwen3.5-9B, Qwen3.6-27B, GUI-Owl-1.5-32B, UI-Venus-1.5, MAI-UI-32B, and Gemini-3.1-Pro across AndroidWorld, MobileWorld, MobileGym, MobileGym++ Hybrid, and SPA-Bench.
OpenMobile-2-27B 在 AndroidWorld 上达到 79.9 分,在真实设备上的 SPA-Bench 中仅次于 Gemini 3.1 Pro。| 图片:Yan 等

最大的跃升出现在真实 Android 设备上,较大模型在 SPA-Bench 上从 31.9 分攀升至 59.6 分。研究人员称,这是开源模型中的最佳成绩。

在这里,训练环境的多样性比单纯的数据量更重要。研究人员保持数据量不变,仅增加智能体练习所涉及的应用数量,这使未见应用上的成功率从 60.7% 提升至 67.5%。在相同的数据预算下,应用多样性胜过来自少数应用的额外示例。

Left: a line chart showing AndroidWorld success rates as training data is drawn from 15 to 53 apps. Right: a comparison of success rate and average step count with and without app-native tools for GUI-Owl, Qwen3.5-9B, and Qwen3.6-27B.
训练期间更多的应用多样性可提升在未见应用上的性能。经过混合训练后,模型更频繁地使用工具并以更少的步骤解决任务。| 图片:Yan 等

在此基础上进行强化学习只带来了有限的提升,主要是在与训练设置相似的环境中。在 AndroidWorld 上,较大的模型在之后实际上得分略低,为 79.9 分而非 80.8 分。

直接命令让智能体跳过菜单迷宫

该研究中有一个实验性部分超越了点击和滑动。超过 50 个模拟应用提供诸如“加入购物车”之类的直接命令,使智能体能够跳过菜单导航,并且智能体可根据可用情况在两种方式之间自由切换。

不过,仅凭这一点帮助不大,因为如果没有针对性训练,模型往往会忽略这些快捷方式。一旦对它们进行了相关训练,智能体就能很好地使用这些快捷方式,多解决最多 10.3 个百分点的任务,同时所需步骤减少约五步。研究人员表示,这种能力还能迁移到模型在训练中从未遇到过的工具上。

在后续的强化学习阶段,只要一次运行包含至少一个直接命令,工具使用就会获得奖励加成,不过奖励仍取决于任务是否真正完成。当智能体报告了并不真实的成功时,就会受到惩罚。这些接口目前只存在于模拟应用中,研究人员自己也称这种方法为实验性的。

部分结果来自团队构建的自定义基准,包含 215 个任务,其中近一半跨多个应用。任务完成情况不是由语言模型评判,而是由程序在每次运行前后比较应用存储的数据来判定。作者还检查了训练任务与测试任务之间的重叠,发现只有轻微的相似性。

Microsoft Research 已在 2025 年的一项研究中将 API 智能体归类为更可靠,而将 GUI 智能体归类为更灵活,并指出移动应用是外部接口不存在的典型情况。Oppo 则在其开放智能体 X-OmniClaw 上采取了不同路线,该智能体在真实设备上运行,并通过深度链接在淘宝或美团等应用中重放先前展示过的路径,而不是再次点击菜单。在闭源模型中,Google 已将智能手机控制直接构建到 Gemini 3.5 Flash 中。

没有炒作的 AI 新闻——由人类精选

订阅 THE DECODER,享受无广告阅读、每周 AI 新闻通讯、每年六次独家“AI Radar”前沿报告、完整档案访问权限以及评论区访问权限。

来源:The Decoder · the-decoder.com