Anthropic Fable 5.2 在真实自由职业任务基准中完成率升至 41.3%

这一进展显示出 AI 智能体在实用工作上的追赶速度有多快。该基准测试大约一年前推出时，当时最强的系统 Manus 仅完成了 2.5% 的任务。而 Fable 5.2 现在完成的专业工作数量是它的 16 倍多。

与最近的测量结果相比，这一跃升幅度也很大。今年7月，同一家族中较旧的模型 Fable 5 仍以约16%的得分领先。这一分数本身已是重大进步：最好的智能体在八个月内将以专业质量完成的工作占比提高了四倍多。四个月后，Fable 5.2 达到41.3%。这大约是 Fable 5 七月得分的两倍半。它的直接前代 Fable 5.1 也远远落后，得分略低于18%，而 Fable 5.2 完成的工作量是其两倍多。

当前排行榜上的下一个位置属于 Anthropic 的 Opus 5.5，为 21.25%，以及 OpenAI 的 GPT 6 Astra，为 20.83%。Fable 5.2 的成功率几乎是市场上次优系统的两倍。谷歌在测试中最强的模型 Gemini Argon 4 以 17.08% 位列第五，而 GPT-5.2 或 Gemini 3 Pro 等较旧模型则低于 3%。

Fable 5.2 在 3D 模型、音频和建筑领域取得突破

Scale Labs 在 X 上表示，Fable 5.2 进步最大的领域是音频和音乐编辑、建筑与室内空间设计，以及 3D 模型创建。该智能体还能处理此前排名靠前的模型经常失败的长期复杂项目。

Fable 5.2 成功完成的任务中，有近 50 项是测试中此前没有任何 AI 智能体解决过的工作。Scale Labs 表示，该 AI 在其他任务上仍几乎无能为力，尤其是工业产品设计和动画。研究人员称，当 AI 智能体在测试中失败时，它们通常交付业余水准的作品、不完整的结果、损坏的文件或自相矛盾的设计。

价值 14.4 万美元的真实工作

与通常只检查孤立技能的传统 AI 测试不同，RLI 研究论文涵盖完整的工作任务。该数据集包含来自 Upwork 平台上 358 位经过验证的专业人士的 240 个已完成项目。这些工作合计价值约 14.4 万美元。

单个项目平均花费 632.60 美元，人类自由职业者平均需要近 29 小时完成。任务范围从视频剪辑到 CAD 设计、游戏开发和数据分析。为了完成这些工作，AI 智能体可以使用一个虚拟工作区，其中包含 Blender、GIMP 或 Audacity 等常用专业软件，以及用于图像、音频和视频生成的专门 AI 工具。

经过训练的人类专家会手动检查 AI 智能体是否成功完成了工作。他们在相关专业软件中打开提交的文件，并将 AI 的输出与人类自由职业者交付的工作直接比较。CAIS 试图用另一个 AI 来自动化这项劳动密集型的审查，但迄今为止未能成功。因为 AI 审查员自己几乎无法操作专业软件，它们会被表面光鲜但技术上存在缺陷的提交内容所蒙蔽，从而对模型评分过于宽松。