跳到正文
The Decoder· Maximilian Schreiner·· 2 小时前同事件AI 评分78

METR 审计发现 Anthropic 或已在 7 月触及自身 AI 加速预警阈值

METR finds Anthropic may have crossed its own AI acceleration warning threshold back in July

AI 导读

METR 对 Anthropic 进行审计后认为,其模型基准分数自 2025 年 10 月以来以约 1.9 倍于此前的速度提升,AECI 年增速从约 15 分升至 29 分,可能已在 7 月 15 日触及 Anthropic 自设的加速预警阈值。

同一件事,精选收录的是《METR 报告:Anthropic 模型能力进步速度约为此前 1.9 倍,80% 增量来自 AI》

正文 · AI 翻译

这正是 METR 想要验证的。这家非营利组织研究的课题之一,是 AI 开发者是否会失去对自家系统的控制。2026 年 8 月 12 日至 10 月 29 日,一支由 2.5 名全职人员组成的团队获得了他们所称的史无前例的权限,可以查看未发布模型的基准测试结果、训练指标、员工调查和内部署分析,并对 Anthropic 的研究人员进行了约 15 次访谈。METR 没有从 Anthropic 收取任何费用,但出于安全考虑,工作是在 Anthropic 的设备上进行的。

Anthropic CEO Dario Amodei 不久前承诺将外部审计人员引入公司。随后在 10 月,Anthropic 宣布与 METR 合作,给予其“类似员工的访问权限”。据 METR 称,本次审计是一个范围更窄的独立项目。

两年的进展压缩进一年

据 METR 称,自 2025 年 10 月以来,Anthropic 模型测试分数的攀升速度约为 2024 年 3 月至 2025 年 10 月期间的 1.9 倍。该测量基于 AECI,这是一个将多项基准测试打包在一起的综合指标。Anthropic 用一年时间取得了此前需要两年才能实现的进展,大致相当于从 Claude 2.1 到 Sonnet 4.5 的跃升。分析还纳入了三个于 2026 年 7 月至 10 月间完成训练的未发布模型。在 2025 年 10 月之前,Anthropic 的模型每年约提升 15 个 AECI 点;此后,这一速度达到了 29。

在 2025 年 10 月之前,Anthropic 的模型每年约提升 15 个 AECI 点。此后,这一速度达到了 29。未发布模型以橙色标出。| 图片:METR

METR 确信,这种加速并非由训练算力的更快增长所驱动。相反,审计人员估计当前约 80% 的提速来自 AI 被用于 Anthropic 自身的研究。一位员工在访谈中说:“现在瓶颈只在想法和算力上,不再卡在代码上了。”

其他人则表示,过去需要一到两天才能搭建好的实验,现在“几乎零成本”。在 2026 年 10 月的非正式 Slack 投票中,员工平均表示最新的内部模型让他们的生产力提高了约十二倍。METR 将这些自我评估视为“非常宽松的证据”,称其不具代表性,且很可能夸大了实际收益。

自报的生产力提升从 Claude 3.7 Sonnet 的 1.2 倍上升到内部 Model 4 的 12 倍。| 图片:METR[

AI 尚未实现完全自主的研究。加速主要来自 AI 作为助手的角色,但已有“生命迹象”表明,独立贡献可能很快发挥更大作用。METR 未发现会在未来十二个月内拖慢步伐的瓶颈,这意味着加速在未来一年持续增长存在“重大风险”。

巨大的不确定性与不同声音

METR 还强调了结果有多么不精确。真实的加速倍数可能低至 1.3,也可能高达 3。将 OpenAI、Google 和 xAI 的模型纳入考量后,全行业的数字降至仅 1.4,这可能是因为 Anthropic 在 2025 年落后于竞争对手,追赶效应扭曲了数据。

Anthropic 内部的观点也并不一致。一位研究人员认为 AI 在生产力提升中的贡献仅占 15% 到 20%,并且不信任同事的自我报告。另一位则认为新员工是近几个月最重要的单一因素。

被删节的证据削弱了审计

Anthropic 对所有非公开信息拥有单方面的删改权,并且大量行使了这一权利。据 METR 称,审计人员评为最具信息价值的证据大部分被删除,包括对未来模型的预测、按训练步骤的细分以及瓶颈分析。Anthropic 将删改描述为“旨在移除可能加速其他 AI 开发者发展的机密信息”。

METR 写道,结果是公众不得不“远超理想程度地”依赖 METR 的判断,而围绕证据的任何透明度讨论都无从谈起。因此,METR 报告中的一张图表用大字标注了“FAKE DATA”(虚假数据)。

Anthropic 叫停了算力分配审计

在另一份审查中,METR 还审视了 Anthropic 2026 年 8 月的风险报告。在该报告中,公司公开表示加速“不到 2 倍”。然而,内部未删改版本暗示数值为 1.97,且 Anthropic 自己也称阈值已被跨越是“可能的”。METR 认为警告级别可能早在 7 月 15 日就已达到,并指责公开报告低估了加速程度及其不确定性。

METR 目前认同 Anthropic 的评估,即急性灾难性风险“低”,但该组织无法排除未来六个月内再次出现急剧加速的可能性,而这可能迅速推高风险评级。

METR 原本还应当核实 Anthropic 如何在能力研究与安全研究之间分配算力。Anthropic 在项目进行到一半时取消了这部分工作,称希望先专注于风险评估,之后再重新审视算力审计。

“AI 2027”情景背后的研究者 Daniel Kokotajlo 在 X 上尖锐回应,认为审计算力分配是使减速承诺能够被验证的基础。

来源:The Decoder · the-decoder.com