METR 报告称 Anthropic 模型自我加速研发,报告大量内容被删节
Why a new report on Anthropic automating AI development is alarming researchers
AI 安全研究机构 METR 在 Anthropic 内部调研 11 周后发布报告,称 Anthropic 的模型改进速度约为一年前的两倍,过去一年取得的基准进展相当于历史上约两年的进度。
METR 在 Anthropic 内部调研 11 周后给出量化证据,并披露报告被大量删节,读者可据此判断 AI 加速自身研发的节奏与透明度缺口。
译文尚不完整,完整内容请切换到原文。
Anthropic 正在用 AI 构建更强大的 AI。而这一做法似乎成效显著,公司模型的提升速度大约是一年前的两倍,且几乎没有放缓的迹象。
这一结论来自 AI 安全研究组织 METR 于周四发布的一份新报告。该报告基于在该公司内部进行的为期 11 周的调查,是其评估 Anthropic AI 研发工作的一部分。此次调查独立于另一项计划——在夏季发生多起备受关注的黑客事件后,该计划为安全研究人员提供“类似员工”的系统访问权限。
这些发现提供了迄今最清晰的证据之一,表明 AI 正在加速自身的开发,也引发了人们对这项技术能以多快速度迈向一个 AI 系统几乎无需人类参与即可自我改进的未来的疑问。这些发现出炉之际,对 Anthropic 而言正值关键时刻——该公司正准备上市,而其 CEO Dario Amodei 却公开呼吁各实验室放慢 AI 开发步伐。
然而,尽管这份报告难得地揭开了全球领先 AI 实验室内部运作的一角,它省略的内容同样耐人寻味。根据与 METR 的协议,Anthropic 获准对最终报告的部分内容进行涂黑处理,而该公司似乎大量行使了这一权力,这引发了人们的疑问:公众对前沿 AI 开发的速度——以及风险——究竟了解多少。
以下是几个最重要的要点。
AI 正在大幅加速 Anthropic 的研发
METR 最值得注意的发现之一是,Anthropic 的 AI 模型提升速度大约是一年前的两倍,基准测试分数表明“Anthropic 在过去一年里取得了大约相当于历史上两年的进展”。关键在于,METR 的研究人员表示,他们“确信”这种加速并非仅仅源于训练模型所用算力的扩大——而算力历来是 AI 进步的主要驱动力。
相反,研究人员表示,截至 10 月,大部分加速“归功于 AI”,且其贡献随时间推移不断增长。这一发现得到了非正式 Slack 投票和对 Anthropic 员工访谈的支持,这些调查指向了可观的生产力提升。METR 写道,使用 Anthropic 最强内部模型的员工平均自我报告称,其各自工作的效率约为没有 AI 辅助时的 12 倍,大约是几个月前员工使用 Mythos 5 时所报告水平的两倍。
目前,这种加速似乎主要来自 AI 对人类研究人员的辅助,而非 AI 独立工作,不过 METR 警告称,“有一些迹象表明,完全自主的贡献很快将发挥更大作用。”值得注意的是,研究人员表示,他们没有发现明显的收益递减迹象,也没有发现可能阻碍“更快的加速”的明显瓶颈。
Anthropic 最新的三款 AI 模型仍未公开
Anthropic 的研究人员正在使用比我们其他人更先进的 AI 模型,METR 所描述的许多加速和生产力提升都归因于未发布的内部模型。
据METR称,在过去六个月里,Anthropic已完成三个尚未发布模型的训练。开发节奏很快,这些模型——代号分别为Model 2、Model 3和Model 4——分别在7月、8月至9月以及9月至10月完成训练。METR还识别出一个可追溯至2022年的未发布模型,名为Unreleased 2022。“这些是分享给我们的代号;我们了解到它们有不同的内部代号,”研究人员写道。
Anthropic对关键信息保密
作为研究流程的一部分,Anthropic向METR提供了大量非公开信息,包括机密研究、模型性能数据和员工访谈。它本没有义务这样做,而且按METR自己的说法,这家AI实验室“分享的信息超出了本项目最初的范围,超出了我们的预期。”这值得称赞,但值得注意的是,Anthropic并未给予研究人员不受限制的访问权限,也没有给予它上月宣布的另一个项目中向其他METR安全研究人员承诺的那种“类似员工”的访问权限。鉴于公司即便在附带重大限制的情况下也能从独立评估中获得声誉收益,这是一个重要区别。
而且存在重大限制。Anthropic有权从METR的最终报告中删改信息——并且广泛行使了这一权力。“我们向Anthropic提交了一份约100页的完整评估报告。对于公开版本,Anthropic删改了我们发现的最具信息量的多数证据,”METR在X上写道。
METR在整份报告中反复提及这些担忧,并强调了其访问权限的其他限制。“我们的信息渠道相对狭窄,我们的一小部分数据请求被拒绝。”
METR多次强调Anthropic的删改决定对其传达发现的能力以及他人评估该公司状况的能力所造成的影响。它指出,许多被删改的证据可能“有多种合理解释”,使公众难以评估其发现、理解围绕这些发现的不确定性,并自行判断证据。“(由于删改),鉴于此处所回答问题的分量,公众不得不比理想情况下更多地依赖METR的判断,”报告说。
METR在报告中称,Anthropic为删改给出的理由是,发布这些信息可能有利于其竞争对手。然而,METR表示“大多数被删改的信息都非常高层级”,尽管它表示自己无法评论这些删改在商业上是否合理。
“我们删改了很多内容,我接受这会让其他人更难核查METR的工作,”Anthropic联合创始人Sam McCandlish在X上一则回应METR发现的长帖中承认。“但我们认定,准确分享是什么在推动加速并不合适,既因为这是商业敏感信息,也因为这会冒着为他人提供加速路线图的风险,”他说,并补充说这样做会让METR所担忧的风险“更糟”。
McCandlish 表示这是一种权衡,但坚持认为 Anthropic 在决定隐去该信息时做出了“正确的选择”。他说,公司计划“在未来几周内”发布自己关于 AI 进展速度的报告,以及其为加强安全所采取的新措施。
Anthropic 正在加速它警告危险且快于许多人预期的这项技术
METR 报告的发布在 AI 安全研究人员和评论者中引发了强烈反弹,焦点主要集中在 Anthropic 的 AI 方法核心的一个明显矛盾上:该公司一直是安全和负责任开发的最直言不讳的倡导者之一,然而报告表明它正在帮助加速这项技术迈向许多人认为危险的门槛,同时似乎未能兑现其自身对透明度和问责制的承诺。
对一些人来说,这些发现表明,即便是该领域对 AI 进展最激进的预测也可能过于保守。它们表明,递归自我改进——即 AI 系统能够在无需人工干预的情况下自主开发出越来越强大的后继系统,从而可能大幅加速发展——可能比此前认为的更近,这引发了人们对现有安全措施能否跟上步伐的担忧。虽然 METR 的报告仅涵盖 Anthropic,但 OpenAI 在 9 月表示,它正在“取得强劲进展”,以在 2028 年 3 月前构建出一个能够“进一步推进深度学习和对齐研究”的 AI 研究员。
该报告提供了关于 AI 加速自身发展的速度有多快的证据
Apollo Research 首席执行官兼创始人 Marius Hobbhahn 为多家领先 AI 实验室进行 AI 安全测试,他告诉 The Verge,报告表明 AI 赋能的研究与开发速度甚至快于 AI 2027 中所预测的速度,后者是一个颇具影响力的情景设想,预想在 2027 年初实现迈向自我改进的关键突破。他说,这份报告之所以引起如此大的关注,是因为它为一件一直难以确定的事情提供了证据:AI 究竟在以多快的速度加速自身发展。
Hobbhahn 表示,这些发现与领域内许多人的预期大体一致,或许略快一些。科技政策研究中心 GovAI 的高级研究员 Alan Chan 告诉 The Verge,这些发现应促使怀疑者重新考虑他们对 AI 加速 AI 发展的立场,并可能缩短他们对何时将拥有能够完全自动化软件工程等任务的系统的时间预期。
On X, other researchers commented on the rate of acceleration and its implications for AI development. Sydney Von Arx, founder and CEO of AI safety organization The Nightingale Collective and a former METR researcher, also compared the findings to AI 2027’s timeline. Ryan Greenblatt, a METR researcher formerly of AI safety organization Redwood Research and one of three external researchers permitted to investigate OpenAI’s hack of Hugging Face, said he “was seriously wrong about RSI speed up; I previously expected much less in 2026.”
对 Anthropic 安全方法的失望情绪日益高涨
除了强调 AI 发展的速度之外,该报告还加剧了人们对 Anthropic 在推动这一进展中所扮演角色的日益不满。该公司一直是负责任 AI 发展最积极的倡导者之一——也从不讳言呼吁他人放慢脚步——但自身似乎却在飞速前进。这份报告只是加剧了上月发布的 IPO 招股说明书和未来计划本已引发的紧张情绪。
Anthropic 以披露更多信息可能帮助竞争对手加速自身发展为理由,对报告进行了大量删节,这一决定引发了虚伪的指责。前 OpenAI 研究员、现运营 AI Futures Project 的 Daniel Kokotajlo(该机构发布了AI 2027)指责 Anthropic“鲁莽地拿我们的生命赌博”,并补充说,该公司以他人进展更快为由删节信息“实在很讽刺”,因为它“似乎根本没有放慢多少”。
Anthropic 拒绝回答The Verge关于该报告及随之而来的批评的提问,而是让我们参考 McCandlish 的帖子。
这些删节也再次引发了加强对前沿 AI 实验室透明度和独立监督的呼声,今年早些时候,在一系列涉及失控 AI 智能体的事件之后,这一呼声升至新高。AI 政策与战略研究所前沿安全研究主任 Brianna Rosen 告诉The Verge,令人担忧的是,实际上是由公司而非政府在决定 AI 研究自动化的走向。“要让民主监督发挥作用,独立评估者需要自由解释他们为何得出这些结论,政府需要自行评估证据,公众必须信任这一过程,”Rosen 说。“该报告在证据方面不够透明。”
要求 AI 实验室提高透明度的压力正在增大
Hobbhahn 赞同 Rosen 的担忧,表示对报告的大部分反应源于 Anthropic 公开的安全立场与其行动之间明显存在的差距。他提到该公司决定取消部分评估,该评估旨在衡量其将多少算力分配给安全工作、多少用于提升能力。METR 表示,该公司称“这是因为希望暂时将合作重点放在风险评估上,之后会重新审视算力分配验证”。
对 Hobbhahn 而言,这一事件凸显了独立安全研究人员需要更深入地嵌入 AI 实验室,并获得对内部系统和证据的重要访问权限。尽管他的组织将从这种安排中受益——Apollo 正采取措施成为前沿实验室的嵌入式评估者——但呼吁加强对 AI 发展监督的远不止他一人。
其他人则呼吁采取更直接的行动。作为直接回应,纽约州众议员 Alex Bores——民主党 AI 议程的关键塑造者——呼吁国会“禁止 RSI,如果可能的话就在今年”。随着民主党——其中许多人竞选时反对 AI 公司——即将上任,更严格限制的前景是非常现实的可能。
而人工智能研究几乎没有放缓的迹象,压力势必会进一步加剧。Hobbhahn 表示,他从这份报告中还得到了另一个启示:“做好迎接疯狂的准备吧,”他说。“事情会发展得非常快,”很可能快到社会或政治都难以跟上。
关注本报道中的主题和作者,以便在个性化首页信息流中看到更多类似内容,并接收邮件更新。
- Robert Hart
来源:The Verge · AI · theverge.com
