新实验:AI 编码智能体在模拟职场中完整完成不足一成任务
一项新实验首次让 AI 编码智能体以数字员工身份进入带同事、项目看板和聊天记录的模拟软件公司,即使 Claude Opus 5.5 和 GPT-6 Astra 也完整完成不足十分之一的任务。文章指出,AI 编码智能体在 SWE-bench 等标准基准上接近饱和,Anthropic 称 Claude 编写了公司超过 80% 的生产代码。

一项新实验首次让 AI 编码智能体以数字员工身份进入带同事、项目看板和聊天记录的模拟软件公司,即使 Claude Opus 5.5 和 GPT-6 Astra 也完整完成不足十分之一的任务。文章指出,AI 编码智能体在 SWE-bench 等标准基准上接近饱和,Anthropic 称 Claude 编写了公司超过 80% 的生产代码。

Lean 与 Mathlib 社区 11 月 21 日发布联合声明,称莱文特・阿尔波格以约 1700 万行 Lean 库形式给出的黎曼猜想证明已通过核验,声明获 Lean FRO 与 Mathlib Initiative 背书。

同一件事,精选收录的是《Lean 与 Mathlib 社区认证 Claude 参与的黎曼猜想形式化证明》

推荐理由:论文给出 3SUM 与 APSP 的次二次、次三次算法,并说明算法由 Claude 发现、经 Lean 4 形式化验证。
Anthropic数学家Levent Alpöge发布4页PDF文档,称自己与Claude合作找到了黎曼猜想证明,并公布拆分为14个压缩包的Lean形式化证明代码,称完整细节超25万页。

同一件事,精选收录的是《Anthropic 数学家称借助 Claude 证明黎曼猜想并给出 Lean 代码》
卡内基梅隆大学、NVIDIA 等机构研究者提交预印本《Singularity-Bench: Can Agents Build Agents?》,用六道闭卷工程题测试智能体能否独立优化 AI 研发流程。
推荐理由:论文用六道闭卷工程题对比AI与人类基线,其中推理引擎的延迟优化思路和框架选择差异可供参考。
微软研究院联合约翰斯·霍普金斯大学、哥伦比亚大学和纽约大学提出「可解释权重空间编程(iWSP)」,让Claude Opus 5.5在不使用反向传播和梯度下降的情况下,直接编写Python代码写出Transformer权重,在13类算法任务的26次独立运行中隐藏测试集准确率全部达到100%。
推荐理由:微软等团队提出iWSP,让Claude直接手写Transformer权重,并对比不同模型写出的参数量差异。
EPFL、ELLIS图宾根研究所、马普智能系统研究所和帝国理工等机构的研究人员把基于Claude Opus 5.5的智能体Horizon放进Claude Code,让它从空白Hugging Face账号起步自主选题、训练和发布模型,七周交出38个模型,累计下载约5.5万次。
推荐理由:这项实验展示了智能体自主选题、训练并发布模型的完整流程,以及七周约1030美元的token成本账。
https://www.anthropic.com/research/claude-black-hole-physics
Vals AI 测试发现,Anthropic、OpenAI 和 Google 的模型在无人机打击场景中大多会把平民、救护车、医护人员、记者和投降士兵标记为军事目标,且没有一次被上游安全过滤拦截。
推荐理由:测试显示多家模型在无人机打击场景中把平民与医护人员标为目标,游戏化措辞即可绕过拒绝。
New Stanford paper finds that all 8 LLMs tested rank their own medical answers higher than other models rank them, even when answers are anonymous. Medical AI benchmarks often use LLMs to grade other LLMs' answers. If a judge favors its own outputs, the benchmark tilts toward that model. They had 8 models from OpenAI, Anthropic, Google and Qwen answer 620 real clinician questions, then rank all 8 anonymous answers. They compared where each judge placed its own answer with where the other 7 judges placed that same answer. Every judge favored its own answer, by 1.22 rank positions on average and nearly 3 for GPT-5.6 Sol. The bias held without a rubric, and revealing model names cut it by only 0.094 positions. If you use LLM judges, use a panel from several model families and report results per judge instead of 1 pooled score.
旧金山 AI 评测初创公司 Vals 发布研究报告,称 OpenAI、Anthropic、Google、DeepSeek 等公司的模型在模拟无人机和卫星图像目标识别时,常把平民、投降士兵乃至学校标为打击目标,且没有请求被安全分类器拦截。
据 Bloomberg 的 Katrina Manson 报道,Vals 在模拟场景中发现,来自 Anthropic、Google、xAI、DeepSeek 和 OpenAI 的 AI 模型将平民、救护车和一所学校识别为军事目标。该结果来自模拟场景测试,涉及多家主流模型在目标识别任务中的表现。

Super interesting work from Microsoft and colleagues. They take a closer look at the exciting research area of weight-space programming. They had Claude Opus 5.5 write transformer weights directly in code, with no gradient training. The smallest models that solved the algorithmic tasks had a median of 166 parameters. The method is called interpretable weight-space programming. An agent proposes a computation, writes it as explicit weights and features, tests it, and revises it for 30 to 50 rounds. A person can read the result line by line. All 26 runs on algorithmic tasks reached 100% accuracy on held-out data, often by writing a known algorithm into the weights. They find that the model matters. Sonnet 5.5 needed a median of 41,600 parameters, and Haiku 5.5 needed 100,000. Language tasks were harder. Those models stayed near 190,000 parameters and lost accuracy against learned baselines. They then used the same loop on brain data. In the visual cortex, it predicted responses better than existing interpretable models. In language fMRI, it found a confound in the dataset. https://arxiv.org/abs/2611.18114 Chat with Paper: https://academy.dair.ai/papers/interpretable-weight-space-programming-builds-transparent-transformers-and-brain-2611.18114
Anthropic 发布研究文章,说明 Claude 如何在不改动模型的情况下跨会话保留知识:由 Claude 把笔记写入文件夹供后续读取,核心难点在于选择记什么。

芬兰赫尔辛基大学逻辑学家 Jan von Plato 将哥德尔 1940 年后写下的 16 本工作簿共 1009 页,连同自己的 6 本专著和现代逻辑文献一起交给 Claude,几天内得到一份 650 页解读报告,追问后扩展到 1084 页。
Anthropic 工程博客公开安全评测的设计、运行与报告建议,指出同一模型在 API 与加了系统提示的 claude.ai 两种配置下,多轮恰当回应率最多相差 34 个百分点。

Safety evaluations are critical for understanding whether a model is ready to deploy, which safeguards to build for it, and where to focus training and research. On our Engineering Blog, we offer 10 recommendations for how to design, run and report them. https://www.anthropic.com/research/building-strong-safety-evaluations
Anthropic公布基于Claude构建的自动化红队测试系统Anvil,在生物安全、网络安全和信息安全三个领域自主寻找模型安全防护漏洞。生物安全测试中,Anvil在24组问题与分类器组合里有23组发现的越狱方案严重程度高于人工测试人员;信息安全测试中,它仅发送435次请求就找到首个实质性推理信息泄露漏洞,人工专家约需10.22万次请求。

推荐理由:原文给出Anvil在生物安全、网络安全和信息安全三类测试中与人工红队的量化对比,可据此判断自动化红队的效率边界。
AI Futures Project于11月10日发布新一轮预测,认为若前沿AI研发没有显著主动放缓,超级AI研究员很可能在2027年出现,前OpenAI研究员Daniel Kokotajlo也改口并称感到恐惧、悲伤和愤怒。

Fable 5.2 solved two open problems in theoretical physics related to black holes. In the first, Fable 5.2 completed a laborious calculation that had gone unsolved for 23 years.
推荐理由:材料给出一个具体案例,说明AI在理论物理长计算中独立完成此前无人算完的推导,并已被物理学家核对。
Planning and executing the reactions to make a complex molecule (a “route”) is one of the hardest jobs in organic chemistry. From one image of each of four molecules, with no internet and with code as its only tool, Claude wrote a complete route in about half an hour.
推荐理由:材料展示了 Claude 仅凭四张分子图片、无网络、只用代码工具在约半小时内写出完整合成路线,并附外部合作者评价。
Anthropic 发布关于智能体记忆组件的研究文章,提出让 Claude 在空闲时「做梦」整理记忆,能纠正错误笔记并提升任务表现。在《宝可梦・红》实验中,Sonnet 3.7 写了 413 个记忆文件只拿到一枚徽章,Fable 5 只用 9 个文件就拿到四枚徽章。
推荐理由:Anthropic 用宝可梦和文档语料实验拆解智能体记忆各组件的作用,给出了可迁移的记忆设计取舍。
阿里巴巴与多所亚洲高校的研究者构建了编码智能体基准 Co-Design Bench,基于真实用户变更请求,要求智能体改造现有 Web 应用,并支持图像、音频、视频和文档输入。

Anthropic 发布 35 页报告,基于 128914 次 Claude 对话、78135 次 Claude Code 对话和 528 位学者问卷,测算 AI 可接手科研人员 27% 到 52% 的工作时长,中位数 38%。

推荐理由:报告用 20.7 万次会话的用量与科研时间占比对照,呈现科学家在哪些环节更依赖 AI。

Memory is what allows Claude to learn from experience. In a new Engineering Blog post, we share how “dreaming” helps Claude organize what it’s learned, correct its mistakes, and find what it needs more easily the next time. https://www.anthropic.com/research/components-of-agent-memory
推荐理由:原文把 Anthropic 的智能体记忆拆成四层,并给出多组对比数字,便于判断记忆设计对 agent 表现的影响。
Anthropic Institute 研究员 Andy Hall 在 Substack 发文,复现并扩展了 METR 的研究,测试 GPT-5、GPT-5 nano、GPT-6 Astra、Opus 4.8 和 Gemini 3.8 Flash 能否像人类审查者一样发现智能体不当行为。

物理学家威滕在33页独作预印本论文中致谢 Claude Opus 5.5 协助完成许多细节,并在正文中写明 Claude 提出了规范场插值的关键变体算法。该论文攻坚手征费米子的格点化问题,威滕采纳的构造是在坐标拉回映射下引入阶梯式边界塌缩,使插值在超立方体拼接处获得光滑性并保持和乐匹配。相比6月版本中 Claude 仅出现在脚注,此次其角色从 helped 变为 suggested。
推荐理由:材料呈现了威滕在论文致谢与正文中记录 Claude 参与数学构造的具体位置,可观察 AI 在理论物理写作中的实际角色。
Anthropic内部模型借助Harness系统在三天内完成了量子计算领域自2008年悬而未决的Aaronson-Ambainis猜想的证明,证明已用Lean形式化。
推荐理由:材料呈现了AI辅助证明攻克长期数学猜想的完整链条,包括Lean形式化检验与中间结果反复打磨的过程。
一项论文测试显示,Claude Opus 4.8、Claude Opus 5、Claude Fable 5、Claude Opus 5.5、GPT-5.6 Sol、GPT-6 Astra、DeepSeek V4 Pro、Kimi K3 和 GLM-5.3 九个智能体针对十位研究者提出的 15 个开放科研方向做后续研究,135 份投稿无一同时满足诚实、完整和专家标准三项要求。

推荐理由:材料给出九个智能体在 15 项开放科研任务上的完整失败分布,可据此看清自主科研与实验执行之间的差距。
Anthropic 团队分享 Agent 记忆研究,提出用离线整理即 dreaming 让 Claude 回顾经历、纠正错误并重组知识,学习发生在外部记忆而非更新模型权重。

Anthropic 最新研究:Agent 的记忆不是越多越好,Anthropic 如何把记录整理成可用经验 来自 Anthropic 团队 @RLanceMartin 分享,通过多组实验说明:Agent 需要的不只是保存历史,还要回查证据、纠正笔记、整理经验,并在需要时找到它们。后台整理能够改善部分任务,但不是检索的替代品,也未必总能抵消维护成本。 https://www.anthropic.com/research/components-of-agent-memory # 记忆不等于聊天记录 这里的记忆是跨会话保存、以后可以读取的上下文,不涉及更新模型权重,也不只是压缩当前对话。 文章讨论了几个配合使用的环节:保留原始记录供追溯;执行任务时写下目标、计划和已验证的经验;后台回看记录,纠错、去重、补链接,必要时建立知识库;读取时只提前加载少量重要内容,其余按需检索。 作者把后台整理称为 dreaming。它并不是让模型“睡觉”,而是把整理经验与眼前任务分开,给模型专门的时间处理已有信息。 # 好记忆要保存什么 在 CL-Bench 数据库任务中,每道题开启新会话,只有记忆目录保留。模型作答后会收到正确答案,再整理经验。较强模型开始保存经过验证的规则和依据,而不只是记录错题;限定“只记失败”,反而削弱了收益。 这说明有价值的记忆不只是“上次做错了什么”,还包括什么规则成立、为什么可信、以后何时适用。能随时重新读取的状态,则不必反复抄进笔记。 # 实验显示:整理与搜索互补 在约 35 万份文件、4.2 亿 token、25 个评测问题的内部语料实验中,单靠搜索的评分标准覆盖率为 53%;知识库结合搜索,随着整理轮次增加,从 54% 提升到 61%,每题少用约 2 万 token。 这里的 61% 不是“答对了 61% 的问题”,节省的 token 也没有扣除后台建库成本。跨文档整合任务收益更明显,部分以单文件检索为主的任务则没有改善,知识库甚至比原文更大。 另一个合同案例中,多代理共写一张表导致覆盖。改成每份合同单独一页、一个代理负责,并逐字引用条款后,最终报告的关键事实覆盖从 41/57 提升到 57/57。改善来自组织和写入规则,不只是增加思考时间。
METR 发布调查称,Anthropic 内部未公开的 Model 4 在 AECI 综合能力指数上拿到 178.6 分,高于 Opus 5.5 的 174.5 分和 Mythos 5.1 的 172.5 分,15 项基准正确率均过半。
Anthropic 发布博客介绍 Claude 的梦境机制,让模型利用下线后的闲置算力回放交互日志,用于纠正错误、创建笔记和构建新的记忆表征。在《宝可梦:红》测试中,Sonnet 3.7 写下 413 个记忆文件只拿到 1 个徽章,Fable 5.5 和 Opus 5.5 只写 9 个文件和 1 个全局笔记却拿下 4 个徽章。

Memory is what allows Claude to learn from experience. In a new Engineering Blog post, we share how “dreaming” helps Claude organize what it’s learned, correct its mistakes, and find what it needs more easily the next time. https://www.anthropic.com/research/components-of-agent-memory
Anthropic 发布研究文章《The components of agent memory》,拆解 Claude 智能体跨会话记忆的四层结构,并引入“做梦”机制让模型在空闲时间回顾日志、纠错和更新知识库。

Anthropic 发布研究,用 Claude 参与解析出首个原核生物穹窿体(Vault)的三维结构,分辨率达 3.2 Å。团队在约 150 亿条蛋白质序列中检索,把已知穹窿体蛋白家族从 41 个扩充到 1507 个,并将提纯流程从 3 天压缩到 90 分钟、三维重构缩短到 34 小时。论文注明所有代码由 Claude 编写、所有计算分析由 Claude 执行。
推荐理由:Anthropic 用 Claude 参与解析首个原核穹窿体结构,提纯从 3 天压到 90 分钟、三维重构 34 小时完成,可作为 AI 参与科研流程的参照。
第三方评估机构 METR 于 11 月 5 日发布关于 Anthropic 的调查报告,称其过去一年取得的基准能力进步大致相当于此前两年,AECI 指标进步速度约为此前的 1.9 倍,95% 置信区间为 1.5—2.8 倍,而全行业前沿模型的加速只有 1.4 倍。
推荐理由:METR 用 11 周内部调查给出 Anthropic 模型能力加速的量化区间,并拆出 AI 自身贡献的占比。

同一件事,精选收录的是《METR 报告:Anthropic 模型能力进步速度约为此前 1.9 倍,80% 增量来自 AI》

Since August, a team within METR has worked with internal Anthropic information to assess whether AI itself is accelerating AI development. We are now publishing a report summarizing the results of this risk assessment.
同一件事,精选收录的是《METR 报告:Anthropic 模型能力进步速度约为此前 1.9 倍,80% 增量来自 AI》
I’m incredibly proud to share what we’ve been building at the AItonomy Foundation: Science’s Last Exam (SLE). 🧪✨ Can AI do science? Instead of Q&A, we give agents actual research goals and real-world tools (lab data, software), then grade them against hidden expert checks. Deeply grateful to the brilliant minds at 34 institutions (Harvard, MIT, Stanford, etc.) who helped craft 113 tasks across 9 disciplines. ❤️ The results? Science is hard. Of 8 frontier models, the best scored 37.5/100. On true end-to-end research? All scored 0. We have an exciting journey ahead! 🚀 (Claude Opus 5.5 & GPT-6 Astra coming soon—just clearing bio safeguards). Everything opens Nov 6. 🗓️ 🌐 https://sciences-last-exam.org 💻 https://github.com/Gen-Verse/Science-Last-Exam 🤗 https://huggingface.co/datasets/Gen-Verse/Science-Last-Exam Thread below on how the exam works and where models break. 👇 (1/14) #AGI #AIforScience #AIAgents #SciencesLastExam #OpenAI #Anthropic