跳到正文
今天11月23日周一
11月22日周日
11月21日周六
11月20日周五
  1. 新智元82

    Singularity-Bench 论文:Claude 自写推理引擎将 P90 首 token 延迟从 12 秒降至 0.48 秒

    卡内基梅隆大学、NVIDIA 等机构研究者提交预印本《Singularity-Bench: Can Agents Build Agents?》,用六道闭卷工程题测试智能体能否独立优化 AI 研发流程。

    推荐理由:论文用六道闭卷工程题对比AI与人类基线,其中推理引擎的延迟优化思路和框架选择差异可供参考。

11月19日周四
  1. 新智元75

    微软等团队提出iWSP:Claude Opus 5.5手写Transformer权重,13类任务全达100%

    微软研究院联合约翰斯·霍普金斯大学、哥伦比亚大学和纽约大学提出「可解释权重空间编程(iWSP)」,让Claude Opus 5.5在不使用反向传播和梯度下降的情况下,直接编写Python代码写出Transformer权重,在13类算法任务的26次独立运行中隐藏测试集准确率全部达到100%。

    推荐理由:微软等团队提出iWSP,让Claude直接手写Transformer权重,并对比不同模型写出的参数量差异。

  2. 新智元72

    基于Claude Opus 5.5的智能体Horizon七周造出38个模型,下载约5.5万次

    EPFL、ELLIS图宾根研究所、马普智能系统研究所和帝国理工等机构的研究人员把基于Claude Opus 5.5的智能体Horizon放进Claude Code,让它从空白Hugging Face账号起步自主选题、训练和发布模型,七周交出38个模型,累计下载约5.5万次。

    推荐理由:这项实验展示了智能体自主选题、训练并发布模型的完整流程,以及七周约1030美元的token成本账。

  3. The Decoder88

    Vals AI 测试发现 Claude、GPT 与 Gemini 易将平民标为无人机打击目标

    Vals AI 测试发现,Anthropic、OpenAI 和 Google 的模型在无人机打击场景中大多会把平民、救护车、医护人员、记者和投降士兵标记为军事目标,且没有一次被上游安全过滤拦截。

    推荐理由:测试显示多家模型在无人机打击场景中把平民与医护人员标为目标,游戏化措辞即可绕过拒绝。

11月18日周三
  1. Turing Post (Ksenia Se)68

    斯坦福一项论文让 OpenAI、Anthropic、Google 和 Qwen 的 8 个模型回答 620 个真实临床问题,再匿名互评,发现每个评委都偏好自己的答案,平均排名高出 1.22 位,GPT-5.6 Sol 接近 3 位。作者指出,医疗 AI 基准常用 LLM 给 LLM 打分,评委偏好自身输出会让基准偏向该模型;即使去掉评分细则,这种偏好依然存在,公开模型名称也只让偏差缩小 0.094 位。作者建议使用跨模型家族的评委小组,并按评委分别报告结果。

    引用Rohan Paul@rohanpaul_ai

    New Stanford paper finds that all 8 LLMs tested rank their own medical answers higher than other models rank them, even when answers are anonymous. Medical AI benchmarks often use LLMs to grade other LLMs' answers. If a judge favors its own outputs, the benchmark tilts toward that model. They had 8 models from OpenAI, Anthropic, Google and Qwen answer 620 real clinician questions, then rank all 8 anonymous answers. They compared where each judge placed its own answer with where the other 7 judges placed that same answer. Every judge favored its own answer, by 1.22 rank positions on average and nearly 3 for GPT-5.6 Sol. The bias held without a rubric, and revealing model names cut it by only 0.094 positions. If you use LLM judges, use a panel from several model families and report results per judge instead of 1 pooled score.

  2. TechCrunch · AI78

    Vals 研究:多家前沿 AI 模型可被“游戏”话术诱导标记民用目标

    旧金山 AI 评测初创公司 Vals 发布研究报告,称 OpenAI、Anthropic、Google、DeepSeek 等公司的模型在模拟无人机和卫星图像目标识别时,常把平民、投降士兵乃至学校标为打击目标,且没有请求被安全分类器拦截。

    同一件事,精选收录的是《Vals AI 测试发现 Claude、GPT 与 Gemini 易将平民标为无人机打击目标》

11月17日周二
  1. elvis58

    elvis 推荐关注微软等机构关于权重空间编程的研究,并指出更大的模型(Opus 5.5)表现更好、更高效。该研究让 Claude Opus 5.5 直接在代码中写出 Transformer 权重,无需梯度训练;在算法任务上,能解出任务的最小模型中位数仅 166 个参数,26 次运行在留出数据上全部达到 100% 准确率。模型规模影响明显,Sonnet 5.5 中位需 41,600 个参数,Haiku 5.5 需 100,000 个;语言任务更难,参数量停留在约 190,000 且准确率不及学习基线。同一循环用于脑数据时,在视觉皮层预测优于现有可解释模型,并在语言 fMRI 数据中发现一处混淆因素。

    引用DAIR.AI@dair_ai

    Super interesting work from Microsoft and colleagues. They take a closer look at the exciting research area of weight-space programming. They had Claude Opus 5.5 write transformer weights directly in code, with no gradient training. The smallest models that solved the algorithmic tasks had a median of 166 parameters. The method is called interpretable weight-space programming. An agent proposes a computation, writes it as explicit weights and features, tests it, and revises it for 30 to 50 rounds. A person can read the result line by line. All 26 runs on algorithmic tasks reached 100% accuracy on held-out data, often by writing a known algorithm into the weights. They find that the model matters. Sonnet 5.5 needed a median of 41,600 parameters, and Haiku 5.5 needed 100,000. Language tasks were harder. Those models stayed near 190,000 parameters and lost accuracy against learned baselines. They then used the same loop on brain data. In the visual cortex, it predicted responses better than existing interpretable models. In language fMRI, it found a confound in the dataset. https://arxiv.org/abs/2611.18114 Chat with Paper: https://academy.dair.ai/papers/interpretable-weight-space-programming-builds-transparent-transformers-and-brain-2611.18114

11月16日周一
11月14日周六
  1. meng shao58

    Anthropic 工程博客公开安全评测的设计、运行与报告建议,指出同一模型在 API 与加了系统提示的 claude.ai 两种配置下,多轮恰当回应率最多相差 34 个百分点。

    引用Anthropic@AnthropicAI

    Safety evaluations are critical for understanding whether a model is ready to deploy, which safeguards to build for it, and where to focus training and research. On our Engineering Blog, we offer 10 recommendations for how to design, run and report them. https://www.anthropic.com/research/building-strong-safety-evaluations

11月13日周五
  1. 智东西78

    Anthropic公布自动化红队系统Anvil,信息安全测试仅用435次请求找到首个漏洞

    Anthropic公布基于Claude构建的自动化红队测试系统Anvil,在生物安全、网络安全和信息安全三个领域自主寻找模型安全防护漏洞。生物安全测试中,Anvil在24组问题与分类器组合里有23组发现的越狱方案严重程度高于人工测试人员;信息安全测试中,它仅发送435次请求就找到首个实质性推理信息泄露漏洞,人工专家约需10.22万次请求。

    推荐理由:原文给出Anvil在生物安全、网络安全和信息安全三类测试中与人工红队的量化对比,可据此判断自动化红队的效率边界。

11月12日周四
11月10日周二
  1. Rohan Paul78

    Claude Fable 5.2 完成了理论物理中一个悬置23年的黑洞计算,结果已由一位物理学家核对。1983年霍金与Don Page证明某类宇宙升温时黑洞会突然形成,但方法只适用于大宇宙;2003年物理学家给出小宇宙所需计算,因过程冗长无人完成,Claude 基本独立算完并发现小宇宙中黑洞同样突然形成。

    引用Claude@claudeai

    Fable 5.2 solved two open problems in theoretical physics related to black holes. In the first, Fable 5.2 completed a laborious calculation that had gone unsolved for 23 years.

    推荐理由:材料给出一个具体案例,说明AI在理论物理长计算中独立完成此前无人算完的推导,并已被物理学家核对。

  2. Andrew Curran65

    Andrew Curran 引用 Anthropic 的 Claude 官方内容称,Claude 仅凭四种分子各一张图片、无网络、只用代码作为工具,在约半小时内写出了一条完整合成路线。模型还自行检查计划,通过编写并运行代码逐原子确认每个化合物都由起始原料推导而来,外部合作者将这项工作评为早期研究生水平。图片显示目标分子 GDGT-4 及路线第 20 至 22 步(共 29 步),并注明尚未在实验室测试。

    引用Claude@claudeai

    Planning and executing the reactions to make a complex molecule (a “route”) is one of the hardest jobs in organic chemistry. From one image of each of four molecules, with no internet and with code as its only tool, Claude wrote a complete route in about half an hour.

    推荐理由:材料展示了 Claude 仅凭四张分子图片、无网络、只用代码工具在约半小时内写出完整合成路线,并附外部合作者评价。

11月9日周一
  1. 机器之心73

    Anthropic 研究智能体记忆:会「做梦」的 Claude 记性更好

    Anthropic 发布关于智能体记忆组件的研究文章,提出让 Claude 在空闲时「做梦」整理记忆,能纠正错误笔记并提升任务表现。在《宝可梦・红》实验中,Sonnet 3.7 写了 413 个记忆文件只拿到一枚徽章,Fable 5 只用 9 个文件就拿到四枚徽章。

    推荐理由:Anthropic 用宝可梦和文档语料实验拆解智能体记忆各组件的作用,给出了可迁移的记忆设计取舍。

11月8日周日
  1. 宝玉71

    Anthropic 工程团队 11 月 6 日发文,介绍 Claude 跨会话记忆的设计:会话结束后由“做梦”后台步骤回翻原始记录,改正记错的笔记并整理成更好检索的形式。文中给出四层记忆结构,并称在查数据库答题测试中 Opus 5 有记忆后得分从 0.564 涨到 0.828。该功能已在 Claude Managed Agents 中以研究预览形式提供,跨会话记忆库为 beta。

    引用Anthropic@AnthropicAI

    Memory is what allows Claude to learn from experience. In a new Engineering Blog post, we share how “dreaming” helps Claude organize what it’s learned, correct its mistakes, and find what it needs more easily the next time. https://www.anthropic.com/research/components-of-agent-memory

    推荐理由:原文把 Anthropic 的智能体记忆拆成四层,并给出多组对比数字,便于判断记忆设计对 agent 表现的影响。

  2. 新智元78

    威滕33页独作论文致谢 Claude Opus 5.5,称其提出关键数学构造

    物理学家威滕在33页独作预印本论文中致谢 Claude Opus 5.5 协助完成许多细节,并在正文中写明 Claude 提出了规范场插值的关键变体算法。该论文攻坚手征费米子的格点化问题,威滕采纳的构造是在坐标拉回映射下引入阶梯式边界塌缩,使插值在超立方体拼接处获得光滑性并保持和乐匹配。相比6月版本中 Claude 仅出现在脚注,此次其角色从 helped 变为 suggested。

    推荐理由:材料呈现了威滕在论文致谢与正文中记录 Claude 参与数学构造的具体位置,可观察 AI 在理论物理写作中的实际角色。

11月7日周六
  1. The Decoder78

    九个 AI 智能体挑战美国国家实验室开放科研问题,135 份投稿无一达到专家标准

    一项论文测试显示,Claude Opus 4.8、Claude Opus 5、Claude Fable 5、Claude Opus 5.5、GPT-5.6 Sol、GPT-6 Astra、DeepSeek V4 Pro、Kimi K3 和 GLM-5.3 九个智能体针对十位研究者提出的 15 个开放科研方向做后续研究,135 份投稿无一同时满足诚实、完整和专家标准三项要求。

    推荐理由:材料给出九个智能体在 15 项开放科研任务上的完整失败分布,可据此看清自主科研与实验执行之间的差距。

  2. meng shao58

    Anthropic 团队分享 Agent 记忆研究,提出用离线整理即 dreaming 让 Claude 回顾经历、纠正错误并重组知识,学习发生在外部记忆而非更新模型权重。

    引用meng shao@shao__meng

    Anthropic 最新研究:Agent 的记忆不是越多越好,Anthropic 如何把记录整理成可用经验 来自 Anthropic 团队 @RLanceMartin 分享,通过多组实验说明:Agent 需要的不只是保存历史,还要回查证据、纠正笔记、整理经验,并在需要时找到它们。后台整理能够改善部分任务,但不是检索的替代品,也未必总能抵消维护成本。 https://www.anthropic.com/research/components-of-agent-memory # 记忆不等于聊天记录 这里的记忆是跨会话保存、以后可以读取的上下文,不涉及更新模型权重,也不只是压缩当前对话。 文章讨论了几个配合使用的环节:保留原始记录供追溯;执行任务时写下目标、计划和已验证的经验;后台回看记录,纠错、去重、补链接,必要时建立知识库;读取时只提前加载少量重要内容,其余按需检索。 作者把后台整理称为 dreaming。它并不是让模型“睡觉”,而是把整理经验与眼前任务分开,给模型专门的时间处理已有信息。 # 好记忆要保存什么 在 CL-Bench 数据库任务中,每道题开启新会话,只有记忆目录保留。模型作答后会收到正确答案,再整理经验。较强模型开始保存经过验证的规则和依据,而不只是记录错题;限定“只记失败”,反而削弱了收益。 这说明有价值的记忆不只是“上次做错了什么”,还包括什么规则成立、为什么可信、以后何时适用。能随时重新读取的状态,则不必反复抄进笔记。 # 实验显示:整理与搜索互补 在约 35 万份文件、4.2 亿 token、25 个评测问题的内部语料实验中,单靠搜索的评分标准覆盖率为 53%;知识库结合搜索,随着整理轮次增加,从 54% 提升到 61%,每题少用约 2 万 token。 这里的 61% 不是“答对了 61% 的问题”,节省的 token 也没有扣除后台建库成本。跨文档整合任务收益更明显,部分以单文件检索为主的任务则没有改善,知识库甚至比原文更大。 另一个合同案例中,多代理共写一张表导致覆盖。改成每份合同单独一页、一个代理负责,并逐字引用条款后,最终报告的关键事实覆盖从 41/57 提升到 57/57。改善来自组织和写入规则,不只是增加思考时间。

  3. 新智元71

    Anthropic 博客介绍 Claude 梦境记忆机制

    Anthropic 发布博客介绍 Claude 的梦境机制,让模型利用下线后的闲置算力回放交互日志,用于纠正错误、创建笔记和构建新的记忆表征。在《宝可梦:红》测试中,Sonnet 3.7 写下 413 个记忆文件只拿到 1 个徽章,Fable 5.5 和 Opus 5.5 只写 9 个文件和 1 个全局笔记却拿下 4 个徽章。

  4. meng shao60

    Anthropic 团队分享 Agent 记忆研究,指出记忆不只是保存历史,还需回查证据、纠正笔记并整理经验。在约 35 万份文件、4.2 亿 token、25 个评测问题的内部语料实验中,仅靠搜索的评分标准覆盖率为 53%,知识库结合搜索随整理轮次从 54% 提升到 61%,每题少用约 2 万 token,但未扣除后台建库成本。

    引用Anthropic@AnthropicAI

    Memory is what allows Claude to learn from experience. In a new Engineering Blog post, we share how “dreaming” helps Claude organize what it’s learned, correct its mistakes, and find what it needs more easily the next time. https://www.anthropic.com/research/components-of-agent-memory

  5. 新智元78

    Anthropic 用 Claude 破解首个原核穹窿体结构,40 年悬案获进展

    Anthropic 发布研究,用 Claude 参与解析出首个原核生物穹窿体(Vault)的三维结构,分辨率达 3.2 Å。团队在约 150 亿条蛋白质序列中检索,把已知穹窿体蛋白家族从 41 个扩充到 1507 个,并将提纯流程从 3 天压缩到 90 分钟、三维重构缩短到 34 小时。论文注明所有代码由 Claude 编写、所有计算分析由 Claude 执行。

    推荐理由:Anthropic 用 Claude 参与解析首个原核穹窿体结构,提纯从 3 天压到 90 分钟、三维重构 34 小时完成,可作为 AI 参与科研流程的参照。

11月6日周五
  1. 机器之心80

    METR 报告:Anthropic 模型能力进步速度约为此前 1.9 倍,80% 增量来自 AI

    第三方评估机构 METR 于 11 月 5 日发布关于 Anthropic 的调查报告,称其过去一年取得的基准能力进步大致相当于此前两年,AECI 指标进步速度约为此前的 1.9 倍,95% 置信区间为 1.5—2.8 倍,而全行业前沿模型的加速只有 1.4 倍。

    推荐理由:METR 用 11 周内部调查给出 Anthropic 模型能力加速的量化区间,并拆出 AI 自身贡献的占比。

  2. elvis58

    AItonomy Foundation 发布 Science's Last Exam 基准,用来自 9 个科学领域的真实研究任务考察智能体能否提出假设、规划实验流程、运行科学代码与软件并解读实验视频。任务由 30 多家机构的研究者编写和评审,初始榜单上最强配置(Claude Code 中的 Claude Opus 5)综合得分 37.5/100,端到端研究赛道所有模型均为 0 分。

    引用AItonomy Foundation@aitonomyfound

    I’m incredibly proud to share what we’ve been building at the AItonomy Foundation: Science’s Last Exam (SLE). 🧪✨ Can AI do science? Instead of Q&A, we give agents actual research goals and real-world tools (lab data, software), then grade them against hidden expert checks. Deeply grateful to the brilliant minds at 34 institutions (Harvard, MIT, Stanford, etc.) who helped craft 113 tasks across 9 disciplines. ❤️ The results? Science is hard. Of 8 frontier models, the best scored 37.5/100. On true end-to-end research? All scored 0. We have an exciting journey ahead! 🚀 (Claude Opus 5.5 & GPT-6 Astra coming soon—just clearing bio safeguards). Everything opens Nov 6. 🗓️ 🌐 https://sciences-last-exam.org 💻 https://github.com/Gen-Verse/Science-Last-Exam 🤗 https://huggingface.co/datasets/Gen-Verse/Science-Last-Exam Thread below on how the exam works and where models break. 👇 (1/14) #AGI #AIforScience #AIAgents #SciencesLastExam #OpenAI #Anthropic