Anthropic 研究:MLP 神经元可解释性优于转码器特征
Anthropic 新研究重新审视 MLP 神经元作为可解释性基础的价值,发现晚期层中许多活跃的 transcoder 特征实际上是单个 MLP 神经元的近似副本,该结论在 13 个开源 transcoder 上得到验证。
Anthropic 新研究重新审视 MLP 神经元作为可解释性基础的价值,发现晚期层中许多活跃的 transcoder 特征实际上是单个 MLP 神经元的近似副本,该结论在 13 个开源 transcoder 上得到验证。
一篇新论文提出 DiscoveryRSI,把递归自我改进用于四个生命科学领域的科学假设生成。其 27B 模型生成的假设有 6.3% 与训练截止后发表的论文相符,GPT-6 为 2.5%,Claude Opus 5 为 2.3%。
Google DeepMind 一篇论文让基于 Gemini 的智能体在 Busy Beaver 问题 BB(6) 中为 11 台未解决图灵机找到并形式化验证了新的加速规则。
Turing Post 整理了 10 篇值得关注的 Looped Transformer 论文,涵盖 Recurrent Looped Transformer、Looped Prediction Transformer(LPT)、Loop Flow Transformers(LiFT)、Looped Diffusion Transformer、LAST、LoopCD、Hyperloop Transformer、OperLoop、LoopQuant,以及基于 looped transformer 的 Recursive Multi-Agent Systems。文章以速览指南形式介绍各方法是什么、如何工作、何时使用。
Anthropic 的 STEM Fellows 项目披露,Claude Mythos 5 能根据自然语言指令设计量子电路,效果优于已发表的最优电路,部分场景提升达一个数量级甚至更多。更高效的电路可降低量子算法所需资源,有望让化学和材料科学领域的量子计算应用更早落地。
普林斯顿大学与宾夕法尼亚大学提出 Recurrent Looped Transformer(RLT),让 Transformer 携带一个运行状态并在每个 token 后更新它。
混合推理智能体 论文:https://huggingface.co/papers/2610.18861
思维惯性 大语言模型被要求停止思考时仍会继续思考 论文:https://huggingface.co/papers/2610.11765
Nvidia 推出 TacitVLA TacitVLA 学会生成推理文本,但将其对动作专家屏蔽,因此其动作无需等待文本生成。 在延迟最高降低 3.4 倍的情况下,性能与对应的 CoT 版本相当 项目:https://tacitvla.github.io/ 摘要:https://arxiv.org/abs/2610.17540
Together 与斯坦福提出 Hybrid Reasoning Agents,将高效的隐式推理与基于文本的检查及工具交互结合。该方法性能提升 10.4%,同时实现约 40% 的 token 减少、约 2 倍推理加速和约 3 倍成本节省。代码已开源于 github.com/togethercomputer/HybridAgent,论文见 arxiv.org/abs/2610.18861。
Nvidia 提出 ARC 方法,可教会现有机器人基础模型进行推理,无需新的机器人演示数据,也无需基础规模训练。该方法在推理密集型任务上的成功率提升超过 5 倍,且不改变模型架构。
OmniReasoning 突破音视频联合推理的极限 论文:https://huggingface.co/papers/2609.39490
基础模型能通过借鉴训练数据中的线索进行推理 在开头加上“.\n\n Okay”,可将 Olmo-3-7B 在 MATH-500 上的 pass@1 准确率从 42% 提升到 78%;而加上“ Alright ,”则可将 Qwen3-14B 的准确率从 72% 提升到 87% RL 会让这些线索更可能出现,而修正这些线索则能恢复其相对于基础模型的大部分性能提升。
Anthropic 在科学博客中介绍,Claude 在 Claude Science 中依据单条提示词、基本无人监督运行数天,在平面 N=4 超对称杨-米尔斯模型的九圈散射振幅计算上超过此前八圈纪录,总成本为几千美元。该结果由 SLAC 的 Lance Dixon 独立验证,所用方法来自 Dixon 及其同事;此前八圈纪录也由 Dixon 团队在该简化模型中创下。
推荐理由:读者可了解 Claude 在散射振幅九圈计算上的实际表现、成本与独立验证情况。
Berkeley Sky Lab 团队为 K-Search 增加 MLX 后端和结构化 CUDA-to-MLX 翻译层,让进化式内核搜索以现有 CUDA 内核为知识库生成 Apple Silicon 内核。
Berkeley AI Research 提出 GRASP,一种面向学习型世界模型的梯度规划器,通过将轨迹提升到虚拟状态实现跨时间并行优化、在状态迭代上直接注入随机性以促进探索,并重塑梯度让动作获得清晰信号。该方法针对长时程规划中梯度爆炸/消失、非贪心结构导致局部极小值以及高维视觉模型状态-输入梯度脆弱等问题,使基于梯度的长时程规划更稳健。
Berkeley AI Research 提出 SPEX 和 ProxySPEX 算法,用于在大规模场景下识别 LLM 的关键交互。SPEX 利用稀疏性和低阶性把交互搜索转化为稀疏恢复问题,ProxySPEX 进一步利用层级结构,以约 10 倍更少的消融实验达到 SPEX 的性能。在情感分析任务上,SPEX 在上下文扩展到数千个特征时仍保持高忠实度,优于 LIME、Banzhaf 等方法。
结合RL和SFT的优势,采用同策略蒸馏,这是一种有前景的方法,可用于训练小模型以提升领域表现和持续学习能力。