#推理

AWS 详解 vLLM 双向 KV 传输如何降低多轮智能体负载的 TTFT

AWS 在 vLLM 中实现双向 KV 传输，让 decode 节点在后续轮次把已计算的 KV 块回传给 prefill 节点，避免重复计算对话历史。在 Amazon EC2 P5en 实例的 1P1D 部署上，该功能使 Qwen3-32B 的 TTFT 最多降低 1.6 倍、zai-org/GLM-5-FP8 最多降低 3.3 倍。

vLLM 推出基于 push 的 KV 传输，分拆推理 TTFT 最高提升 3 倍

vLLM 新增 push 模式的 NIXL connector，把 prefill 后的传输协调与建立过程移出首 token 关键路径。在 AWS EC2 P5en 1P1D 部署、EFA 互联的测试中，Qwen3-32B 的 TTFT 最高改善 3 倍，TPOT 最高改善 30%。该功能先在 AWS Trainium 集群验证，再作为与加速器无关的特性贡献给 vLLM。

Deepgram 如何用 AWS Trainium2 优化大规模语音 AI 推理

Deepgram 与 AWS 合作将 Nova-3 语音转文本模型移植到 Trainium2，用于联络中心分析、医疗转写等离线批处理场景。最终配置在单台 Amazon EC2 trn2.3xlarge 实例上运行 8 个模型副本，按评估时实例价格计算，每美元处理的音频量比原有算力方案高 11%–70%。

MiniMax 发布 M3.1 Flash 推理模型，每任务成本约 0.22 美元

MiniMax 发布推理模型 M3.1 Flash，在 Artificial Analysis 智能指数上得 42 分，比前代 M3 高 13 分，每任务成本不到其一半。

同一件事，精选收录的是《MiniMax 发布 M3.1 Flash 模型，成本为 M3 的三分之一、速度提升 3 倍》

Rohan Paul 解读 EAGLE-4 投机解码提速原理

Rohan Paul 解读 EAGLE-4 投机解码为何能提升推理速度，指出它已成为在选定模型上提高每秒 token 数的可靠手段。EAGLE-4 保留草稿加校验的循环，把改进放在草稿侧，采用自适应草稿结构和更廉价的草稿 LM head；小模型先猜若干 token，目标模型一次前向全部校验，保留匹配项并替换首个不匹配项。

Anthropic 研究：MLP 神经元可解释性优于转码器特征

Anthropic 新研究重新审视 MLP 神经元作为可解释性基础的价值，发现晚期层中许多活跃的 transcoder 特征实际上是单个 MLP 神经元的近似副本，该结论在 13 个开源 transcoder 上得到验证。

General Compute 携手 Positron 部署异构云

快速推理对智能体正变得越来越重要。 随着主动式、常驻智能体的兴起，以及复杂任务对多智能体系统需求的增长，异构计算变得至关重要。@general_compute 正在解决这一关键问题，而与 @positron_ai 的合作非常合理。

Cloudflare 发布文档抽取模型 Clairic，称比 LLM 更快更便宜

Cloudflare 发布 AI 模型 Clairic，称其从文档中抽取数据比大语言模型更快、成本更低，现已在 Workers AI 上提供预览，开放权重稍后跟进。

是石科技发布 TokenFleet 分布式调度框架，GLM5.3 首 Token 延迟降低 32.4%

是石科技在 2026 CCF 全国高性能计算学术大会期间发布 TokenFleet 分布式调度框架，聚焦请求路由、跨机房容量协同与混合负载治理。其 TokenPilot 在 GLM5.3 调优数据中将 P95 首 Token 延迟降低 32.4%、P50 降低 71.3%；SLOMax 流控协同调度使达标输出吞吐提高约 29.4%，达标比例从约 67% 升至约 86%。

DiscoveryRSI 论文：用递归自我改进做科学假设生成

一篇新论文提出 DiscoveryRSI，把递归自我改进用于四个生命科学领域的科学假设生成。其 27B 模型生成的假设有 6.3% 与训练截止后发表的论文相符，GPT-6 为 2.5%，Claude Opus 5 为 2.3%。

Mercury 3 扩散 LLM 发布

扩散 LLM 要起飞了吗？ 他们说它比 Mercury 1 大 40 多倍。 如果 Mercury 1 大概是 7B，那 Mercury 3 就会是 > 280B。

Google DeepMind 用 Gemini 智能体发现并形式化验证 BB(6) 图灵机加速规则

Google DeepMind 一篇论文让基于 Gemini 的智能体在 Busy Beaver 问题 BB(6) 中为 11 台未解决图灵机找到并形式化验证了新的加速规则。

Hugging Face 讲投机解码加速本地 AI

本地 AI 202：用投机解码获得大幅加速 https://x.com/i/broadcasts/1NGaroZveLVJj

MiniMax 发布 M3.1 Flash 模型，成本为 M3 的三分之一、速度提升 3 倍

MiniMax 发布 M3.1 Flash，官方称其在 Cowork（Automation-Bench 62%、ALE 30%）、编码（DeepSWE 74%）和视觉推理（BabyVision 91%）等任务上达到前沿水平，成本为 M3 的 1/3、速度为 3 倍。

10 篇 Looped Transformer 论文速览指南

Turing Post 整理了 10 篇值得关注的 Looped Transformer 论文，涵盖 Recurrent Looped Transformer、Looped Prediction Transformer（LPT）、Loop Flow Transformers（LiFT）、Looped Diffusion Transformer、LAST、LoopCD、Hyperloop Transformer、OperLoop、LoopQuant，以及基于 looped transformer 的 Recursive Multi-Agent Systems。文章以速览指南形式介绍各方法是什么、如何工作、何时使用。

Anthropic STEM Fellows 项目：Claude Mythos 5 设计出更高效的量子电路

Anthropic 的 STEM Fellows 项目披露，Claude Mythos 5 能根据自然语言指令设计量子电路，效果优于已发表的最优电路，部分场景提升达一个数量级甚至更多。更高效的电路可降低量子算法所需资源，有望让化学和材料科学领域的量子计算应用更早落地。

普林斯顿与宾大提出 Recurrent Looped Transformer（RLT）架构

普林斯顿大学与宾夕法尼亚大学提出 Recurrent Looped Transformer（RLT），让 Transformer 携带一个运行状态并在每个 token 后更新它。

Hybrid Reasoning Agents 论文发布

混合推理智能体 论文：https://huggingface.co/papers/2610.18861

3D Gaussian Splatting 如何为机器人构建空间记忆

这篇指南讲解 3D Gaussian Splatting（3DGS）如何把拍摄场景转为机器人的空间记忆，并介绍机器人如何检索、更新该记忆，以及从“记住世界”走向“理解物理”所需的条件。

LLM 被叫停仍继续思考

思维惯性 大语言模型被要求停止思考时仍会继续思考 论文：https://huggingface.co/papers/2610.11765

Nvidia 推出 TacitVLA 隐式推理模型

Nvidia 推出 TacitVLA TacitVLA 学会生成推理文本，但将其对动作专家屏蔽，因此其动作无需等待文本生成。 在延迟最高降低 3.4 倍的情况下，性能与对应的 CoT 版本相当 项目：https://tacitvla.github.io/ 摘要：https://arxiv.org/abs/2610.17540

Together 与斯坦福提出 Hybrid Reasoning Agents

Together 与斯坦福提出 Hybrid Reasoning Agents，将高效的隐式推理与基于文本的检查及工具交互结合。该方法性能提升 10.4%，同时实现约 40% 的 token 减少、约 2 倍推理加速和约 3 倍成本节省。代码已开源于 github.com/togethercomputer/HybridAgent，论文见 arxiv.org/abs/2610.18861。

Hugging Face 直播讲解投机解码加速本地 LLM

在这场直播中，与 @mervenoyann、@MaartenGr 和 @_EldarKurtic 一起了解如何通过投机解码在本地 LLM 上获得成倍的加速。 https://www.youtube.com/watch?v=H4azmWcqO5g

Qwen3.8-Flash-Next 推理提速至 685 tokens/s

祝贺 @lightseekorg 取得令人印象深刻的 TokenSpeed 成果！🚀 很高兴看到 Qwen3.8-Flash-Next 在 Nvida GPU 上达到每用户 685 output tokens/s。期待社区进一步释放 Qwen 的推理潜力！

Google DeepMind 发布 Gemini 4 Argon 前沿模型

Google DeepMind 发布 Gemini 4 Argon，通过 Gemini API、AI Studio、Antigravity 及 Gemini 应用向开发者、企业和订阅用户开放，定价为每百万输入 token 2 美元、输出 token 10 美元。

Nvidia 提出 ARC 方法，让机器人基础模型学会推理

Nvidia 提出 ARC 方法，可教会现有机器人基础模型进行推理，无需新的机器人演示数据，也无需基础规模训练。该方法在推理密集型任务上的成功率提升超过 5 倍，且不改变模型架构。

OpenAI 为 GPT-6.1 Sol 上线 Ultrafast 模式，最高提速 8 倍

OpenAI 今日在 API、Codex 和 ChatGPT Work 中为 GPT-6.1 Sol 上线 Ultrafast 模式。官方称该模式在接近 Astra 的智能水平下，速度最高可达 Sol Standard 的 8 倍。

OmniReasoning 突破音视频联合推理极限

OmniReasoning 突破音视频联合推理的极限 论文：https://huggingface.co/papers/2609.39490

基础模型可借训练数据线索推理

基础模型能通过借鉴训练数据中的线索进行推理 在开头加上“.\n\n Okay”，可将 Olmo-3-7B 在 MATH-500 上的 pass@1 准确率从 42% 提升到 78%；而加上“ Alright ,”则可将 Qwen3-14B 的准确率从 72% 提升到 87% RL 会让这些线索更可能出现，而修正这些线索则能恢复其相对于基础模型的大部分性能提升。

Google 发布 Gemini 4 Argon 前沿模型

Google 发布新前沿模型 Gemini 4 Argon，面向复杂长程工作流持续进行深度推理，在真实软件工程、法律与金融等企业知识工作以及网络安全防御场景中提供前沿性能。该模型输出 token 上限提升至 1M tokens，目前正通过 Fairwind Program 向一批受信任的网络安全防御方逐步开放，后续将尽快扩大可用范围。

Google DeepMind 发布 Gemini 4 Argon 前沿模型

Google DeepMind 宣布推出新前沿模型 Gemini 4 Argon，先通过 Fairwind Program 向受信任的网络安全防御方开放，后续再向开发者、企业和消费者推出。

Anthropic 称 Claude 在简化模型中完成九圈散射振幅计算

Anthropic 在科学博客中介绍，Claude 在 Claude Science 中依据单条提示词、基本无人监督运行数天，在平面 N=4 超对称杨-米尔斯模型的九圈散射振幅计算上超过此前八圈纪录，总成本为几千美元。该结果由 SLAC 的 Lance Dixon 独立验证，所用方法来自 Dixon 及其同事；此前八圈纪录也由 Dixon 团队在该简化模型中创下。

Qwen3.8-27B 上线 Cerebras 快速推理

快速遇上开源。🚀 Qwen3.8-27B 现已在 @cerebras 上运行，推理速度飞快。立即体验！

DeepSeek 发布 DeepSeek-V4-Pro

DeepSeek 发布 DeepSeek-V4-Pro，重点升级 Agent 能力并带来明显的生产环境收益。V4-Pro 与 V4-Flash 支持灵活推理强度，简单任务用 low、日常 Agent 工作流用 high、复杂任务用 max；同时原生支持 OpenAI Responses API，并针对 Codex 提供一键配置。V4 Pro 已在 app 和网页端以 Expert Mode 上线，也可通过 API 调用，模型名称保持不变。

K-Search 扩展 MLX 后端：把 CUDA 内核经验迁移到 Apple Silicon

Berkeley Sky Lab 团队为 K-Search 增加 MLX 后端和结构化 CUDA-to-MLX 翻译层，让进化式内核搜索以现有 CUDA 内核为知识库生成 Apple Silicon 内核。

自适应并行推理：高效推理扩展的下一个范式

伯克利 AI 研究团队综述并行推理进展，重点分析自适应并行推理——让模型自行决定何时分解并并行化子任务、开多少并发线程以及如何协调。现有方法如 self-consistency、Best-of-N、Tree of Thoughts、MCTS、ParaThinker、GroupThink 和 Hogwild! Inference 的并行结构多由外部设定，而非模型自主选择。

Berkeley AI Research 提出 GRASP：面向世界模型长时程规划的梯度规划器

Berkeley AI Research 提出 GRASP，一种面向学习型世界模型的梯度规划器，通过将轨迹提升到虚拟状态实现跨时间并行优化、在状态迭代上直接注入随机性以促进探索，并重塑梯度让动作获得清晰信号。该方法针对长时程规划中梯度爆炸/消失、非贪心结构导致局部极小值以及高维视觉模型状态-输入梯度脆弱等问题，使基于梯度的长时程规划更稳健。

Karpathy：LLM 能论证任何方向，需警惕谄媚

Andrej Karpathy 用 LLM 花 4 小时打磨自己的博客论证，觉得极具说服力；随后让 LLM 论证相反观点，结果 LLM 彻底推翻原论证并说服他反面才是对的。他指出 LLM 被问时会给出观点，但极擅长朝几乎任何方向论证，可作为形成个人观点的工具，但要多问不同方向并警惕谄媚。

Berkeley AI Research 提出 SPEX 与 ProxySPEX：大规模识别 LLM 关键交互

Berkeley AI Research 提出 SPEX 和 ProxySPEX 算法，用于在大规模场景下识别 LLM 的关键交互。SPEX 利用稀疏性和低阶性把交互搜索转化为稀疏恢复问题，ProxySPEX 进一步利用层级结构，以约 10 倍更少的消融实验达到 SPEX 的性能。在情感分析任务上，SPEX 在上下文扩展到数千个特征时仍保持高忠实度，优于 LIME、Banzhaf 等方法。

DeepSeek 发布 DeepSeek-V3.2 与 DeepSeek-V3.2-Speciale 推理模型

DeepSeek 发布 DeepSeek-V3.2 和 DeepSeek-V3.2-Speciale 两款以推理为先、面向智能体的模型。DeepSeek-V3.2 是 V3.2-Exp 的正式后继版本，已在 App、Web 和 API 上线；DeepSeek-V3.2-Speciale 侧重进一步拓展推理能力，目前仅通过 API 提供。官方同时放出了技术报告链接。