AWS 详解 vLLM 双向 KV 传输如何降低多轮智能体负载的 TTFT
AWS 在 vLLM 中实现双向 KV 传输，让 decode 节点在后续轮次把已计算的 KV 块回传给 prefill 节点，避免重复计算对话历史。在 Amazon EC2 P5en 实例的 1P1D 部署上，该功能使 Qwen3-32B 的 TTFT 最多降低 1.6 倍、zai-org/GLM-5-FP8 最多降低 3.3 倍。
#推理
AWS Machine Learning BlogAI 评分5858 AWS Machine Learning BlogAI 评分4040 vLLM 推出基于 push 的 KV 传输，分拆推理 TTFT 最高提升 3 倍
vLLM 新增 push 模式的 NIXL connector，把 prefill 后的传输协调与建立过程移出首 token 关键路径。在 AWS EC2 P5en 1P1D 部署、EFA 互联的测试中，Qwen3-32B 的 TTFT 最高改善 3 倍，TPOT 最高改善 30%。该功能先在 AWS Trainium 集群验证，再作为与加速器无关的特性贡献给 vLLM。
AWS Machine Learning BlogAI 评分3838 Deepgram 如何用 AWS Trainium2 优化大规模语音 AI 推理
Deepgram 与 AWS 合作将 Nova-3 语音转文本模型移植到 Trainium2，用于联络中心分析、医疗转写等离线批处理场景。最终配置在单台 Amazon EC2 trn2.3xlarge 实例上运行 8 个模型副本，按评估时实例价格计算，每美元处理的音频量比原有算力方案高 11%–70%。
Google DeepMind精选AI 评分9090 Google DeepMind 发布 Gemini 4 Argon 前沿模型
Google DeepMind 发布 Gemini 4 Argon，通过 Gemini API、AI Studio、Antigravity 及 Gemini 应用向开发者、企业和订阅用户开放，定价为每百万输入 token 2 美元、输出 token 10 美元。
推荐理由：官方披露了 Argon 在编码、科研与安全对齐上的具体案例和基准表现，可据此判断前沿模型在长程任务中的实际边界。
Google DeepMind精选AI 评分8282 Google DeepMind 发布 Gemini 4 Argon 前沿模型
Google DeepMind 宣布推出新前沿模型 Gemini 4 Argon，先通过 Fairwind Program 向受信任的网络安全防御方开放，后续再向开发者、企业和消费者推出。
推荐理由：官方披露了 Argon 的输出上限、定价与多项基准成绩，可据此判断前沿模型在长任务上的能力边界。
Berkeley AI ResearchAI 评分5858 K-Search 扩展 MLX 后端：把 CUDA 内核经验迁移到 Apple Silicon
Berkeley Sky Lab 团队为 K-Search 增加 MLX 后端和结构化 CUDA-to-MLX 翻译层，让进化式内核搜索以现有 CUDA 内核为知识库生成 Apple Silicon 内核。
Berkeley AI ResearchAI 评分3636 自适应并行推理：高效推理扩展的下一个范式
伯克利 AI 研究团队综述并行推理进展，重点分析自适应并行推理——让模型自行决定何时分解并并行化子任务、开多少并发线程以及如何协调。现有方法如 self-consistency、Best-of-N、Tree of Thoughts、MCTS、ParaThinker、GroupThink 和 Hogwild! Inference 的并行结构多由外部设定，而非模型自主选择。
Berkeley AI ResearchAI 评分3838 Berkeley AI Research 提出 GRASP：面向世界模型长时程规划的梯度规划器
Berkeley AI Research 提出 GRASP，一种面向学习型世界模型的梯度规划器，通过将轨迹提升到虚拟状态实现跨时间并行优化、在状态迭代上直接注入随机性以促进探索，并重塑梯度让动作获得清晰信号。该方法针对长时程规划中梯度爆炸/消失、非贪心结构导致局部极小值以及高维视觉模型状态-输入梯度脆弱等问题，使基于梯度的长时程规划更稳健。
Berkeley AI ResearchAI 评分3434 Berkeley AI Research 提出 SPEX 与 ProxySPEX：大规模识别 LLM 关键交互
Berkeley AI Research 提出 SPEX 和 ProxySPEX 算法，用于在大规模场景下识别 LLM 的关键交互。SPEX 利用稀疏性和低阶性把交互搜索转化为稀疏恢复问题，ProxySPEX 进一步利用层级结构，以约 10 倍更少的消融实验达到 SPEX 的性能。在情感分析任务上，SPEX 在上下文扩展到数千个特征时仍保持高忠实度，优于 LIME、Banzhaf 等方法。