AWS 详解 vLLM 双向 KV 传输如何降低多轮智能体负载的 TTFT
AWS 在 vLLM 中实现双向 KV 传输，让 decode 节点在后续轮次把已计算的 KV 块回传给 prefill 节点，避免重复计算对话历史。在 Amazon EC2 P5en 实例的 1P1D 部署上，该功能使 Qwen3-32B 的 TTFT 最多降低 1.6 倍、zai-org/GLM-5-FP8 最多降低 3.3 倍。
搜索“vLLM”
找到 31 条 · 更新于 13:13
AWS Machine Learning BlogAI 评分5858 AWS Machine Learning BlogAI 评分4040 vLLM 推出基于 push 的 KV 传输，分拆推理 TTFT 最高提升 3 倍
vLLM 新增 push 模式的 NIXL connector，把 prefill 后的传输协调与建立过程移出首 token 关键路径。在 AWS EC2 P5en 1P1D 部署、EFA 互联的测试中，Qwen3-32B 的 TTFT 最高改善 3 倍，TPOT 最高改善 30%。该功能先在 AWS Trainium 集群验证，再作为与加速器无关的特性贡献给 vLLM。
腾讯混元模型发布AI 评分5858 腾讯混元发布 Hy-Memory-30B-A3B-FP8 记忆写入模型
腾讯混元发布 Hy-Memory-30B-A3B-FP8，这是 Hy-Memory-30B-A3B 的 FP8 量化版本，针对 vLLM 部署优化。
月之暗面 Kimi 模型发布精选AI 评分8888 月之暗面开源 Kimi K3：2.8T 参数原生多模态模型，支持 100 万 token 上下文
月之暗面发布开源权重模型 Kimi K3，总参数 2.8T、激活参数 104B，基于 KDA 与 AttnRes 架构，原生支持文本、图像、视频并具备 100 万 token 上下文窗口。
推荐理由：月之暗面开源 2.8T 参数原生多模态模型，给出完整架构参数与多榜单对比，可据此判断开源前沿模型的当前水位。
DeepSeek 模型发布精选AI 评分8888 DeepSeek 发布正式版 DeepSeek-V4-Pro-0813 模型
DeepSeek 发布 DeepSeek-V4-Pro-0813 正式版，取代此前的预览版本，官方称其智能体能力大幅增强，在生产环境中提升尤为明显。该模型沿用 DeepSeek-V4-Pro (Preview) 的结构，并附加 DSpark 投机解码模块，在 HLE、Terminal Bench 2.1、NL2Repo、DeepSWE 等基准上均高于预览版。
推荐理由：官方技术报告列出正式版与预览版在多项智能体基准上的对比，可据此判断其生产环境能力变化。
DeepSeek 模型发布精选AI 评分8888 DeepSeek 发布 DeepSeek-V4-Flash-0731 正式版
DeepSeek 发布 DeepSeek-V4-Flash-0731 正式版，取代此前的预览版本，智能体能力大幅增强。该模型与 DeepSeek-V4-Flash-DSpark 结构相同，附带投机解码模块，在 Terminal Bench 2.1、NL2Repo、DeepSWE 等基准上超过 DeepSeek-V4-Pro (Preview)，激活参数量则小得多。
推荐理由：官方技术报告列出多项基准对比，读者可据此判断小激活参数模型在智能体任务上的位置。
月之暗面 Kimi 模型发布精选AI 评分8585 月之暗面开源 Kimi K2.6 多模态智能体模型
月之暗面发布开源原生多模态智能体模型 Kimi K2.6，采用 MoE 架构，总参数 1T、激活参数 32B，上下文长度 256K，视觉编码器为 400M 参数的 MoonViT。
推荐理由：模型卡给出完整架构、评测对比和部署方式，可据此判断开源多模态智能体模型的当前水平。
月之暗面 Kimi 模型发布精选AI 评分8585 月之暗面开源 Kimi K2.5 原生多模态智能体模型
月之暗面发布开源原生多模态智能体模型 Kimi K2.5，在 Kimi-K2-Base 上以约 15 万亿视觉与文本混合 token 持续预训练而成。模型采用 MoE 架构，总参数 1T、激活参数 32B，上下文长度 256K，配备 400M 参数的 MoonViT 视觉编码器，支持即时与思考两种模式。
推荐理由：月之暗面开源原生多模态智能体模型，1T 总参数与 Agent Swarm 设计给出了与闭源旗舰对比的完整基准。
智谱 GLM 模型发布精选AI 评分8282 智谱发布 GLM-5.3 开源权重模型，编码与长程任务能力提升
智谱发布 GLM-5.3，与 GLM-5.2 使用同一基座模型，能力提升全部来自后训练。官方称其在自研 Z.ai Code Bench 上较 GLM-5.2 提升 50%，并在 Terminal Bench 3.0、Agents' Last Exam 等公开基准上取得开源 SOTA。
推荐理由：GLM-5.3 沿用 GLM-5.2 基座、全部提升来自后训练，读者可据此判断开源权重模型在编码与长程任务上的位置。
MiniMax 模型发布精选AI 评分8282 MiniMax 开源全模态生成系统 MiniMax-H3，支持 2K 视频与立体声
MiniMax 发布全模态生成系统 MiniMax-H3，可统一理解文本、图像、视频和音频，并生成带原生立体声的视频，分辨率最高 2K、时长 4–15 秒。
推荐理由：原文完整披露了 H3 的三模块架构、开源范围与本地部署命令，读者可据此判断哪些能力需要走 API 补齐。
MiniMax 模型发布精选AI 评分8282 MiniMax 发布原生多模态模型 MiniMax-M3，支持 1M 上下文
MiniMax 发布原生多模态模型 MiniMax-M3，参数量约 428B、激活参数约 23B，支持 1M 上下文。该模型从训练第一步起就进行混合模态训练，并引入 MiniMax Sparse Attention（MSA），在 1M 上下文下相比 M2 实现 9 倍 prefill 和 15 倍 decode 加速，单 token 计算量降至 1/20。
推荐理由：原文给出参数量、稀疏注意力和长上下文加速数据，读者可据此判断百万 token 场景的部署成本变化。
月之暗面 Kimi 模型发布精选AI 评分8282 月之暗面发布 Kimi K2 Instruct 模型
月之暗面发布 Kimi K2，这是一个总参数 1T、激活参数 32B 的 MoE 语言模型，在 15.5T token 上预训练，采用 Muon 优化器，并针对工具调用与自主问题求解做了优化。
推荐理由：原文给出 1T 总参数、32B 激活的 MoE 架构与完整评测对照，可据此判断开源模型在编码和工具调用上的位置。
MiniMax 模型发布精选AI 评分8282 MiniMax 发布 MiniMax-M2.7 模型
MiniMax 发布 MiniMax-M2.7，官方称这是其首个深度参与自身演化的模型，可构建复杂 Agent harness 并完成高难度生产力任务。开发过程中模型自行更新记忆、为 RL 实验构建数十个复杂技能，内部版本在 100 多轮中自主优化编程脚手架，取得 30% 性能提升。
推荐理由：官方披露 M2.7 在自我进化循环中自主优化编程脚手架并取得 30% 性能提升，可据此观察模型自迭代的落地方式。
智谱 GLM 模型发布精选AI 评分8080 智谱发布 GLM-5.3-Flash：320B 总参数、18B 激活的原生多模态模型
智谱发布 GLM-5.3-Flash，这是 GLM-5 系列首个原生多模态模型，总参数 320B、激活参数仅 18B，在基准和真实负载上超过 GLM-5.2，价格为其十分之一，编码与智能体基准接近 Claude Opus 4.8。
推荐理由：GLM-5.3-Flash 以 320B 总参数、18B 激活参数和十分之一价格超过 GLM-5.2，读者可据此判断小激活多模态模型的性价比。
智谱 GLM 模型发布精选AI 评分8080 智谱发布 GLM-5.3-Flash：GLM-5 系列首个原生多模态模型
智谱发布 GLM-5.3-Flash，这是 GLM-5 系列首个原生多模态模型，总参数 320B、激活参数仅 18B，在基准测试和真实负载上超过 GLM-5.2，价格为其十分之一，编码与智能体基准接近 Claude Opus 4.8。
推荐理由：GLM-5 系列首个原生多模态模型，320B 总参数仅激活 18B，价格降至十分之一，可据此判断开源多模态模型的效率路线。
MiniMax 模型发布精选AI 评分8080 MiniMax 发布原生多模态模型 MiniMax-M3 及 MXFP8 量化版
MiniMax 发布原生多模态模型 MiniMax-M3，并同步提供 MXFP8 量化版本 MiniMax-M3-MXFP8。
推荐理由：原文给出 M3 的参数量、稀疏注意力带来的长上下文加速倍数与三种推理模式，便于判断其部署与调用方式。
智谱 GLM 模型发布精选AI 评分7878 智谱发布 GLM-5.3：与 GLM-5.2 同基座，编码与长程任务显著提升
智谱发布 GLM-5.3，与 GLM-5.2 使用同一基座模型，全部提升来自后训练。官方称其在自研 Z.ai Code Bench 上较 GLM-5.2 提升 50%，并在 Terminal Bench 3.0、Agents' Last Exam 等公开基准上达到开源 SOTA；在 CyberGym 漏洞发现与利用链基准上同样领先，利用类基准成绩超过 GLM-5.2 两倍。
推荐理由：GLM-5.3 与 5.2 共用基座、提升全部来自后训练，读者可据此判断后训练对编码与长程任务的实际拉动幅度。
阶跃星辰模型发布精选AI 评分7676 阶跃星辰发布 Step 5 Preview：600B 总参数、27B 激活、1M 上下文
阶跃星辰发布面向智能体任务的旗舰模型 Step 5 Preview，采用稀疏 MoE 架构，总参数 600B、激活参数 27B，支持最多 1M tokens 上下文，输入支持文本、图像和视频。
推荐理由：阶跃星辰发布旗舰 MoE 模型，600B 总参数、27B 激活参数与 1M 上下文，并给出 vLLM、SGLang 部署配置。
阶跃星辰模型发布精选AI 评分7676 阶跃星辰发布 Step 5 Preview 旗舰模型：600B 总参数、27B 激活参数、支持 1M 上下文
阶跃星辰发布面向智能体任务的旗舰模型 Step 5 Preview，采用稀疏 MoE 架构，600B 总参数、27B 激活参数，上下文窗口最高 1M tokens，输入支持文本、图像和视频。
推荐理由：阶跃星辰公开旗舰模型的参数规模、上下文长度与多框架部署配置，可据此判断其智能体任务的落地条件。
阶跃星辰模型发布精选AI 评分7272 阶跃星辰发布 Step-5-Preview 旗舰模型，600B 总参数、27B 激活参数、支持 1M 上下文
阶跃星辰发布面向智能体任务的旗舰模型 Step-5-Preview，采用稀疏 MoE 架构，600B 总参数、27B 激活参数，上下文窗口最高 1M tokens，输入支持文本、图像和视频。
推荐理由：阶跃星辰公开旗舰模型的参数规模、1M 上下文与多框架部署配置，可据此判断其智能体任务的落地成本。
DeepSeek 模型发布精选AI 评分7272 DeepSeek 发布实验性多模态模型 DeepSeek-V4-Flash-Vision-Exp
DeepSeek 发布 DeepSeek-V4-Flash-Vision-Exp，这是 DeepSeek-V4 系列首个实验性多模态模型，在 DeepSeek-V4-Flash 架构上加入视觉模块并继续训练。
推荐理由：DeepSeek 首次把视觉模块接入 V4-Flash，并给出多模态与纯文本智能体基准的对照数据。
月之暗面 Kimi 模型发布精选AI 评分7272 月之暗面发布 Kimi K2.7 Code 编码智能体模型
月之暗面发布基于 Kimi K2.6 的编码智能体模型 Kimi K2.7 Code，在长周期真实编码任务上做了较大改进，思考 token 用量相比 K2.6 减少约 30%。
推荐理由：模型卡给出与 K2.6、GPT-5.5、Claude Opus 4.8 的同基准对比，可据此判断其在编码智能体上的位置。
阶跃星辰模型发布精选AI 评分7272 阶跃星辰发布 Step 3.7 Flash 视觉语言模型
阶跃星辰发布 Step 3.7 Flash，这是一个 198B 参数的稀疏 MoE 视觉语言模型，由 196B 参数语言主干与 1.8B 参数视觉编码器组成，每 token 约激活 11B 参数，吞吐最高 400 tokens/s，支持 256k 上下文窗口和低中高三档推理等级。
推荐理由：原文给出稀疏 MoE 视觉语言模型的参数规模、三档推理等级与定价，可据此判断高频智能体工作流的成本与部署选择。
NVIDIA Blog精选AI 评分6060 NVIDIA 在 GTC Berlin 公布 RTX Spark、DGX Spark 与 DGX Station 本地 AI 更新
NVIDIA 在 GTC Berlin 展示本地 AI 硬件全线产品并公布多项更新：上周发布的 RTX Spark 面向 Windows PC 运行个人智能体，DGX Spark 64GB 于 10 月 23 日由合作伙伴开售，DGX Station 面向企业前沿负载、Windows 版本预计 12 月推出。
推荐理由：原文集中列出本地 AI 硬件在多机集群、模型启动器和企业集成上的变化，可据此判断桌面端跑前沿模型的边界。
智谱 GLM 模型发布精选AI 评分6060 智谱开源 GLM-OCR 多模态文档理解模型
智谱发布并开源 GLM-OCR 多模态 OCR 模型，基于 GLM-V 编码器-解码器架构，采用多 Token 预测（MTP）损失和全任务强化学习，在 OmniDocBench V1.5 上得分 94.62，排名第一。
推荐理由：官方给出 0.9B 参数、OmniDocBench V1.5 得分与多框架部署方式，可据此判断轻量 OCR 的落地成本。
腾讯混元模型发布AI 评分5858 腾讯优图发布 Youtu-LLM-2B 小模型，主打原生智能体能力
腾讯优图实验室发布 Youtu-LLM-2B，参数量 1.96B，支持 131,072 上下文，提供 Base、Instruct 和 GGUF 版本，并称具备原生智能体能力。
面壁 MiniCPM 模型发布AI 评分5858 面壁智能发布 MiniCPM-V 4.7 1B 多模态模型及 GGUF 量化版
面壁智能发布 MiniCPM-V 4.7 的 1B 版本，并上线 GGUF 量化权重，支持单图、多图与视频理解。官方称该版本在 Instruct 模式下整体得分和推理效率均明显优于 Qwen3.5 0.8B，并采用 intra-ViT 早期视觉 token 压缩与 4x/16x 混合压缩。
Qwen 模型发布AI 评分5858 Qwen 发布 Qwen3Guard-Stream-4B 流式安全审核模型
Qwen 发布 Qwen3Guard-Stream-4B，这是基于 Qwen3 训练的安全审核模型，通过 token 级分类头在文本增量生成过程中实时检测风险。
Qwen 模型发布AI 评分5858 Qwen 发布 Qwen3Guard-Stream-0.6B 流式安全审核模型
Qwen 发布 Qwen3Guard-Stream-0.6B，这是基于 Qwen3 训练的安全审核模型，通过 token 级分类头在文本增量生成过程中实时检测风险。
Qwen 模型发布AI 评分5858 Qwen 发布 Qwen3Guard-Stream-8B 流式安全审核模型
Qwen 发布 Qwen3Guard-Stream-8B，在 Qwen3 基础上加入 token 级分类头，可在文本逐 token 生成过程中实时做安全审核。该系列基于 119 万条带安全标注的 prompt 与回复训练，含 0.6B、4B、8B 三种规模，并分为生成式 Qwen3Guard-Gen 与流式 Qwen3Guard-Stream 两个变体。
NVIDIA BlogAI 评分3030 NVIDIA 如何改造欧洲零售：从数字发现到实体运营
NVIDIA 展示欧洲零售业务的多项落地成果：Shopify 后训练 Nemotron 3.5 Lightning 用于 Sidekick 的 GraphQL 子代理，内部基准上准确率超过领先前沿模型，服务成本降低 90%、响应快 7 倍。