AWS 详解 vLLM 双向 KV 传输如何降低多轮智能体负载的 TTFT
AWS 在 vLLM 中实现双向 KV 传输，让 decode 节点在后续轮次把已计算的 KV 块回传给 prefill 节点，避免重复计算对话历史。在 Amazon EC2 P5en 实例的 1P1D 部署上，该功能使 Qwen3-32B 的 TTFT 最多降低 1.6 倍、zai-org/GLM-5-FP8 最多降低 3.3 倍。
#开源生态
AWS Machine Learning BlogAI 评分5858 AWS Machine Learning BlogAI 评分4040 vLLM 推出基于 push 的 KV 传输，分拆推理 TTFT 最高提升 3 倍
vLLM 新增 push 模式的 NIXL connector，把 prefill 后的传输协调与建立过程移出首 token 关键路径。在 AWS EC2 P5en 1P1D 部署、EFA 互联的测试中，Qwen3-32B 的 TTFT 最高改善 3 倍，TPOT 最高改善 30%。该功能先在 AWS Trainium 集群验证，再作为与加速器无关的特性贡献给 vLLM。
AWS Machine Learning BlogAI 评分3636 Amazon SageMaker JumpStart 2026 年至今回顾：新增 100+ 模型
Amazon SageMaker JumpStart 在 2026 年 1 月至 9 月新增超 100 个模型，覆盖 30 家提供商。阿里 Qwen 贡献 29 个模型，NVIDIA 17 个，Mistral 7 个，Google 6 个 Gemma 4 变体，IBM 和 Cohere 各 4 个。新增模型重点覆盖多模态、量化与紧凑模型以及图像视频生成能力。
AWS Machine Learning BlogAI 评分3636 Eon 如何用 Amazon Bedrock AgentCore 上的 MCP Gateway 构建多云调查能力
Eon 基于 Amazon Bedrock AgentCore 的 MCP Gateway 搭建了统一的多云调查入口，用单一认证网关替代逐工具凭证和本地 MCP 进程，让开发者和自主智能体统一访问 AWS、GCP、Azure 三朵云上的调查工具。
AWS Machine Learning BlogAI 评分5252 i14 与 AWS 详解 Laplace 3B 线性注意力模型在 Trainium2 上的训练与推理
i14 与 AWS 团队用 TorchNeuron Native 原生 PyTorch 将线性注意力模型 Laplace 3B 移植到 AWS Trainium2，保留 GLA 架构与 Muon 优化器。
AWS Machine Learning BlogAI 评分4040 在 Amazon SageMaker HyperPod 上微调 GPT-OSS-20B 实现多语言推理
在 Amazon SageMaker HyperPod 上对 GPT-OSS-20B 做多语言推理微调，基座模型在 50 例测试中仅 22% 用目标语言推理（法语、西班牙语、意大利语均为 0%）。
NVIDIA BlogAI 评分3838 NVIDIA 通过开放学习资源、合作与算力扩展欧洲科研界先进技术获取
NVIDIA 在都柏林 AI in Science Summit 上加入欧盟委员会发起的 AI in Science Enablers Initiative，为欧洲科研社区提供加速工具、算力与培训支持。
Google DeepMind精选AI 评分7272 Google DeepMind 发布 EmbeddingGemma 2 端侧多模态嵌入模型
Google DeepMind 发布 EmbeddingGemma 2，这是基于 Gemma 4 架构、采用 Apache 2.0 许可的 740M 参数嵌入模型，可将文本、代码、图像、音频和视频映射到统一嵌入空间。
推荐理由：原文给出参数量、内存占用和基准提升，可据此判断端侧多模态检索的落地条件。