AWS 详解 vLLM 双向 KV 传输如何降低多轮智能体负载的 TTFT
AWS 在 vLLM 中实现双向 KV 传输,让 decode 节点在后续轮次把已计算的 KV 块回传给 prefill 节点,避免重复计算对话历史。在 Amazon EC2 P5en 实例的 1P1D 部署上,该功能使 Qwen3-32B 的 TTFT 最多降低 1.6 倍、zai-org/GLM-5-FP8 最多降低 3.3 倍。
AWS 在 vLLM 中实现双向 KV 传输,让 decode 节点在后续轮次把已计算的 KV 块回传给 prefill 节点,避免重复计算对话历史。在 Amazon EC2 P5en 实例的 1P1D 部署上,该功能使 Qwen3-32B 的 TTFT 最多降低 1.6 倍、zai-org/GLM-5-FP8 最多降低 3.3 倍。
vLLM 新增 push 模式的 NIXL connector,把 prefill 后的传输协调与建立过程移出首 token 关键路径。在 AWS EC2 P5en 1P1D 部署、EFA 互联的测试中,Qwen3-32B 的 TTFT 最高改善 3 倍,TPOT 最高改善 30%。该功能先在 AWS Trainium 集群验证,再作为与加速器无关的特性贡献给 vLLM。
Deepgram 与 AWS 合作将 Nova-3 语音转文本模型移植到 Trainium2,用于联络中心分析、医疗转写等离线批处理场景。最终配置在单台 Amazon EC2 trn2.3xlarge 实例上运行 8 个模型副本,按评估时实例价格计算,每美元处理的音频量比原有算力方案高 11%–70%。
TwelveLabs 的视频语言模型 Pegasus 1.5 已在 Amazon Bedrock 上线,可将长视频转为带时间戳的结构化 JSON 元数据。相比 Pegasus 1.2,单次请求可分析视频时长从 1 小时提升至 2 小时,并新增视频分段、参考图多模态提示和免预索引的即时处理。
Amazon SageMaker JumpStart 在 2026 年 1 月至 9 月新增超 100 个模型,覆盖 30 家提供商。阿里 Qwen 贡献 29 个模型,NVIDIA 17 个,Mistral 7 个,Google 6 个 Gemma 4 变体,IBM 和 Cohere 各 4 个。新增模型重点覆盖多模态、量化与紧凑模型以及图像视频生成能力。
AWS 宣布新客户可通过 Google、GitHub、Apple、Amazon 账号或邮箱注册,2–3 步即可进入已配置好的 SageMaker Studio 环境,无需填写高级账户信息、验证手机号或提供信用卡(多数客户)。
AWS 博客演示用 AtScale 作为语义层、配合 Amazon Bedrock AgentCore 托管 Strands 智能体,构建 Customer 360 分析模式。
该教程演示如何用 Strategy Mosaic 作为语义层,在 Amazon Redshift 与 Amazon Aurora 上以两个链接模型建模 C360 域,无需 ETL。
本文演示如何用 Denodo Platform 作为语义层,通过 Denodo MCP Server 向托管在 Amazon Bedrock AgentCore 上的智能体暴露受治理视图,并联合查询 Amazon Aurora、Amazon Redshift 与本地 PostgreSQL 构建 Customer 360 视图。
Eon 基于 Amazon Bedrock AgentCore 的 MCP Gateway 搭建了统一的多云调查入口,用单一认证网关替代逐工具凭证和本地 MCP 进程,让开发者和自主智能体统一访问 AWS、GCP、Azure 三朵云上的调查工具。
i14 与 AWS 团队用 TorchNeuron Native 原生 PyTorch 将线性注意力模型 Laplace 3B 移植到 AWS Trainium2,保留 GLA 架构与 Muon 优化器。
Smartsheet 已在 AWS 推出正式可用的 MCP Server,AI 助手可通过标准化协议读写和管理 Smartsheet 数据,覆盖探索、创建与管理 sheet、行、列和自动化等 40 多个工具。
AWS 展示用 Amazon Quick 作为交互界面、Amazon Bedrock AgentCore 作为智能层,通过 MCP 服务器把 ERP、监控、采购等系统串成可组合工具层,让供应链管理者用自然语言跨系统提问。
在 Amazon SageMaker HyperPod 上对 GPT-OSS-20B 做多语言推理微调,基座模型在 50 例测试中仅 22% 用目标语言推理(法语、西班牙语、意大利语均为 0%)。
Octave 在 Amazon Bedrock 上为质量管理平台 Reliance 构建了多租户 AI 基础平台,用 Cohere Embed v4 完成 20 亿份文档的嵌入,并将单用例部署时间缩短 50%。该平台以每租户独立向量存储、AgentCore Gateway 隔离执行和 Guardrails 双向过滤三层架构,确保客户数据不跨租户边界。首个落地应用为投诉摘要与分诊助手。
Amazon Bedrock 的跨区域推理(CRIS)现支持从加拿大(中部)和加拿大西部(卡尔加里)区域调用 OpenAI GPT-6.1 Sol、GPT-6(Astra、Sol、Luna)和 GPT-5.6(Sol、Terra、Luna)。
AWS 介绍 Agent Registry 的运行时工具发现方案,让编排器不再把工具硬编码进智能体,而是按请求检索已批准的 MCP 服务器和 A2A 智能体记录。
AWS 与 Keyfactor 联合发布参考架构,用 Keyfactor EJBCA 的 X.509 PKI 为 AI 智能体建立可验证、可撤销的加密身份。
巴塞罗那超级计算中心(BSC)的 AI Factory 加速器计划在试点后全面运营,为初创企业提供主权算力、技术支持和培训,部分服务已可通过 NVIDIA Inception 门户获取。
NVIDIA 与德国联邦政府签署联合意向声明,将围绕物理 AI 前沿模型展开合作,并接入德国“工业 4.0 平台”。黄仁勋同时宣布对 Agile Robots、Avelios Medical、Mirelo、Reflex Aerospace 四家德国初创公司的新投资,属于 NVIDIA 对欧洲近 100 亿美元承诺的一部分。
NVIDIA 与欧洲广播联盟(EBU)扩大主权框架合作,引入主权云厂商、开放模型开发者和系统集成商,明确广播机构部署智能体时数据、基础设施、模型与安全的控制方式,NVIDIA Nemotron 开放模型可供定制。
NVIDIA RTX Spark 笔记本已上市,搭载 Blackwell RTX GPU 与 Grace CPU,最高 128GB 统一内存、最高 1 petaflop AI 算力,起售价 2399 美元。
NVIDIA 发布面向创作者、游戏玩家和 AI 智能体的 Windows PC 产品 RTX Spark,并在全球多地举办发布活动。
推荐理由:原文给出 RTX Spark 的本地 AI 实测完成时间对比,可据此判断笔记本端侧推理的可用性。
微软研究院发布零知识虚拟机 Magnetar,可直接证明用 Rust、Go 或 C 编写的程序执行过程,并输出可在约 12 毫秒内验证的简短证明。在 15 个基准程序上,它比同类最快的 zkVM 平均快 10 到 39 倍,在笔记本上每秒可证明 7.2 至 8.7 百万条 RISC-V 指令。
推荐理由:微软研究院梳理十余年零知识证明研究脉络,说明 Magnetar 如何在通用性、速度与密码学假设之间同时取得进展。
NVIDIA DLSS 4.5 控制选项已在 GeForce NOW 上线,让会员在云端调整支持游戏的画质与性能,无需最新硬件。DLSS Super Resolution、Dynamic Multi Frame Generation 和 Ray Reconstruction 均可在设置中调节,RTX 5080 云主机上的 Ultimate 会员最高可用 4X 动态多帧生成。
NVIDIA 在都柏林 AI in Science Summit 上加入欧盟委员会发起的 AI in Science Enablers Initiative,为欧洲科研社区提供加速工具、算力与培训支持。
GitHub 用微调的 ModernBERT 分类器替换原有 LLM 流水线来识别通用密钥,用户接受率提升 11.5%,推送后扫描中位执行时间缩短 86%,服务成本降低超 98%。该方案先用正则高召回生成候选,再由分类器结合文件路径、变量名和上下文判断是否为真实凭据,并已把通用密钥检测扩展到推送保护阶段。
微软研究院开源 Agent Lightning v1.0,这是一个约 3500 行代码的轻量 Agentic RL 框架,提出 Harnessed Agentic RL 范式,让部署时使用的 agent harness 直接参与强化学习,无需在训练框架内重写 agent。
推荐理由:微软研究院开源约 3500 行的 Agent RL 框架,用真实 harness 参与训练,并给出 6000 样本提升 14.6 个点的完整流程。
微软研究院实习生构建的机器学习流水线可为美国本土66,935座变电站生成30-60分钟前的空间天气风险预报,评估期内检出近80%的重大空间天气事件。系统结合AE与Dst指数预报、纬度、地质电导率及电网数据,Dst预测在2020-2026年活动高峰时段有62.2%的小时优于Burton方程。
Berkeley Sky Lab 团队为 K-Search 增加 MLX 后端和结构化 CUDA-to-MLX 翻译层,让进化式内核搜索以现有 CUDA 内核为知识库生成 Apple Silicon 内核。
UC Berkeley 团队提出,推理成本已从 GPT-4 级约 $30/百万 token 降至不足 $1,部分厂商低于 $0.10,基准测试中推理价格每年下降 9x 至 900x、中位数约 50x。作者据此提出三类数据系统挑战:为智能体设计的数据系统、支撑智能体群体运行的数据系统、以及由智能体合成的数据系统。
伯克利 AI 研究团队综述并行推理进展,重点分析自适应并行推理——让模型自行决定何时分解并并行化子任务、开多少并发线程以及如何协调。现有方法如 self-consistency、Best-of-N、Tree of Thoughts、MCTS、ParaThinker、GroupThink 和 Hogwild! Inference 的并行结构多由外部设定,而非模型自主选择。