AWS 详解 vLLM 双向 KV 传输如何降低多轮智能体负载的 TTFT
AWS 在 vLLM 中实现双向 KV 传输,让 decode 节点在后续轮次把已计算的 KV 块回传给 prefill 节点,避免重复计算对话历史。在 Amazon EC2 P5en 实例的 1P1D 部署上,该功能使 Qwen3-32B 的 TTFT 最多降低 1.6 倍、zai-org/GLM-5-FP8 最多降低 3.3 倍。
AWS 在 vLLM 中实现双向 KV 传输,让 decode 节点在后续轮次把已计算的 KV 块回传给 prefill 节点,避免重复计算对话历史。在 Amazon EC2 P5en 实例的 1P1D 部署上,该功能使 Qwen3-32B 的 TTFT 最多降低 1.6 倍、zai-org/GLM-5-FP8 最多降低 3.3 倍。
vLLM 新增 push 模式的 NIXL connector,把 prefill 后的传输协调与建立过程移出首 token 关键路径。在 AWS EC2 P5en 1P1D 部署、EFA 互联的测试中,Qwen3-32B 的 TTFT 最高改善 3 倍,TPOT 最高改善 30%。该功能先在 AWS Trainium 集群验证,再作为与加速器无关的特性贡献给 vLLM。
Deepgram 与 AWS 合作将 Nova-3 语音转文本模型移植到 Trainium2,用于联络中心分析、医疗转写等离线批处理场景。最终配置在单台 Amazon EC2 trn2.3xlarge 实例上运行 8 个模型副本,按评估时实例价格计算,每美元处理的音频量比原有算力方案高 11%–70%。
TwelveLabs 的视频语言模型 Pegasus 1.5 已在 Amazon Bedrock 上线,可将长视频转为带时间戳的结构化 JSON 元数据。相比 Pegasus 1.2,单次请求可分析视频时长从 1 小时提升至 2 小时,并新增视频分段、参考图多模态提示和免预索引的即时处理。
Amazon SageMaker JumpStart 在 2026 年 1 月至 9 月新增超 100 个模型,覆盖 30 家提供商。阿里 Qwen 贡献 29 个模型,NVIDIA 17 个,Mistral 7 个,Google 6 个 Gemma 4 变体,IBM 和 Cohere 各 4 个。新增模型重点覆盖多模态、量化与紧凑模型以及图像视频生成能力。
AWS 宣布新客户可通过 Google、GitHub、Apple、Amazon 账号或邮箱注册,2–3 步即可进入已配置好的 SageMaker Studio 环境,无需填写高级账户信息、验证手机号或提供信用卡(多数客户)。
Amazon Bedrock 现已在 bedrock-runtime 和 bedrock-mantle 两个端点为所有 Anthropic Claude 模型提供结构化输出,返回符合所定义 JSON Schema 的响应。
推荐理由:原文说明了约束解码如何把输出格式从概率性变为确定性,并给出缓存与性能开销的具体细节。
AWS 博客演示用 AtScale 作为语义层、配合 Amazon Bedrock AgentCore 托管 Strands 智能体,构建 Customer 360 分析模式。
该教程演示如何用 Strategy Mosaic 作为语义层,在 Amazon Redshift 与 Amazon Aurora 上以两个链接模型建模 C360 域,无需 ETL。
本文演示如何用 Denodo Platform 作为语义层,通过 Denodo MCP Server 向托管在 Amazon Bedrock AgentCore 上的智能体暴露受治理视图,并联合查询 Amazon Aurora、Amazon Redshift 与本地 PostgreSQL 构建 Customer 360 视图。
Eon 基于 Amazon Bedrock AgentCore 的 MCP Gateway 搭建了统一的多云调查入口,用单一认证网关替代逐工具凭证和本地 MCP 进程,让开发者和自主智能体统一访问 AWS、GCP、Azure 三朵云上的调查工具。
i14 与 AWS 团队用 TorchNeuron Native 原生 PyTorch 将线性注意力模型 Laplace 3B 移植到 AWS Trainium2,保留 GLA 架构与 Muon 优化器。
Smartsheet 已在 AWS 推出正式可用的 MCP Server,AI 助手可通过标准化协议读写和管理 Smartsheet 数据,覆盖探索、创建与管理 sheet、行、列和自动化等 40 多个工具。
AWS 展示用 Amazon Quick 作为交互界面、Amazon Bedrock AgentCore 作为智能层,通过 MCP 服务器把 ERP、监控、采购等系统串成可组合工具层,让供应链管理者用自然语言跨系统提问。
在 Amazon SageMaker HyperPod 上对 GPT-OSS-20B 做多语言推理微调,基座模型在 50 例测试中仅 22% 用目标语言推理(法语、西班牙语、意大利语均为 0%)。
Octave 在 Amazon Bedrock 上为质量管理平台 Reliance 构建了多租户 AI 基础平台,用 Cohere Embed v4 完成 20 亿份文档的嵌入,并将单用例部署时间缩短 50%。该平台以每租户独立向量存储、AgentCore Gateway 隔离执行和 Guardrails 双向过滤三层架构,确保客户数据不跨租户边界。首个落地应用为投诉摘要与分诊助手。
Amazon Bedrock 的跨区域推理(CRIS)现支持从加拿大(中部)和加拿大西部(卡尔加里)区域调用 OpenAI GPT-6.1 Sol、GPT-6(Astra、Sol、Luna)和 GPT-5.6(Sol、Terra、Luna)。
AWS 介绍 Agent Registry 的运行时工具发现方案,让编排器不再把工具硬编码进智能体,而是按请求检索已批准的 MCP 服务器和 A2A 智能体记录。
GitHub 博客采访了 Vlad Mihalcea、Patrick Baumgartner 和 Frank Delporte 三位 Java Champion,分享他们在生产与开源项目中使用 GitHub Copilot 的具体做法。
AWS 与 Keyfactor 联合发布参考架构,用 Keyfactor EJBCA 的 X.509 PKI 为 AI 智能体建立可验证、可撤销的加密身份。
微软研究院播客对话 Catalyst Lab 负责人 Chris White,回顾他 2010 年夏天在 DARPA 参与阿富汗战场数据分析项目、随后赴阿富汗领导先进技术运营的经历,以及他后来转向暗网搜索工具以协助打击人口贩运。节目还讨论了他对问题选择在创新中的作用,以及在看尽人性阴暗面后仍保持希望的看法。
一家独立经营 Schlotzsky’s 和 Cinnabon 的加盟商借助 ChatGPT Work,将现金对账时间缩短 94%,菜单重新定价时间减少 95%。该加盟商还搭建了一套工作流,有望释放 10 万美元现金流。
Terminal X 的 Eval Agent 基于 54 项标准评分体系,用 GPT-6.1 Sol 对输出打分,与资深投资人判断的一致率达到 88.6%。相比此前,它能多捕捉 25% 偏离基金投资授权的输出。
巴塞罗那超级计算中心(BSC)的 AI Factory 加速器计划在试点后全面运营,为初创企业提供主权算力、技术支持和培训,部分服务已可通过 NVIDIA Inception 门户获取。
OpenAI 宣布收购 Orchestra Bio,将把 AI 驱动的运营能力引入生命科学研发,帮助生物制药团队加快药物开发并推进新疗法。
推荐理由:官方披露收购标的与用途,读者可了解 OpenAI 向生命科学研发场景延伸的动作。
NVIDIA 与德国联邦政府签署联合意向声明,将围绕物理 AI 前沿模型展开合作,并接入德国“工业 4.0 平台”。黄仁勋同时宣布对 Agile Robots、Avelios Medical、Mirelo、Reflex Aerospace 四家德国初创公司的新投资,属于 NVIDIA 对欧洲近 100 亿美元承诺的一部分。
GitHub Copilot 应用中的会话可直接在 VS Code 中打开并继续,对话、代码改动和工作上下文均保持不变。VS Code 会以该会话关联的 worktree 打开项目,并在 Copilot 侧边栏显示原会话,便于逐行审查 diff、手动编辑、本地运行测试,最后提交并推送到会话对应的 pull request。
NVIDIA 与欧洲广播联盟(EBU)扩大主权框架合作,引入主权云厂商、开放模型开发者和系统集成商,明确广播机构部署智能体时数据、基础设施、模型与安全的控制方式,NVIDIA Nemotron 开放模型可供定制。
OpenAI 正在改进 ChatGPT 在低资源编程语言上的表现,并新增了针对软件工程、SQLite 和 COBOL 迁移的评测。
NVIDIA RTX Spark 笔记本已上市,搭载 Blackwell RTX GPU 与 Grace CPU,最高 128GB 统一内存、最高 1 petaflop AI 算力,起售价 2399 美元。
Itaú 正通过对话式界面 ia.i 和治理平台 IARA,把 AI First 战略同时落到客户与员工两端。这家巴西银行在高度受监管的行业中推进生成式 AI 的规模化应用。
Benefit Street Partners 的 Anant Kumar 借助 Codex 进行代码审查并加快后续跟进,从而更快回答客户问题。他用 Codex 构建了用于比较贷款估值和分析信贷协议的工具。
Stack Overflow for Agents 借助 ChatGPT 插件将智能体创建量最高提升至 10 倍,注册量增长两倍。两名工程师用 Codex 在数周内完成了该产品的开发与上线。
OpenAI 推出 Rosalind 学术计划,为符合条件的学术实验室提供 GPT-Rosalind 及相关工具的赞助访问,用于推进生命科学研究。
推荐理由:OpenAI 面向学术实验室开放 GPT-Rosalind 的赞助访问,读者可据此了解生命科学研究的准入条件。
NVIDIA 发布面向创作者、游戏玩家和 AI 智能体的 Windows PC 产品 RTX Spark,并在全球多地举办发布活动。
推荐理由:原文给出 RTX Spark 的本地 AI 实测完成时间对比,可据此判断笔记本端侧推理的可用性。
Google DeepMind 展示生物学家如何用智能体开发平台 Google Antigravity 在 Streptococcus pseudopneumoniae 中寻找并计算验证新型抗菌肽,候选分子已进入湿实验验证阶段。
微软研究院发布零知识虚拟机 Magnetar,可直接证明用 Rust、Go 或 C 编写的程序执行过程,并输出可在约 12 毫秒内验证的简短证明。在 15 个基准程序上,它比同类最快的 zkVM 平均快 10 到 39 倍,在笔记本上每秒可证明 7.2 至 8.7 百万条 RISC-V 指令。
推荐理由:微软研究院梳理十余年零知识证明研究脉络,说明 Magnetar 如何在通用性、速度与密码学假设之间同时取得进展。
NVIDIA 发布 Nemotron 3.5 Super VL,这是 120B 参数的开源多模态模型,主打智能体任务的速度与准确率,官方称吞吐量最高可达同类模型的 5 倍。
推荐理由:NVIDIA 一次放出 120B 多模态与两款端侧模型,读者可据此判断本地智能体部署的选型空间。
NVIDIA DLSS 4.5 控制选项已在 GeForce NOW 上线,让会员在云端调整支持游戏的画质与性能,无需最新硬件。DLSS Super Resolution、Dynamic Multi Frame Generation 和 Ray Reconstruction 均可在设置中调节,RTX 5080 云主机上的 Ultimate 会员最高可用 4X 动态多帧生成。
NVIDIA 在都柏林 AI in Science Summit 上加入欧盟委员会发起的 AI in Science Enablers Initiative,为欧洲科研社区提供加速工具、算力与培训支持。