热点事件观察中

vLLM 推出推式 KV 传输，TTFT 最高提升 3 倍

1 篇报道1 个报道来源2 天前更新

先了解这件事

AI 综述

vLLM 新增 push 模式的 NIXL connector，把 prefill 之后的传输协调与建立过程移出首 token 关键路径。AWS 称，在 EC2 P5en 1P1D 部署、EFA 互联的测试中，Qwen3-32B 的 TTFT 最高改善 3 倍，TPOT 最高改善 30%。使用推式模式需在 prefill 和 decode 两端服务器都把 NixlConnector 配置为 NixlPushConnector。AWS 称，它适合能接受提前选定 decode 节点、以降低 TTFT 为优先的场景；需要双向 KV 传输，或要在 prefill 后按负载选择 decode 实例的工作负载，仍更适合拉式连接器。该功能先在 AWS Trainium 集群验证，后作为与加速器无关的特性贡献给 vLLM；AWS 称其可在其他受支持配置上运行，但性能会因硬件、模型、工作负载和网络配置而异。

AI 根据报道生成 · 2 小时前更新

最新进展10月20日 00:05

vLLM 推出基于 push 的 KV 传输，分拆推理 TTFT 最高提升 3 倍

报道时间线

沿着报道，了解事件的不同侧面。

10月20日

00:05
AWS Machine Learning Blog
vLLM 推出基于 push 的 KV 传输，分拆推理 TTFT 最高提升 3 倍
vLLM 新增 push 模式的 NIXL connector，把 prefill 后的传输协调与建立过程移出首 token 关键路径。在 AWS EC2 P5en 1P1D 部署、EFA 互联的测试中，Qwen3-32B 的 TTFT 最高改善 3 倍，TPOT 最高改善 30%。该功能先在 AWS Trainium 集群验证，再作为与加速器无关的特性贡献给 vLLM。

本事件热度走势

还没有足够的连续观测数据，暂不绘制趋势。