搜索“vLLM”

谷歌与Meta PyTorch团队开源TorchTPU，可将PyTorch模型迁移至TPU

谷歌宣布开源与Meta PyTorch团队共同开发的原生TPU软件栈TorchTPU，开发者用较少代码改动即可把现有PyTorch模型部署到TPU上。该方案已接入vLLM、SGLang、llm-d、TorchTitan、VeRL、Ray、Hugging Face和LiteRT等工具，覆盖训练、推理、强化学习、集群调度和端侧部署。

AWS 详解 vLLM 双向 KV 传输如何降低多轮智能体负载的 TTFT

AWS 在 vLLM 中实现双向 KV 传输，让 decode 节点在后续轮次把已计算的 KV 块回传给 prefill 节点，避免重复计算对话历史。在 Amazon EC2 P5en 实例的 1P1D 部署上，该功能使 Qwen3-32B 的 TTFT 最多降低 1.6 倍、zai-org/GLM-5-FP8 最多降低 3.3 倍。

vLLM 推出基于 push 的 KV 传输，分拆推理 TTFT 最高提升 3 倍

vLLM 新增 push 模式的 NIXL connector，把 prefill 后的传输协调与建立过程移出首 token 关键路径。在 AWS EC2 P5en 1P1D 部署、EFA 互联的测试中，Qwen3-32B 的 TTFT 最高改善 3 倍，TPOT 最高改善 30%。该功能先在 AWS Trainium 集群验证，再作为与加速器无关的特性贡献给 vLLM。

腾讯混元发布 Hy-Memory-30B-A3B-FP8 记忆写入模型

腾讯混元发布 Hy-Memory-30B-A3B-FP8，这是 Hy-Memory-30B-A3B 的 FP8 量化版本，针对 vLLM 部署优化。

MiniMax (official)@MiniMax_AI· 13:34AI 评分4040

MiniMax M3 现已在 NVIDIA Vera Rubin NVL72 上通过 vLLM 运行！🙌 感谢 @vllm_project、@inferact、@NVIDIAAI、@RedHat_AI 将 MiniMax M3 带到 Rubin 上。

Qwen@Alibaba_Qwen· 21:52AI 评分5858

Qwen 宣布 Qwen-Image-2.1 在 vLLM-Omni 获得 day-0 支持，可在一个模型中完成图像生成、编辑与透明图输出。据 vLLM 项目介绍，该模型由 7.1B 的 DiT 与 Qwen3-VL-8B 组成，配置与支持的组合见 recipes.vllm.ai/Qwen/Qwen-Image-2.1。