跳到正文
9月20日周日
  1. Qwen58

    Qwen 宣布 Qwen-Image-2.1 在 vLLM-Omni 获得 day-0 支持,可在一个模型中完成图像生成、编辑与透明图输出。据 vLLM 项目介绍,该模型由 7.1B 的 DiT 与 Qwen3-VL-8B 组成,配置与支持的组合见 recipes.vllm.ai/Qwen/Qwen-Image-2.1。

    引用vLLM@vllm_project

    Qwen-Image-2.1 from @Alibaba_Qwen has day-0 support in vLLM-Omni. 🎉 Generate, edit, and create transparent images with one model: a 7.1B DiT paired with Qwen3-VL-8B. Setup and supported combinations 👇 https://recipes.vllm.ai/Qwen/Qwen-Image-2.1

10月21日周三
  1. 智东西80

    谷歌与Meta PyTorch团队开源TorchTPU,可将PyTorch模型迁移至TPU

    谷歌宣布开源与Meta PyTorch团队共同开发的原生TPU软件栈TorchTPU,开发者用较少代码改动即可把现有PyTorch模型部署到TPU上。该方案已接入vLLM、SGLang、llm-d、TorchTitan、VeRL、Ray、Hugging Face和LiteRT等工具,覆盖训练、推理、强化学习、集群调度和端侧部署。

    推荐理由:谷歌开源原生TPU软件栈并给出8000颗Ironwood TPU的训练验证数据,可观察PyTorch生态向非英伟达硬件迁移的路径。

10月10日周六
  1. MiniMax (official)40

    MiniMax M3 现已在 NVIDIA Vera Rubin NVL72 上通过 vLLM 运行!🙌 感谢 @vllm_project、@inferact、@NVIDIAAI、@RedHat_AI 将 MiniMax M3 带到 Rubin 上。

    引用vLLM@vllm_project

    vLLM now supports NVIDIA Vera Rubin. The early results show more than 7.8x the throughput of GB200 on MiniMax M3 on AgentX. @inferact, @NVIDIAAI, @RedHat_AI, and the vLLM community have been bringing vLLM up on Rubin since it was announced. Here is where things stand. 🧵 1/5

10月21日周三
  1. Latent Space88

    DeepSeek 开源生产推理栈 DeepInfer,披露单集群 155T tokens/天与单卡每小时 38 美元收入

    DeepSeek 开源了支撑 V4.1 Flash 的生产推理栈 DeepInfer,并公布单集群每天处理 155 万亿 tokens、96% 输入缓存命中、单卡每小时 38 美元收入等生产数据。

    推荐理由:DeepSeek 开源生产推理栈并披露单集群吞吐与单卡收入,读者可据此对照 vLLM 复现结果判断其可迁移性。

今天10月23日周五