Qwen-Image-2.1 from @Alibaba_Qwen has day-0 support in vLLM-Omni. 🎉 Generate, edit, and create transparent images with one model: a 7.1B DiT paired with Qwen3-VL-8B. Setup and supported combinations 👇 https://recipes.vllm.ai/Qwen/Qwen-Image-2.1
搜索“vLLM”
Qwen@Alibaba_QwenAI 评分5858引用vLLM@vllm_project
智东西精选AI 评分8080 谷歌与Meta PyTorch团队开源TorchTPU,可将PyTorch模型迁移至TPU
谷歌宣布开源与Meta PyTorch团队共同开发的原生TPU软件栈TorchTPU,开发者用较少代码改动即可把现有PyTorch模型部署到TPU上。该方案已接入vLLM、SGLang、llm-d、TorchTitan、VeRL、Ray、Hugging Face和LiteRT等工具,覆盖训练、推理、强化学习、集群调度和端侧部署。
推荐理由:谷歌开源原生TPU软件栈并给出8000颗Ironwood TPU的训练验证数据,可观察PyTorch生态向非英伟达硬件迁移的路径。
MiniMax (official)@MiniMax_AIAI 评分4040引用vLLM@vllm_projectvLLM now supports NVIDIA Vera Rubin. The early results show more than 7.8x the throughput of GB200 on MiniMax M3 on AgentX. @inferact, @NVIDIAAI, @RedHat_AI, and the vLLM community have been bringing vLLM up on Rubin since it was announced. Here is where things stand. 🧵 1/5
Latent Space精选AI 评分8888 DeepSeek 开源生产推理栈 DeepInfer,披露单集群 155T tokens/天与单卡每小时 38 美元收入
DeepSeek 开源了支撑 V4.1 Flash 的生产推理栈 DeepInfer,并公布单集群每天处理 155 万亿 tokens、96% 输入缓存命中、单卡每小时 38 美元收入等生产数据。
推荐理由:DeepSeek 开源生产推理栈并披露单集群吞吐与单卡收入,读者可据此对照 vLLM 复现结果判断其可迁移性。
MarkTechPostAI 评分6060 Liquid AI 发布实时推理引擎 RIPL,称 LFM 端到端延迟低于 50 ms
Liquid AI 发布实时推理引擎 RIPL(Real-time Inference Pipeline),用于在实时请求路径中服务 230M 到 2.6B 参数的 LFM2.5 模型,称端到端完整响应低于 50 ms。