← 返回项目导航
推理部署vllm-project/vllm
vLLM
高吞吐推理引擎,正式部署模型服务的首选
- Star
- 97k
- 主要语言
- Python
- 许可证
- Apache-2.0
- 最近提交
- 2026-11-21
这是什么
PagedAttention 把显存利用和并发拉满,同样显卡能扛几倍于朴素的推理。上生产基本绕不开。
快速上手
pip install vllm官方入口
本站相关报道
- Buoyant Releases Kinference: An Open Source Inference Control Plane for Kubernetes and vLLMMarkTechPost · 2026-11-07
- vLLM Semantic Router Releases d3-ultra: A 27B Open Multimodal Decision ModelMarkTechPost · 2026-10-27
- vLLM 不只是开源推理引擎:用实测回答每个决策,用 vLLM 服务、估算、调优并排障开源模型X:meng shao (@shao__meng) · 2026-10-25
- Push-based KV transfer to improve TTFT and TPOT for disaggregated inference in vLLMAWS Machine Learning Blog · 2026-10-20
- Improve TTFT for multi-turn agentic workloads with bi-directional KV transfer in vLLMAWS Machine Learning Blog · 2026-10-20
数据同步于 2026-11-21,来源 GitHub 公开接口。