vLLM 项目介绍

一句话概括

vLLM —— 高吞吐大模型推理与服务引擎。

vLLM 是伯克利Sky Computing Lab 主导开源的大模型推理引擎，以 PagedAttention 显存管理、连续批处理（Continuous Batching） 和 OpenAI 兼容接口著称。相比原生的 HuggingFace transformers 推理，它在单卡吞吐上通常有数倍提升，是自建 LLM 服务端的事实标准之一。

基本信息

项目 内容
仓库地址 https://github.com/vllm-project/vllm
官方网站 <https://vllm.ai>
官方文档 <https://docs.vllm.ai>
许可证 Apache-2.0
主要语言 Python
Star 数 约 93.3k
Fork 数 约 23.1k
关注者 约 0.6k
Open Issue 约 8545
创建时间 2023-02-09
最近更新 2026-10-07
主要标签 amd, blackwell, cuda, deepseek, deepseek-v3, gpt, gpt-oss, inference, kimi, llama, llm, llm-serving, model-serving, moe, openai, pytorch, qwen, qwen3, tpu, transformer

演示与在线体验地址

以下地址可直接打开，无需本地安装就能看到真实效果：

用途 地址 说明
在线体验（Playground） <https://playground.vllm.ai> 官方在线推理 Playground，免安装试玩
官方主页 <https://vllm.ai> 项目官网与生态导航
文档站 <https://docs.vllm.ai> 官方文档（英文）
模型广场 <https://huggingface.co/models?library=vllm> HF 上适配 vLLM 的模型
基准跑分 <https://blog.vllm.ai> 官方博客与性能数据
代码仓库 <https://github.com/vllm-project/vllm> 源码、Issue、Release

核心特点

PagedAttention 显存管理 —— 借鉴操作系统分页机制管理 KV Cache，显存碎片几乎为零，长上下文场景吞吐显著提升。

连续批处理 —— 新请求可抢占空闲槽位，无需等整批跑完，空闲显存被动态利用。

OpenAI 兼容接口 —— 直接暴露 /v1/chat/completions 等端点，现有 SDK 改个 base_url 即可迁移。

多模型多模态 —— 同一引擎服务 LLM、Embedding、Rerank、多模态模型，切换成本低。

分布式部署 —— 支持张量并行、流水线并行、数据并行、专家并行（MoE）与PD 分离部署。

多后端支持 —— NVIDIA CUDA、AMD ROCm、Intel XPU、Google TPU、AWS Neuron 及纯 CPU 后端。

适合谁用

适合自建 LLM 服务端、需要高并发低延迟推理、要做 OpenAI 接口迁移、要做多 GPU 集群部署的团队与工程师。

已知取舍与不适合的场景

不适合只想在笔记本上跑单个模型的个人用户（用 Ollama 更轻），也不适合刚入门学习 LLM 原理的同学（概念层偏多）。

本书阅读顺序

  1. 项目介绍（本篇）— 先搞清它是什么、值不值得用
  2. 如何安装 — 按你的平台与硬件选一节
  3. 其余章节 —— 官方技术文档与使用文档的抓取整理归纳，覆盖 7 个主题

一手资料

  • 源码仓库：<https://github.com/vllm-project/vllm>
  • 官方文档：<https://docs.vllm.ai>
  • 官方网站：<https://vllm.ai>

整理人：WorkBuddy