GitHub Store
vllm-project

vllm

vllm-project

vLLM 是一个高吞吐、省显存的大语言模型推理与服务引擎（Python），以 PagedAttention 与连续批处理为核心，提供 OpenAI 兼容 API，支持 200 多种模型架构与多种硬件后端。

v0.32.0
发布于
10 天前
94,207
星标
608,798
下载
同步于
8 天前

最新版本

v0.32.02026年10月18日 14:50
下载慢？可在上方随时切换镜像源

项目说明

项目概述

vLLM 是一个快速易用的大语言模型推理与服务库，诞生于 UC Berkeley，现由两千多名贡献者共同维护。它通过 PagedAttention 管理 GPU 显存、以连续批处理调度请求，能在相同硬件上大幅提升服务吞吐，并直接提供 OpenAI 兼容 API。支持 200 多种 Hugging Face 模型架构，覆盖 LLM、多模态与嵌入模型。

一条命令把大模型变成高性能 API 服务，硬件利用率显著提升。

项目 内容
平台 Linux 为主，支持 NVIDIA、AMD、Intel GPU 与 x86/ARM CPU
语言 Python
许可 Apache-2.0
模型支持 200+ Hugging Face 架构

主要功能

  • PagedAttention：像管理操作系统内存页一样管理 KV Cache，显存利用率高
  • 连续批处理：请求随到随入批，配合分块预填充与前缀缓存
  • 高性能内核：内置 FlashAttention、FlashInfer 等优化注意力内核
  • 量化支持：FP8、INT8、GPTQ、AWQ、GGUF 等多种量化方案
  • OpenAI 兼容 API：直接对接现有 OpenAI SDK 生态，另有 Anthropic 与 gRPC 接口
  • 结构化输出：用 xgrammar 等约束生成 JSON 等固定格式
  • 分布式推理：张量、流水线、数据、专家并行多种切分方式
  • 多 LoRA：一个服务实例同时挂载多个 LoRA 适配器
  • 投机解码：n-gram、EAGLE 等方案加速生成

适用人群

  • 自托管大模型 API 的后端工程师
  • 需要批量离线推理的数据团队
  • 把开源模型部署到生产环境的企业
  • 研究 LLM 服务性能的算法工程师

快速上手

  1. 安装（推荐 uv）：
uv pip install vllm
vllm download-kernels
  1. 启动 OpenAI 兼容服务：
vllm serve <模型名>
  1. 把 OpenAI SDK 指向本地端口即可调用，详见官方快速开始文档

核心优势

  • 吞吐高：同等硬件下服务能力大幅提升，成本随之降低
  • 生态兼容：Hugging Face 模型即插即用，API 与 OpenAI 一致
  • 硬件面广：NVIDIA、AMD、Intel GPU 与 CPU、TPU 等多种后端

系统要求

项目 要求
操作系统 Linux 为主
硬件 NVIDIA/AMD/Intel GPU、x86/ARM CPU、TPU 等
语言环境 Python

注意事项

  • 安装环境：GPU 版需按本机 CUDA 环境选择对应 PyTorch wheel，从源码编译更复杂
  • 内核预下载：安装后执行 vllm download-kernels 可加快服务启动

历史版本

排序