vLLM 推理引擎与 PagedAttention

vLLM 是 GPU 上的高吞吐推理与服务引擎：用 PagedAttention 按块管理 KV 缓存、连续批处理提升 GPU 利用率，并自带 OpenAI 兼容 HTTP 接口，是把开源权重封装成在线 API 的常用方案。

安装与启动（通用写法）

pip install vllm
vllm serve <模型名或本地路径> --port 8000
# 旧式等价入口：
python -m vllm.entrypoints.openai.api_server --model <模型名或本地路径>

curl http://127.0.0.1:8000/v1/models

vLLM 迭代快：参数以 vllm serve --help 为准，生产环境固定版本号并使用匹配 CUDA 的预编译 wheel。

‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌