典型启动命令
典型启动命令
vllm serve <模型路径> --port 8000 --host 0.0.0.0 --tensor-parallel-size 2 --gpu-memory-utilization 0.9 --max-model-len 8192 --served-model-name my-model常用参数
| 参数 | 作用 |
|---|---|
| --tensor-parallel-size | 张量并行卡数，单卡放不下权重时切分 |
| --gpu-memory-utilization | 显存使用比例（含 KV 缓存预算） |
| --max-model-len | 单请求上下文长度上限，直接影响 KV 显存 |
| --quantization | 量化内核，如 awq / gptq / fp8 |
| --served-model-name | 对外暴露的模型名（客户端 model 字段） |
| --enforce-eager | 禁用 CUDA Graph，便于调试、损失部分性能 |
调整 --gpu-memory-utilization 过高会挤压 KV 缓存空间，长上下文并发时反而更早 OOM；预留一成左右余量更稳。