设置示例
设置示例
vllm serve <模型路径> --gpu-memory-utilization 0.85 # 与其它进程共存时下调调低比例后并发上限随之变化：数值调整要配合压测重新确认容量结论。
gpu-memory-utilization：显存用量比例
vLLM 的 --gpu-memory-utilization 控制引擎对单卡显存的用量比例（默认 0.9）：比例越高 KV 池越大、并发上限越高，留给同卡其他进程的余量越小。
易错点
- 拉到 0.95 换并发：驱动与其他进程的少量需求会顶破边界，表现为偶发 OOM
数据来源与参考
- vLLM 官方文档：Engine 参数（docs.vllm.ai）