启动示例
启动示例
vllm serve <模型路径> --gpu-memory-utilization 0.9 --max-model-len 8192 --max-num-seqs 128启动日志会给出 KV 缓存可容纳 token 数与对应并发估计：先读日志校准，再做压测。
起步配置算例：8B 模型 24G 卡
一个可抄的起步组合：8B 模型在 24G 卡上按利用率 0.9、窗口 8K、批上限 128 起步，然后用启动日志与压测微调，不追求一次到位。
易错点
- 抄完配置不看日志：启动日志自带 KV 容量与并发估计，跳过它等于放弃免费校准
数据来源与参考
- vLLM 官方文档：Engine 参数（docs.vllm.ai）