检查表
检查表
□ 权重：精度 × 参数量，多卡按 TP 折减
□ KV：P95 长度 × 并发目标（见 concurrency-estimate）
□ 工作区：按比例预留
□ 同卡进程与监控占用
□ 启动日志 KV 容量 vs 估算值检查表过后再压测到目标并发：两道关都过才上线。
上线前 OOM 检查表
上线前逐项列账：权重（按精度与 TP 折减）、KV（按 P95 长度 × 目标并发）、工作区预留、同卡其它进程、加载阶段内存与磁盘、以及启动日志的 KV 容量核对。
易错点
- 跳过加载阶段检查：主机内存与磁盘问题会伪装成「模型加载失败」
数据来源与参考
- vLLM 官方文档：显存调优（docs.vllm.ai）
- NVIDIA 数据中心部署指南（docs.nvidia.com/datacenter）