三件套
三件套
# 1) 启动日志：KV cache 可容纳 token 数与并发估计
# 2) 运行期水位：
nvidia-smi --query-gpu=memory.used --format=csv -l 5
# 3) 公式重算（见 kv-mem-formula）把校准后的系数写进部署文档：同型部署下次直接复用。
估算与实测闭环
用三份数据互相校准：启动日志的 KV 容量与并发估计、运行期 nvidia-smi 水位、公式计算值；偏差超出预期就回查系数（KV 头数、精度、长度口径）并更新容量表。
易错点
- 估算与实测各写各的：偏差不回收，下次规划继续拍脑袋
数据来源与参考
- vLLM 官方文档：显存与指标（docs.vllm.ai）
- NVIDIA nvidia-smi 文档（docs.nvidia.com/deploy/nvidia-smi）