四块构成
| 组成 | 决定因素 | 随并发增长 |
|---|---|---|
| 权重 | 参数量 × 精度字节 | 否（多卡按并行切分） |
| KV 缓存 | 窗口 × 并发 × 结构 × 精度 | 是（线性） |
| 激活/工作区 | 批次、算子与后端实现 | 是（较弱） |
| 框架/驱动/通信缓冲 | 引擎与并行配置 | 基本固定 |
分阶段估算：先按权重确认模型装得下，再按 KV 池推算并发上限，最后用实测曲线校准。
显存预算四块构成
单卡显存预算分四块：权重、KV 缓存、激活与工作区、框架/驱动开销；权重决定「跑不跑得起来」，KV 决定「能并发多少」，两张表分开估算再合账。
易错点
- 只算权重就上卡：KV 与工作区没有预留，一上并发就 OOM
数据来源与参考
- vLLM 官方文档：显存占用与调优（docs.vllm.ai）
- NVIDIA 数据中心部署指南（docs.nvidia.com/datacenter）