常见构成
常见构成
算子工作区 / 中间张量
多卡通信缓冲（TP/EP）
CUDA Graph 捕获占位
统计与日志的小额开销估算阶段按显存比例预留处理（配合 gpu-memory-utilization），实测阶段对比总量校准。
激活与工作区：不可忽略的第三块
推理同样需要临时缓冲：算子工作区、中间张量、多卡通信缓冲、CUDA Graph 捕获占位等；随批次与后端实现变化，引擎通常按比例预留。
易错点
- 把工作区当零头：个别算子在后端切换或大 batch 时临时抬升峰值，OOM 只在特定组合出现
数据来源与参考
- vLLM 官方文档：显存占用与调优（docs.vllm.ai）