首页/AI/大模型部署与运维速查/并发估算流程:从 KV 池倒推
本包目录(267 条)
部署形态与选型43 条推理环境与 GPU50 条推理参数与优化50 条
显存与并发估算40 条
服务化与网关34 条运维监控与排障50 条

并发估算流程:从 KV 池倒推

并发估算四步:算 KV 池(显存 × 引擎比例 − 权重 − 工作区预留)、算单序列 KV、相除得上限、再用 P95 长度保守重算;理论值再按折算系数落地。

估算步骤

估算步骤
1) KV 池 = 卡显存 × util − 权重 − 工作区预留
2) 单序列 KV = bytes/token × 目标长度
3) 上限 = KV 池 ÷ 单序列 KV
4) 用 P95 长度重算,取保守值
第 3 步是理论上限:块粒度、碎片与调度会打折,落地按 70%~80% 折算(见 safety-margin 条目)。

易错点

  • 用平均长度估并发:长请求扎堆时直接触发抢占,容量评估必须看长度分布的高水位

数据来源与参考

  • vLLM 官方文档:显存与吞吐调优(docs.vllm.ai)
  • NVIDIA 开发者博客:LLM 推理优化(developer.nvidia.com/blog)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌