分档容量表（示意）
分档容量表（示意）
档位 输入/输出 单序列 KV（按同系数折算） 并发上限
短问答 1K / 0.5K ~0.5 GiB 按池折算
长文摘要 8K / 1K ~3 GiB 按池折算
文档分析 32K / 2K ~12 GiB 按池折算输出长度决定 KV 持有时间：容量表里同时考虑长度与请求停留时长。
按长度分布做容量表
估算用的「长度」不是单点：输入与输出分布不同、P50 与 P95 常差数倍；按业务分档做容量表比一个平均数更接近真实表现。
易错点
- 拿评测集平均长度做规划：生产流量长尾更重，先采集真实分布再算
数据来源与参考
- vLLM 官方文档：吞吐与延迟指标（docs.vllm.ai）
- NVIDIA 开发者博客：LLM 推理吞吐（developer.nvidia.com/blog）