长度分布决定容量
容量估算里的「长度」不是一个点：输入与输出分布不同，P50 与 P95 常差数倍，长尾请求还会长时间占着 KV 空间。按业务分档做容量表，比用一个平均长度估算更接近真实表现，也更容易解释压测结果与线上表现的差距。
基本信息
| 输入长度 | 按业务分档统计 P50/P95 |
|---|---|
| 输出长度 | 决定 KV 的持有时间 |
| 并发估算 | 按档位分别折算 |
| 长尾影响 | 少数长请求显著抬高占用 |
| 数据来源 | 优先用线上日志 |
典型使用场景
- 规划新实例时估算可承载的并发
- 解释压测结果与线上表现的差距
- 判断是否要把长请求单独分池
- 评估上下文裁剪策略能省下多少资源
分档容量表（示意）
分档容量表（示意）
# 档位 输入/输出 单序列 KV 占用 建议并发
# 短问答 1K / 0.5K 较小 高
# 长文摘要 8K / 1K 中等 中
# 文档分析 32K / 2K 较大 低
# 系数按实际模型与精度折算，不要照抄数值按档位定策略
| 档位 | 特征 | 策略 |
|---|---|---|
| 短问答 | 输入输出都短 | 提高并发 |
| 长文摘要 | 输入长输出短 | 关注 prefill 开销 |
| 文档分析 | 输入极长 | 分池或限流 |
输出长度决定 KV 的持有时间：容量表要同时考虑长度与请求停留时长，只算输入长度会低估占用。
采样来源优先用线上日志：评测集长度偏短且集中，拿它做规划往往会高估可承载的并发。
统计时把流式与非流式请求分开：两者的输出长度分布明显不同，混在一起会把真实形态抹平。
分布会随业务节奏变化：工作日与活动期的长度结构可能完全不同，容量表要标注适用时段，过季就重算。
分布要按业务线分别统计：不同调用方的长度结构可能差一个量级，合并成一个分布会把长尾抹平。