批大小与吞吐曲线
批大小与吞吐是曲线关系：小批阶段吞吐近似线性上升，批次进入饱和后增幅明显放缓，同时 KV 压力与抢占开始出现。工程上找饱和点比一味加大参数更有效，因为超出饱和点的收益有限，代价却落在尾延迟与稳定性上。
基本信息
| 小批阶段 | 吞吐近似线性上升 |
|---|---|
| 大批阶段 | 进入饱和、收益递减 |
| 饱和之后 | KV 压力与抢占出现 |
| 关键动作 | 扫描档位找拐点 |
| 结果用途 | 形成本环境容量基线 |
典型使用场景
- 上线前标定单实例的合理并发档位
- 解释「加了并发吞吐却没涨」
- 给自动扩缩容提供触发依据
- 换模型或换版本后重新标定基线
- 把测出的饱和点写进容量文档，作为扩缩容阈值的输入
扫描找拐点
扫描找拐点
# 用压测工具扫并发档位（1/4/8/16/32/64），记录吞吐与 P95
# 吞吐增幅开始明显放缓的档位即接近饱和区
# 每次只改一个维度，扫完把结果做成表格留存三个阶段的表现
| 阶段 | 吞吐表现 | 风险 |
|---|---|---|
| 线性区 | 随并发近似线性 | 低 |
| 饱和区 | 增幅明显放缓 | 尾延迟上升 |
| 过饱和 | 吞吐不再增长 | 抢占与错误率上升 |
饱和点随输入输出长度结构变化：按业务画像分别标定，不要用一个常数套所有场景。
把扫描档位与结果做成表格留存，形成本环境的容量基线；换模型或版本时用同一张表复测对比，变化一目了然。
扫描时固定输入输出长度：长度变化带来的吞吐差异往往比并发档位更大，混在一起扫出来的曲线读不出拐点。
饱和点会随窗口与批次设置移动：把扫描时的配置一并记下，否则下次复测对不上数，还会误判成版本退化。