理论值到落地值
从理论容量到能对外承诺的落地容量，中间隔着几项开销：缓存按块分配产生的碎片、运行时工作区、监控与日志代理占用的显存，以及突发批次。把这些留出余量再折算，容量承诺才靠谱。做法是先保守上线，再按监控到的水位与延迟逐步放量。
基本信息
| 适用平台 | 自托管推理服务的容量规划 |
|---|---|
| 折算比例 | 理论并发按七成到八成评估 |
| 额外预留 | 再留百分之五到十给突发批次与系统进程 |
| 校准依据 | 上线后的显存水位与延迟分位数 |
折算示例
折算示例
理论并发 100 → 落地按 70~80 评估
再预留 5%~10% 显存给突发批次与系统进程余量覆盖的开销项
| 开销项 | 量级示意 | 说明 |
|---|---|---|
| 块粒度与碎片 | 随序列长度分布波动 | 缓存分块分配的边角开销 |
| 调度与工作区 | 固定加波动 | 运行时缓冲与预留 |
| 系统与监控进程 | 相对固定 | 监控、日志代理等占用 |
| 突发批次 | 与流量形态相关 | 并发瞬时冲高时的额外占用 |
典型使用场景
- 容量承诺：对外报数时用折算后的值
- 扩容触发：把水位阈值设在余量之上，而不是贴着上限
- 压测设计：压到折算值附近就应看到延迟上扬，用来验证余量是否合理
- 复盘校准：每次故障后回看实际水位与估算值的偏差
余量以监控数据收敛：先保守上线，再按水位与延迟指标逐步放量。
把折算系数写进部署文档：同型部署下次直接复用，不必重新拍脑袋。
余量要靠实测验证：压到估算的并发上限附近观察延迟是否上扬，出现明显上扬说明余量已经用尽，需要重新折算而不是硬扛。