估算步骤
估算步骤
1) KV 池 = 卡显存 × util − 权重 − 工作区预留
2) 单序列 KV = bytes/token × 目标长度
3) 上限 = KV 池 ÷ 单序列 KV
4) 用 P95 长度重算,取保守值第 3 步是理论上限:块粒度、碎片与调度会打折,落地按 70%~80% 折算(见 safety-margin 条目)。
并发估算四步:算 KV 池(显存 × 引擎比例 − 权重 − 工作区预留)、算单序列 KV、相除得上限、再用 P95 长度保守重算;理论值再按折算系数落地。
1) KV 池 = 卡显存 × util − 权重 − 工作区预留
2) 单序列 KV = bytes/token × 目标长度
3) 上限 = KV 池 ÷ 单序列 KV
4) 用 P95 长度重算,取保守值