延迟指标分解
| 指标 | 含义 | 优化方向 |
|---|---|---|
| 排队时长 | 等待容量与调度 | 扩容、限流、优先级 |
| TTFT | 首个 token 的延迟 | 预处理优化、缓存、提示瘦身 |
| TPOT | 每个输出 token 的耗时 | 模型与批处理策略、输出精简 |
| 校验收尾 | 格式检查与后处理 | 并行化、简化校验路径 |
埋点口径
埋点口径
t0 请求进入
t1 开始推理（排队结束）
t2 首 token 返回（TTFT = t2 - t1）
t3 完成（总时长 = t3 - t0）
统计: P50 / P95 / P99 分开看生成延迟的分解度量
把端到端延迟拆成排队、首 token（TTFT）与逐 token 生成（TPOT）：不同环节优化手段不同，分开监控才能定位瓶颈。
易错点
- 把排队时间算进模型耗时，误判为模型变慢
- 只看 P50，忽略长尾对用户体验的影响
数据来源与参考
- MLPerf Inference 基准中的 TTFT 与 TPOT 指标概念；推理服务性能文档