首页/AI/提示词工程速查/延迟看分位数(P95/P99)
评估与迭代50 条

延迟看分位数(P95/P99)

平均延迟掩盖长尾:报告 P50/P95/P99 与超时率;首字节与完整输出分开测,流式场景对体验影响不同。

提示词工程速查AI更新于 2026-10-12

延迟报告模板

延迟报告模板
P50 首字节:0.6s    P50 完整:1.8s
P95 首字节:1.4s    P95 完整:4.2s
P99 完整:8.9s
超时率(>10s):0.4%
备注:采样自生产流量的 2%
分位P95/P99 决定用户体验与超时预算
分段首字节与完整输出分开报;流式输出首字节更关键
场景同步接口与异步批处理的目标值不同

易错点

  • 平均值被大量快请求拉低,掩盖慢请求问题;用分位数列报告
  • 采样偏差:只测低峰时段会低估高峰延迟

数据来源与参考

  • 在线服务性能指标实践(分位数延迟与尾延迟)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌