首页/云/可观测性速查/误报分析与阈值调参顺序
告警与响应50 条

误报分析与阈值调参顺序

误报三类来源:阈值贴边、观测窗过短、口径错误;处理顺序先修口径,再看历史分布定阈值,之后才考虑抑制。

可观测性速查云更新于 2026-10-12
  • 口径:分母、过滤条件、业务周期影响先核对
  • 分布:用历史数据看典型波动范围,取合理分位做阈值
  • 时间窗:拉长 for 与统计窗口过滤瞬时抖动
  • 抑制:只在存在因果依赖时使用,不滥用

用历史分布辅助定阈值(示例)

用历史分布辅助定阈值(示例)
# 过去 30 天服务平均延迟的 99 分位(5 分钟采样)
quantile_over_time(0.99,
  (sum by (service) (rate(http_request_duration_seconds_sum[5m]))
   / sum by (service) (rate(http_request_duration_seconds_count[5m])))[30d:5m])
调完观察两周再评估;频繁微调会让值班无法形成可靠预期。

易错点

  • 用调大阈值解决口径错误,会掩盖真实问题
  • 误报治理后不更新 runbook,值班仍按旧预案行动

数据来源与参考

  • Google SRE Workbook · Alerting
  • Prometheus 文档 · 查询函数
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌