首页/云/可观测性速查/基线、同比与动态阈值
监控体系与方法40 条

基线、同比与动态阈值

有节律的业务曲线(白天高、夜间低)用固定阈值会频繁误报;用上周同期(offset 1w)做基线对比,或对稳态指标做时间序列异常检测更稳。

可观测性速查云更新于 2026-10-13

基线与动态阈值是什么

有节律的业务曲线(白天高、夜间低)用固定阈值会频繁误报:白天正常流量就超过夜间设定的阈值,值班整天在关告警。解决办法是把判断基准从绝对值换成「与相似时段比」——用上周同期做对比,或对稳态指标用偏离均值若干倍标准差的规则。基线的前提是数据可比,大促与活动期间应当挂起这类告警。

基本信息

同比与上周同一时刻比较,适合有周期性波动的指标
环比与上一周期比较,适合容量与增长观察
动态阈值偏离长期均值若干倍标准差时判定异常
前提条件业务日历一致,活动期需挂起

典型使用场景

  • 业务量监控:用周同比判断今天是否异常偏低
  • 容量预警:用环比观察磁盘与连接数增长趋势
  • 稳态指标异常:对错误率这类低波动指标用标准差判定
  • 活动期豁免:活动与节假日窗口挂起基线类告警
  • 发布对照:对比发布前后同类时段的数据

同比与偏离度查询

同比与偏离度查询
# 与上周同期对比:当前值是上周的多少倍
sum(rate(api_requests_total[5m]))
  / sum(rate(api_requests_total[5m] offset 1w))

# 偏离长期均值 3 倍标准差以上(简化示例)
(sum(rate(api_requests_total[5m])) - avg_over_time(api_requests_total[30d]))
  / stddev_over_time(api_requests_total[30d]) > 3

# 同比查询前先确认业务日历一致:节假日会让整体偏移
# 活动期间建议使用静默或独立阈值,避免基线告警刷屏

方法对照

方法适用指标主要问题
固定阈值语义明确的硬线,如磁盘 90%有节律的指标误报频繁
周同比日周期明显的业务量节假日整体偏移
环比容量与增长类对突发阶跃不敏感
标准差偏离稳态低波动指标对尖刺不鲁棒,需固定阈值兜底
基线类告警要配业务日历:大促、节假日、定期批量任务都会改变正常形态,把已知的特殊窗口维护成豁免清单比事后解释误报划算。
标准差类统计对极端值敏感:历史数据里出现过一次大尖峰会让后续判定变得迟钝,长期运行时应定期复核统计窗口。

易错点

  • 用周同比时遇到节假日会整体偏移,断言前先确认业务日历
  • 标准差类统计对尖刺不鲁棒,关键告警仍需固定阈值兜底,不能只靠动态阈值
  • 基线窗口选得过短会把正常波动当成异常,告警频繁触发损耗值班信任
  • 活动期不挂起基线告警时,误报量会淹没真实故障信号

数据来源与参考

  • Prometheus 文档 · offset 修饰符与函数
  • Grafana 文档 · 时间对比查询
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌