基线与动态阈值是什么
有节律的业务曲线(白天高、夜间低)用固定阈值会频繁误报:白天正常流量就超过夜间设定的阈值,值班整天在关告警。解决办法是把判断基准从绝对值换成「与相似时段比」——用上周同期做对比,或对稳态指标用偏离均值若干倍标准差的规则。基线的前提是数据可比,大促与活动期间应当挂起这类告警。
基本信息
| 同比 | 与上周同一时刻比较,适合有周期性波动的指标 |
|---|---|
| 环比 | 与上一周期比较,适合容量与增长观察 |
| 动态阈值 | 偏离长期均值若干倍标准差时判定异常 |
| 前提条件 | 业务日历一致,活动期需挂起 |
典型使用场景
- 业务量监控:用周同比判断今天是否异常偏低
- 容量预警:用环比观察磁盘与连接数增长趋势
- 稳态指标异常:对错误率这类低波动指标用标准差判定
- 活动期豁免:活动与节假日窗口挂起基线类告警
- 发布对照:对比发布前后同类时段的数据
同比与偏离度查询
同比与偏离度查询
# 与上周同期对比:当前值是上周的多少倍
sum(rate(api_requests_total[5m]))
/ sum(rate(api_requests_total[5m] offset 1w))
# 偏离长期均值 3 倍标准差以上(简化示例)
(sum(rate(api_requests_total[5m])) - avg_over_time(api_requests_total[30d]))
/ stddev_over_time(api_requests_total[30d]) > 3
# 同比查询前先确认业务日历一致:节假日会让整体偏移
# 活动期间建议使用静默或独立阈值,避免基线告警刷屏方法对照
| 方法 | 适用指标 | 主要问题 |
|---|---|---|
| 固定阈值 | 语义明确的硬线,如磁盘 90% | 有节律的指标误报频繁 |
| 周同比 | 日周期明显的业务量 | 节假日整体偏移 |
| 环比 | 容量与增长类 | 对突发阶跃不敏感 |
| 标准差偏离 | 稳态低波动指标 | 对尖刺不鲁棒,需固定阈值兜底 |
基线类告警要配业务日历:大促、节假日、定期批量任务都会改变正常形态,把已知的特殊窗口维护成豁免清单比事后解释误报划算。
标准差类统计对极端值敏感:历史数据里出现过一次大尖峰会让后续判定变得迟钝,长期运行时应定期复核统计窗口。