自监控对象
| 环节 | 关键指标 | 异常信号 |
|---|---|---|
| 采集端 | up、scrape_duration_seconds | up=0 或抓取超时 |
| 存储端 | prometheus_tsdb_head_series | 序列数异常增长 |
| 规则端 | prometheus_rule_group_last_evaluation_timestamp_seconds | 规则停滞不评估 |
| 通知端 | Alertmanager 通知失败计数 | 通道静默或投递失败 |
自监控的基础告警
自监控的基础告警
# 目标失联
up == 0
# 规则组超过 5 分钟未评估
time() - prometheus_rule_group_last_evaluation_timestamp_seconds > 300
# 采集耗时接近抓取超时
scrape_duration_seconds > 0.8 * scrape_timeout_seconds监控系统与被监控系统避免同机房同宿主强耦合，否则一起失联时无人知晓。