告警静默是什么
发布或维护窗口内，可以用告警静默（silence）临时屏蔽已知噪声，减少对值班的干扰：范围、时长、原因、创建人都要记录。风险在于静默会连真实故障一起吞掉，关键告警在静默期间要有旁路核对手段；静默到期后要清理，不能让它变成长期屏蔽。静默是窗口期的过渡手段，治本还要靠调阈值与改告警规则。
基本信息
| 用途 | 计划维护、发布窗口、演练期间的已知噪声 |
|---|---|
| 方式 | Alertmanager silence，或监控平台的维护窗口 |
| 要素 | 匹配器、开始与结束时间、原因、创建人 |
| 风险 | 静默掩盖真实故障，关键告警需要人工旁路核对 |
| 管理 | 到期自动解除，定期审计长期静默 |
| 替代 | 已知噪声先考虑调阈值，静默只兜窗口期 |
| 排查 | 用 amtool silence query 查看未到期静默 |
限时静默示例
限时静默示例
amtool silence add alertname=HighLatency \
--duration=1h --comment="release window" \
--alertmanager.url=http://alertmanager:9093 # 限时静默
amtool silence query # 查看未到期静默
# 静默期间人工盯核心 SLI 面板 # 旁路核对典型使用场景
- 发布窗口：屏蔽发布引发的短暂抖动告警
- 计划维护：维护期间已知会触发的实例不可达告警
- 演练：演练注入的故障对应告警按需静默
- 批量变更：集群级操作期间的已知噪声
- 值班减负：对长期不动作的噪声先治理再静默
- 应急扩容：扩容过程中容量告警短时静默
- 工单联动：静默写明关联工单号，事后可追溯
静默要素与要求
| 要素 | 要求 | 风险 |
|---|---|---|
| 匹配器 | 尽量精确到具体告警与实例 | 范围过宽会吞掉真实告警 |
| 持续时间 | 与窗口对齐并设置上限 | 超期静默无人记得解除 |
| 原因注释 | 写明发布或维护事项 | 审计时无法解释为何静默 |
| 创建人 | 用本人账号创建 | 团队账号无法追溯责任 |
| 旁路核对 | 静默期间人工查看关键 SLI | 完全闭眼风险最高 |
静默只对已知噪声使用：静默期间仍要人工查看核心 SLI 面板。
到期自动解除加定期审计长期静默：防止屏蔽变成习惯。
已知噪声的根治手段是调阈值或改告警规则，静默只是窗口期的过渡。
静默与发布窗口互相印证：窗口结束先确认没有遗留静默再收工。