质量问题分级与告警策略
所有告警走同一条路径的结果是重要问题被淹没。可行做法是先按影响面与紧迫度分级：影响资金口径、对客交付或大面积缺失的为最高级，影响内部报表的下一次级，业务可解释的轻微波动最低。不同级别对应不同的通知渠道（电话、群、值班工单、仅看板标记）与响应时限。同时要做告警抑制：同一根因（例如上游任务失败）触发的多条规则聚合成一条链路告警，已知业务波动窗口临时调整阈值并记录。
基本信息
| 分级依据 | 影响面（资金、对客、内部）与紧迫度 |
|---|---|
| 配套维度 | 通知渠道、响应时限、升级规则 |
| 抑制手段 | 根因聚合、波动窗口白名单、重复问题升级 |
| 落地要求 | 每条规则有级别、责任人与处置动作 |
| 复盘机制 | 定期统计各级别的告警量与处理时长 |
典型使用场景
- 核心交易表主键异常：立即电话通知值班并暂停下游交付
- 内部报表口径偏差：工作日群里通知，当日处理
- 大促期间的波动类规则：临时调整阈值并留记录，节后恢复
- 同一上游任务失败触发十条规则时，聚合为一条链路告警
- 长期未关闭的问题：按周期升级提醒，而不是反复重发同一条消息
分级示例
| 级别 | 判定 | 响应 | 通知方式 |
|---|---|---|---|
| 一级 | 影响资金、对客报表或大面积缺失 | 立即响应，暂停下游交付 | 电话加群通知 |
| 二级 | 内部报表口径偏差或局部缺失 | 当日处理 | 群通知加工单 |
| 三级 | 轻微波动、可归因业务因素 | 次日观察 | 看板标记 |
| 长期未闭环 | 超期未处理 | 升级提醒并纳入周报 | 按周升级 |
告警抑制思路
告警抑制思路
同一根因（上游任务失败）触发的多条规则 → 聚合成一条链路告警，附受影响表清单
已知业务波动窗口（大促、月结、节假日） → 临时调整阈值并记录生效时间与恢复时间
重复未关闭的问题 → 升级提醒而不是重复发送同一条消息
下游已确认不再使用的表 → 停用相关规则，而不是让告警长期存在告警治理的目标是每条告警都有人认领且有明确动作；数量再多而无人响应，只会消耗团队对质量体系的信任。
阈值长期不调整时，大促期间会出现告警风暴，值班逐渐对消息麻木，真正严重的问题也可能被延迟处理。
分级标准要写进规则配置而不是留在文档里：级别决定通知渠道与时限，配置化之后才能按级别统计处理时效。