调度监控不能只盯失败
调度监控最常见的误区是只监控任务失败。线上事故里，「任务成功但数据没落地」「该跑的时候还在排队」「运行时长比平时翻了一倍」都比直接失败更隐蔽，等到业务方来问才发现。建议把任务状态类指标和产出新鲜度放在同一个值班面板上，并按业务链路组织，这样一眼就能看出订单链路、支付链路今天是否正常。
基本信息
| 状态类指标 | 任务失败数、连续失败次数、未按时开始 |
|---|---|
| 时长类指标 | 运行时长与历史基线的对比 |
| 产出类指标 | 目标分区最晚就绪时间、表最近更新时间 |
| 补数类指标 | 回填区间完成情况 |
典型使用场景
- 值班面板：按业务链路组织，快速判断故障影响面
- 失败聚合：同一故障的上百条告警要归并，避免告警风暴
- 产出新鲜度：盯目标分区就绪时间，覆盖「成功但没数据」
- 运行时长基线：超出基线若干倍即预警，提前发现慢查询与数据倾斜
- 补数进度：大批量回填时跟踪完成度，卡住及时人工介入
指标数据来源
指标数据来源
调度平台 API 或元数据库：任务实例状态、开始与结束时间、排队时长
数仓元数据：分区最新 dt、表最近更新时间、数据量趋势
日志与重试记录：异常堆栈、重试次数、失败原因分类
告警通道：分级通知渠道与升级规则配置指标与告警参考
| 指标 | 含义 | 告警参考 |
|---|---|---|
| 任务失败数 | 按 DAG 与团队聚合 | 连续 N 次失败即升级 |
| 未按时开始 | 到点仍在排队或等待 | 超过预期开始时间告警 |
| 运行时长 | 与历史基线对比 | 超过基线 2 倍预警 |
| 产出新鲜度 | 目标分区最晚就绪时间 | 晚于承诺时间告警 |
| 补数进度 | 回填区间完成情况 | 长时间停滞即人工介入 |
值班面板按业务链路组织（订单链路、支付链路）比按 DAG 列表组织更快判断影响面，也更容易和业务方对齐沟通口径。
告警风暴会让值班忽略关键告警：同一根因造成的批量失败要先聚合再通知，并明确区分「需要立刻起床处理」和「上班后处理」两类。