首页/数据/数据工程与 ETL 速查/调度平台监控与值班指标

调度平台监控与值班指标

调度监控不只盯“失败”:还要看未按时开始、运行时长异常、排队积压与补数进度。建议把任务状态与产出新鲜度一起做成值班面板。

指标

指标含义告警参考
任务失败数按 DAG/团队聚合连续 N 次失败升级
未按时开始到点仍在排队/等待超过预期开始时间告警
运行时长与历史基线对比超基线 2 倍预警
产出新鲜度目标分区最晚就绪时间晚于承诺时间告警
补数进度回填区间完成情况卡住即人工介入

数据来源

数据来源
调度平台 API/元数据库:任务实例状态、开始/结束时间
数仓元数据:分区最新 dt、表最近更新时间
日志:异常堆栈与重试记录
值班面板按“业务链路”组织(订单链路、支付链路),比按 DAG 列表组织更快判断影响面。

易错点

  • 只监控任务失败,不看产出就绪时间,会漏掉“任务成功但数据没落地”的情况
  • 告警风暴(同一故障上百条告警)要做聚合,否则值班会忽略关键告警

数据来源与参考

  • Apache Airflow 官方文档:Monitoring 与 Metrics
  • 行业通用数据平台值班实践
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌