首页/数据/数据工程与 ETL 速查/Airflow 指标导出与告警
本包目录(311 条)

Airflow 指标导出与告警

把 Airflow 运行指标(任务成功失败数、调度延迟、DAG 解析耗时)导出到 StatsD 或 Prometheus,再在 Grafana 建面板与告警,能比只看界面更早发现调度劣化。

指标推送airflow.cfg 的 metrics 段配置 StatsD
关键指标调度器心跳、DAG 解析耗时、任务状态计数
告警对失败率与调度延迟设规则
日志调度器与 worker 日志集中采集

StatsD 配置

StatsD 配置
[metrics]
statsd_on = True
statsd_host = 127.0.0.1
statsd_port = 8125
statsd_prefix = airflow
调度器心跳丢失、DAG 解析变慢常常先于任务失败出现,值得单独设告警项。

易错点

  • DAG 数量增长后解析时间飙升,不监控会表现为任务莫名延迟
  • 只看任务失败告警、忽略调度延迟指标,定位会绕远路

数据来源与参考

  • Apache Airflow 官方文档:Airflow Metrics(StatsD)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌