首页/数据/数据工程与 ETL 速查/airflow.cfg 关键参数
本包目录(311 条)

airflow.cfg 关键参数

airflow.cfg 控制调度节拍与并发上限:parallelism(全局并行度)、max_active_tasks_per_dag、max_active_runs_per_dag、dag_dir_list_interval 等;调参前先量清任务时长与槽位占用。

parallelism整个 Airflow 同时运行任务数上限
max_active_tasks_per_dag单 DAG 同时运行任务数
max_active_runs_per_dag单 DAG 并行运行实例数
dag_dir_list_intervalDAG 目录扫描间隔(秒)

并发相关配置

并发相关配置
[core]
parallelism = 64
max_active_tasks_per_dag = 16
max_active_runs_per_dag = 2
dag_dir_list_interval = 300
min_file_process_interval = 30
catchup_by_default = False
调大 max_active_runs 前先确认任务幂等与分区隔离,否则补数会和日常跑数互相覆盖。

易错点

  • 只调 parallelism 不调 worker 并发数,槽位依然不够
  • catchup_by_default 保持 True 时,新增 DAG 会从 start_date 开始补历史

数据来源与参考

  • Apache Airflow 官方文档:Configuration Reference([core])
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌