| parallelism | 整个 Airflow 同时运行任务数上限 |
|---|---|
| max_active_tasks_per_dag | 单 DAG 同时运行任务数 |
| max_active_runs_per_dag | 单 DAG 并行运行实例数 |
| dag_dir_list_interval | DAG 目录扫描间隔(秒) |
并发相关配置
并发相关配置
[core]
parallelism = 64
max_active_tasks_per_dag = 16
max_active_runs_per_dag = 2
dag_dir_list_interval = 300
min_file_process_interval = 30
catchup_by_default = False调大 max_active_runs 前先确认任务幂等与分区隔离,否则补数会和日常跑数互相覆盖。