首页/数据/数据工程与 ETL 速查/Airflow 执行器选型
本包目录(311 条)

Airflow 执行器选型

执行器决定任务在哪里跑:SequentialExecutor 仅适合验证、LocalExecutor 单机多进程、CeleryExecutor 分布式 worker 队列、KubernetesExecutor 每任务一个 Pod;大版本升级前需通读迁移说明。

SequentialExecutor单进程串行,仅适合本地验证
LocalExecutor单机并行,小规模常见
CeleryExecutor多 worker 分布式,需 Redis/RabbitMQ
KubernetesExecutor每任务起 Pod,隔离与弹性较好

关键配置

关键配置
[core]
executor = CeleryExecutor
parallelism = 64

[celery]
broker_url = redis://redis:6379/0
result_backend = db+postgresql://airflow:***@pg:5432/airflow
选执行器要看任务画像:大量短任务适合常驻 worker;镜像依赖复杂、隔离要求高时选 Kubernetes 相关方案。

易错点

  • Celery worker 与调度器版本或依赖不一致,任务会随机失败
  • LocalExecutor 无法横向扩容,任务量上来只能排队

数据来源与参考

  • Apache Airflow 官方文档:Executors
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌