| SequentialExecutor | 单进程串行,仅适合本地验证 |
|---|---|
| LocalExecutor | 单机并行,小规模常见 |
| CeleryExecutor | 多 worker 分布式,需 Redis/RabbitMQ |
| KubernetesExecutor | 每任务起 Pod,隔离与弹性较好 |
关键配置
关键配置
[core]
executor = CeleryExecutor
parallelism = 64
[celery]
broker_url = redis://redis:6379/0
result_backend = db+postgresql://airflow:***@pg:5432/airflow选执行器要看任务画像:大量短任务适合常驻 worker;镜像依赖复杂、隔离要求高时选 Kubernetes 相关方案。