| 任务级 | execution_timeout:单任务最长时间,超时被终止 |
|---|---|
| 批次级 | dagrun_timeout:DagRun 最长运行时间 |
| 产出级 | 监控目标表/分区的最晚就绪时间 |
Airflow 超时设置
Airflow 超时设置
from datetime import timedelta
task = BashOperator(
task_id='load_dwd',
bash_command='spark-submit /opt/jobs/dwd.py',
execution_timeout=timedelta(hours=1),
dag=dag,
)超时终止后要能安全重跑:确认任务使用分区覆盖或 upsert,避免半成品残留。