本包目录(311 条)

回填与补数流程

补数按指定日期区间重跑历史:用于上游故障补数据、口径变更重刷、修复断链。补数要限并发、先评估下游影响,并保证任务幂等。

场景上游缺数、口径调整、任务失败重跑
粒度按天/按小时/按区间
护栏限并发、错峰、先小范围验证

Airflow 2.x 回填命令

Airflow 2.x 回填命令
airflow dags backfill -s 2026-10-01 -e 2026-10-07 daily_orders
# 结合并发限制:先改 max_active_runs,或只补单日验证
airflow dags backfill -s 2026-10-01 -e 2026-10-01 daily_orders
补数任务与在跑的当日任务并发写同分区会互相覆盖;写同表的补数要串行或加分区级互斥。

易错点

  • 一次性补几个月并发跑,会把数仓与下游库压垮,先估算资源
  • 补数前没备份或没确认幂等,口径变更补数可能把正确数据刷坏

数据来源与参考

  • Apache Airflow 官方文档:Backfill(CLI 与调度行为)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌