首页/数据/数据工程与 ETL 速查/依赖类型:时间/任务/数据/外部
本包目录(311 条)

依赖类型:时间/任务/数据/外部

依赖不只是“上游跑完”:按时间触发最弱,按上游任务状态稍好,按数据就绪(分区/文件/表行数)最可靠;外部依赖(第三方回调、人工确认)要设置兜底超时。

类型

类型说明示例
时间依赖固定时间点触发每天 02:00 跑
任务依赖上游任务成功才跑DAG 内上下游
数据依赖上游数据就绪(分区、文件到达)等 dt 分区可查
外部依赖外部系统回调或人工确认等上游团队通知

依赖实现方式(示意)

依赖实现方式(示意)
任务依赖:DAG 边 / 跨 DAG Sensor
数据依赖:查询分区是否存在、检查 _SUCCESS 文件
外部依赖:回调接口 + 超时兜底告警
只有时间依赖的链路,上游延迟时会消费到不完整数据;关键链路至少加数据就绪校验。

易错点

  • 用 sleep 固定分钟数等待上游,上游变慢就出错、变快就浪费
  • 跨团队依赖没有超时告警,会一直“等待中”无人发现

数据来源与参考

  • 行业通用调度依赖模型(Airflow/DolphinScheduler 依赖能力对比)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌