首页/数据/数据工程与 ETL 速查/调度系统解决什么问题
本包目录(311 条)

调度系统解决什么问题

调度系统负责按时间与依赖触发任务,并管理状态、重试、告警与补数:相比裸 cron 脚本,它把“任务是否成功、依赖是否满足”变成可查询、可重跑、可审计的状态。

核心能力定时触发、依赖编排、失败重试、补数回填、可视化监控
与 cron 的差异cron 只管时间点;调度平台管任务状态、依赖与重跑
常见平台Airflow、DolphinScheduler、XXL-JOB、Azkaban

裸 cron 与平台的差别

裸 cron 与平台的差别
cron: 0 2 * * * /opt/etl/run.sh >> /var/log/etl.log 2>&1
问题:失败无状态、依赖靠 sleep 猜、补数靠手写循环、告警靠 grep 日志
平台:任务=节点,依赖=边,失败有状态,可一键重跑指定日期
调度平台管“何时跑、按什么顺序跑”,不负责数据正确性;幂等与去重仍要在任务里实现。

易错点

  • 把重要链路写成 crontab 串脚本,故障时无法判断“到哪一步了”
  • 调度系统只能保证触发,不能保证上游数据已就绪,数据依赖要显式建模

数据来源与参考

  • Apache Airflow 官方文档:Core Concepts
  • Apache DolphinScheduler 官方文档:架构概述
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌