| 核心能力 | 定时触发、依赖编排、失败重试、补数回填、可视化监控 |
|---|---|
| 与 cron 的差异 | cron 只管时间点;调度平台管任务状态、依赖与重跑 |
| 常见平台 | Airflow、DolphinScheduler、XXL-JOB、Azkaban |
裸 cron 与平台的差别
裸 cron 与平台的差别
cron: 0 2 * * * /opt/etl/run.sh >> /var/log/etl.log 2>&1
问题:失败无状态、依赖靠 sleep 猜、补数靠手写循环、告警靠 grep 日志
平台:任务=节点,依赖=边,失败有状态,可一键重跑指定日期调度平台管“何时跑、按什么顺序跑”,不负责数据正确性;幂等与去重仍要在任务里实现。