调度工具选型是什么
选调度先看三件事：任务用什么语言与形态表达、谁来维护调度集群、需不需要给业务同学可视化界面。Airflow 以 Python 代码定义 DAG，编排能力强、生态丰富，但组件要自己运维；DolphinScheduler 以可视化工作流与多租户见长，补数与重跑是内置能力；XXL-JOB 贴合 Java 应用生态；云上则可直接用托管调度服务少操心。
基本信息
| Airflow | Python 代码定义 DAG，任务即代码，版本管理与评审友好 |
|---|---|
| DolphinScheduler | 可视化工作流 + 多租户 + 自带补数，适合离线数仓整点批任务 |
| XXL-JOB | 调度中心 + Java 执行器，面向业务定时任务与分片处理 |
| 托管调度 | 云服务（如 MWAA、DataWorks 类产品），少运维但绑定厂商 |
| 共性能力 | 依赖编排、失败重试、告警通知、运行历史与日志检索 |
| 评估维度 | 表达方式、依赖与补数能力、多租户与权限、运维成本、迁移代价 |
典型使用场景
- 新建数仓链路：按任务规模与团队技术栈确定调度平台
- 业务自助：业务同学需要自己改调度时间与查看运行情况
- 混合现状：业务定时任务在 XXL-JOB、数据链路在 Airflow，需要统一监控口径
- 上云迁移：评估托管调度能省下多少运维人力与带来哪些限制
- 能力补齐：现有平台补数不便利，考虑补一个专用工具或换平台
对比维度
| 工具 | 形态 | 典型场景 | 注意事项 |
|---|---|---|---|
| Airflow | 代码定义 DAG（Python） | 数据管道、跨系统编排 | 组件与升级需自行运维 |
| DolphinScheduler | 可视化工作流加多租户 | 离线数仓、整点批任务 | 升级前需回归参数与接口 |
| XXL-JOB | 调度中心加 Java 执行器 | 业务定时任务、分片处理 | 面向 Java 应用生态 |
| 托管调度 | 云服务 | 少运维、弹性扩缩 | 绑定云厂商，成本随规模增长 |
选型自检问题
选型自检问题
# 先用这几个问题把范围缩小，再用一条真实链路试点
# 任务用什么写？Python / SQL / Java / Shell
# 需要可视化界面给业务同学用吗？
# 团队有多少人力维护调度集群？
# 补数、重跑、跨 DAG 依赖是刚需吗？
# 是否有跨云、合规与审计要求？选型没有统一答案：先明确任务规模、技术栈与运维投入，再用一条真实链路试点验证，比对比功能清单更有效。
迁移调度平台的成本常被低估：任务要重写、依赖要重建、历史运行记录与告警渠道要重接，切换前先评估存量任务数量与关键链路的停机窗口。