首页/数据/数据工程与 ETL 速查/DolphinScheduler 核心概念

DolphinScheduler 核心概念

Apache DolphinScheduler 是可视化工作流调度平台:以项目隔离资源,工作流(流程定义)由任务节点与依赖关系组成,支持串行、并行、依赖、子流程等节点类型,具备多租户能力。

项目资源隔离单元(工作流、资源、数据源)
流程定义工作流 DAG,上线后生成版本
任务节点Shell / SQL / Spark / 子流程 / 依赖等
租户按租户分配队列与资源

Shell 任务示例

Shell 任务示例
echo "bizdate=$bizdate"
sh /opt/etl/run_orders.sh $bizdate
节点里可使用内置时间参数(如业务日期类参数),补数时按所选日期区间批量生成实例。

易错点

  • 工作流改动必须上线新版本才对调度生效,改了忘记上线是最常见问题
  • 不同版本内置参数名有差异,迁移时需逐节点核对

数据来源与参考

  • Apache DolphinScheduler 官方文档:核心概念与内置参数
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌