首页/数据/数据工程与 ETL 速查/DolphinScheduler 部署与架构
本包目录(311 条)

DolphinScheduler 部署与架构

典型架构:API 服务、Master(DAG 拆解与调度)、Worker(任务执行)、注册中心(ZooKeeper)与元数据库(PostgreSQL/MySQL),另有资源中心存放脚本与文件。

Master工作流实例调度与任务分发
Worker执行任务并上报状态
注册中心ZooKeeper 负责选主与心跳
元数据库PostgreSQL/MySQL 存定义与实例

单机快速体验

单机快速体验
tar -xzf apache-dolphinscheduler-*-bin.tar.gz
cd apache-dolphinscheduler-*-bin
export JAVA_HOME=/usr/local/jdk
./bin/dolphinscheduler-daemon.sh start standalone-server
# 默认端口 12345,访问 http://<host>:12345/dolphinscheduler
生产环境 Master/Worker 需按任务量与内存规划;Worker 心跳异常会出现任务分发不出去的现象。

易错点

  • standalone 模式内含注册中心与数据库,仅供体验,任务一多就不够用
  • 时区与 JDK 版本不匹配会导致时间参数错一天

数据来源与参考

  • Apache DolphinScheduler 官方文档:架构设计与部署模式(standalone/伪集群/集群)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌