首页/数据/数据工程与 ETL 速查/XXL-JOB 分布式任务调度

XXL-JOB 分布式任务调度

XXL-JOB 面向 Java 应用:调度中心统一管理任务,执行器以 SDK 方式内嵌在业务应用里注册上报;支持 cron、分片广播、失败重试与 GLUE 在线编辑执行逻辑。

调度中心控制台加调度线程,管理任务与日志
执行器业务应用引入 xxl-job-core 并注册
路由策略轮询 / 随机 / 分片广播 / 故障转移
GLUE在线编辑 Shell、Python 等执行逻辑

执行器配置

执行器配置
xxl.job.admin.addresses=http://xxl-job-admin:8080/xxl-job-admin
xxl.job.executor.appname=order-executor
xxl.job.executor.port=9999
xxl.job.accessToken=***
xxl.job.executor.logpath=/data/applogs/xxl-job/jobhandler
分片广播模式下每个执行器拿到自己的分片序号与总数,可把大批数据拆给多台机器并行处理。

易错点

  • 执行器与调度中心 accessToken 不一致时注册失败,现象不明显
  • 任务日志默认写本地磁盘,容器重启即丢,需挂盘或接日志系统

数据来源与参考

  • XXL-JOB 官方文档:架构设计与执行器配置(xuxueli/xxl-job)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌