11000 是什么
11000 是 Apache Oozie 服务器的默认端口,以 HTTP 提供 REST 接口与 Web 控制台,用于提交与管理 workflow、coordinator 与 bundle。Oozie 的定位是 Hadoop 生态的工作流调度器:把 MapReduce、Spark、Hive 等动作串成有向无环图并按时触发。工作流卡住时,先在控制台看作业状态,再到 YARN 侧看容器日志,是相对省时间的顺序。
基本信息
| 服务 | Apache Oozie server(默认 11000) |
|---|---|
| 协议 | TCP/HTTP |
| 用途 | Hadoop 工作流编排与调度 |
| 依赖组件 | YARN、HDFS、关系型元数据库 |
| 客户端 | oozie 命令行 |
| 安全等级 | 仅大数据网段 |
典型使用场景
- 工作流编排:把多个 Hadoop 作业串成依赖链
- 定时调度:用 coordinator 做周期性任务
- 作业排障:查看作业状态与动作日志
- 升级评估:老调度器的替代方案调研
- 权限治理:确认提交入口的认证与授权状态
- 容量评估:并发作业数与集群资源的匹配
Oozie 常用核对项
| 项目 | 位置 | 说明 |
|---|---|---|
| 作业列表 | 控制台或命令行 | 确认提交与运行状态 |
| 流程定义 | HDFS 上的 workflow.xml | HDFS 不可用则无法提交 |
| 元数据库 | 关系库配置 | 作业状态存放位置 |
| 容器日志 | YARN 侧 | 失败原因的关键来源 |
服务核对
服务核对
curl -s 'http://oozie01:11000/oozie/v2/versions' | head -c 200 # 版本与服务状态
oozie jobs -oozie http://oozie01:11000/oozie -len 5 # 最近作业
ss -lntp | grep 11000 # 监听核对
# 作业详情: oozie job -oozie http://oozie01:11000/oozie -info <jobid>Oozie 自身的作业状态存在关系库里:库不可用或空间不足时,控制台可能显示正常但作业状态不再更新,排查时别只看 Web 界面。
工作流定义放在 HDFS 上:HDFS 权限与 Oozie 运行用户不一致,是最常见的「提交成功但动作失败」原因。
调度平台默认缺少强认证:未收敛时,能访问 11000 的人就能在集群上执行任意代码,网络隔离与鉴权要一起做。
Coordinator 的时间语义容易踩坑:时区、频率与物化窗口的定义不一致时,任务会在意料之外的时间触发。
动作失败要顺着 YARN 与应用日志继续看:Oozie 只负责编排,真正的堆栈与退出码在容器日志里。