YARN 节点监控口
8042 是 Hadoop YARN 里每个 NodeManager 的 Web 服务端口:节点上的容器状态、资源占用、健康检查结果以及单个任务的运行日志都从这里查看,ResourceManager 的 8088 界面只给出全局视图,定位到具体节点必须回到 8042。它默认没有认证,因此常规做法是只在大数据网段内开放,并通过统一的入口做访问控制。
基本信息
| 服务 | YARN NodeManager Web UI |
|---|---|
| 协议 | TCP/HTTP(8042) |
| 用途 | 查看节点容器、资源与任务日志 |
| 协调端口 | ResourceManager 界面为 8088 |
| 暴露要求 | 仅大数据网段 |
典型使用场景
- 任务卡住排查:应用长期处于等待分配状态时确认各节点资源
- 日志定位:从任务页面直接跳到对应容器日志,省去登录节点
- 节点健康检查:确认某节点是否被标记为不健康或已被排除
- 扩容验收:新节点加入后确认端口可访问且资源被识别
- 安全核对:确认该端口没有从办公网或公网直接可达
常用路径
| 路径 | 内容 | 用途 |
|---|---|---|
| /node | 节点概览与资源使用 | 判断节点是否正常 |
| /node/allContainers | 容器列表与状态 | 定位具体任务 |
| /logs | 可用日志目录入口 | 快速查看运行日志 |
| /ws/v1/node/info | 节点信息接口 | 脚本化采集与监控对接 |
访问与核对
访问与核对
# 查看节点概览页面是否可访问
curl -s http://worker01:8042/node | head -20
# 通过接口采集节点信息,便于监控对接
curl -s http://worker01:8042/ws/v1/node/info | head -c 300
# 查看容器与日志信息
curl -s http://worker01:8042/node/containers | head -c 300节点页面里能看到容器对应的启动命令行与应用信息:这在排障时非常省事,也意味着它属于敏感界面。生产集群建议统一经反向代理加认证后访问,而不是在跳板机上给每个人一段网络放行。
部分版本的节点页面存在未授权访问问题:开放到办公网后,未认证用户即可浏览任务日志与容器参数。把访问限制在网络层,是成本最低也最有效的加固方式。