50075 端口是什么
50075 是 Hadoop 2.x 中 DataNode 的 Web 界面端口,用于查看单节点的块列表、存储使用与线程状态,Hadoop 3 改为 9864。定位某个块的副本落在哪几台机器上时,从 NameNode 页面点进块的详情就能跳到对应节点的这个页面,比逐台翻日志快得多。
基本信息
| 服务 | DataNode Web 页面(Hadoop 2 默认 50075,Hadoop 3 改为 9864) |
|---|---|
| 协议 | HTTP over TCP |
| 用途 | 单节点块与存储状态查看 |
| 相关端口 | 50010 数据口、50090 检查点页面 |
| 配置项 | dfs.datanode.http.address |
| 安全等级 | 仅大数据内网 |
它能回答什么问题
当副本数不足或某个块异常时,需要确认这个块分布在哪些节点、各节点存储是否正常。节点页面直接列出块与存储信息,配合 NameNode 页面可以快速分辨是节点掉线、磁盘故障还是网络分区导致的不一致。
典型使用场景
- 副本告警定位:从块详情跳到具体节点页面,确认副本分布与节点状态。
- 容量与磁盘核查:查看单节点剩余空间与存储目录使用情况,判断扩容时机。
- 节点掉线判断:页面打不开时,区分是进程异常还是网络不通。
- 巡检抓取:用命令行抓取页面关键字段做批量巡检,替代逐台登录。
- 版本核对:页面端口能反推集群版本,辅助发现文档与集群不一致的问题。
核对
核对
curl -s http://dn01:50075/ | head -20 # 打开节点首页
curl -s http://dn01:50075/blockScannerReport | head -c 300 # 块扫描报告摘要
curl -s http://dn01:9864/ | head -5 # Hadoop 3 对应端口
for h in dn01 dn02 dn03; do curl -s -o /dev/null -w "$h %{http_code}\n" http://$h:50075/; done # 批量探活页面信息读法
| 页面区域 | 含义 | 判读 |
|---|---|---|
| 节点概览 | 存储使用与容量 | 存储目录接近上限时应规划扩容或做数据均衡 |
| 块列表 | 该节点持有的块 | 与集群总量差距过大可能说明副本分布不均 |
| 块扫描报告 | 后台块校验结果 | 出现错误条目说明磁盘或数据可能已经损坏 |
页面只提供只读视图,不参与数据读写。能在页面上看到块分布信息,本身就说明该接口不应暴露到集群之外。
Hadoop 3 中该端口改为 9864,数据口与控制面也整体迁到新的号段,跨版本巡检脚本应按版本分支处理,而不是简单改一个数字。