首页/AI/大模型部署与运维速查/多机互连:RDMA/IB 状态与带宽检查
本包目录(267 条)
部署形态与选型43 条
推理环境与 GPU50 条
推理参数与优化50 条显存与并发估算40 条服务化与网关34 条运维监控与排障50 条

多机互连:RDMA/IB 状态与带宽检查

跨机多卡部署依赖 RDMA(InfiniBand 或 RoCE)互连:上线前用 ibstat / ibv_devinfo 核对端口状态与速率,再用 perftest 做带宽基线,避免通信链路成为瓶颈。

端口状态与设备信息

端口状态与设备信息
ibstat                        # 端口状态、速率、链路层
ibv_devinfo -v | head -40     # 设备与固件信息

带宽基线(两台机器分别执行)

带宽基线(两台机器分别执行)
# 服务端
ib_write_bw -d mlx5_0
# 客户端(换成服务端 IP)
ib_write_bw -d mlx5_0 <服务端IP>
RoCE 场景还需关注网络侧 PFC/ECN 配置;把 ibstat 端口状态纳入例行巡检能更早发现链路降级。

易错点

  • 多机带宽不达预期先看链路:端口 Down 或速率协商降级在 ibstat 输出里一眼可见

数据来源与参考

  • NVIDIA Networking perftest 文档(docs.nvidia.com/networking)
  • RDMA 用户态工具手册(man ibstat / ibv_devinfo)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌