首页/AI/大模型部署与运维速查/NCCL 带宽测试:nccl-tests 用法
推理环境与 GPU50 条

NCCL 带宽测试:nccl-tests 用法

多卡与多机通信能力的基线工具:编译 nccl-tests 后运行 all_reduce_perf,观察不同消息大小下的 busbw 与耗时,判断 NVLink、PCIe 或 RDMA 链路是否达到预期。

编译与单机测试

编译与单机测试
git clone https://github.com/NVIDIA/nccl-tests.git && cd nccl-tests
make CUDA_HOME=/usr/local/cuda NCCL_HOME=<nccl 安装路径>
./build/all_reduce_perf -b 8 -e 128M -f 2 -g 8
algbw算法带宽(不计通信加倍)
busbw总线带宽(可对标链路理论值)
wrong结果校验列,非 0 说明通信出错
多机测试用 MPI 启动:mpirun -np 16 -H hostA:8,hostB:8 ./build/all_reduce_perf -b 8 -e 1G -f 2 -g 1;结果对网卡与拓扑敏感。

易错点

  • 不指定网卡直接跑多机:可能选到管理网甚至 docker0,带宽异常且排查方向被带偏

数据来源与参考

  • NVIDIA nccl-tests 仓库(github.com/NVIDIA/nccl-tests)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌