首页/AI/大模型部署与运维速查/NCCL 常用环境变量与调试输出
本包目录(267 条)
部署形态与选型43 条
推理环境与 GPU50 条
推理参数与优化50 条显存与并发估算40 条服务化与网关34 条运维监控与排障50 条

NCCL 常用环境变量与调试输出

NCCL 通过环境变量控制选网、P2P 与调试输出:排查挂起或带宽异常时先开 NCCL_DEBUG=INFO,看日志里实际使用的网卡与链路类型(NVLink/PCIe/IB)。

排查与对照常用变量

排查与对照常用变量
NCCL_DEBUG=INFO python train.py          # 打印初始化与拓扑信息
NCCL_SOCKET_IFNAME=eth0                   # 指定 socket 通信网卡
NCCL_IB_DISABLE=1                         # 临时禁用 IB/RoCE
NCCL_P2P_DISABLE=1                        # 禁用 GPU 直连(对照测试)
NCCL_DEBUG_SUBSYS=INIT,NET                # 只放开部分子系统日志
NCCL_TOPO_DUMP_FILE导出拓扑到文件
NCCL_ALGO指定算法,如 Ring/Tree
NCCL_IB_HCA指定使用的 HCA 设备
禁用类变量只适合对照排查,不要凭感觉长期挂在生产配置上;调优要有基线数据支撑。

易错点

  • 多机卡死先怀疑选网:NCCL_DEBUG=INFO 日志开头会列出每张卡选中的接口,错选 docker0 很常见

数据来源与参考

  • NVIDIA NCCL 用户指南:环境变量(docs.nvidia.com/deeplearning/nccl)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌