调试与证据
调试与证据
NCCL_DEBUG=INFO <启动命令> 2>&1 | tee /tmp/nccl.log # 排查窗口内使用
nvidia-smi topo -m # 核对卡间互联
grep -i -E 'timeout|error|unhandled' /tmp/nccl.log | tail- 卡在 init：查设备数不一致、可见性变量（CUDA_VISIBLE_DEVICES）配置错误
- 卡在集合通信：查网络/IB 链路、拓扑不匹配、单个 rank 掉队
- 加超时：框架侧通信超时配置让挂起变成可观测的失败
NCCL_DEBUG=INFO 日志量大、有性能开销：仅用于排查窗口，结束后关掉。