检查拓扑与 P2P 能力
检查拓扑与 P2P 能力
nvidia-smi topo -m # 看卡间是 PIX/PXB/PHB/SYS 还是 NV#
python -c "import torch; print(torch.cuda.can_device_access_peer(0,1))"- PIX/PXB：同 PCIe 交换树，P2P 路径较短
- PHB：经过主机桥
- SYS：跨 NUMA 插槽，通信代价较高
多卡组卡时把张量并行放在同一 PCIe 树或 NVLink 域内，是低成本的性能优化。