首页/AI/大模型部署与运维速查/NVLink 与卡间高速互联
推理环境与 GPU50 条

NVLink 与卡间高速互联

NVLink 是 GPU 间的直连高速通道:A100 平台约 600 GB/s 双向、H100 平台约 900 GB/s 双向,高于 PCIe 代际带宽;张量并行每步都要跨卡通信,互联质量直接影响吞吐。

查看 NVLink 状态

查看 NVLink 状态
nvidia-smi topo -m            # 表内 NV# 表示 NVLink 条数
nvidia-smi nvlink --status    # 逐链路带宽与状态
A100 NVLink约 600 GB/s 双向(按配置)
H100 NVLink约 900 GB/s 双向(按配置)
判断topo -m 中出现 SYS 表示跨 NUMA,通信代价较高
张量并行度超出 NVLink 域会退化为跨 PCIe/NUMA 通信,吞吐常明显下滑,规划时优先域内切分。

易错点

  • 把 NVLink 条数与带宽混算:不同代际每条链路速率不同,以数据手册为准

数据来源与参考

  • NVIDIA NVLink 文档(nvidia.com)
  • NVIDIA nvidia-smi 文档(docs.nvidia.com/deploy/nvidia-smi)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌