NVLink 与卡间高速互联
NVLink 是 GPU 之间的直连高速通道：A100 平台约 600 GB/s 双向、H100 平台约 900 GB/s 双向（按具体配置），远高于 PCIe 代际带宽。张量并行每一步都要跨卡通信，互联质量直接影响吞吐，所以规划时优先把并行度落在 NVLink 域内。
基本信息
| 查看方式 | 拓扑命令看链路数量，链路状态命令看逐链路带宽与状态 |
|---|---|
| 判断要点 | 拓扑中出现 SYS 表示跨 NUMA，通信代价较高 |
| 规划原则 | 并行度优先落在 NVLink 域内 |
| 代际差异 | 每代平台的单链路速率与链路数不同 |
| 数据来源 | 以对应平台的硬件手册为准 |
典型使用场景
- 张量并行选卡：把参与通信的卡限制在 NVLink 域内
- 评估跨域切分：先算清代价再决定是否跨 NUMA 或跨机
- 链路巡检：确认链路数量与状态与设计一致
- 新机验收：核对实际链路情况是否与采购配置相符
- 多机方案设计：结合网卡亲和与互联拓扑一起规划
查看 NVLink 状态
查看 NVLink 状态
nvidia-smi topo -m # 表内 NV# 表示 NVLink 条数
nvidia-smi nvlink --status # 逐链路带宽与状态
# 校验：链路数量与设计一致，且没有处于降速或异常状态带宽量级对照
| 互联方式 | 典型双向带宽 | 说明 |
|---|---|---|
| A100 平台 NVLink | 约 600 GB/s（按配置） | 以具体型号与配置为准 |
| H100 平台 NVLink | 约 900 GB/s（按配置） | 以具体型号与配置为准 |
| PCIe 4.0 x16 | 约 64 GB/s | 供量级对比参考 |
| 跨 NUMA 通信 | 低于域内 | 拓扑中标为 SYS，代价更高 |
张量并行度超出 NVLink 域会退化为跨 PCIe 或跨 NUMA 通信，吞吐通常明显下滑，规划阶段优先在域内切分。
链路降速或部分链路异常不会让任务必然失败，但会让多卡性能整体变差：巡检时看链路状态，比只看服务指标更早发现问题。
同一台机器上不同卡组可能并不对称：有的卡对之间是直连，有的要绕经主机桥。做并行划分前先看完整矩阵，别只确认其中一对卡就下结论。