RDMA 网卡要配什么
RDMA 允许网卡直接读写远端内存，绕过内核协议栈的数据拷贝，因此在分布式存储、HPC 与 AI 训练这类低延迟高吞吐场景里成为标配。主流实现有两种：InfiniBand 是专用网络，RoCE 在以太网之上承载 RDMA，RoCEv2 走 UDP 封装，可以复用现有以太网运维体系。RDMA 的实际收益依赖端到端配置，只换网卡不改网络，效果通常达不到预期。
基本信息
| 协议选项 | InfiniBand（专用网络）或 RoCEv2（以太网承载） |
|---|---|
| 网络要求 | 无损网络配置：PFC 与 ECN 配合 |
| 配套条件 | 网卡驱动、固件与交换机版本都需要核对 |
| 验证手段 | 用 perftest 类工具实测带宽与时延 |
| 选型关注 | 端口速率、PCIe 代际与交换机端口能力匹配 |
典型使用场景
- 分布式存储：多节点数据复制对时延极其敏感
- AI 训练集群：多卡多机之间的梯度同步依赖高吞吐低延迟
- HPC 计算：MPI 通信性能直接决定作业效率
- 数据库集群：主从复制与一致性协议要求稳定低时延
- 虚拟化与 SR-IOV：虚机直通网卡获得接近物理机的网络性能
核对 RDMA 环境
核对 RDMA 环境
ibstat 2>/dev/null | head -20 # InfiniBand 设备与端口状态
ibv_devinfo 2>/dev/null | head -20 # RDMA 设备能力与端口
ethtool -S eth0 | grep -iE "pause|prio|ecn" | head # RoCE 相关流控与优先级统计
# 实测验证（客户端/服务端分别执行）
# ib_write_bw / ib_send_lat 或厂商提供的 perftest 工具
# 核对交换机侧：PFC 与 ECN 是否已在对应优先级开启两种实现对照
| 维度 | InfiniBand | RoCEv2 |
|---|---|---|
| 承载方式 | 专用 IB 网络与链路 | 以太网 UDP 封装 |
| 交换机要求 | IB 交换机与子网管理器 | 支持 PFC 与 ECN 的以太网交换机 |
| 无损保障 | 链路级流控与专用机制 | PFC 加 ECN 拥塞控制配合 |
| 运维体系 | 专用工具与子网管理 | 复用现有以太网监控与运维 |
| 部署成本 | 需独立组网 | 可复用既有网络投资 |
RDMA 的性能取决于端到端一致性：网卡、驱动、固件、交换机与对端配置任一处不匹配，实测数据就会明显偏离规格值。
PFC 配置不当或与交换机策略不一致时，可能出现流控扩散，影响同一个二层域内的其他业务：变更 PFC 前先评估影响范围并保留回退配置。