NUMA 与 GPU 亲和性检查

多路 CPU 机器上每张 GPU 挂在特定 NUMA 节点下：进程跨节点访问会引入额外开销；单机多实例部署按拓扑分配 CPU 与卡，行为更可预期。

大模型部署与运维速查AI更新于 2026-10-12

查看拓扑与绑定运行

lscpu | grep -i numa                  # NUMA 节点数
numactl --hardware                    # 节点与内存分布
nvidia-smi topo -m                    # GPU 互联与 CPU 亲和矩阵
numactl --cpunodebind=0 --membind=0 python serve.py   # 绑定节点运行

容器场景通过 cpuset 与 numactl 传递亲和性；先测基线，再决定绑定是否带来收益。

易错点

低负载下跨节点访问表现正常：高负载时才暴露带宽争用，压测阶段更容易复现

数据来源与参考

Linux numactl 手册页（man7.org）
NVIDIA nvidia-smi topo 文档（docs.nvidia.com/deploy/nvidia-smi）

继续搜索

常用关键词：3389 traceroute iptables 子网掩码 docker

‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌