架构要点
| 架构 | 代际特性 | 对推理的影响 |
|---|---|---|
| Ampere（8.x） | BF16、TF32 张量核 | BF16 推理的主流起点 |
| Ada（8.9） | FP8 支持、能效比高 | FP8 量化部署的可用选项 |
| Hopper（9.0） | FP8、Transformer Engine | 大模型高吞吐场景 |
确认架构
确认架构
nvidia-smi --query-gpu=name,compute_cap --format=csv量化方案与架构强相关：FP8 在较新架构上才有硬件加速，老卡上会回退到软件路径。
本包目录（267 条）
部署形态与选型43 条
推理环境与 GPU50 条
- nvidia-smi 基础用法
- 驱动与 CUDA 版本的关系
- NVIDIA 驱动：安装方式与版本查看
- 按显存选卡：选型要点
- 定位谁在占用 GPU 显存
- 常见推理卡显存与带宽速查
- CUDA_VISIBLE_DEVICES：指定进程可见的 GPU
- GPU 计算能力（Compute Capability）速查
- 容器用不了 GPU 的排查顺序
- PyTorch 显存观测：allocated 与 reserved
- nvidia-smi 结构化查询（CSV）
- NVIDIA 容器工具链安装与验证
- NCCL 带宽测试：nccl-tests 用法
- GPU 上架自检：快速验证脚本
- CUDA Toolkit 安装与验证
- PyTorch 与 CUDA 版本匹配
- 显存带宽决定解码速度上限
- NCCL 常用环境变量与调试输出
- nvidia-smi topo -m 查看 GPU 拓扑
- K8s GPU 调度：device plugin 与资源申请
- GPU 降频原因查看
- 数据中心卡与消费卡取舍
- nvidia-smi dmon 与 pmon：滚动监控
- GPU 利用率偏低的排查顺序
- 驱动升级流程与回滚点
- GPU 架构代号与特性差异
- nvtop 实时监控工具
- 功耗、温度与降频排查
- 多机互连：RDMA/IB 状态与带宽检查
- ECC 显存错误查看与处置
- FlashAttention 概念与架构要求
- NVLink 与卡间高速互联
- DCGM Exporter 与 GPU 指标入监控栈
- GPU 虚拟化与共享形态速览
- MIG 多实例 GPU 概念与命令
- DCGM：数据中心 GPU 管理工具
- 拷机与稳定性验证（gpu-burn / DCGM）
- NVML 与 pynvml：脚本化采集 GPU 指标
- GPU 重置（--gpu-reset）的正确使用
- cuDNN 的角色与版本匹配
- PCIe 直连（P2P）与拓扑影响
- 持久化模式：减少 GPU 初始化开销
- 容器内 CUDA 兼容（前向兼容）
- MPS 多进程服务概念
- 模型盘与加载 IO：本地盘与页缓存
- 多版本 CUDA 并存与切换
- AMD ROCm 推理环境概念
- NUMA 与 GPU 亲和性检查
- PCIe 链路检查：协商是否降级
- Intel GPU 推理生态入门
GPU 架构代号与特性差异
Ampere 引入 BF16 张量核，Ada 增强 FP8 支持，Hopper 面向大模型做了 Transformer 优化；选卡与选量化方案时先看架构代际。
易错点
- 在 Turing 老卡上追新量化格式：可能没有对应内核，只能走慢速回退路径
数据来源与参考
- NVIDIA 架构白皮书与文档（docs.nvidia.com）