NVIDIA 仓库方式（Ubuntu 示意）
NVIDIA 仓库方式（Ubuntu 示意）
# 按官网生成的命令添加仓库后：
sudo apt install cuda-toolkit-<版本>
nvcc --versionconda 环境方式
conda 环境方式
conda install -c nvidia cuda-toolkit=<版本>
nvcc --version驱动与工具箱是两层：驱动只能有一个，工具箱可以按 conda 环境并存多个版本。
本包目录（267 条）
部署形态与选型43 条
推理环境与 GPU50 条
- nvidia-smi 基础用法
- 驱动与 CUDA 版本的关系
- NVIDIA 驱动：安装方式与版本查看
- 按显存选卡：选型要点
- 定位谁在占用 GPU 显存
- 常见推理卡显存与带宽速查
- CUDA_VISIBLE_DEVICES：指定进程可见的 GPU
- GPU 计算能力（Compute Capability）速查
- 容器用不了 GPU 的排查顺序
- PyTorch 显存观测：allocated 与 reserved
- nvidia-smi 结构化查询（CSV）
- NVIDIA 容器工具链安装与验证
- NCCL 带宽测试：nccl-tests 用法
- GPU 上架自检：快速验证脚本
- CUDA Toolkit 安装与验证
- PyTorch 与 CUDA 版本匹配
- 显存带宽决定解码速度上限
- NCCL 常用环境变量与调试输出
- nvidia-smi topo -m 查看 GPU 拓扑
- K8s GPU 调度：device plugin 与资源申请
- GPU 降频原因查看
- 数据中心卡与消费卡取舍
- nvidia-smi dmon 与 pmon：滚动监控
- GPU 利用率偏低的排查顺序
- 驱动升级流程与回滚点
- GPU 架构代号与特性差异
- nvtop 实时监控工具
- 功耗、温度与降频排查
- 多机互连：RDMA/IB 状态与带宽检查
- ECC 显存错误查看与处置
- FlashAttention 概念与架构要求
- NVLink 与卡间高速互联
- DCGM Exporter 与 GPU 指标入监控栈
- GPU 虚拟化与共享形态速览
- MIG 多实例 GPU 概念与命令
- DCGM：数据中心 GPU 管理工具
- 拷机与稳定性验证（gpu-burn / DCGM）
- NVML 与 pynvml：脚本化采集 GPU 指标
- GPU 重置（--gpu-reset）的正确使用
- cuDNN 的角色与版本匹配
- PCIe 直连（P2P）与拓扑影响
- 持久化模式：减少 GPU 初始化开销
- 容器内 CUDA 兼容（前向兼容）
- MPS 多进程服务概念
- 模型盘与加载 IO：本地盘与页缓存
- 多版本 CUDA 并存与切换
- AMD ROCm 推理环境概念
- NUMA 与 GPU 亲和性检查
- PCIe 链路检查：协商是否降级
- Intel GPU 推理生态入门
CUDA Toolkit 安装与验证
服务器上装 CUDA Toolkit 有三种常见路径：发行版（NVIDIA 官方仓库）、conda/venv 环境内安装、以及直接用容器镜像；推理部署推荐后者，避免污染宿主机。
易错点
- 宿主机装了新 toolkit 但驱动没跟上：nvcc 可用、运行时报「CUDA driver version is insufficient」
数据来源与参考
- NVIDIA CUDA Toolkit 下载与安装文档（developer.nvidia.com/cuda-toolkit）
- NVIDIA Conda 频道（anaconda.org/nvidia）