GPU 实例是什么
GPU 实例是在通用 CPU 之外挂载加速卡的计算实例（如阿里云 gn 系列、腾讯云 GN 系列），面向深度学习训练与推理、图形渲染、视频编解码、科学计算等场景。选型先分清训练与推理：训练看重多卡互联带宽与并行存储吞吐，推理看重单卡显存容量与并发下的性价比。多数厂商提供预装驱动、CUDA 与主流框架的专用公共镜像，能省去环境搭建时间。
基本信息
| 驱动依赖 | NVIDIA 驱动 + CUDA/cuDNN，版本需与框架匹配 |
|---|---|
| 互联要求 | 训练集群依赖高速内网（如 RDMA/IB）与并行文件存储 |
| 计费特点 | 按量或包年包月，单价高于同规格通用型实例 |
| 成本控制 | 临时任务结束及时释放；可中断任务用抢占式/竞价实例 |
典型使用场景
- 确认框架与驱动版本要求（CUDA、cuDNN、NVIDIA 驱动），先对齐版本矩阵
- 训练任务重点看实例间网络（RDMA/高速内网）与并行存储吞吐
- 推理任务按并发量与显存容量选卡，而不是只比卡数
- GPU 实例价格高：任务结束及时释放，或用竞价实例跑可中断的批任务
- 渲染与转码类任务更关注显存和编解码单元，不必追求训练卡
上机先验证
上机先验证
nvidia-smi # 卡型、驱动版本、显存占用与进程
nvcc --version # CUDA 工具链版本
nvidia-smi topo -m # 多卡互联拓扑，判断是否跨 NUMA 通信
python -c 'import torch; print(torch.cuda.is_available())' # 框架是否识别到 GPU关键指标读法
| 指标 | 正常表现 | 异常提示 |
|---|---|---|
| 显存占用 | 与批量大小匹配，留有余量 | 接近打满时出现 OOM，需要减小 batch 或换大显存卡 |
| GPU 利用率 | 训练期间长期高位 | 长期低位说明数据管道或 CPU 成为瓶颈 |
| 驱动与 CUDA | 与框架要求的版本一致 | 不匹配时框架直接报 CUDA 版本错误 |
| 互联拓扑 | 多卡为 NVLink 或 PCIe 直连 | 跨 NUMA 通信会显著拖慢多卡训练 |
镜像优先选预装驱动与框架的 GPU 专用公共镜像，减少环境搭建时间；自装驱动时注意内核版本与驱动版本对应关系。
竞价/抢占式实例可能被回收，只适合可中断、可续跑的批任务；训练任务务必开启检查点，避免回收后从头开始。