GPU 实例是什么
GPU 实例挂载面向计算的加速卡，用于模型训练与推理、图形渲染与科学计算。卡型大致分为推理档与训练档：推理看重单位成本与并发能力，训练看重显存容量与卡间互联带宽，选错档位会让昂贵的资源长期空转。
基本信息
| 分档 | 推理档与训练档，具体型号以各厂商在售为准 |
|---|---|
| 三厂命名 | 各家系列命名不同，选型看规格表而不是名字 |
| 关键项 | 显存容量、卡间互联、节点间网络带宽 |
| 配额 | GPU 资源默认配额较小，集群采购前先提额 |
| 运行环境 | 镜像需要匹配对应的驱动与计算库版本 |
| 计费 | 多数支持按量与包月，长期训练建议考虑预留 |
关键指标与影响
| 指标 | 影响 | 建议 |
|---|---|---|
| 显存容量 | 决定可承载的模型与批大小 | 按模型规模选档 |
| 卡间互联 | 决定单机多卡训练的通信效率 | 优先带高速互联的机型 |
| 节点间网络 | 多机训练的常见瓶颈 | 上高速网络与低延迟互联 |
| 驱动与运行库 | 决定框架能否正常启动 | 镜像与宿主版本对齐 |
实例内查看 GPU 状态
实例内查看 GPU 状态
nvidia-smi # 卡型、显存与占用
nvidia-smi --query-gpu=name,memory.total,memory.used --format=csv
nvidia-smi topo -m # 卡间互联拓扑典型使用场景
- 模型推理服务，按并发与延迟要求选择推理档
- 模型训练与微调，需要大显存与高速卡间互联
- 图形渲染与视频处理，依赖特定加速能力
- 科学计算任务，看重双精度算力
- 临时的训练验证任务，用按量实例跑完即释放
训练脚本要锁定卡型与运行库版本：换机器直接跑不起来的情况，多数源于驱动或计算库版本不匹配。
多机训练先确认节点间网络：没有高速网络与低延迟互联时，加速卡会长期等待数据，利用率始终上不去。
用推理卡做训练，或忽略节点网络带宽，都会让昂贵的加速资源长期空转，浪费非常可观。