首页/云/云与容器速查/GPU 实例:AI 训练与推理
本包目录(340 条)
云基础概念44 条
计算与存储56 条
网络与安全组33 条容器与 Docker106 条Kubernetes68 条容器排障33 条

GPU 实例:AI 训练与推理

GPU 实例挂载 NVIDIA 专业卡,面向模型训练/推理、图形渲染与科学计算;卡型分推理档与训练档,配额通常很小需单独申请。

云与容器速查云更新于 2026-10-12
分档推理档(T4/A10 级)/ 训练档(A100/V100 级),以各厂商在售为准
三厂命名gn 系列(如 gn6i/gn6v/gn7)/ GN 系列 / G 系列
关键项GPU 显存、卡间互联(NVLink)、网络带宽(多机训练)
配额GPU 资源默认配额小,集群采购先提额与评估机房

实例内查看 GPU 状态

实例内查看 GPU 状态
nvidia-smi
nvidia-smi --query-gpu=name,memory.total,memory.used --format=csv
推理卡拿去做训练、或训练集群忽略节点间网络带宽,都会让 GPU 利用率长期趴在地上。

易错点

  • 训练脚本没锁 GPU 型号/CUDA 版本,换机器直接跑不起来
  • 多机训练网络没上 RDMA/高速网,GPU 等数据长期空转

数据来源与参考

  • 阿里云文档:GPU 云服务器
  • 腾讯云文档:GPU 云服务器
  • 华为云文档:GPU 加速云服务器

相关工具

​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌