首页/AI/大模型部署与运维速查/GPU 计算能力(Compute Capability)速查
推理环境与 GPU50 条

GPU 计算能力(Compute Capability)速查

Compute Capability 用主次版本号标记 GPU 指令集能力(如 8.0、8.9、9.0),决定了能运行哪些预编译内核;装框架前先核对算力是否在支持矩阵内。

算力版本号是什么

算力(Compute Capability)用主次版本号标记 GPU 的指令集能力,例如 8.0、8.9、9.0。它决定了能运行哪些预编译的算子内核:框架发布时通常按算力家族打包,老卡遇到「没有可用内核」的报错,几乎都是算力不在构建目标内。装框架、选量化内核与判断能否使用某些加速特性,第一步都要核对算力。

常见算力对照

算力代表型号架构
7.0V100Volta
7.5T4Turing
8.0A100Ampere
8.6A10、RTX 3090Ampere
8.9L4、L40S、RTX 4090Ada
9.0H100、H200Hopper

算力影响什么

场景为什么要看算力不看会怎样
安装框架预编译内核按算力家族发布安装成功但运行时报找不到内核
选择量化内核部分量化格式对算力有最低要求加载失败或回退到慢速实现
启用加速特性低精度计算与注意力优化分架构支持配置写了但不生效,性能没有提升
采购与混部新旧卡混用时性能与支持度不一致同一配置在新卡正常、老卡报错

查询本机算力

查询本机算力
# 驱动侧查询(部分版本支持该字段)
nvidia-smi --query-gpu=name,compute_cap --format=csv
# 框架侧查询:返回主次版本号元组
python -c "import torch; print(torch.cuda.get_device_capability())"
# 与前两项联合核对,确认卡型、驱动与框架支持范围一致
nvidia-smi --query-gpu=name,driver_version --format=csv

典型使用场景

  • 部署前核对:确认目标卡算力在框架与量化内核的支持范围内
  • 排查内核不可用:报错指向内核缺失时,先比对本机算力与构建目标
  • 老卡续用评估:判断还能不能升到新版本框架,或需要停在某个版本
  • 混部规划:同一批任务尽量使用同算力家族的卡,减少配置分支
  • 备件核对:换卡时确认备件算力不低于原卡,避免能力回退
不同来源的算力对照表更新节奏不一致:以本机查询结果为准,型号列表只用于粗筛。
算力不同的卡混在同一并行组里,会以最弱的一张卡为准:混部时把老卡单独成组,或直接避免混用。

易错点

  • 忽略算力直接装最新框架:老卡上安装成功但运行时报内核不可用
  • 照抄别人的量化配置:量化内核有算力门槛,配置能写但加载会失败
  • 把型号对照表当准则:表会过时,本机查询结果才是事实依据
  • 混用不同算力的卡做并行:以最弱卡为准,整体性能被拉低
  • 不看框架发布说明就升级:新版本可能提高了最低算力要求,升级后老卡直接不可用

数据来源与参考

  • NVIDIA CUDA GPU 算力表(developer.nvidia.com/cuda-gpus)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌