首页/AI/大模型部署与运维速查/常见推理卡显存与带宽速查
本包目录(267 条)
部署形态与选型43 条
推理环境与 GPU50 条
推理参数与优化50 条显存与并发估算40 条服务化与网关34 条运维监控与排障50 条

常见推理卡显存与带宽速查

把常用推理卡的显存容量与标称带宽列成表:容量决定能放下多大的模型,带宽决定单请求解码速度的量级。数值取自官方数据手册。

常见卡规格(标称)

型号显存带宽
T416 GB320 GB/s
V100(32GB)32 GB900 GB/s
A1024 GB600 GB/s
A100(40GB)40 GB1555 GB/s
A100(80GB)80 GB2039 GB/s
L424 GB300 GB/s
L40S48 GB864 GB/s
H100 SXM80 GB3.35 TB/s
H200141 GB4.8 TB/s
RTX 409024 GB1008 GB/s

本机实测核对

本机实测核对
nvidia-smi --query-gpu=name,memory.total --format=csv
同一型号不同版本(PCIe/SXM、40GB/80GB)规格不同,采购与容量规划以具体子型号数据手册为准。

易错点

  • 把 SXM 与 PCIe 版本的带宽混为一谈:两者数值差一档,采购清单要写清楚

数据来源与参考

  • NVIDIA 数据中心 GPU 数据手册(nvidia.com)
  • NVIDIA RTX 产品规格(nvidia.com)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌