这张表用来看方向
显卡规格里有两项直接决定推理表现：显存容量决定能放下多大的模型与多长的上下文，显存带宽决定单请求解码速度的量级。下表取自官方数据手册的标称值，用来做粗筛与采购核对；同一型号的不同子版本（插槽形态、显存版本）规格可能不同，最终要以具体子型号的手册为准。
常见推理卡规格（标称）
| 型号 | 显存 | 带宽 |
|---|---|---|
| T4 | 16 GB | 320 GB/s |
| V100（32GB） | 32 GB | 900 GB/s |
| A10 | 24 GB | 600 GB/s |
| A100（40GB） | 40 GB | 1555 GB/s |
| A100（80GB） | 80 GB | 2039 GB/s |
| L4 | 24 GB | 300 GB/s |
| L40S | 48 GB | 864 GB/s |
| H100 SXM | 80 GB | 3.35 TB/s |
| H200 | 141 GB | 4.8 TB/s |
| RTX 4090 | 24 GB | 1008 GB/s |
两项数字各管什么
| 指标 | 影响什么 | 选型判断 |
|---|---|---|
| 显存容量 | 能装下多大的权重与多长的 KV 池 | 容量不够直接跑不起来，优先级最高 |
| 显存带宽 | 单请求解码速度的理论上限 | 容量相同优先选带宽高的版本 |
| 显存类型与版本 | 同型号不同版本的可用容量与带宽 | 采购清单写清子型号，避免到货不符 |
| 卡间互联 | 多卡切分时的通信效率 | 需要多卡并行时一并确认互联能力 |
典型使用场景
- 采购前的粗筛：按目标模型大小圈定容量档位，再看带宽与互联
- 上架核对：用实测命令确认到货卡型与容量是否与采购单一致
- 容量规划：按容量与带宽估算可承载的模型规模与并发量级
- 混部方案设计：用小卡承载嵌入与重排模型，大卡承载生成模型
- 故障换卡：核对备件规格是否与原卡一致，避免性能回退
本机实测核对
本机实测核对
# 一次拿到卡型与显存容量，逐台核对采购单
nvidia-smi --query-gpu=index,name,memory.total,driver_version --format=csv
# 卡与卡、卡与网卡之间的连接方式，多卡方案必看
nvidia-smi topo -m标称带宽是理论上限：解码速度还会受批大小、KV 读取与调度开销影响，实测通常低于按带宽推算的理论值。
把插槽形态不同的版本混为一谈会算错账：同型号的插槽版本带宽差一档，采购与容量规划都要写明具体子型号。