两个体量的算例
先看两个常见体量：8B 级单卡可承载，70B 级需要多卡切分。算的顺序是先按权重定卡数，再按 KV 定窗口与并发，最后用压测把参数落到具体值。算例只给量级与顺序，具体数字要按所用精度与版本文档重算。
基本信息
| 8B FP16 权重 | 约 16 GB |
|---|---|
| 70B FP16 权重 | 约 140 GB |
| 70B 起步切分 | TP=4，每卡约 35 GB |
| 剩余预算 | 给 KV 与工作区 |
| 验证方式 | 压测对齐 |
典型使用场景
- 新项目做初版资源估算
- 给采购或预算提供量级依据
- 判断某个模型在当前机型上是否可行
- 给压测设定一个合理的起点参数
- 把算例结论做成表，模型或卡型变化时按同一流程重算
算例（示意）
算例（示意）
# 8B FP16 ≈ 16 GB 权重 → 24G 卡可跑，KV 预算相对宽裕
# 70B FP16 ≈ 140 GB 权重 → TP=4 起步（每卡约 35 GB）+ KV/工作区
# 量化版本按对应字节数重算，再核对 KV 与工作区
# 十进制口径，仅给量级按体量看注意点
| 体量 | 权重 | 注意 |
|---|---|---|
| 8B FP16 | 约 16 GB | 单卡即可，余量给 KV |
| 70B FP16 | 约 140 GB | 需多卡切分与互联支持 |
| 量化 70B | 按字节重算 | KV 不随之缩减 |
卡数算完只是起点：吞吐与延迟能否达标要用压测实测确认，显存够跑并不等于性能达标。
权重之外还要给 KV、工作区与加载缓冲留量：按利用率预分配时，这些预留会直接从可用显存里扣掉。
算例按十进制口径给量级，与用二进制计数的工具有差别：核对时先统一口径，避免出现几十 GB 的解释偏差。
切分后每卡权重近似均摊，但 KV 与工作区的分布与具体实现相关：上线前按实际启动日志核对一次，别只看理论值。
不同引擎的实际可用显存略有差异：框架自身的运行时开销会占掉一部分，按文档比例换算之后要再留一点余量。