权重显存公式：参数量 × 字节数

权重显存 = 参数量 × 每参数字节：FP16/BF16 每参数 2 字节、INT8 约 1 字节、4 位约 0.5 字节；张量并行后每卡按分片折减，通信缓冲另计。

估算示例

7B FP16  ≈ 7e9 × 2 B ≈ 14 GB（十进制口径）
7B INT8  ≈ 7 GB
7B 4bit  ≈ 3.5 GB
# TP=2 时每卡权重约减半；最终以加载后实测为准

口径先统一：10 进制 GB 与 GiB 相差约 7%，大模型上可能刚好吃掉安全余量。

‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌