容量核算速记（粗算）
容量核算速记（粗算）
7B FP16 权重 约 14 GB
7B INT4 权重 约 4 GB
13B FP16 权重 约 26 GB
70B INT4 权重 约 40 GB
另加：KV 缓存（随上下文与并发增长）+ 框架开销 1~3 GB- 开发验证：16~24GB 卡加量化即可起步
- 在线服务：先按目标上下文与并发算 KV，再定容量
- 长上下文场景：KV 可能超过权重体积，容量要按 KV 规划
只看权重大小选卡是常见踩坑：长上下文并发下 KV 缓存体积可能反超权重。