选型算例：8B 与 70B 两档

两个常见体量的起点算例：8B 级单卡可承载、70B 级需要多卡切分；先按权重定卡数，再按 KV 定窗口与并发，最后压测定参数。

算例（示意，十进制口径）

8B FP16 ≈ 16 GB 权重 → 24G 卡可跑，KV 预算相对宽裕
70B FP16 ≈ 140 GB 权重 → TP=4 起步（每卡约 35 GB）+ KV/工作区
量化版本按对应字节数重算，再核对 KV 与工作区

卡数算完只是起点：吞吐与延迟达标用 benchmark_serving 实测确认（见压测条目）。

‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌