TP 大小怎么选
张量并行的规模选择分三步：先按单卡显存定出「能启动」的下限，再按互联条件定出「实际可用」的上限，最后用压测比较各档位的吞吐与单 token 时间。只求能启动往往会选到效率很差的档位，模型能跑但成本高得离谱。
基本信息
| 第一步 | 按单卡显存定 TP 下限 |
|---|---|
| 第二步 | 按互联条件定 TP 上限 |
| 第三步 | 压测比较吞吐与单 token 时间 |
| 互联偏好 | NVLink 域内优先 |
| 跨机并行 | 谨慎，通信代价高 |
典型使用场景
- 70B 级模型该选 4 卡还是 8 卡
- 同机型上比较不同 TP 档位的效率
- 判断是否需要换到互联更好的机型
- 扩容时按已有对照表直接选档
- 把每个档位的实测数据留档，作为下次扩容的依据
- 换机型后按同一流程重做对照，不沿用旧平台的结论
决策顺序
决策顺序
# 按顺序走，不要跳步
# 1) 单卡显存装不下 → 提高 TP
# 2) 互联条件：NVLink 域内优先，跨机要谨慎
# 3) 压测对比 TP=1/2/4 的吞吐与单 token 时间，再定档各档位的取舍
| 档位 | 优点 | 代价 |
|---|---|---|
| TP=1 | 没有通信开销 | 受单卡显存限制 |
| TP=2/4 | 单卡显存压力小 | 通信开销上升 |
| 跨机 TP | 可以拼出更大的模型 | 网络延迟代价高 |
关注效率曲线的拐点：TP 增大到某个点之后，通信开销会盖过显存收益，吞吐不再上升甚至下降。
记录模板：把每档的吞吐、单 token 时间与显存水位记成对照表，扩容时按表选档，而不是重新摸索一遍。
TP 增大后单卡显存压力下降，但每卡的有效算力也在下降：通信占比上升，单位成本往往变高。
跨机并行要把网络条件一起评估：带宽不够时，切分带来的收益会被通信开销完全吃掉。
把并行方案与模型、机型一起记录：选型结论绑定这三者，缺一项就没法复用。