对照
| 维度 | TP | PP |
|---|---|---|
| 切分对象 | 单层权重与计算 | 模型层段 |
| 通信频率 | 每层每步 | 层段边界 |
| 主要代价 | 通信开销 | 流水气泡 |
| 适配场景 | NVLink 卡组内 | 跨节点扩展 |
组合参数要对齐：核对引擎日志中的 world size 与各卡负载是否符合预期。
TP 与 PP 取舍对照
并行策略的取舍在通信与切法：TP 逐层切分、通信频繁但负载均衡；PP 按层段切分、通信较少但有流水气泡；实践常见「机内 TP + 跨机 PP」组合。
易错点
- 把 TP 跨机使用：层间通信全走网络，带宽与延迟都可能成为瓶颈
数据来源与参考
- vLLM 官方文档：并行与分布式（docs.vllm.ai）