启用示意
启用示意
vllm serve <moe 模型路径> --tensor-parallel-size 8 --enable-expert-parallel
# 参数名与支持矩阵以版本文档为准路由带来 all-to-all 型流量：网络评估要把这部分与 TP 通信一起算。
专家并行：MoE 的额外切法
MoE 模型可用专家并行把不同专家分布到不同卡：降低单卡权重驻留，与 TP 组合使用；vLLM 提供 expert parallel 开关，支持范围以版本文档为准。
易错点
- 对非 MoE 模型开启：没有专家可切分，行为与预期不符，先确认模型结构
数据来源与参考
- vLLM 官方文档：MoE 与并行（docs.vllm.ai）