部署前核对
部署前核对
grep -E 'num_experts|num_experts_per_tok' <模型目录>/config.json
vllm serve <moe 模型路径> # 先用小并发验证 MoE 内核可用性显存瓶颈在全部专家的驻留权重：量化与专家并行是常见组合手段，吞吐按激活参数与路由分布实测。
MoE 模型推理：激活与驻留
混合专家模型单 token 只激活部分专家：计算量按激活参数走，但权重显存按全量专家驻留；部署前确认框架对 MoE 的算子与并行支持，并用真实路由分布压测。
易错点
- 按总参数量估并发：单 token 计算按激活参数、显存按全量参数，两端都要核
数据来源与参考
- vLLM 官方文档：支持的模型（MoE 说明）（docs.vllm.ai）
- Mixtral 模型卡（huggingface.co/mistralai）