| MoE 原理 | 路由选择少量专家参与计算 |
|---|---|
| 稠密原理 | 全参数参与计算 |
| MoE 代表 | DeepSeek-V3、Qwen3-235B-A22B、Mixtral |
| 稠密代表 | Llama 3.1 8B/70B 等 |
显存估算经验式（推理）
显存估算经验式（推理）
权重显存 ≈ 总参数量（十亿） × 每参数字节数
FP16≈2 INT8≈1 INT4≈0.5（单位 GB/十亿参数）
另需 KV Cache 与框架开销
MoE：显存按总参数估算，速度按激活参数估算MoE 适合高并发推理（算力被摊薄）；单机低并发时，性价比不一定优于稠密小模型。