Mistral 系列是什么
法国的 Mistral AI,模型家族包括 Mistral Large、Mistral Small、Mixtral 系列混合专家模型与代码专用的 Codestral。它的特点在权重开放程度高、多个型号可自托管,API 经 api.mistral.ai 提供且接口风格接近 OpenAI,迁移成本低。选型价值集中在三类场景:需要私有化部署、对供应商属地有要求、以及成本敏感的批量任务。
基本信息
| 厂商 | Mistral AI,欧洲厂商,多语言与代码能力见长 |
|---|---|
| 代表型号 | Mistral Large、Mistral Small、Mixtral、Codestral |
| 接入方式 | api.mistral.ai,接口风格与 OpenAI 接近,便于迁移 |
| 权重开放 | 多个型号开放权重可自托管,各型号许可条款不同 |
| 命名规则 | 带 latest 的滚动别名与固定版本号并存 |
| 部署取舍 | 自托管省调用费但需承担算力与运维,规模不够时不划算 |
典型使用场景
- 数据不能出内网的私有化部署:选开放权重型号跑在自有算力上
- 欧洲业务对供应商属地与合规要求较高,需要欧洲厂商作为选项
- 代码补全与代码问答:Codestral 面向代码场景,补全体验针对性强
- 成本敏感的批量任务:用较小的型号加提示词优化,替代大模型处理简单任务
- 作为多供应商冗余中的一路,避免单一模型供应商故障导致业务中断
最小调用
最小调用
# 接口形态与 OpenAI 接近,迁移存量代码时改动量小
curl -s https://api.mistral.ai/v1/chat/completions \
-H "Authorization: Bearer $MISTRAL_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "mistral-large-latest",
"messages": [{"role": "user", "content": "你好"}]
}'
# 需要严格复现的场景把模型名换成固定版本号,不要用带 latest 的滚动别名
# 自托管时同一权重可用官方推理框架加载,接口协议自行封装MoE 部署要点
| 项目 | 估算口径 | 说明 |
|---|---|---|
| 显存占用 | 按总参数量估算 | 所有专家权重都要加载,不能只算激活部分 |
| 计算量 | 按激活参数量估算 | 每 token 只走部分专家,吞吐优于同等总参数稠密模型 |
| 批处理 | 专家负载不均时效率下降 | 批量调度要观察各专家的实际负载分布 |
| 量化 | 可显著降低显存需求 | 量化后需重跑评测,确认质量损失可接受 |
| 许可 | 逐型号核对 | 有的允许商用自托管,有的仅限研究用途 |
Mixtral 是较早被广泛使用的开源混合专家模型:每个 token 只激活部分专家,所以显存要按总参数估算、算力按激活参数估算,两个口径混淆会导致机器选型直接错一档。
自托管的真实成本不只是 GPU:并发调度、灰度升级、监控告警与容量冗余都要计入,调用量不大的团队往往不如直接用 API 经济。