MTEB 榜单是什么
MTEB 汇总 embedding 模型在检索、聚类、分类、重排等任务上的表现，中文任务有独立的 C-MTEB 排行。榜单可以按任务类型与语言筛选，作用是把上千个候选模型缩小到几个，然后再用自有语料复测。要注意榜单不反映推理成本、显存占用与输入长度上限，而这些恰恰是上线时的硬约束。
基本信息
| 任务类型 | 检索、聚类、分类、重排、句子相似度等 |
|---|---|
| 中文子集 | C-MTEB 提供中文任务的独立排行 |
| 正确用法 | 用榜单缩小候选范围，再用自有评测集定选型 |
| 榜单盲区 | 推理成本、显存占用、输入长度上限 |
典型使用场景
- 初筛候选：从几十个模型里挑出几个与自身任务匹配的再深入测
- 语言适配：中文语料优先看 C-MTEB 的检索类得分
- 维度权衡：在得分接近的模型里选维度更低、成本更小的那个
- 新模型跟踪：定期看榜单更新，判断是否有值得复测的新版本
- 技术评审举证：把榜单排名与自有评测结果一起作为选型依据
筛选与复测流程
筛选与复测流程
1) 打开 Hugging Face 的 MTEB 榜单页面
2) Task 选 Retrieval、Language 选 Chinese（C-MTEB）
3) 记录候选模型的维度、参数量与下载量
4) 在自有语料与自有评测集上复测，再定最终选型
# 榜单只用来缩小范围，最终结论以自有评测为准
榜单字段怎么读
| 字段 | 含义 | 关注点 |
|---|---|---|
| 模型与参数量 | 模型名称、规模 | 参数量直接决定部署成本 |
| 维度 | 向量维度 | 维度越高，存储与计算越贵 |
| 检索得分 | 检索类任务平均分 | 与问答检索场景最相关 |
| 下载量 | 社区使用规模 | 间接反映文档与问题反馈的丰富度 |
榜单成绩不反映推理成本与显存占用；选型时把单条延迟、批量吞吐与部署开销一并记录，避免选出跑不动的模型。
不同中文榜单的评测集与难度不同，跨榜比较没有意义；同一份榜单内的排名变化才值得作为升级信号。