筛选与复测流程
筛选与复测流程
1) 打开 Hugging Face MTEB leaderboard
2) Task 选 Retrieval、Language 选 Chinese（C-MTEB）
3) 记录候选模型的维度与下载量
4) 在自有语料与自有评测集上复测，再定选型榜单成绩不反映推理成本与显存占用；选型时把延迟与部署开销一并记录。
MTEB / C-MTEB 榜单使用
MTEB（含中文 C-MTEB）汇总 embedding 模型在检索、聚类、分类等任务上的表现，可按任务与语言筛选；榜单用于缩小候选范围，最终以自有评测集为准。
易错点
- 榜单靠前的模型未必适合你的领域与语言分布
- 忽略推理成本：大模型单条延迟可能拖垮在线预算
数据来源与参考
- Muennighoff et al., MTEB: Massive Text Embedding Benchmark, EACL 2023
- Hugging Face MTEB / C-MTEB 榜单