部署形态与选型43 条

Rerank 模型服务化

重排模型(如 bge-reranker)对召回候选二次打分;较新的 TEI 提供 /rerank 接口,Xinference 等平台也可直接托管 rerank 类模型。

TEI /rerank 调用(示意)

TEI /rerank 调用(示意)
curl http://127.0.0.1:8080/rerank -H 'Content-Type: application/json' -d '{ "query": "如何排查OOM", "texts": ["候选文档一", "候选文档二"] }'
  • 输入:query + 一批候选文本
  • 输出:按相关度排序的分数列表
  • 取舍:候选数量(如 top 50 收窄到 top 5)与延迟的平衡
接口名与参数字段随版本演进,接入前对照当前版本文档。

易错点

  • 把 rerank 分数当作跨查询可比的绝对值:不同 query 的分数分布不同,阈值应逐场景校准

数据来源与参考

  • Hugging Face TEI 文档(huggingface.co/docs/text-embeddings-inference)
  • Xinference 官方文档(inference.readthedocs.io)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌