托管重排 API
托管重排服务省去自建模型与推理资源：把查询与候选文档列表一次提交，服务返回按相关性排序的结果与分数，只取前 top_n 条进上下文。它适合快速接入、调用量不大或不想维护 GPU 的场景；代价是按调用量计费、有网络延迟，且单次请求对文档条数与总长度有配额限制。候选池大小与分批策略要先看清配额再定，否则会出现请求被拒或静默截断。
基本信息
| 调用形态 | 一次请求提交 query + documents，返回排序结果 |
|---|---|
| 返回内容 | 每条结果的原始下标与相关性分数 |
| 关键参数 | model（如 rerank-v3.5）、top_n |
| 配额限制 | 单次请求的文档条数与总长度有上限 |
| 成本构成 | 按调用量计费，另加网络往返延迟 |
典型使用场景
- 快速验证重排收益：先接托管服务量出指标提升，再决定是否自建模型
- 低频高价值场景：内部专家问答每日调用量小，自建模型不划算
- 与自建模型互补：高峰期溢出流量走托管服务，保证响应时间
- 多语言语料：托管模型通常覆盖多语言，省去逐语言选型
- 对照基线：把托管重排作为质量上限，衡量自建小模型与之的差距
调用与结果映射
调用与结果映射
import cohere
co = cohere.ClientV2('YOUR_API_KEY')
res = co.rerank(model='rerank-v3.5', query='如何选择向量数据库',
documents=[d.text for d in candidates], top_n=8)
for r in res.results:
print(r.index, r.relevance_score) # index 是提交列表里的原始下标
picked.append(candidates[r.index]) # 用下标回原对象，别自己重排参数与注意点
| 参数 | 作用 | 注意点 |
|---|---|---|
| documents | 候选文档文本列表 | 超长会被截断，先按片段长度上限裁剪 |
| top_n | 返回条数 | 等于进上下文的片段数，按预算定 |
| index | 原始下标 | 据此回原对象，保留下游元数据 |
| relevance_score | 相关性分数 | 只在同一查询内可比，不做跨查询阈值 |
托管服务的数据会离开自有环境：涉密或受合规约束的语料要先确认服务条款与数据处理方式，必要时改用本地模型。