置信度信号与降级策略
置信度应当是多个信号合成出来的结果，而不是单一分数：检索最高分、重排分布、片段之间的一致性、生成后的校验结果，各自反映不同环节的可靠程度。低置信时的处理也要分级：降低语气确定性并提示「仅供参考」，或者转人工、要求用户补充信息。阈值要与业务风险挂钩——高风险场景阈值更高、降级更早，宁可多转人工，也不要把错答案直接给出去。
基本信息
| 常见信号 | 检索最高分、重排分布、片段一致性、校验结果 |
|---|---|
| 合成方式 | 各信号归一化后加权求和 |
| 降级动作 | 降低语气确定性、提示核对原文、转人工 |
| 阈值策略 | 与业务风险等级挂钩 |
| 前置条件 | 降级路径必须联通人工队列 |
| 观测指标 | 低置信比例与转人工率 |
典型使用场景
- 知识库未覆盖的问题应明确说不知道，而不是硬答
- 高风险场景（运维变更、医疗建议）提前降级
- 多片段互相矛盾时提示用户核对原文
- 客服场景低置信自动转人工
- 用低置信问题比例衡量知识库的覆盖缺口
置信度合成示例
置信度合成示例
conf = 0.4 * norm(best_rerank) + 0.3 * coverage(chunks, answer) + 0.3 * validation_ok
if conf < 0.4:
return {"answer": answer,
"notice": "置信度较低，请核对原始文档", # 降低语气确定性
"escalate": True} # 进人工队列信号读法
| 信号 | 反映什么 | 失效场景 |
|---|---|---|
| 检索最高分 | 是否存在相关文档 | 模型与索引不一致时分数不可比 |
| 重排分布 | 候选之间的区分度 | 候选全都不相关时仍可能出现高分 |
| 片段一致性 | 证据之间是否矛盾 | 矛盾时应降置信，而不是取最高分 |
| 校验结果 | 引用是否支撑结论 | 校验规则覆盖不到的越界引用 |
阈值与业务风险挂钩：高风险场景更高阈值、更早降级，代价是多转一些人工，收益是避免错误结论流出。
降级路径必须联通人工队列：只提示置信度低却不给求助入口，用户依然无处可去。