引用可核查性是什么
引用可核查性靠上线后的定期抽查维持：按周随机抽取回答，逐句核对引用片段是否真的支撑对应句子，统计不支撑比例，并把结果回流到提示词与校验规则的迭代。这是少数能直接度量「有没有编造」的常规手段。抽查要落到句子粒度，而不是给整条答案打个分，否则无法区分「整体正确但某句越界」与「通篇编造」这两种截然不同的问题。
基本信息
| 频率 | 按周或按发布批次 |
|---|---|
| 粒度 | 逐句核对引用片段 |
| 输出 | 不支撑比例与原因分类 |
| 原因分类 | 片段无关、部分支撑、数字错误、编号错位、过度推断 |
| 初筛手段 | 模型判定，降低人工工作量 |
| 结果去向 | 提示词与校验规则迭代 |
典型使用场景
- 上线后维持引用质量的基线水平
- 改提示词或换模型之后验证实际效果
- 高风险场景加密抽查比例
- 产出不支撑原因的分布报表，指导优化方向
- 把典型不支撑样本沉淀成回归用例
抽查记录表结构
抽查记录表结构
query | answer_sentence | cited_chunk | 支撑与否 | 原因分类
分类：片段无关 / 部分支撑 / 数字错误 / 引用编号错位 / 过度推断
# 逐句记录才能定位到是哪一句话越界
# 原因分类是后续优化方向的直接依据原因分类读法
| 分类 | 含义 | 处置方向 |
|---|---|---|
| 片段无关 | 引用的片段不支持该句 | 检查重排质量与相似度阈值 |
| 部分支撑 | 片段只支持了句子的一部分 | 要求答案与片段一一对应 |
| 数字错误 | 数字与片段不一致 | 补数字校验规则 |
| 编号错位 | 引用编号与片段不匹配 | 生成后统一回填校验 |
| 过度推断 | 片段没说但答案推出了结论 | 提示词增加禁止外推的约束 |
不支撑比例是生成侧质量的直接信号：持续偏高说明提示词约束或重排环节存在系统性问题，不是个别样本的偶发。
只用生成模型自评会放大系统性偏差：初筛可以交给模型，但抽样结果必须保留人工复核环节作为校准。