抽查记录表结构
抽查记录表结构
query | answer_sentence | cited_chunk | 支撑与否 | 原因分类
分类：片段无关 / 部分支撑 / 数字错误 / 引用编号错位 / 过度推断抽样脚本
抽样脚本
sample = random.sample(logs, 50)
for rec in sample:
score = judge_support(rec.answer, rec.chunks) # LLM 初筛
if score < 0.8:
queue_for_human(rec) # 人工复核队列不支撑比例是生成侧质量的直接信号；持续偏高说明提示词约束或重排环节有问题。