判定提示词骨架
判定提示词骨架
系统：你是检索质量评审。
输入：问题 + 若干候选片段（带 id）。
任务：逐片段判断是否包含回答该问题所需的关键信息。
输出 JSON：{"judgments": [{"id": "…", "contains_answer": true|false, "why": "一句话"}]}LLM 判定要与人工标注对齐一次（抽样 50～100 条算一致率），再大规模使用。
用 LLM 判定召回的补充评估
无完整标注时可用 LLM 做召回质量判定：给定查询与召回片段，让模型判断“是否包含回答所需信息”，抽样统计命中率；这是近似指标，关键版本仍建议人工复核。
易错点
- 把 LLM 判定当绝对真值，模型偏好（长片段更占优）会带偏结论
- 判定提示词随版本改动不记录，历史评测结果不可比
数据来源与参考
- RAGAS 官方文档（LLM 作为评审）
- TruLens 官方文档（反馈函数）