首页/AI/RAG 与向量库速查/合成评测问题生成

合成评测问题生成

用文档内容合成评测问题扩充电商/客服等问答集:每个片段生成若干问题,再人工抽检修正;注意去重与难度分层(事实型、比较型、条件型),避免全是“原文复读”。

RAG 与向量库速查AI更新于 2026-10-12

合成提示词要点

合成提示词要点
给定片段,生成 N 个用户可能提出的问题:
- 覆盖事实型、比较型、条件型各至少 1 个;
- 问题不得包含答案本身;
- 输出 JSON 数组,附片段 id。

质量抽检

质量抽检
sample = random.sample(synth_questions, 50)
keep = [q for q in sample if human_ok(q)]
print("保留率", len(keep) / len(sample))
合成问题与文档措辞接近,会系统性偏乐观:保留一部分真实用户问法作为对照组。

易错点

  • 合成问题与原句高度重合,评测分虚高
  • 不做去重,近似问题重复计入指标

数据来源与参考

  • RAGAS 官方文档(Testset Generation)
  • Es et al., RAGAS (arXiv:2309.15217)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌