首页/AI/RAG 与向量库速查/生成后校验清单

生成后校验清单

回答发出前的校验清单:引用编号是否越界、事实句是否有片段支撑、是否包含未授权内容(内部代号、密钥样式文本)、格式是否符合渠道;校验失败走降级或转人工。

RAG 与向量库速查AI更新于 2026-10-12

校验钩子

校验钩子
checks = [
    citations_within_range,      # 引用编号合法
    no_secret_patterns,          # 无密钥样式文本
    matches_output_schema,       # 结构合法
    faithfulness_spot_check,     # 抽样忠实度检查
]
if not all(c(answer, chunks) for c in checks):
    answer = degrade(answer)     # 降级为简短版或转人工
高风险领域(医疗、金融、法务)把校验失败的默认动作设为转人工,而不是继续生成。

易错点

  • 校验规则只在离线评测跑,线上漏过异常输出
  • 敏感模式匹配过宽,正常型号文本触发大量误报

数据来源与参考

  • OWASP 官方文档(LLM 输出处理)
  • RAGAS 官方文档(faithfulness 自动化检查)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌