首页/AI/RAG 与向量库速查/解析质量抽检与指标

解析质量抽检与指标

批量解析后先做质量抽检:统计空页比例、乱码比例、平均字符数并人工抽样比对原文;发现问题的文档单独走 OCR 或人工修复。

RAG 与向量库速查AI更新于 2026-10-12

抽检脚本

抽检脚本
import fitz

doc = fitz.open("manual.pdf")
pages = [p.get_text() for p in doc]
empty = sum(1 for t in pages if len(t.strip()) < 20)
mojibake = sum(1 for t in pages if t.count("\ufffd") > 5)
print(f"共 {len(pages)} 页,空页 {empty},疑似乱码页 {mojibake}")
把抽检指标写入索引报告(每份文档的页数、字符数、空页数),便于回溯定位问题文档。

易错点

  • 只看总量不看分布,少量关键页解析失败会被平均值掩盖
  • 乱码页不处理直接入库,检索结果会夹杂噪声片段

数据来源与参考

  • PyMuPDF 官方文档(页面文本)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌