首页/AI/AI 应用速查/文档解析:入库前的格式清洗

文档解析:入库前的格式清洗

RAG 的第一道工序:把 PDF/Word/HTML 还原成可切分的文本与结构。解析质量直接决定召回上限,扫描件需先 OCR、双栏与表格需特殊处理。

AI 应用速查AI更新于 2026-10-12
输入原生 PDF / 扫描 PDF / Word / HTML / 图片
常用库PyMuPDF(fitz)、pdfplumber、python-docx、unstructured
产出纯文本 + 页/段落结构 + 坐标
质检空页率、乱码率、表格完整性抽检

PyMuPDF 逐页抽取(Python)

PyMuPDF 逐页抽取(Python)
import fitz  # PyMuPDF;新版本也可 import pymupdf
doc = fitz.open("handbook.pdf")
for i, page in enumerate(doc):
    text = page.get_text("text")   # 另有 blocks/dict 模式可带坐标
    if not text.strip():
        print("空白页,疑为扫描件:", i)
扫描件用文本抽取会得到空字符串——先做 OCR 或版面识别(PP-Structure 等)再入库,不要静默丢页。

易错点

  • 把 PDF 二进制当 UTF-8 文本读,得到乱码还找不到原因
  • 双栏论文按流式抽取会左右串行,读起来语句错乱

数据来源与参考

  • PyMuPDF 官方文档 pymupdf.readthedocs.io;unstructured 项目文档

相关工具

​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌