解析工具怎么选
解析工具按输入类型选择：有文本层的电子版 PDF 用快速库直接提取，表格与坐标要求高时换字符级工具，版式复杂或含公式的文档走版式还原方案，扫描件必须上 OCR，格式混杂的语料库则用多格式统一的转换工具。选错工具会让后续切分与检索一直在补救。
常见工具
| 工具 | 定位 | 适用输入 |
|---|---|---|
| PyMuPDF | 快速文本与坐标提取 | 电子版 PDF |
| pdfplumber | 字符级与表格调试 | 电子版 PDF（含表格） |
| Marker | PDF 转 Markdown（含公式与表格） | 论文、手册 |
| MinerU | 结构化解析与版面阅读顺序 | 中文论文、技术文档 |
| Docling | 多格式统一转换 | PDF、DOCX、PPTX、HTML 混合库 |
| Tesseract | OCR 引擎（需图像预处理） | 扫描图片 |
| PaddleOCR | 中文 OCR 与版面分析 | 中文扫描件、表格图片 |
选型方法
- 先盘语料构成：统计各格式与是否为扫描件的占比，再决定主力工具
- 再明确上限要求：是否需要表格、公式、阅读顺序，决定是否需要重型方案
- 再看部署条件：部分方案体积大、依赖多，内网与容器环境要先验证
- 最后看人力：自建解析流水线需要持续维护，文档类型稳定时优先复用成熟方案
按输入类型的处理顺序
| 输入 | 首选 | 补充手段 |
|---|---|---|
| 电子版 PDF 正文 | 快速文本提取 | 版式混乱时按坐标重排 |
| 含表格的报表 | 字符级工具或表格专用工具 | 两种模式都跑一遍对照 |
| 扫描件 | 中文 OCR | 先做去噪与纠偏 |
| 网页文章 | 正文抽取工具 | 表格单独核对 |
| 混合格式仓库 | 统一转换工具 | 按格式再分流 |
验证要点
- 用真实坏样本测试：扫描页、双栏页、跨页表格各准备几份
- 关注失败页而不是平均表现，平均值会被大量简单页面掩盖
- 检查表格的行列对齐，错位比缺内容更难被发现
- 核对阅读顺序，多栏与图文混排最容易出错
- 记录每类文档的解析失败率，作为更换工具的依据
选型时用真实坏样本（扫描件、复杂表格、双栏）做小规模对比测试，而不是只看项目演示文档。