MinerU 是什么
MinerU（原名 magic-pdf）是面向结构化解析的开源工具：从 PDF 中抽取正文、公式、表格与图片，按阅读顺序输出 Markdown，并对中文技术文档与论文做过专门优化。它和纯文本抽取的根本区别在于理解版面——双栏排版、公式区域、表格边框都能识别，产出的 Markdown 天然带层级，适合直接进入切分流水线。注意 1.x 与 2.x 的命令行与依赖结构差异明显，升级前要按对应版本的文档操作。
基本信息
| 包名 | mineru（2.x）；1.x 时代为 magic-pdf |
|---|---|
| 2.x 命令 | mineru -p input.pdf -o ./out |
| 1.x 命令 | magic-pdf -p input.pdf -o ./out |
| 输出 | Markdown、JSON（含版面信息）与抽出的图片 |
| 依赖 | 公式与表格识别依赖模型权重，CPU 可跑但耗时更长 |
典型使用场景
- 论文与技术白皮书入库：公式与表格必须保真的语料
- 中文手册解析：版面复杂且有大量图表混排
- 批量预处理：把整个文档目录转成 Markdown，统一进入切分流程
- 对照选型：与 Marker 等工具在同一批文档上比解析质量与耗时
- 扫描件处理：配合 OCR 得到可检索文本后再做版面理解
安装与命令行解析
安装与命令行解析
pip install -U 'mineru[core]' # 2.x
mineru -p input.pdf -o ./out
# 1.x 版本命令为：
magic-pdf -p input.pdf -o ./out
# 批量：先小样本估算吞吐，再跑全量解析产物与入库处理
| 产物 | 内容 | 处理建议 |
|---|---|---|
| Markdown | 带标题层级的正文 | 直接作为切分输入 |
| JSON | 版面区块、坐标、页码 | 用于抽检与切片元数据 |
| 图片 | 插图与公式截图 | 决定引用方式：链接或转文本 |
| 公式 | LaTeX 或图片形式 | 按下游是否需要公式检索决定 |
批量解析的工程要点
- 先盘点文档类型：纯文本 PDF 用轻量抽取即可，把模型留给真正复杂的版面
- 保留原始 PDF 与解析产物两份，出现质量问题可回到源头重跑
- 逐份记录耗时与失败原因，静默失败的文档往往就是线上缺内容的来源
- 解析产物先抽样人工比对，再进入切分与入库环节
CPU 也能跑但批量任务耗时显著：先用十份真实文档估算单份耗时与失败率，再推算全量排期；GPU 环境可显著缩短时间。