PDF文件提取开源工具调研总结

概述

PDF是一种日常工作中广泛使用的跨平台文档格式，常常包含丰富的内容：包括文本、图表、表格、公式、图像。在现代信息处理工作流中发挥了重要的作用，尤其是RAG项目中，通过将非结构化数据转化为结构化和可访问的信息，极大地提高了信息检索和生成的准确性、效率和实用性。所以PDF文档提取在RAG中显得尤为重要。

目前提取PDF文档内容的思路主要分为三个精细度：

直接解析PDF的内容流和内部结构，获取文本和元素信息。这种方式只适合标准的PDF，扫描版的PDF无法识别。
基于布局分析小模型和OCR模型识别文本块、段落和表格等。这种方式适用于标准版和扫描版的PDF，满足大多数需求，但是如果PDF非标准化布局，效果就不太好。OCR工具可以识别文字，布局分析模型识别PDF的基本布局和元素。
基于布局分析模型、OCR模型、识别公式和表格的模型，识别PDF中更加丰富的元素。这种方法能识别复杂和丰富的各种PDF元素，但是基于大模型，需要的资源较多，并且在CPU环境下速度较慢，需要基于GPU运行。

下面是几个开源的PDF提取工具分析调研和总结，希望能跟感兴趣的同行一起分享学习。

PyMuPDF

这是一个Python处理PDF的神器，后面会重点写博客，介绍这个工具的使用技巧和方法。

PyMuPDF 1.24.9 documentation

PyMuPDF 是一个基于 MuPDF 引擎的轻量级 PDF 处理库，用于在 Python 中处理和分析 PDF （和其他）文档。它提供了丰富的功能，包括从 PDF 中提取文本和图像、处理注释、生成页面截图等。PyMuPDF 的设计目标是高效、灵活且易于使用，适合需要对 PDF 文档进行深入处理的开发者和数据分析师。

基本原理

核心依赖于 MuPDF 引擎，MuPDF 是一款高性能的 PDF 和 XPS 渲染器，专注于快速、紧凑的 PDF 处理。PyMuPDF 将 MuPDF 的强大功能通过 Python 接口暴露出来，提供给用户。

页面渲染：MuPDF 使用高效的渲染算法，将 PDF 页面内容转换为位图图像。PyMuPDF 可以直接调用这些渲染功能，将页面生成高质量的图像文件。
文本和图像提取：MuPDF 能够解析 PDF 文档的内容流，识别出其中的文本、图像和绘制对象。PyMuPDF 使用这些解析功能，将文本和图像提取为 Python 对象。
内容结构分析：MuPDF 的解析引擎可以读取 PDF 的内部结构，PyMuPDF 基于此提供页面内容分析功能，允许用户深入了解 PDF 页面各个部分的构成。

主要功能

文本提取：
- 直接从 PDF 页面中提取文本，支持提取特定区域的文本内容。
- 可以按段落、行或单词提取文本，同时保留文本的布局信息。
图像提取：
- 从 PDF 页面中提取嵌入的图像，支持提取图像对象和绘制的矢量图形。
- 可以指定页面区域来提取部分图像内容。
页面渲染：
- 将 PDF 页面渲染为图像文件（如 PNG、JPEG），用于创建页面截图或预览。
- 支持设置渲染分辨率和缩放比例，以满足不同分辨率下的需求。
处理注释和标注：
- 读取和提取 PDF 页面上的注释和标注（如高亮、下划线、注释框）。
- 可以添加、删除或修改页面上的注释对象。
PDF 文件操作：
- 支持合并、分割、旋转、裁剪和重新排列 PDF 页面。
- 可以创建新的 PDF 文档，添加文本、图像和图形。
页面搜索：
- 在 PDF 文档中搜索特定的文本内容，返回匹配文本的位置和所在页面。
内容分析：
- 提供对 PDF 页面内容（如文本块、图形、形状、路径等）的详细分析功能，帮助用户了解页面的结构和内容布局。

实际使用效果

优点：

可以准确的提取出正常PDF中的所有元素和bbox布局，包括文字、表格和图片。文字的识别准确率基本高于99%。
可以直接进行PDF页面的拷贝和截取
可以直接把PDF页面转换为图片
可以合并、分割、旋转、裁剪和重新排列PDF页面

缺点：

识别图片只能识别图层，某些复杂的PDF识别出来的图片并不是原始的图片
识别表格，容易把表格邻近的文字识别进去
无法识别公式
无法自动去除页眉页脚

扩展功能

1. PyMuPDF4LLM

支持将PDF转换为Markdown格式，也支持输出LlamaIndex的文档输出。可以识别文本、表格、图片和标题。

测试结论：实际测试发现，这里面还是存在很多问题，比如左右版面的pdf没办法正确输出顺序。但是其中识别pdf文档标题的内容可以借鉴，还有识别图片准确位置的方法可以借鉴，后续用于优化我们的PDF提取功能。

2. PyMuPDF Pro

在PyMyPDF支持pdf的基础上，增加对Office文档的支持，包括doc/docx、xls/xlsx、ppt/pptx、hwp/hwpx。不过效果也一般，跟实际解析word、ppt文档的效果还差一些。

3. PyMuPDF OCR

基于Tesseract-OCR服务，实现pdf的扫描版文字解析，基本原理是把扫描版pdf转成图片，然后提交给Tesseract-OCR进行OCR识别。

测试结论：但是功能有限，OCR识别准确率很低，且需要提前指定语言，只能识别指定语言的内容。就算指定了语言，识别效果也很差，准确率低于50%。

MinerU

这个工具是国内团队开源出来的，对于中文PDF提取效果很好，后面会详细介绍这个项目的原理和源码

OpenDataLab 是一个专注于数据和人工智能研究的开源平台，致力于提供高质量的数据集、模型和工具，支持科研人员和开发者的工作。并且提供开源数据处理全流程的工具，包括数据提取、数据清洗、数据标注、数据质量评估、数据可视化与分析等。本文中重点关注数据提取工具MinerU。

整体介绍

项目地址：opendatalab/MinerU: A one-stop, open-source, high-quality data extraction tool, supports PDF/webpage/e-book extraction.一站式开源高质量数据提取工具，支持PDF/网页/多格式电子书提取。 (github.com)

MinerU是一个一站式、开源、高质量的数据提取工具，主要包含以下功能：

提取PDF，基于PDF-Extract-Kit工具（后面会详细介绍这个工具）实现精确和高效的提取PDF英文和中文文档
提取Office文档（opendatalab/magic-doc (github.com)），是一个轻量级、开源的用于将多种格式的文档（PPT/PPTX/DOC/DOCX/PDF）转化为 markdown 格式的工具
提取HTML文档（opendatalab/magic-html (github.com)），提供了一套工具，能够轻松地从HTML中提取主体区域内容。无论您处理的是复杂的HTML结构还是简单的网页，这个库都旨在为您的HTML抽取需求提供一个便捷高效的接口。

这里重点调研了提取PDF的功能，下面是详细介绍。

功能简介

Magic-PDF是OpenDataLab基于PDF-Extract-Kit实现的PDF提取工具平台，实现了精确和高效的提取PDF英文和中文文档的功能，可以在cpu和gpu上运行，并且提供命令行和API两种使用方式。核心的功能包括：

识别版面元素，删除页眉/页脚/脚注，保留正文图表
定位图片/表格，准确转换为多模态Markdown格式（表格识别很慢，但是如果不开启可以直接切成图片）
解析数学公式、超长公式，转换为Markdown格式
保留原文档的结构，包括标题、段落、列表
提取图像、图片标题、表格、表格标题
自动识别文档中的公式并将公式转换成latex
自动识别文档中的表格并将表格转换成latex
乱码PDF自动检测并启用OCR
支持CPU和GPU环境
支持windows/linux/mac平台

提供的用户API包括：

解析普通的pdf
解析扫描版的pdf
解析普通和扫描混合的pdf

功能测试结果

整体测试识别得准确率较高，基本高于95%，跟PyMyPDF识别普通版pdf的效果差不多。下面是详细的功能点测试效果说明。

功能点	测试效果	备注说明
识别pdf类型(普通/扫描)	可以识别普通类型和扫描版本的pdf，还可以识别pdf是否被加密了，如果是加密了，则不解析。	1、竖向的文字没办法识别 2、扫描版的pdf识别效果挺好，并且自动去掉页眉页脚等元素 3、普通类型的pdf识别效果反而不如PyMuPdf，会有一些文字识别不太准确
识别版面元素，删除页眉/页脚/脚注，保留正文图表	扫描pdf和普通pdf都可以识别，并且去掉了页眉页脚的内容	1、有时候识别得并不精确，反而会去掉一些不属于页眉页脚的内容 2、如果页眉页脚里版面内容比较近，就没办法去掉。一般有明显标记的页眉页脚，能很好的去掉，比如横线等。所以也跟训练模型的输入有关
解析数学公式，并将公式转换成latex	学术论文的公式可以正常识别，但是简单公式识别效果不理想	这里应该是因为模型训练使用的学术论文较多，所以识别学术论文的公式效果比较好，识别普通的比如“1+N”这种公式反而效果不好了
保留原文档的结构，包括标题、段落、列表	扫描pdf和普通pdf都可以做到	1、标题识别出来都是一级标题，感觉没有做区分？ 2、段落内部的每一行识别出来也有多余的换行符 3、列表识别出来无法区分有序和无序
提取图像	扫描pdf和普通pdf都可以做到	1、但是扫描版本的图像切割的时候，有部分会把周边的文字切入进来，不过问题不大，能正常识别出来
提取表格	能够正确的识别表格，但是表格提取很慢	目前在16G内存cpu的环境中，识别一个很小的表格，比如5行5列的表格，基本上的400秒左右。

基本原理

整个项目分为如下几个模块：

API层，提供用户使用的API，目前提供了三个API，包括：PDF内容的提取、结果格式化输出（Markdown、json等）、提取过程中间结果的输出
预处理层，主要用来识别PDF的分类，比如是普通PDF或者扫描版本PDF或者是混合PDF，提取PDF的元数据信息（页面宽度高度等、基础的版面信息），同时做一些乱码检测，去掉无法解析的部分
模型层，首先进行版面布局的识别，识别出基本的元素（文字、图片、表格、格式），构建统一的模型结构。这一层主要使用的PDF-Extract-Kit这个工具包，封装的LayoutMv3、OCR、公式识别、表格识别的模型
管线层（pipeline），是整个提取过程的自动化流程，结合前面处理的步骤，统一对PDF提取复杂过程构建流程，然后输出统一的中间格式
输出层，结合统一输出的中间格式，根据用户的需要输出最终的结果。

1. 原始文档分类

文档类型：论文、财报、文本书籍、图文PDF、PPT
语言分类：英文或者中文

2. 版面检测

1）布局检测

使用LayoutLMv3模型进行区域检测，如图像，表格,标题,文本等。LayoutLMv3-SFT指的是我们在LayoutLMv3-base-chinese预训练权重的基础上进一步做了SFT训练后的模型。论文验证集由402张论文页面构成，教材验证集由587张不同来源的教材页面构成。

2）公式检测

公式检测：使用YOLOv8进行公式检测，包含行内公式和行间公式；

YOLOv8-Trained是在YOLOv8l模型的基础上训练后的权重。论文验证集由255张论文页面构成，多源验证集由789张不同来源的页面构成，包括教材、书籍等。

3. 内容识别方式

1）公式识别

使用UniMERNet进行公式识别；

直接使用的是UniMERNet的权重

2）表格识别

目前支持三种表格识别方式：

使用TableMaster进行表格识别
使用StructEqTable进行表格识别
使用RapidTable进行表格识别

3）OCR识别

使用PaddleOCR进行文本识别；

OCRmyPDF

项目简介

项目地址：ocrmypdf/OCRmyPDF: OCRmyPDF adds an OCR text layer to scanned PDF files, allowing them to be searched (github.com)

说明：OCRmyPDF是基于TesseractOCR实现，用于对扫描版PDF文件进行OCR（光学字符识别）的开源工具。它的核心功能是通过OCR技术将扫描版PDF中的图像转换为可搜索和可复制的文本，从而生成一个数字版PDF。这个工具的工作原理大致如下：

图像提取：OCRmyPDF 会从PDF中提取每一页的图像。
光学字符识别：它使用 Tesseract-OCR 或其他OCR引擎对这些图像进行字符识别，将图像中的文字转换为可编辑的文本。
文本嵌入：识别出的文本被嵌入到原始的PDF文件中，生成一个包含图像和隐藏文本层的PDF文件。这个文本层是搜索和复制的基础。
PDF优化：OCRmyPDF 还可以对PDF文件进行优化，例如压缩文件大小、校正页面方向等。

光学字符扫描（OCR）工具

OCR识别工具，在PDF提取中，主要用于识别PDF中的文字内容，常见的

PaddleOCR

项目地址：PaddlePaddle/PaddleOCR: Awesome multilingual OCR toolkits based on PaddlePaddle (practical ultra lightweight OCR system, support 80+ languages recognition, provide data annotation and synthesis tools, support training and deployment among server, mobile, embedded and IoT devices) (github.com)

官方文档地址：概述 - PaddleOCR 文档 (paddlepaddle.github.io)

说明：是中文开源项目，对中文的支持最好，所以国内的PDF识别开源项目大多基于这个项目进行OCR识别

TesseractOCR

项目地址：tesseract-ocr/tesseract: Tesseract Open Source OCR Engine (main repository) (github.com)

文档地址：tesseract/README.md at main · tesseract-ocr/tesseract (github.com)

说明：由谷歌维护的开源OCR引擎，支持多种语言。它对格式良好的文本非常准确，广泛应用于各种应用中。、

EasyOCR

项目地址：JaidedAI/EasyOCR: Ready-to-use OCR with 80+ supported languages and all popular writing scripts including Latin, Chinese, Arabic, Devanagari, Cyrillic and etc. (github.com)

说明：一个基于Python的OCR工具，支持80多种语言，使用简单的API从图像中提取文本。它很容易集成到现有的Python项目中。

其他工具

LayoutLMv3

说明：LayoutLMv3是微软为文档理解任务开发的模型。它是LayoutLM系列的第三个版本，将语言模型的功能与空间布局信息相结合，使其对于需要理解文本和文档布局的任务特别有效。

项目地址：unilm/layoutlmv3 at master · microsoft/unilm (github.com)

文档地址：unilm/layoutlmv3/README.md at master · microsoft/unilm (github.com)

Ultralytics YOLOv8

说明：是一种用于图像或者视频中对象检测的深度学习模型，它是 YOLO（You Only Look Once）系列模型的最新版本。YOLOv8 继承了 YOLO 系列模型的快速、实时检测的优点，同时在精度和性能方面进行了显著提升。可以检测出图像或者视频中的物体，并返回边界框，同时能将图像中的不同对象分割出来，生成像素级掩码，也能对整个图像分类，识别图像的主要内容或者类别，检测出物体的关键位置点，如人脸的眼睛鼻子等。在PDF提取中，主要用来做公式检测。

项目地址：ultralytics/ultralytics: NEW - YOLOv8 in PyTorch > ONNX > OpenVINO > CoreML > TFLite (github.com)

文档地址：Home - Ultralytics YOLO Docs