pdf转word/markdown等格式——MinerU的部署：2024最新的智能数据提取工具

news2025/1/9 16:40:35

一、简介

MinerU是开源、高质量的数据提取工具，支持多源数据、深度挖掘、自定义规则、快速提取等。含数据采集、处理、存储模块及用户界面，适用于学术、商业、金融、法律等多领域，提高数据获取效率。一站式、开源、高质量的数据提取工具，支持多种功能，如提取 PDF、markdown 等格式的内容。

二、应用场景

1.学术研究：

- 文献资料整理：科研人员在进行学术研究时，需要阅读大量的学术文献。MinerU可以从PDF格式的学术论文、电子书籍中快速提取关键信息，如研究方法、实验数据、结论等，并将其转换为易于整理和分析的格式，帮助科研人员高效地梳理文献内容，节省时间和精力。例如，在医学领域，研究人员可以利用MinerU从相关医学文献中提取疾病的症状、治疗方法、药物疗效等信息，为自己的研究提供参考。

- 数据收集与分析：对于需要进行大规模数据收集和分析的研究项目，MinerU可以从各种数据源（如学术数据库、网页等）中提取相关数据。比如在社会科学研究中，收集不同地区的人口统计数据、经济发展数据等，然后进行综合分析，以支持研究结论的得出。

2.商业与市场分析：

- 市场调研：企业在进行市场调研时，常常需要收集大量的市场数据，包括行业报告、竞争对手的信息、消费者反馈等。MinerU可以帮助企业从各种文档和网页中提取所需的数据，例如从行业研究报告中提取市场规模、增长率、市场份额等关键数据，为企业制定市场策略提供依据。

- 销售数据分析：从销售记录、客户反馈等数据中提取有价值的信息，如销售趋势、客户购买行为、产品受欢迎程度等。通过对这些数据的分析，企业可以优化产品策略、定价策略以及销售渠道策略，提高销售业绩。例如，电商企业可以利用MinerU从大量的交易数据中分析用户的购买习惯和偏好，从而进行精准营销和个性化推荐。

3.金融领域：

- 财务报表分析：能够从PDF格式的财务报表中提取关键的财务数据，如资产、负债、收入、利润等，并进行结构化处理，方便金融分析师进行财务比率分析、趋势分析等，以评估企业的财务状况和经营绩效。例如，证券分析师可以使用MinerU快速提取多家上市公司的财务报表数据，进行横向和纵向对比，为投资决策提供参考。

- 金融新闻与资讯分析：实时从金融新闻网站、财经媒体等渠道提取有关金融市场、股票、债券、汇率等方面的信息，并进行整理和分析。这有助于金融从业者及时了解市场动态，把握投资机会，做出更明智的投资决策。比如，通过MinerU提取金融新闻中关于某一特定公司的重大事件、业绩预告等信息，结合财务数据进行综合分析，判断该公司股票的投资价值。

4.法律领域：

- 法律文档处理：律师在处理案件时，需要阅读和分析大量的法律文件，如合同、法规、判决书等。MinerU可以帮助律师从这些文档中快速提取关键条款、法律依据、案件事实等信息，提高工作效率。例如，在合同审查中，MinerU可以提取合同的关键条款，如双方的权利义务、违约责任等，帮助律师快速了解合同的主要内容和风险点。

- 案例分析与研究：从大量的司法案例中提取相关信息，如案件事实、判决结果、法律适用等，为律师进行案例分析和研究提供支持。这有助于律师总结司法实践中的规律和趋势，提高辩护和代理的水平。

5.新闻媒体与出版：

- 新闻内容采集：新闻媒体可以使用MinerU从各种网站、社交媒体等渠道快速提取新闻内容，包括标题、正文、图片等，并进行整合和编辑，以提高新闻采编的效率。例如，实时采集各大新闻网站的热门新闻，进行汇总和分类，为读者提供全面的新闻资讯。

- 出版行业：在出版过程中，需要对大量的稿件进行处理。MinerU可以帮助编辑从作者提交的文档中提取文本内容、图片等，方便进行排版和编辑工作。同时，对于需要将纸质书籍数字化的项目，MinerU可以将PDF格式的书籍内容提取出来，转换为可编辑的文本格式，提高数字化的效率。

6.知识管理与学习：

- 知识整理与归纳：个人或组织可以利用MinerU从各种学习资料、知识库、在线课程等中提取知识点，进行整理和归纳，构建自己的知识体系。例如，学生可以将从教材、学术论文、网上课程中提取的重要知识点整理在一起，方便复习和备考。

- 在线学习平台：在线学习平台可以使用MinerU从各种教育资源中提取课程内容、题目、答案等信息，为学生提供个性化的学习服务。例如，根据学生的学习进度和需求，从大量的学习资源中提取适合的内容推送给学生，提高学习效果。

三、部署

https://github.com/opendatalab/MinerU

conda create -n MinerU python=3.10
conda activate MinerU
pip install -U magic-pdf[full] --extra-index-url https://wheels.myhloli.com

下载模型：

MinerU-大语言语料处理神器，CPU/GPU均可跑，开源免费“敲”好用_魔搭ModelScope社区-ModelScope魔搭社区

四、测试

1.修改 magic-pdf.json 文件修改models-dir，layoutreader-model-dir 为自己的位置。

{
    "bucket_info": {
        "bucket-name-1": [
            "ak",
            "sk",
            "endpoint"
        ],
        "bucket-name-2": [
            "ak",
            "sk",
            "endpoint"
        ]
    },
    "models-dir": "/home/py/ycc/MinerU-master/MODELSCOPE/hub/opendatalab/PDF-Extract-Kit-1___0/models",
    "layoutreader-model-dir": "/home/py/ycc/MinerU-master/MODELSCOPE/hub/ppaanngggg/layoutreader",
    "device-mode": "cuda",
    "layout-config": {
        "model": "layoutlmv3"
    },
    "formula-config": {
        "mfd_model": "yolo_v8_mfd",
        "mfr_model": "unimernet_small",
        "enable": true
    },
    "table-config": {
        "model": "rapid_table",
        "enable": false,
        "max_time": 400
    },
    "config_version": "1.0.0"
}