【PaddleOCR-kie】一、关键信息抽取：使用VI-LayoutXLM模型推理预测（SER+RE）

news2024/9/20 18:51:27

背景：在训练自己数据集进行kie之前，想跑一下md里面的例程，但md教程内容混乱，而且同一个内容有多个手册，毕竟是多人合作的项目，可能是为了工程解耦，方便更新考虑……需要运行的模型和运行步骤散落在不用文件夹下的不同md里面……很无语，对于新手小白真的很不友好，因此在这里，按照一个正常工程的使用顺序，进行一个总结。

PaddleOCR进行关键信息抽取（kie），将是一个系列，分为多篇：
一：使用PP-Structure 文档分析中关键信息抽取，运行VI-LayoutXLM模型在XFUND_zh数据集上的推理模型，跑通推理
二：使用PPOCRLabel对自己的数据集进行关键信息提取的标注
三：进行自定义数据集的训练、自训练模型的评估、推理预测

这是第一篇：使用VI-LayoutXLM模型推理，测试关键信息抽取表单识别功能

文章目录

  • 工程中关键信息提取相关内容
  • 本文参考
  • 理论部分
  • step0、环境准备
  • step1、下载解压VI-LayoutXLM推理模型
  • step2、下载XFUND数据集
  • step3、使用模型进行预测（基于PaddleInference）
    • 单SER: 语义实体识别 (Semantic Entity Recognition)
    • SER+RE: 关系抽取 (Relation Extraction)
  • 另一种方法（基于动态图的预测）
  • 仅预测SER模型
  • SER + RE模型串联

工程中关键信息提取相关内容

这里首先列出ppocr项目中与kie相关内容路径，方便查找，步骤从这些md中整合而来：

  • （本文主要参考这个）关键信息抽取-快速开始手册：.\ppstructure\kie\README_ch.md
  • 关键信息抽取全流程指南：.\ppstructure\kie\how_to_do_kie.md
  • （自己模型训练评估与推理）关键信息抽取手册md.\doc\doc_ch\kie.md
  • 关键信息抽取算法-VI-LayoutXLM.\doc\doc_ch\algorithm_kie_vi_layoutxlm.md
  • 配置文件位于.\configs\kie\vi_layoutxlm\
  • 关键信息抽取数据集说明文档（介绍了FUNSD、XFUND、wildreceipt数据集三种）.\doc\doc_ch\dataset\kie_datasets.md
  • 自己标注关键信息：PPOCRLabel使用文档./PPOCRLabel/README_ch.md

本文参考

-（本文主要参考这个）PP-Structure 文档分析-关键信息抽取-快速开始手册：.\ppstructure\kie\README_ch.md
主要使用这个文件夹里面的内容
在这里插入图片描述

其他参考：https://blog.csdn.net/m0_63642362/article/details/128894464

理论部分

基于多模态模型的关键信息抽取任务有2种主要的解决方案。

（1）文本检测 + 文本识别 + 语义实体识别(SER)
（2）文本检测 + 文本识别 + 语义实体识别(SER) + 关系抽取(RE)

关于上述解决方案的详细介绍，请参考关键信息抽取全流程指南：.\ppstructure\kie\how_to_do_kie.md
我们下面首先执行单SER

step0、环境准备

除了前期基础环境安装

git clone https://github.com/PaddlePaddle/PaddleOCR.git
cd PaddleOCR
pip install -r requirements.txt

以外，还有一句

pip install -r ppstructure/kie/requirements.txt

step1、下载解压VI-LayoutXLM推理模型

环境配置这里不赘述，可以参考博主之前的文章，下面默认已经下载好ppocr项目文件夹了：
下表来自《关键信息抽取算法-VI-LayoutXLM》.\doc\doc_ch\algorithm_kie_vi_layoutxlm.md
下载保存推理模型到项目根目录名为model的文件夹里面

模型骨干网络任务配置文件hmean下载链接
VI-LayoutXLMVI-LayoutXLM-baseSERser_vi_layoutxlm_xfund_zh_udml.yml93.19%训练模型/推理模型
VI-LayoutXLMVI-LayoutXLM-baseREre_vi_layoutxlm_xfund_zh_udml.yml83.92%训练模型/推理模型

或直接在终端下载+解压

#下载解压ser_vi_layoutxlm_xfund_infer.tar
wget https://paddleocr.bj.bcebos.com/ppstructure/models/vi_layoutxlm/ser_vi_layoutxlm_xfund_infer.tar
tar -xvf ser_vi_layoutxlm_xfund_infer.tar

#下载解压re_vi_layoutxlm_xfund_infer.tar
wget https://paddleocr.bj.bcebos.com/ppstructure/models/vi_layoutxlm/re_vi_layoutxlm_xfund_infer.tar
tar -xvf re_vi_layoutxlm_xfund_infer.tar

在这里插入图片描述
在这里插入图片描述

step2、下载XFUND数据集

下载XFUND数据集，放在根目录train_data文件夹里面，
下载解压：

# 准备XFUND数据集，对于推理，这里主要是为了获得字典文件class_list_xfun.txt
mkdir ./PaddleOCR/train_data
wget https://paddleocr.bj.bcebos.com/ppstructure/dataset/XFUND.tar
tar -xf XFUND.tar

之所以叫train_data，是因为和配置文件里面的路径保持一致，方便不修改yaml文件而直接用
在这里插入图片描述

step3、使用模型进行预测（基于PaddleInference）

PaddleOCR/ppstructure/kie

单SER: 语义实体识别 (Semantic Entity Recognition)

使用前面下载好的SER推理模型

cd ppstructure
python3 kie/predict_kie_token_ser.py \
  --kie_algorithm=LayoutXLM \
  --ser_model_dir=../model/ser_vi_layoutxlm_xfund_infer \
  --image_dir=./docs/kie/input/zh_val_42.jpg \
  --ser_dict_path=../train_data/XFUND/class_list_xfun.txt \
  --vis_font_path=../doc/fonts/simfang.ttf \
  --ocr_order_method="tb-yx"

复制版

python3 kie/predict_kie_token_ser.py  --kie_algorithm=LayoutXLM  --ser_model_dir=../model/ser_vi_layoutxlm_xfund_infer  --image_dir=./docs/kie/input/zh_val_42.jpg  --ser_dict_path=../train_data/XFUND/class_list_xfun.txt  --vis_font_path=../doc/fonts/simfang.ttf  --ocr_order_method="tb-yx"
  • ser_model_dir：我放在model文件夹内，
  • image_dir：要预测的图片
  • ser_dict_path：指向数据集的list文件位置
  • vis_font_path：是字体文件夹

第一次运行会下载一些模型
在这里插入图片描述

可视化结果保存在ppstructure/output目录下
在这里插入图片描述
对应infer.txt
在这里插入图片描述

SER+RE: 关系抽取 (Relation Extraction)

cd ppstructure
  python3 kie/predict_kie_token_ser_re.py \
  --kie_algorithm=LayoutXLM \
  --ser_model_dir=../model/ser_vi_layoutxlm_xfund_infer \
  --re_model_dir=../model/re_vi_layoutxlm_xfund_infer\
  --use_visual_backbone=False \
  --image_dir=./docs/kie/input/zh_val_42.jpg \
  --ser_dict_path=../train_data/XFUND/class_list_xfun.txt \
  --vis_font_path=../doc/fonts/simfang.ttf \
  --ocr_order_method="tb-yx"

复制版

python3 kie/predict_kie_token_ser_re.py --kie_algorithm=LayoutXLM  --ser_model_dir=../model/ser_vi_layoutxlm_xfund_infer --re_model_dir=../model/re_vi_layoutxlm_xfund_infer --use_visual_backbone=False --image_dir=./docs/kie/input/zh_val_42.jpg --ser_dict_path=../train_data/XFUND/class_list_xfun.txt --vis_font_path=../doc/fonts/simfang.ttf --ocr_order_method="tb-yx"

我在NX盒子上推理会比较慢
在这里插入图片描述
在这里插入图片描述
RE在有些内容上还是比较弱的

另一种方法（基于动态图的预测）

手册里面还有一个使用tools/infer_kie_token_ser.py代码，PaddleOCR引擎的，使用预训练模型的，基于动态图的预测
不过经过实测，这里直接使用预训练模型和上面使用微调模型效果一样，毕竟没微调

#安装PaddleOCR引擎用于预测
pip install paddleocr -U

mkdir pretrained_model
cd pretrained_model
# 下载并解压SER预训练模型
wget https://paddleocr.bj.bcebos.com/ppstructure/models/vi_layoutxlm/ser_vi_layoutxlm_xfund_pretrained.tar && tar -xf ser_vi_layoutxlm_xfund_pretrained.tar

# 下载并解压RE预训练模型
wget https://paddleocr.bj.bcebos.com/ppstructure/models/vi_layoutxlm/re_vi_layoutxlm_xfund_pretrained.tar && tar -xf re_vi_layoutxlm_xfund_pretrained.tar

如果希望使用OCR引擎，获取端到端的预测结果，可以使用下面的命令进行预测。

仅预测SER模型


python3 tools/infer_kie_token_ser.py \
  -c configs/kie/vi_layoutxlm/ser_vi_layoutxlm_xfund_zh.yml \
  -o Architecture.Backbone.checkpoints=./pretrained_model/ser_vi_layoutxlm_xfund_pretrained/best_accuracy \
  Global.infer_img=./ppstructure/docs/kie/input/zh_val_42.jpg

SER + RE模型串联

python3 ./tools/infer_kie_token_ser_re.py \
  -c configs/kie/vi_layoutxlm/re_vi_layoutxlm_xfund_zh.yml \
  -o Architecture.Backbone.checkpoints=./pretrained_model/re_vi_layoutxlm_xfund_pretrained/best_accuracy \
  Global.infer_img=./train_data/XFUND/zh_val/image/zh_val_42.jpg \
  -c_ser configs/kie/vi_layoutxlm/ser_vi_layoutxlm_xfund_zh.yml \
  -o_ser Architecture.Backbone.checkpoints=./pretrained_model/ser_vi_layoutxlm_xfund_pretrained/best_accuracy

（后续训练篇幅涉及）如果希望加载标注好的文本检测与识别结果，仅预测可以使用下面的命令进行预测。
仅预测SER模型
python3 tools/infer_kie_token_ser.py \ -c
configs/kie/vi_layoutxlm/ser_vi_layoutxlm_xfund_zh.yml \ -o
Architecture.Backbone.checkpoints=./pretrained_model/ser_vi_layoutxlm_xfund_pretrained/best_accuracy
\ Global.infer_img=./train_data/XFUND/zh_val/val.json \
Global.infer_mode=False

SER + RE模型串联 python3 ./tools/infer_kie_token_ser_re.py \ -c configs/kie/vi_layoutxlm/re_vi_layoutxlm_xfund_zh.yml \ -o
Architecture.Backbone.checkpoints=./pretrained_model/re_vi_layoutxlm_xfund_pretrained/best_accuracy
\ Global.infer_img=./train_data/XFUND/zh_val/val.json \
Global.infer_mode=False \ -c_ser
configs/kie/vi_layoutxlm/ser_vi_layoutxlm_xfund_zh.yml \ -o_ser
Architecture.Backbone.checkpoints=./pretrained_model/ser_vi_layoutxlm_xfund_pretrained/best_accuracy

end

ps：

在关键信息抽取手册md.\doc\doc_ch\kie.md也有提到使用预训练模型的预测（tools/infer_kie_token_ser.py）
我们在后面几篇再展开：具体内容摘抄：
如您通过 python3 tools/train.py -c configs/kie/vi_layoutxlm/ser_vi_layoutxlm_xfund_zh.yml 完成了模型的训练过程。您可以使用如下命令进行中文模型预测。
python3 tools/infer_kie_token_ser.py -c configs/kie/vi_layoutxlm/ser_vi_layoutxlm_xfund_zh.yml -o Architecture.Backbone.checkpoints=./pretrained_model/ser_vi_layoutxlm_xfund_pretrained/best_accuracy Global.infer_img=./ppstructure/docs/kie/input/zh_val_42.jpg
使用tools/infer_kie_token_ser.py需要首先有训练产生的checkpoints : ./output/ser_vi_layoutxlm_xfund_zh/best_accuracy作为支持，所以只能在训练后使用，具体在本系列第三篇展开

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/391741.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

没有钱怎么创业？一分钱没有如何能创业成功？

没有钱怎么创业？一分钱没有如何能创业成功？

限制人创业成功的从来都不是资金，而是能力，这个道理很多人都可能不懂，多数人习惯了庸庸碌碌、日复一日地打工行为，却不知如何创业，那么，没有钱怎么创业？一分钱没有如何能创业成功呢？…
阅读更多...
【深度学习】预训练语言模型-BERT

【深度学习】预训练语言模型-BERT

1.BERT简介 BERT是一种预训练语言模型（pre-trained language model, PLM），其全称是Bidirectional Encoder Representations from Transformers。下面从语言模型和预训练开始展开对预训练语言模型BERT的介绍。 1-1 语言模型 语言模型 &#xf…
阅读更多...
iOS（一）：Swift纯代码模式iOS开发入门教程

iOS（一）：Swift纯代码模式iOS开发入门教程

Swift纯代码模式iOS开发入门教程项目初始化（修改为纯代码项目）安装第三方库（以SnapKit库为例）桥接OC库（QMUIKit）封装视图并进行导航跳转示例：使用 TangramKit 第三方UI布局库应用国际化添加 R.s…
阅读更多...
NICEGUI---ROS开发之中常用的GUI工具

NICEGUI---ROS开发之中常用的GUI工具

0. 简介 对于ROS来说，如果不具备一定知识的人员来使用这些我们写的算法，如果说没有交互，这会让用户使用困难，所以我们需要使用GUI来完成友善的数据交互，传统的GUI方法一般有PYQT这类GUI方法，但是这类GUI工…
阅读更多...
激光炸弹（前缀和）

激光炸弹（前缀和）

地图上有 N 个目标，用整数 Xi,Yi 表示目标在地图上的位置，每个目标都有一个价值 Wi。注意：不同目标可能在同一位置。现在有一种新型的激光炸弹，可以摧毁一个包含 RR 个位置的正方形内的所有目标。激光炸弹的投放是通过卫星定位的&…
阅读更多...
顺序表以及链表的应用及区别（包含OJ讲解）

顺序表以及链表的应用及区别（包含OJ讲解）

前面我已经发过怎么实现链表以及顺序表，今天大概的总结一下。 顺序表： 1.能够随时的存取，比较方便。 2.插入删除时，需要挪动数据，比较麻烦，因为是连续存储。 3.存储密度相对于链表来说是比较高的&#…
阅读更多...
C++类的组合

C++类的组合

C类的组合什么是类的组合初始化参数列表使用类的组合案例分析组合构造和析构顺序问题this指针基本用法和作用什么是类的组合 类的组合就是以另一个对象为数据成员，这种情况称为类的组合 1.优先使用类的组合，而不是继承 2.组合表达式的含义 一部分关系 初…
阅读更多...
用户登录请求100w/每天, JVM如何调优

用户登录请求100w/每天, JVM如何调优

用户登录请求100w/每天, JVM如何调优 大概可以分为以下8个步骤。 Step1：新系统上线如何规划容量？ 1.套路总结 任何新的业务系统在上线以前都需要去估算服务器配置和JVM的内存参数，这个容量与资源规划并不仅仅是系统架构师的随意估算的&am…
阅读更多...
springboot启动过程加载数据笔记(springboot3)

springboot启动过程加载数据笔记(springboot3)

SpringApplication AbstractApplicationContext PostProcessorRegistrationDelegate ConfigurationClassPostProcessor ConfigurationClassParser 一堆循环和调用 ComponentScanAnnotationParser扫描 processConfigurationClass.doProcessConfigurationClass(configClass, so…
阅读更多...
网络编程（二）

网络编程（二）

6. TCP 三次握手四次挥手 HTTP 协议是 Hype Transfer Protocol（超文本传输协议）的缩写，是用于从万维网（WWW：World Wide Web）服务器（sever）传输超文本到客户端（本地浏览器…
阅读更多...
小众但意外觉得蛮好用的剪辑软件！纯良心分享

小众但意外觉得蛮好用的剪辑软件！纯良心分享

爱剪辑 有开屏广告，一共3个界面：首页、剪同款、我的。 剪辑、配乐、字幕、滤镜、加速、贴纸、配音等主流功能都有。 特色功能有剪裁视频、倒放视频、视频旋转、视频转换GIF、转场、提取音频、画中画等。 还可以拼接视频，不过不支持FLV等小众文…
阅读更多...
人员摔倒识别预警系统 人员跌倒检测算法 yolov7

人员摔倒识别预警系统 人员跌倒检测算法 yolov7

人员摔倒识别预警系统 人员跌倒检测算法基于yolov7网络模型计算机识别技术，人员摔倒识别预警系统 人员跌倒检测算法对画面中人员摔倒进行实时检测识别抓拍告警。YOLOv7 的策略是使用组卷积来扩展计算块的通道和基数。研究者将对计算层的所有计算块应用相同的组参数和…
阅读更多...
buuctf-pwn write-ups (11)

buuctf-pwn write-ups (11)

文章目录buu083-x_ctf_b0verfl0wbuu084-picoctf_2018_leak_mebuu085-inndy_echobuu086-hitcontraining_unlinkbuu087-ciscn_2019_final_3buu088-axb_2019_fmt64buu089-wustctf2020_name_your_catbuu090-pwnme1buu091-axb_2019_brop64buu092-[极客大挑战 2019]Not Badbuu083-x_c…
阅读更多...
JAVA开发运维（nginx工作原理）

JAVA开发运维（nginx工作原理）

nginx源码目录结构： . ├── auto 自动检测系统环境以及编译相关的脚本 │ ├── cc 关于编译器相关的编译选项的检测脚本 │ ├── lib nginx编译所需要的一些库的检测脚本 │ ├── os 与平台相关的一些系统参数…
阅读更多...
2023-03-06 debian11 最小安装记录

2023-03-06 debian11 最小安装记录

1.镜像准备，根据个人需求下载debian 版本Debian -- 获取 Debian2.上传到VSAN 内容库我这边是在vm里面安装的，就直接上传到内容库备用（根据个人需求存放）3.分配虚拟主机配置根据个人需要配置4.开始最小安装1.在界面中选择Install&a…
阅读更多...
Packet Tracer--配置帧中继

Packet Tracer--配置帧中继

Packet Tracer--配置帧中继 拓扑图： 设备参数: 设备 接口 DLCI R1 S0/2 102,103 R2 S0/2 201 R3 S0/2 301 R1---R2 Se1：102-----Se2：201 R1---R3 Se1：103-----Se3：301 IP参数 设备 接口 IP地址…
阅读更多...
CFNet: Cascade Fusion Network for Dense Prediction

CFNet: Cascade Fusion Network for Dense Prediction

论文名称：CFNet: Cascade Fusion Network for Dense Prediction 论文下载：https://arxiv.org/pdf/2302.06052.pdf 论文代码：GitHub - zhanggang001/CFNet: CFNet: Cascade Fusion Network for Dense Prediction 摘要： 在密集预…
阅读更多...
十四届蓝桥选拔赛Scratch-2023.02.12 试题解析

十四届蓝桥选拔赛Scratch-2023.02.12 试题解析

十四届蓝桥选拔赛Scratch-2023.02.12 试题解析 单选题： 1. 运行以下程序，小猫和小企鹅谁能到达舞台右侧边缘？ （ B ） *选择题严禁使用程序验证，选择题不答和答错不扣分 A. 小企鹅 B. 小猫 C. 都能到达 D. 都不能到达 2. 运行以下程序（小象仅有两个造型），小象的造型是…
阅读更多...
最简单的SpringBoot+MyBatis多数据源实现

最简单的SpringBoot+MyBatis多数据源实现

最简单的SpringBootMyBatis多数据源实现1.数据库准备2.环境准备3.代码部分3.1多数据源配置2.测试随着应用用户数量的增加，相应的并发请求的数量也会跟着不断增加，慢慢地，单个数据库已经没有办法满足频繁的数据库操作请求了，在某些…
阅读更多...
【JeecgBoot-Vue3】第4节 目录结构与常用组件介绍

【JeecgBoot-Vue3】第4节 目录结构与常用组件介绍

一、项目的目录结构讲解 1. src/api/ 存放API相关信息 src/api/存放的是调用后台api接口相关信息src/api/commonapi.tsapi接口信息2. src/assets 静态资源 src/assets静态资源 src/assets/icons 图标 src/assets/images 图片 src/assets/less 样式src/assets/svgsvg图像3. s…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023