计算机竞赛 深度学习OCR中文识别 - opencv python

news2024/11/20 10:31:37

文章目录

  • 0 前言
  • 1 课题背景
  • 2 实现效果
  • 3 文本区域检测网络-CTPN
  • 4 文本识别网络-CRNN
  • 5 最后

0 前言

🔥 优质竞赛项目系列，今天要分享的是

🚩 **基于深度学习OCR中文识别系统 **

该项目较为新颖，适合作为竞赛课题方向，学长非常推荐！

🥇学长这里给一个题目综合评分(每项满分5分)

  • 难度系数：3分
  • 工作量：3分
  • 创新点：4分

🧿 更多资料, 项目分享：

https://gitee.com/dancheng-senior/postgraduate

1 课题背景

在日常生产生活中有大量的文档资料以图片、PDF的方式留存，随着时间推移 往往难以检索和归类 ，文字识别（Optical Character
Recognition，OCR ）是将图片、文档影像上的文字内容快速识别成为可编辑的文本的技术。

高性能文档OCR识别系统是基于深度学习技术，综合运用Tensorflow、CNN、Caffe
等多种深度学习训练框架，基于千万级大规模文字样本集训练完成的OCR引擎，与传统的模式识别的技术相比，深度学习技术支持更低质量的分辨率、抗干扰能力更强、适用的场景更复杂，文字的识别率更高。

本项目基于Tensorflow、keras/pytorch实现对自然场景的文字检测及OCR中文文字识别。

2 实现效果

公式检测
在这里插入图片描述
纯文字识别

在这里插入图片描述

3 文本区域检测网络-CTPN

对于复杂场景的文字识别，首先要定位文字的位置，即文字检测。

简介
CTPN是在ECCV
2016提出的一种文字检测算法。CTPN结合CNN与LSTM深度网络，能有效的检测出复杂场景的横向分布的文字，效果如图1，是目前比较好的文字检测算法。由于CTPN是从Faster
RCNN改进而来，本文默认读者熟悉CNN原理和Faster RCNN网络结构。
在这里插入图片描述
相关代码

​

def main(argv):
    pycaffe_dir = os.path.dirname(__file__)

    parser = argparse.ArgumentParser()
    # Required arguments: input and output.
    parser.add_argument(
        "input_file",
        help="Input txt/csv filename. If .txt, must be list of filenames.\
        If .csv, must be comma-separated file with header\
        'filename, xmin, ymin, xmax, ymax'"
    )
    parser.add_argument(
        "output_file",
        help="Output h5/csv filename. Format depends on extension."
    )
    # Optional arguments.
    parser.add_argument(
        "--model_def",
        default=os.path.join(pycaffe_dir,
                "../models/bvlc_reference_caffenet/deploy.prototxt.prototxt"),
        help="Model definition file."
    )
    parser.add_argument(
        "--pretrained_model",
        default=os.path.join(pycaffe_dir,
                "../models/bvlc_reference_caffenet/bvlc_reference_caffenet.caffemodel"),
        help="Trained model weights file."
    )
    parser.add_argument(
        "--crop_mode",
        default="selective_search",
        choices=CROP_MODES,
        help="How to generate windows for detection."
    )
    parser.add_argument(
        "--gpu",
        action='store_true',
        help="Switch for gpu computation."
    )
    parser.add_argument(
        "--mean_file",
        default=os.path.join(pycaffe_dir,
                             'caffe/imagenet/ilsvrc_2012_mean.npy'),
        help="Data set image mean of H x W x K dimensions (numpy array). " +
             "Set to '' for no mean subtraction."
    )
    parser.add_argument(
        "--input_scale",
        type=float,
        help="Multiply input features by this scale to finish preprocessing."
    )
    parser.add_argument(
        "--raw_scale",
        type=float,
        default=255.0,
        help="Multiply raw input by this scale before preprocessing."
    )
    parser.add_argument(
        "--channel_swap",
        default='2,1,0',
        help="Order to permute input channels. The default converts " +
             "RGB -> BGR since BGR is the Caffe default by way of OpenCV."

    )
    parser.add_argument(
        "--context_pad",
        type=int,
        default='16',
        help="Amount of surrounding context to collect in input window."
    )
    args = parser.parse_args()

    mean, channel_swap = None, None
    if args.mean_file:
        mean = np.load(args.mean_file)
        if mean.shape[1:] != (1, 1):
            mean = mean.mean(1).mean(1)
    if args.channel_swap:
        channel_swap = [int(s) for s in args.channel_swap.split(',')]

    if args.gpu:
        caffe.set_mode_gpu()
        print("GPU mode")
    else:
        caffe.set_mode_cpu()
        print("CPU mode")

    # Make detector.
    detector = caffe.Detector(args.model_def, args.pretrained_model, mean=mean,
            input_scale=args.input_scale, raw_scale=args.raw_scale,
            channel_swap=channel_swap,
            context_pad=args.context_pad)

    # Load input.
    t = time.time()
    print("Loading input...")
    if args.input_file.lower().endswith('txt'):
        with open(args.input_file) as f:
            inputs = [_.strip() for _ in f.readlines()]
    elif args.input_file.lower().endswith('csv'):
        inputs = pd.read_csv(args.input_file, sep=',', dtype={'filename': str})
        inputs.set_index('filename', inplace=True)
    else:
        raise Exception("Unknown input file type: not in txt or csv.")

    # Detect.
    if args.crop_mode == 'list':
        # Unpack sequence of (image filename, windows).
        images_windows = [
            (ix, inputs.iloc[np.where(inputs.index == ix)][COORD_COLS].values)
            for ix in inputs.index.unique()
        ]
        detections = detector.detect_windows(images_windows)
    else:
        detections = detector.detect_selective_search(inputs)
    print("Processed {} windows in {:.3f} s.".format(len(detections),
                                                     time.time() - t))

    # Collect into dataframe with labeled fields.
    df = pd.DataFrame(detections)
    df.set_index('filename', inplace=True)
    df[COORD_COLS] = pd.DataFrame(
        data=np.vstack(df['window']), index=df.index, columns=COORD_COLS)
    del(df['window'])

    # Save results.
    t = time.time()
    if args.output_file.lower().endswith('csv'):
        # csv
        # Enumerate the class probabilities.
        class_cols = ['class{}'.format(x) for x in range(NUM_OUTPUT)]
        df[class_cols] = pd.DataFrame(
            data=np.vstack(df['feat']), index=df.index, columns=class_cols)
        df.to_csv(args.output_file, cols=COORD_COLS + class_cols)
    else:
        # h5
        df.to_hdf(args.output_file, 'df', mode='w')
    print("Saved to {} in {:.3f} s.".format(args.output_file,
                                            time.time() - t))

CTPN网络结构
在这里插入图片描述

4 文本识别网络-CRNN

CRNN 介绍
CRNN 全称为 Convolutional Recurrent Neural Network，主要用于端到端地对不定长的文本序列进行识别，不用

图来自文章：一文读懂CRNN+CTC文字识别

整个CRNN网络结构包含三部分，从下到上依次为：

  1. CNN（卷积层），使用深度CNN，对输入图像提取特征，得到特征图；
  2. RNN（循环层），使用双向RNN（BLSTM）对特征序列进行预测，对序列中的每个特征向量进行学习，并输出预测标签（真实值）分布；
  3. CTC loss（转录层），使用 CTC 损失，把从循环层获取的一系列标签分布转换成最终的标签序列。

CNN
卷积层的结构图：
在这里插入图片描述

这里有一个很精彩的改动，一共有四个最大池化层，但是最后两个池化层的窗口尺寸由 2x2 改为 1x2，也就是图片的高度减半了四次（除以 2^4
），而宽度则只减半了两次（除以2^2），这是因为文本图像多数都是高较小而宽较长，所以其feature
map也是这种高小宽长的矩形形状，如果使用1×2的池化窗口可以尽量保证不丢失在宽度方向的信息，更适合英文字母识别（比如区分i和l）。

CRNN 还引入了BatchNormalization模块，加速模型收敛，缩短训练过程。

输入图像为灰度图像（单通道）；高度为32，这是固定的，图片通过 CNN
后，高度就变为1，这点很重要；宽度为160，宽度也可以为其他的值，但需要统一，所以输入CNN的数据尺寸为 (channel, height,
width)=(1, 32, 160)。

CNN的输出尺寸为 (512, 1, 40)。即 CNN 最后得到512个特征图，每个特征图的高度为1，宽度为40。

Map-to-Sequence
我们是不能直接把 CNN 得到的特征图送入 RNN 进行训练的，需要进行一些调整，根据特征图提取 RNN 需要的特征向量序列。

在这里插入图片描述

现在需要从 CNN 模型产生的特征图中提取特征向量序列，每一个特征向量（如上图中的一个红色框）在特征图上按列从左到右生成，每一列包含512维特征，这意味着第
i 个特征向量是所有的特征图第 i 列像素的连接，这些特征向量就构成一个序列。

由于卷积层，最大池化层和激活函数在局部区域上执行，因此它们是平移不变的。因此，特征图的每列（即一个特征向量）对应于原始图像的一个矩形区域（称为感受野），并且这些矩形区域与特征图上从左到右的相应列具有相同的顺序。特征序列中的每个向量关联一个感受野。

如下图所示：
在这里插入图片描述

这些特征向量序列就作为循环层的输入，每个特征向量作为 RNN 在一个时间步（time step）的输入。

RNN
因为 RNN 有梯度消失的问题，不能获取更多上下文信息，所以 CRNN 中使用的是 LSTM，LSTM
的特殊设计允许它捕获长距离依赖，不了解的话可以看一下这篇文章 对RNN和LSTM的理解。

LSTM
是单向的，它只使用过去的信息。然而，在基于图像的序列中，两个方向的上下文是相互有用且互补的。将两个LSTM，一个向前和一个向后组合到一个双向LSTM中。此外，可以堆叠多层双向LSTM，深层结构允许比浅层抽象更高层次的抽象。

这里采用的是两层各256单元的双向 LSTM 网络：
在这里插入图片描述

通过上面一步，我们得到了40个特征向量，每个特征向量长度为512，在 LSTM 中一个时间步就传入一个特征向量进行分

我们知道一个特征向量就相当于原图中的一个小矩形区域，RNN
的目标就是预测这个矩形区域为哪个字符，即根据输入的特征向量，进行预测，得到所有字符的softmax概率分布，这是一个长度为字符类别数的向量，作为CTC层的输入。

因为每个时间步都会有一个输入特征向量 x^T ，输出一个所有字符的概率分布 y^T ，所以输出为 40 个长度为字符类别数的向量构成的后验概率矩阵。

如下图所示：
在这里插入图片描述

然后将这个后验概率矩阵传入转录层。
CTC loss
这算是 CRNN 最难的地方，这一层为转录层，转录是将 RNN
对每个特征向量所做的预测转换成标签序列的过程。数学上，转录是根据每帧预测找到具有最高概率组合的标签序列。

端到端OCR识别的难点在于怎么处理不定长序列对齐的问题！OCR可建模为时序依赖的文本图像问题，然后使用CTC（Connectionist Temporal
Classification, CTC）的损失函数来对 CNN 和 RNN 进行端到端的联合训练。

相关代码

​

    def inference(self, inputdata, name, reuse=False):
        """
        Main routine to construct the network
        :param inputdata:
        :param name:
        :param reuse:
        :return:
        """
        with tf.variable_scope(name_or_scope=name, reuse=reuse):
            # centerlized data
            inputdata = tf.divide(inputdata, 255.0)
            #1.特征提取阶段
            # first apply the cnn feature extraction stage
            cnn_out = self._feature_sequence_extraction(
                inputdata=inputdata, name='feature_extraction_module'
            )
            #2.第二步，  batch*1*25*512  变成 batch * 25 * 512
            # second apply the map to sequence stage
            sequence = self._map_to_sequence(
                inputdata=cnn_out, name='map_to_sequence_module'
            )
            #第三步，应用序列标签阶段
            # third apply the sequence label stage
            # net_out width, batch, n_classes
            # raw_pred   width, batch, 1
            net_out, raw_pred = self._sequence_label(
                inputdata=sequence, name='sequence_rnn_module'
            )

        return net_out

​

5 最后

🧿 更多资料, 项目分享：

https://gitee.com/dancheng-senior/postgraduate

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1031827.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

分享一个清理工具栏和插件的小工具

分享一个清理工具栏和插件的小工具

现在只要是经常用SolidWorks的，肯定是多多少少知道一些插件，有时候安装了很多个插件的时候，工具栏可能会乱串，而且还有可能出现插件删除了，但插件里面还能看到。 这其中的原因很简单，基本上都是反注册或者…
阅读更多...
ArryList线程安全问题以及解决方案

ArryList线程安全问题以及解决方案

arrayList是一个线程不安全的集合,在多线程情况下可能会引起数据不一致、数组越界等问题。下面具体列一下多线程情况下ArrayList会出现什么错误. 1.java.util.ConcurrentModificationException ConcurrentModificationException 中文意思就是并发修改异常，存在于并…
阅读更多...
【从入门到起飞】JavaSE—方法引用

【从入门到起飞】JavaSE—方法引用

🎊专栏【JavaSE】 🍔喜欢的诗句：更喜岷山千里雪 三军过后尽开颜。 🎆音乐分享【The truth that you leave】 🥰欢迎并且感谢大家指出我的问题 文章目录 🍔概述🍔注意🎈如何确定是否是…
阅读更多...
电脑msvcr100.dll丢失的解决方法，找不到msvcr100.dll的修复方法分享

电脑msvcr100.dll丢失的解决方法，找不到msvcr100.dll的修复方法分享

msvcr100.dll 丢失是一种常见的软件运行错误，通常会在运行某些程序时出现。这个问题可能是由于多种原因导致的，例如病毒感染、软件损坏、卸载应用程序时误删除文件等。为了解决这个问题，我们需要采取一些措施来恢复 msvcr100.dll 文件。 一、…
阅读更多...
heic图片如何转为jpg格式

heic图片如何转为jpg格式

heic图片如何转为jpg格式？现阶段，在技术水平不断完善的基础上，图片质量越来越好了，且图片数量也越来越多。图片内容不断丰富，导致图片格式愈发多样化。为了能够保证图片的有效应用，我们有的时候需要将图片格…
阅读更多...
一台PoE交换机可以为多少个设备提供供电？

一台PoE交换机可以为多少个设备提供供电？

如今在安防监控领域，许多网络设备都支持PoE供电。在网络监控工程中，为了节省布线成本并提高便捷性，大多数工程商选择使用PoE供电方案，也就是使用PoE交换机为监控摄像头提供电力。那么，一台功率输出以太网（P…
阅读更多...
可以创业，也可以副业的网上长期挣钱的项目

可以创业，也可以副业的网上长期挣钱的项目

在这个飞速发展的互联网时代，越来越多的人开始尝试在网上创业或者寻找一份可持续的副业来增加收入。不过在网上赚钱的难度是比较大的，不是轻易就能做到的，所以不付出一番努力，没有悟性和执行力，那么是很难做好的&#…
阅读更多...
MongoDB【部署 04】Windows系统实现MongoDB多磁盘存储

MongoDB【部署 04】Windows系统实现MongoDB多磁盘存储

Windows系统实现多磁盘存储 1.为什么2.多磁盘存储2.1 数据库配置2.2 文件夹磁盘映射2.3 创建新的数据集 3.总结 1.为什么 这里仅针对只有一台Windows系统服务器的情景： 当服务器存储不足时，或者要接入更多的数据，就会挂载新磁盘&#xff0c…
阅读更多...
Vim编辑器使用入门

Vim编辑器使用入门

目录 一、Vim 编辑器基础操作 二、Vim 编辑器进阶操作 三、Vim 编辑器高级操作 四、Vim 编辑器文件操作 五、Vim 编辑器文件管理 六、Vim 编辑器进阶技巧 七、Vim 编辑器增强功能 Vim的三种工作模式 一、Vim 编辑器基础操作 1.移动光标 - 光标的移动控制 移动光标有两…
阅读更多...
JS手动实现发布者-订阅者模式

JS手动实现发布者-订阅者模式

发布-订阅模式是一种对象间一对多的依赖关系，当一个对象的状态发送改变时，所有依赖于它的对象都将得到状态改变的通知。具体过程是：订阅者把自己想订阅的事件注册到调度中心，当发布者更新该事件时通知调度中心，由调度中…
阅读更多...
python每日一题（模拟用户登录验证）

python每日一题（模拟用户登录验证）

1、题目 预先设定正确用户名与密码，用来验证用户是否登录成功。 第一次： ① 输入用户名与密码，如果用户名与密码正确，则提示登录成功； ② 如果用户名错误（不管密码是否正确），则需要重…
阅读更多...
【NetEQ】读 《白话解读 WebRTC 音频 NetEQ 及优化实践》学习笔记

【NetEQ】读 《白话解读 WebRTC 音频 NetEQ 及优化实践》学习笔记

白话解读 WebRTC 音频 NetEQ 及优化实践webrtc 的重要模块 官方文档 ：转载请标明出处：大神翻译 大神地址 ： https://blog.csdn.net/lhl_blog/article/details/10993605GIPS NetEQ概述 GIPS NetEQ是一项专为IP电信系统开发的高级语音质量处理技术，其能够在大幅提高语音质量的…
阅读更多...
ros 接收相机数据数据并发布

ros 接收相机数据数据并发布

完整这个任务不需要用到python3 效果如下所示 环境 ROS1 python2.7 原始环境 无conda 或者conda deactivate 无conda 状态 pip install rospkg pip install -i https://pypi.tuna.tsinghua.edu.cn/simple opencv-python4.2.0.3 代码 放在工程目录中 #!/usr/bin/env …
阅读更多...
stm32学习笔记：OLED显示屏

stm32学习笔记：OLED显示屏

一、OLED简介 OLED:有机发光二极管，供电∶3~5.5V，通信协议︰I2C/SPI，分辨率∶12864 二、常用的调试方式 串口调试∶通过串口通信，将调试信息发送到电脑端，电脑使用串口助手显示调试信息 显示屏调试∶直接将显示屏连接…
阅读更多...
龙讯旷腾机器学习力场PWMLFF V0.1.0——优化件lammps接口，提供主动学习方案

龙讯旷腾机器学习力场PWMLFF V0.1.0——优化件lammps接口，提供主动学习方案

PWMLFF（机器学习力场）手册 http://doc.lonxun.com/PWMLFF/ 我们都知道从第一性原理出发的分子动力学（Ab Initio Molecular Dynamics, AIMD）计算非常精确，但需要消耗大量时间和计算资源，能模拟的空间尺度和…
阅读更多...
代码随想录算法训练营第59天 | ● 503.下一个更大元素II ● 42. 接雨水

代码随想录算法训练营第59天 | ● 503.下一个更大元素II ● 42. 接雨水

文章目录 前言一、503.下一个更大元素II二、42. 接雨水总结 前言 单调栈； 一、503.下一个更大元素II 循环的问题：1.多建立一个数组 2.采用取模的方法； 问题：采用取模，后面的值会被前面的覆盖掉吗？ 答&am…
阅读更多...
宁波融资融券开户利息率最低是多少?两融利率5%或以下！

宁波融资融券开户利息率最低是多少?两融利率5%或以下！

宁波融资融券开户利息率最低是多少?两融利率5%或以下！ 融资融券是指投资者通过借入资金融资，或者借入证券卖出并借入资金购买证券，以达到增加投资收益的一种交易方式。融资融券交易需要满足一定的条件，如投资者必须拥有一定的股…
阅读更多...
Go 围炉札记

Go 围炉札记

文章目录 一、Go 安装 一、Go 安装 VScode下配置Go语言开发环境【2023最新】 基础篇：新手使用vs code新建go项目 vscode里安装Go插件和配置Go环境 Documentation Golang 配置代理 Go命令详解 一文详解Go语言常用命令 Go 语言教程 熬夜整理，最全的Go语…
阅读更多...
阿里云效自动构建python自动测试脚本

阿里云效自动构建python自动测试脚本

之前一直用的是jenkins自动构建自动化脚本，因为现在的公司统一在阿里云效的流水线上做代码的管理，构建，要求自动化测试也在上面自动构建，故而学习了一下。为自己做一个记录，也给有需要的朋友做一个参考。 1. 新建流水…
阅读更多...
大厂面试-16道面试题

大厂面试-16道面试题

1 java集合类有哪些？ List是有序的Collection，使用此接口能够精确的控制每个元素的插入位置，用户能根据索引访问List中元素。常用的实现List的类有LinkedList，ArrayList，Vector，Stack。 ArrayList是容量…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023