OpenCV实现OCR图片文本检测

news2024/10/5 22:24:55

一、操作步骤

在这里插入图片描述

把左边这样的图片，通过仿射变换转换成右边那样的图片。

然后再通过pytesseract读取图片内容得到图片中的文本就好了。

在这里插入图片描述

需要使用到：

  • 仿射变换
  • ocr识别

注：本文使用现成图片，轮廓检测较为明显，若是自己拍照，建议让轮廓/边缘清晰一些。

二、tesseract-ocr安装配置

第一步：下载安装

mac：官网地址

在 MacBook 上安装 Tesseract，有两种方式，MacPorts 或 Homebrew，可以参考这里

brew install tesseract

windows：

下载一下tesseract-ocr，建议选择一个稳定点的版本下载。

现在完成之后安装的时候点下一步下一步就行了，记得记一下安装路径，下一步要配置环境变量(不配置也可以)

第二步：环境变量

注：即使不配置环境变量也不影响后面在代码中的操作，即这一步可以跳过。

上一步安装完成后，把路径加进去：

在这里插入图片描述

打开cmd，输入tesseract -v得到版本信息，没报错就说明环境变量配置成功。

在这里插入图片描述

进行测试，比如我桌面上有这样一张图片：

在这里插入图片描述

在cmd中输入：tesseract 图片路径 输出路径 如：

在这里插入图片描述

注：这个路径不用手打，直接把图片拖进去

然后我的桌面上出现了一个叫result.txt的文本文件：

在这里插入图片描述

第三步：下载pytesseract

pip install pytesseract
下载完成之后，有一件事要记得注意一下，我们打开对应的python环境的文件，比如我下载在anaconda中，那我的路径就是：C:\Anaconda01\Lib\site-packages\pytesseract 总之，打开它：

在这里插入图片描述

这里原本是相对路径，把它手动设置成绝对路径，以防报错。

在这里插入图片描述

当然 也可以不管，报错了再回来看。

from PIL import Image
import pytesseract
 
# 有时也可以提前加一些灰度转换 二值处理 滤波操作等，效果可能会更好一些。
 
text = pytesseract.image_to_string(Image.open(r'./data/image.png'))
print(text)

第四步：下载中文包

这一步是用来识别中文的，其实安装的时候有一个选项会问你是否下载中文包，不过比较慢还是自己下载吧。

github下载中文包

在这里插入图片描述

下载完成后放到tessdata里就好

在这里插入图片描述

我们识别下方这句诗：

在这里插入图片描述

import pytesseract
from PIL import Image
 
# lang='chi_sim'设置为中文识别
text = pytesseract.image_to_string(Image.open('./images/yylm.jpg'), lang='chi_sim')
print(text)

在这里插入图片描述

三、完整代码及原理

3.1定义图片展示函数 和 图片大小设置函数

import cv2
import numpy as np
 
 
def cv_show(name, img):
    cv2.imshow(name, img)
    cv2.waitKey(0)
    cv2.destroyAllWindows()
 
def resize(image, width=None, height=None, inter=cv2.INTER_AREA):
    dim = None
    (h, w) = image.shape[:2]
    if width is None and height is None:
        return image
    if width is None:
        r = height / float(h)
        dim = (int(w * r), height)
    else:
        r = width / float(w)
        dim = (width, int(h * r))
    resized = cv2.resize(image, dim, interpolation=inter)
    return resized

前者是为了方便代码执行过程中图片处理得如何了，方便我们观察。

后者是为了方便我们管理图的大小，比如resize(img, width=500) 或 resize(img, height=500) 可以把大大小小的图片转换成相应比例的统一宽高的图片，方便我们观察。

3.2读取输入图片，做预处理

# 读取输入
image = cv2.imread("./images/receipt.jpg")
 
# 统一图片大小
orig = image.copy()
image = resize(orig, height=500)
 
# 记录变化比例 后面会用到
ratio = image.shape[0] / 500.0
 
# 预处理
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY) # 转化为灰度图
gray = cv2.GaussianBlur(gray, (5, 5), 0) # 高斯滤波降噪
cv_show('edged',gray)

在这里插入图片描述

3.3进行边缘检测

# 边缘检测
edged = cv2.Canny(gray, 75, 200)
cv_show('edged',edged)

在这里插入图片描述

3.4进行轮廓检测

由于我们后面仿射变换需要的只是图片中对象的四个角的坐标，因此轮廓检测时把面积最大的轮廓拿出来就行。

# 轮廓检测
cnts = cv2.findContours(edged.copy(), cv2.RETR_LIST, cv2.CHAIN_APPROX_SIMPLE)[0]
# 根据面积倒序 只要最大的面积那n组。
need_cnts = sorted(cnts, key=cv2.contourArea, reverse=True)[:4]# 几组都行，其实倒序后的第一个基本上就是面积最大的。

此时，第一个轮廓也有可能与第二个轮廓很像或者基本表示同一个轮廓，毕竟图片中的对象不够平整。 我们先一步进行边缘检测，后一步进行轮廓检测。

本例中排序完成后，cnts[0]与cnts[1]都是我们想要的那部分。即下一步绿色框中的图片

3.5遍历轮廓，进行轮廓近似

由于我们上一步取出好几组(基本上第一组就是了)可能的轮廓(每个轮廓是一组点集，因为图像并不平整，所以我们接下来进行轮廓近似，我们对这几组进行遍历，确定它有四个点就说明是我们想要的答案。 不明白轮廓近似的建议去了解一下。

# 遍历轮廓
for c in cnts:
    # 轮廓近似
    peri = cv2.arcLength(c, True)
    approx = cv2.approxPolyDP(c, 0.02 * peri, True)
    # 近似成4个点的时候就拿出来
    if len(approx) == 4:
        screenCnt = approx
        break
 
cv2.drawContours(image, [screenCnt], -1, (0, 255, 0), 2)
cv_show('Outline',image)

在这里插入图片描述

解释一下这一步和上一步：其实就是我们边缘检测后的图片进行轮廓检测，取出轮廓面积最大的n组轮廓，每个轮廓是一组点集，不一定就是四个点，也可能是100个构成一个轮廓，我们按顺序进行轮廓近似，一般循环到第一遍的时候就可以近似成我们想要的上图的这个轮廓了，我们也就得到了这四个顶点。

透视变换

在这里插入图片描述

我们上一步拿到了那四个点的坐标，那个对应的轮廓也不是平行的，我们要做的就是把“它正过来”，平铺在图片上。

我们首先要确定四个的位置，左上、右上、右下、左上。

# 处理点坐标，返回rect使其顺序为左上，右上，右下，左下
def order_points(pts):
    # 一共4个坐标点
    rect = np.zeros((4, 2), dtype="float32")
 
    # 计算左上，右下  左上的x和y都是最小的 右下的x和y都是最大的 
    s = pts.sum(axis=1)
    rect[0] = pts[np.argmin(s)]
    rect[2] = pts[np.argmax(s)]
 
    # 计算右上和左下  np.diff后一项减前一项
    diff = np.diff(pts, axis=1)
    rect[1] = pts[np.argmin(diff)]
    rect[3] = pts[np.argmax(diff)]
    return rect

两点间距离公式，我们计算最长的宽高，知道宽和高了我们就可以自己规定个矩阵，根据变换矩阵

把原图转换为“铺平 铺满”后的图片：

def four_point_transform(image, pts):
    # 获取输入坐标点
    rect = order_points(pts)
    tl, tr, br, bl = rect
 
    # 两点间距离公式计算输入的w和h值
    widthTop = np.sqrt(((tr[0] - tl[0]) ** 2) + ((tr[1] - tl[1]) ** 2))
    widthBot = np.sqrt(((br[0] - bl[0]) ** 2) + ((br[1] - bl[1]) ** 2))
    # 要最大的 看着方便 下同 
    maxWidth = max(int(widthTop), int(widthBot))
 
    heightRight = np.sqrt(((tr[0] - br[0]) ** 2) + ((tr[1] - br[1]) ** 2))
    heightLeft = np.sqrt(((tl[0] - bl[0]) ** 2) + ((tl[1] - bl[1]) ** 2))
    maxHeight = max(int(heightRight), int(heightLeft))
 
    # 变换后对应坐标位置
    dst = np.array([
        [0, 0],
        [maxWidth - 1, 0],
        [maxWidth - 1, maxHeight - 1],
        [0, maxHeight - 1]], dtype="float32")   
    
    # 计算变换矩阵
    M = cv2.getPerspectiveTransform(rect, dst)
    warped = cv2.warpPerspective(image, M, (maxWidth, maxHeight))
      
    # 返回变换后结果
    return warped

我们执行上方函数：

# 透视变换  记得乘以比例，我们之前为了方便观察统一过大小。
warped = four_point_transform(orig, screenCnt.reshape(4, 2) * ratio)
cv_show('warped',resize(warped, height=650))

在这里插入图片描述

3.6最后进行ocr检测

对上一步获得的warped进行二值处理，使用pytesseract.image_to_string()即可。

from PIL import Image
import pytesseract
 
 
warped = cv2.cvtColor(warped, cv2.COLOR_BGR2GRAY)
ref = cv2.threshold(warped, 100, 255, cv2.THRESH_BINARY)[1]
   
filename = "{}.png".format('内容')
cv2.imwrite(filename, gray)
    
text = pytesseract.image_to_string(Image.open(filename))
print(text)
os.remove(filename)

3.7得到结果

在这里插入图片描述

四、完整代码

# 导入工具包
import os
import cv2
import pytesseract
import numpy as np
from PIL import Image
 
 
def cv_show(name, img):
    cv2.imshow(name, img)
    cv2.waitKey(0)
    cv2.destroyAllWindows()
 
 
def resize(image, width=None, height=None, inter=cv2.INTER_AREA):
    dim = None
    (h, w) = image.shape[:2]
    if width is None and height is None:
        return image
    if width is None:
        r = height / float(h)
        dim = (int(w * r), height)
    else:
        r = width / float(w)
        dim = (width, int(h * r))
    resized = cv2.resize(image, dim, interpolation=inter)
    return resized
 
 
def order_points(pts):
    # 一共4个坐标点
    rect = np.zeros((4, 2), dtype="float32")
 
    # 按顺序找到对应坐标0123分别是 左上，右上，右下，左下
    # 计算左上，右下
    s = pts.sum(axis=1)
    rect[0] = pts[np.argmin(s)]
    rect[2] = pts[np.argmax(s)]
 
    # 计算右上和左下
    diff = np.diff(pts, axis=1)
    rect[1] = pts[np.argmin(diff)]
    rect[3] = pts[np.argmax(diff)]
    return rect
 
 
def four_point_transform(image, pts):
    # 获取输入坐标点
    rect = order_points(pts)
    tl, tr, br, bl = rect
 
    # 两点间距离公式计算输入的w和h值
    widthTop = np.sqrt(((tr[0] - tl[0]) ** 2) + ((tr[1] - tl[1]) ** 2))
    widthBot = np.sqrt(((br[0] - bl[0]) ** 2) + ((br[1] - bl[1]) ** 2))
    maxWidth = max(int(widthTop), int(widthBot))
 
    heightRight = np.sqrt(((tr[0] - br[0]) ** 2) + ((tr[1] - br[1]) ** 2))
    heightLeft = np.sqrt(((tl[0] - bl[0]) ** 2) + ((tl[1] - bl[1]) ** 2))
    maxHeight = max(int(heightRight), int(heightLeft))
 
    # 变换后对应坐标位置
    dst = np.array([
        [0, 0],
        [maxWidth - 1, 0],
        [maxWidth - 1, maxHeight - 1],
        [0, maxHeight - 1]], dtype="float32")   
    
    # 计算变换矩阵
    M = cv2.getPerspectiveTransform(rect, dst)
    warped = cv2.warpPerspective(image, M, (maxWidth, maxHeight))
      
    # 返回变换后结果
    return warped
 
 
# 读取输入
image = cv2.imread("./images/receipt.jpg")
# 记录比例 后面会用到
ratio = image.shape[0] / 500.0
orig = image.copy()
# 统一图片大小
image = resize(orig, height=500)
 
# 预处理
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
gray = cv2.GaussianBlur(gray, (5, 5), 0)
 
# 边缘检测
edged = cv2.Canny(gray, 75, 200)
 
# 轮廓检测
cnts = cv2.findContours(edged.copy(), cv2.RETR_LIST, cv2.CHAIN_APPROX_SIMPLE)[0]
cnts = sorted(cnts, key=cv2.contourArea, reverse=True)[:3]
 
# 遍历轮廓
for c in cnts:
    # 计算轮廓近似
    peri = cv2.arcLength(c, True)
    approx = cv2.approxPolyDP(c, 0.02 * peri, True)
    # 4个点的时候就拿出来
    if len(approx) == 4:
        screenCnt = approx
        break
 
# 透视变换
warped = four_point_transform(orig, screenCnt.reshape(4, 2) * ratio)
 
 
# 文本检测
gray = cv2.cvtColor(warped, cv2.COLOR_BGR2GRAY)
# gray = cv2.threshold(gray, 0, 255,cv2.THRESH_BINARY | cv2.THRESH_OTSU)[1]
gray = cv2.medianBlur(gray, 3)
filename = "{}.png".format('finally_picture')
cv2.imwrite(filename, gray)
    
text = pytesseract.image_to_string(Image.open(filename))
print(text)
os.remove(filename)

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1528302.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

Css 样式记录

Css 样式记录

实现两栏布局如图所示样式&#xff1a; 方法1&#xff1a; <div style"display: flex; justify-content: space-between; width:100%;"> <div>1</div> <div>2</div> </div> 方法2&#xff1a; <div style"display: fle…
阅读更多...
pytest ui自动化

pytest ui自动化

chromedriver.exe 要对应已安装的chrome版本号
阅读更多...
大数据面试题 —— Zookeeper

大数据面试题 —— Zookeeper

目录 ZooKeeper 的定义ZooKeeper 的特点ZooKeeper 的应用场景你觉得Zookeeper比较重要的功能ZooKeeper 的选举机制 ***zookeeper主节点故障&#xff0c;如何重新选举&#xff1f;ZooKeeper 的监听原理 ***zookeeper集群的节点数为什么建议奇数台 ***ZooKeeper 的部署方式有哪几…
阅读更多...
C语言种sizeof()和strlen的区别

C语言种sizeof()和strlen的区别

sizeof 是 C 语言内置的操作符关键字&#xff0c;而 strlen 是 C 语言库函数&#xff1b; sizeof 仅用于计算数据类型的大小或者变量的大小&#xff0c;而 strlen 只能以结尾为 \0 的字符串作为参数&#xff1b; 编译器在编译时就计算出了 sizeof 的结果&#xff0c;而 strlen …
阅读更多...
02_设计模式

02_设计模式

文章目录 设计模式设计模式分类UML类图设计模式的原则 常用设计模式创建型设计模式单例设计模式饿汉模式懒汉模式&#xff08;线程不安全&#xff09;懒汉模式&#xff08;线程安全&#xff09;- Synchronized懒汉模式&#xff08;线程安全&#xff09;- Double Check懒汉模式&…
阅读更多...
Android 系统源码快速入门

Android 系统源码快速入门

Android源码快速入门 今天分享的内容是Android源码快速入门&#xff0c;主要分为以下几个步骤&#xff1a; * 硬件要求 * 虚拟机安装 * 开发环境搭建 * 下载编译源码 * 从一个简单的实际开发需求体验 Framework 开发硬件要求 用于 Android Framework 开发的电脑需要较强的 C…
阅读更多...
算法沉淀——贪心算法二（leetcode真题剖析）

算法沉淀——贪心算法二（leetcode真题剖析）

算法沉淀——贪心算法二 01.最长递增子序列02.递增的三元子序列03.最长连续递增序列04.买卖股票的最佳时机 01.最长递增子序列 题目链接&#xff1a;https://leetcode.cn/problems/longest-increasing-subsequence/ 给你一个整数数组 nums &#xff0c;找到其中最长严格递增子…
阅读更多...
【第十一章】改进神经网络学习方式-Softmax

【第十一章】改进神经网络学习方式-Softmax

我们将主要使用交叉熵成本来解决学习减速的问题。然而&#xff0c;我想简要描述另一种解决方法&#xff0c;基于所谓的 softmax 层神经元。在本章的剩余部分&#xff0c;我们实际上不会使用 softmax 层&#xff0c;因此如果你时间紧迫&#xff0c;可以跳到下一节。然而&#xf…
阅读更多...
Vue3 依赖注入provide与inject

Vue3 依赖注入provide与inject

简介 关于provide与inject下面是vue官网上的一些介绍 通常情况下&#xff0c;当我们需要从父组件向子组件传递数据时&#xff0c;会使用props。想象一下这样的结构&#xff1a;有一些多层级嵌套的组件&#xff0c;形成了一颗巨大的组件树&#xff0c;而某个深层的子组件需要一个…
阅读更多...
【Flask开发实战】防火墙配置文件解析（二）之shell读取内容

【Flask开发实战】防火墙配置文件解析（二）之shell读取内容

一、前言 上一篇文章中&#xff0c;介绍了防火墙配置文件包含的基本元素和格式样式&#xff0c;并模拟了几组有代表性的规则内容&#xff0c;作为基础测试数据。在拿到基础测试数据后&#xff0c;关于我们最终想解析成的数据是什么样式的&#xff0c;其实不难看出&#xff0c;…
阅读更多...
GateWay路由规则

GateWay路由规则

Spring Cloud GateWay 帮我们内置了很多 Predicates功能&#xff0c;实现了各种路由匹配规 则&#xff08;通过 Header、请求参数等作为条件&#xff09;匹配到对应的路由 1 时间点后匹配 server:port: 8888 spring:application:name: gateway-servicecloud:nacos:discovery:…
阅读更多...
四.排序(冒泡/选择)

四.排序(冒泡/选择)

目录 11-排序介绍 常见排序算法: 12-冒泡排序介绍 代码要求: 思路: 13-冒泡排序 代码: 14-选择排序 简单写法: 好的写法: 11-排序介绍 排序&#xff1a;将一组“无序”的记录序列调整为“有序”的记录序列。 列表排序&#xff1a;将无序列表变为有序列表 输入&#…
阅读更多...
C++第七弹---类与对象(四)

C++第七弹---类与对象(四)

✨个人主页&#xff1a; 熬夜学编程的小林 &#x1f497;系列专栏&#xff1a; 【C语言详解】 【数据结构详解】【C详解】 目录 1、拷贝构造函数 1.1、概念 1.2、特征 2、运算符重载 2.1、等号运算符重载 总结 1、拷贝构造函数 1.1、概念 在现实生活中&#xff0c;可能…
阅读更多...
【C++】手撕AVL树

【C++】手撕AVL树

> 作者简介&#xff1a;დ旧言~&#xff0c;目前大二&#xff0c;现在学习Java&#xff0c;c&#xff0c;c&#xff0c;Python等 > 座右铭&#xff1a;松树千年终是朽&#xff0c;槿花一日自为荣。 > 目标&#xff1a;能直接手撕AVL树。 > 毒鸡汤&#xff1a;放弃自…
阅读更多...
Java安全基础 必备概念理解

Java安全基础 必备概念理解

Java安全基础 关键概念汇总 文章目录 Java安全基础 关键概念汇总前置知识1.构造器this以及包的使用2.继承3.重写/ 重载 / super4.多态5.区分和equals方法6.toString的使用7.Object的概念8.static,final,代码块static代码块final 9.动态代理10.类的动态加载1)类加载器含义&#…
阅读更多...
leetCode刷题 17. 电话号码的字母组合

leetCode刷题 17. 电话号码的字母组合

题目&#xff1a; 给定一个仅包含数字 2-9 的字符串&#xff0c;返回所有它能表示的字母组合。答案可以按 任意顺序 返回。 给出数字到字母的映射如下&#xff08;与电话按键相同&#xff09;。注意 1 不对应任何字母。 示例 1&#xff1a; 输入&#xff1a;digits "23&q…
阅读更多...
操作系统练习-操作系统的基本概念

操作系统练习-操作系统的基本概念

操作系统的基本概念 ----------------------------------------------------------------------------------------------------------------------------- 1.操作系统是扩充&#xff08; )功能的第一层系统软件 A.软件 B.裸机 C.机器语言 …
阅读更多...
opengl日记8-opengl创建三角形

opengl日记8-opengl创建三角形

文章目录 环境直接上代码一点小总结参考 环境 系统&#xff1a;ubuntu20.04opengl版本&#xff1a;4.6glfw版本&#xff1a;3.3glad版本&#xff1a;4.6cmake版本&#xff1a;3.16.3gcc版本&#xff1a;10.3.0 直接上代码 CMakeLists.txt cmake_minimum_required(VERSION 2…
阅读更多...
STM32CubeIDE基础学习-KEY按键输入实验

STM32CubeIDE基础学习-KEY按键输入实验

STM32CubeIDE基础学习-KEY按键输入实验 文章目录 STM32CubeIDE基础学习-KEY按键输入实验前言第1章 硬件介绍第2章 工程配置2.1 工程外设配置部分2.2 生成工程代码部分 第3章 代码编写第4章 实验现象总结 前言 前面学习了GPIO作为输出功能的实验&#xff0c;现在来学习GPIO作为…
阅读更多...
【LIMS】微服务

【LIMS】微服务

目录 一、服务解决方案-Spring Cloud Alibaba1.1选用原因&#xff08;基于Spring Cloud Alibaba的试用场景&#xff09;1.2 核心组件使用前期规划 部署 nacos部署 mino使用JavaFreemarker模板引擎&#xff0c;根据XML模板文件生成Word文档使用JavaFlowable 工作流引擎前端 -vue…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023