背景介绍
正常机读卡是通过读卡机读取识别结果的,目前OpenCV已经这么强大了,尝试着用OpenCV+Python来识别机读卡。要识别的机读卡长这样:
我们做以下操作:
1.识别答题卡中每题选中项结果。
不做以下操作:
1.不识别准考证号。(暂不识别,后面有需要再补充此部分)
2.不识别101-106题(这些题实际情况下经常用不到,如果要识别原理也一样)
实现思路
通过分析答题卡特征:
1.答题区域为整张图片最大轮廓,先找出答题区域。
2.答题区域分为6行,每行4组,第6行只有1组,我们暂不处理第6行,只处理前面5行。
3.给定每一行第一个选项中心点坐标,该行其余选项的中心点坐标可以推算出来。
4.通过找到每个选项中心点坐标,再加上选项宽高,就可以在答题区域绘出每个选项的范围。
5.通过计算每个选项范围图像里非0像素点个数:
单选题非0像素点最少的既是答案。
多选题结合阈值判断该选项是否选中。
6.输出完整答案。
实现步骤
1.图像预处理
将图片转灰度图、黑帽运算:移除干扰项、二值化突出轮廓、查找轮廓、找出答题区域。
import cv2
import numpy as np
# 1.读取图片并缩放
orginImg = cv2.imread("1.jpg")
size = ((int)(650*1.8), (int)(930*1.8)) # 尽可能将图片弄大一点,下面好处理
img = cv2.resize(orginImg, size)
#显示图像
def imshow(name,image):
scale_percent = 50 # 缩放比例
width = int(image.shape[1] * scale_percent / 100)
height = int(image.shape[0] * scale_percent / 100)
dim = (width, height)
resized_image = cv2.resize(image, dim, interpolation=cv2.INTER_AREA)
cv2.imshow(name, resized_image)
imshow("1.orgin", img)
# 2.转灰度图
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
imshow("2.gray", gray)
# 3.黑帽运算:移除干扰项
cvblackhat = cv2.morphologyEx(
gray, cv2.MORPH_BLACKHAT, cv2.getStructuringElement(cv2.MORPH_RECT, (15, 15)))
imshow("3.black", cvblackhat)
# 4.二值化突出轮廓,自动阈值范围 cv2.THRESH_BINARY|cv2.THRESH_OTSU
thresh = cv2.threshold(
cvblackhat, 0, 255, cv2.THRESH_BINARY | cv2.THRESH_OTSU)[1]
imshow("4.thresh", thresh)
# 5.提取轮廓,并在图上标记轮廓
cnts, hierarchy = cv2.findContours(
thresh.copy(), cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
mark = img.copy()
cv2.drawContours(mark, cnts, -1, (0, 0, 255), 2)
imshow("5.contours", mark)
# 6.提取我们感兴趣的部分(这里我们只需要答题部分) img[y:y+h, x:x+w]
roi = None
for (i, c) in enumerate(cnts):
(x, y, w, h) = cv2.boundingRect(c)
ar = w/float(h)
if w > 500 and h > 500 and ar > 0.9 and ar < 1.1:
roi = img[y:y+h, x:x+w]
break
imshow("5.roi", roi)
运行结果
2.查找每个选项的中心点坐标
这里每行起始点坐标和每个选项宽高,都是写的固定值(手动量出来的,本来想通过图像提取轮廓来取每个选项中心坐标点的,可是由于机读卡填图不规范,可能会影响轮廓提取,不是很靠谱,暂时没想到更好的办法)
# 7.查找每个选项的中心点坐标
# 思路:
# 通过分析:
# 1.答题区域分为6行,每行4组,第6行只有1组,我们暂不处理第6行,只处理前面5行。
# 2.只要给定每一行第一个选项中心坐标,该行其余选项的中心坐标可以推算出来。
# 3.通过找到每个选项中心点坐标,再加上选项宽高,就可以在答题区域绘出每个选项的范围。
# 4.通过计算每个选项范围图像里非0像素点个数,结合阈值判断该选项是否选中。
# 5.结合题目个数,遍历每个选项,构造出最终答案。
item = [34, 20] # 每个选项宽度(跟图形缩放有关系)
x_step = 44 # x方向行距(两个选项水平方向距离)
y_step = 28 # y方向行距(两个选项垂直方向距离)
blank = 92 # 每组间距(5个一组)水平方向距离
centers = [] # 每个选项的中心点坐标,用来框选选项
# 答题区域有5行多1组,这里只处理前面5行,最后一组暂不处理
startPonits = [(25, 44), (25, 216), (26, 392), (26, 566), (28, 744)]
for (i, p) in enumerate(startPonits):
temp = [] # 暂存该组选项坐标
start = list(p) # 该行起始点坐标
for g in range(0, 4, 1): # 每行有4组
if len(temp) > 0:
startx = temp[len(temp)-1][0] + blank # 最后一个选项的x坐标+每组间距
else:
startx = start[0]
start[0] = startx
for i in range(start[0], start[0]+5*x_step, x_step): # 水平5个选项
for j in range(start[1], start[1]+4*y_step, y_step): # 垂直4个选项
temp.append((i, j))
for (i, c) in enumerate(temp):
centers.append(c)
# 8.将选项绘制到答题区域
show = roi.copy()
for (i, (x, y)) in enumerate(centers):
left = x-(int)(item[0]/2)
top = y-(int)(item[1]/2)
# 绘选项区域矩形
cv2.rectangle(show, (left, top), (left +
item[0], top + item[1]), (0, 0, 255), -1)
# 绘制序号标签
cv2.putText(show, str(i+1), (left, top+10),
cv2.FONT_HERSHEY_SIMPLEX, 0.5, (255, 0, 0), 2)
imshow("5.show", show)
运行结果
3.遍历每个选项,计算非0像素点个数
# 9.截取每个答题选项,并计算非0像素点个数
map = roi.copy()
map = cv2.cvtColor(map, cv2.COLOR_BGR2GRAY)
map = cv2.threshold(map, 0, 255, cv2.THRESH_BINARY | cv2.THRESH_OTSU)[1]
points = []
for (i, (x, y)) in enumerate(centers):
left = x-(int)(item[0]/2)
top = y-(int)(item[1]/2)
# 截取每个选项小图
item_img = map[top:top+item[1], left:left+item[0]]
count = cv2.countNonZero(item_img)
points.append(count)
cv2.imwrite("item/"+str(i+1)+"-"+str(count)+".jpg", item_img)
这里为了方便观看,将每个选项截取另存为成图像了,以索“引号+非0像素点个数”命名。实际过程中可以不另存为图像。
大概像这样:
4.整理答案
# 10.整理答案
answer = [] # 二维数组:保存每个题ABCD4个选项值
group = [] # 将点分组,每4个1组,对应每题的4个选项
for i in range(0, len(points), 1):
group.append(points[i])
if (i+1) % 4 == 0:
answer.append(group)
group = []
def printItem(i, optoins):
question = {0: "A", 1: "B", 2: "C", 3: "D"}
index = 0
if i < 80:
# 单选题(非0像素点最少的既是答案)
an = min(optoins)
index = optoins.index(an)
print("第"+str(i+1)+"题"+question.get(index))
else:
# 多选题(根据阈值来判断是否选中)
ans = ""
for (j, p) in enumerate(options):
if p < 400:
index = optoins.index(p)
ans += question.get(index)
print("第"+str(i+1)+"题"+ans)
# 打印题目答案
for (i, options) in enumerate(answer):
printItem(i, options)
输出结果:
完整代码
import cv2
import numpy as np
# 1.读取图片并缩放
orginImg = cv2.imread("1.jpg")
size = ((int)(650*1.8), (int)(930*1.8)) # 尽可能将图片弄大一点,下面好处理
img = cv2.resize(orginImg, size)
# 显示图像
def imshow(name, image):
scale_percent = 50 # 缩放比例
width = int(image.shape[1] * scale_percent / 100)
height = int(image.shape[0] * scale_percent / 100)
dim = (width, height)
resized_image = cv2.resize(image, dim, interpolation=cv2.INTER_AREA)
cv2.imshow(name, resized_image)
imshow("1.orgin", img)
# 2.转灰度图
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
imshow("2.gray", gray)
# 3.黑帽运算:移除干扰项
cvblackhat = cv2.morphologyEx(
gray, cv2.MORPH_BLACKHAT, cv2.getStructuringElement(cv2.MORPH_RECT, (15, 15)))
imshow("3.black", cvblackhat)
# 4.二值化突出轮廓,自动阈值范围 cv2.THRESH_BINARY|cv2.THRESH_OTSU
thresh = cv2.threshold(
cvblackhat, 0, 255, cv2.THRESH_BINARY | cv2.THRESH_OTSU)[1]
imshow("4.thresh", thresh)
# 5.提取轮廓,并在图上标记轮廓
cnts, hierarchy = cv2.findContours(
thresh.copy(), cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
mark = img.copy()
cv2.drawContours(mark, cnts, -1, (0, 0, 255), 2)
imshow("5.contours", mark)
# 6.提取我们感兴趣的部分(这里我们只需要答题部分) img[y:y+h, x:x+w]
roi = None
for (i, c) in enumerate(cnts):
(x, y, w, h) = cv2.boundingRect(c)
ar = w/float(h)
if w > 500 and h > 500 and ar > 0.9 and ar < 1.1:
roi = img[y:y+h, x:x+w]
break
imshow("5.roi", roi)
# 7.查找每个选项的中心点坐标
# 思路:
# 通过分析:
# 1.答题区域分为6行,每行4组,第6行只有1组,我们暂不处理第6行,只处理前面5行。
# 2.只要给定每一行第一个选项中心坐标,该行其余选项的中心坐标可以推算出来。
# 3.通过找到每个选项中心点坐标,再加上选项宽高,就可以在答题区域绘出每个选项的范围。
# 4.通过计算每个选项范围图像里非0像素点个数,结合阈值判断该选项是否选中。
# 5.结合题目个数,遍历每个选项,构造出最终答案。
item = [34, 20] # 每个选项宽度(跟图形缩放有关系)
x_step = 44 # x方向行距(两个选项水平方向距离)
y_step = 28 # y方向行距(两个选项垂直方向距离)
blank = 92 # 每组间距(5个一组)水平方向距离
centers = [] # 每个选项的中心点坐标,用来框选选项
# 答题区域有5行多1组,这里只处理前面5行,最后一组暂不处理
startPonits = [(25, 44), (25, 216), (26, 392), (26, 566), (28, 744)]
for (i, p) in enumerate(startPonits):
temp = [] # 暂存该组选项坐标
start = list(p) # 该行起始点坐标
for g in range(0, 4, 1): # 每行有4组
if len(temp) > 0:
startx = temp[len(temp)-1][0] + blank # 最后一个选项的x坐标+每组间距
else:
startx = start[0]
start[0] = startx
for i in range(start[0], start[0]+5*x_step, x_step): # 水平5个选项
for j in range(start[1], start[1]+4*y_step, y_step): # 垂直4个选项
temp.append((i, j))
for (i, c) in enumerate(temp):
centers.append(c)
# 8.将选项绘制到答题区域
show = roi.copy()
for (i, (x, y)) in enumerate(centers):
left = x-(int)(item[0]/2)
top = y-(int)(item[1]/2)
# 绘选项区域矩形
cv2.rectangle(show, (left, top), (left +
item[0], top + item[1]), (0, 0, 255), -1)
# 绘制序号标签
cv2.putText(show, str(i+1), (left, top+10),
cv2.FONT_HERSHEY_SIMPLEX, 0.5, (255, 0, 0), 2)
cv2.imshow("5.show", show)
# 9.截取每个答题选项,并计算非0像素点个数
map = roi.copy()
map = cv2.cvtColor(map, cv2.COLOR_BGR2GRAY)
map = cv2.threshold(map, 0, 255, cv2.THRESH_BINARY | cv2.THRESH_OTSU)[1]
points = []
for (i, (x, y)) in enumerate(centers):
left = x-(int)(item[0]/2)
top = y-(int)(item[1]/2)
# 截取每个选项小图
item_img = map[top:top+item[1], left:left+item[0]]
count = cv2.countNonZero(item_img)
points.append(count)
cv2.imwrite("item/"+str(i+1)+"-"+str(count)+".jpg", item_img)
# 10.整理答案
answer = [] # 二维数组:保存每个题ABCD4个选项值
group = [] # 将点分组,每4个1组,对应每题的4个选项
for i in range(0, len(points), 1):
group.append(points[i])
if (i+1) % 4 == 0:
answer.append(group)
group = []
def printItem(i, optoins):
question = {0: "A", 1: "B", 2: "C", 3: "D"}
index = 0
if i < 80:
# 单选题(非0像素点最少的既是答案)
an = min(optoins)
index = optoins.index(an)
print("第"+str(i+1)+"题"+question.get(index))
else:
# 多选题(根据阈值来判断是否选中)
ans = ""
for (j, p) in enumerate(options):
if p < 400:
index = optoins.index(p)
ans += question.get(index)
print("第"+str(i+1)+"题"+ans)
# 打印题目答案
for (i, options) in enumerate(answer):
printItem(i, options)
cv2.waitKey(0)
cv2.destroyAllWindows()