一 基本概念
1 计算机视觉与机器学习的关系
计算机视觉是机器学习的一种应用，而且是最有价的应用。
2 人脸识别
哈尔(haar)级联方法
Harr是专门为解决人脸识别而推出的；
在深度学习还不流行时，Harr已可以商用；
深度学习方法（DNN）
3 Haar人脸识别步骤
创建Haar级联器
导入图片并将其灰度化
调用detectMultiScale方法进行人脸识别
detectMultiScale
detectMultiScale(img,
double scaleFactor=1.1,
int minNeighbors=3,
...)
import cv2
import numpy as np
# 第一步 创建Haar级联器
facer=cv2.CascadeClassifier('./haarcascades/haarcascade_frontalface_default.xml')
# 第二步 导入人脸识别图片并将其灰度化
img=cv2.imread('p3.png')
gray=cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)
# 第三步 进行人脸识别
faces=facer.detectMultiScale(gray,1.1,5)
for(x,y,w,h)in faces:
cv2.rectangle(img,(x,y),(x+w,y+w),(0,0,255))
cv2.imshow('img',img)
cv2.waitKey(0)
4 其他脸部特征的检测
眼
import cv2
import numpy as np
# 第一步 创建Haar级联器
facer=cv2.CascadeClassifier('./haarcascades/haarcascade_frontalface_default.xml')
eye=cv2.CascadeClassifier('./haarcascades/haarcascade_eye.xml')
# 第二步 导入人脸识别图片并将其灰度化
img=cv2.imread('p3.png')
gray=cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)
# 第三步 进行人脸识别
faces=facer.detectMultiScale(gray,1.1,5)
for(x,y,w,h)in faces:
cv2.rectangle(img,(x,y),(x+w,y+w),(0,0,255),2)
eyes = eye.detectMultiScale(gray, 1.1, 3)
for (x, y, w, h) in eyes:
cv2.rectangle(img, (x, y), (x + w, y + w), (0, 0, 255),2)
cv2.imshow('img',img)
cv2.waitKey(0)
鼻
import cv2
import numpy as np
# 第一步 创建Haar级联器
facer=cv2.CascadeClassifier('./haarcascades/haarcascade_frontalface_default.xml')
eye=cv2.CascadeClassifier('./haarcascades/haarcascade_eye.xml')
mouth=cv2.CascadeClassifier('./haarcascades/haarcascade_mcs_mouth.xml')
nose=cv2.CascadeClassifier('./haarcascades/haarcascade_mcs_nose.xml')
# 第二步 导入人脸识别图片并将其灰度化
img=cv2.imread('p3.png')
gray=cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)
# 第三步 进行人脸识别
#检测出的人脸再检测眼睛
faces=facer.detectMultiScale(gray,1.1,5)
i=0
for(x,y,w,h)in faces:
cv2.rectangle(img,(x,y),(x+w,y+w),(0,0,255),2)
roi_img=img[y:y+h,x:x+w]
eyes = eye.detectMultiScale(roi_img, 1.1, 3)
for (x, y, w, h) in eyes:
cv2.rectangle(roi_img, (x, y), (x + w, y + w), (0, 0, 255),2)
i=i+1
winname='face'+str(i)
cv2.imshow(winname,roi_img)
#mouths = mouth.detectMultiScale(gray, 1.1, 3)
#for (x, y, w, h) in mouths:
# cv2.rectangle(img, (x, y), (x + w, y + w), (255, 0, 0), 2)
#noses = nose.detectMultiScale(gray, 1.1, 3)
#for (x, y, w, h) in noses:
# cv2.rectangle(img, (x, y), (x + w, y + w), (255, 255, 0), 2)
cv2.imshow('img',img)
cv2.waitKey(0)
二 车牌识别的具体步骤
通过Haar定位车牌的大体位置；
对车牌进行预处理；
调用tesseract进行文字识别；
1 车牌预处理包括的内容
对车牌进行二值化处理；
进行形态学处理；
滤波去噪点；
缩放；
2 Tesseract的安装
brew install tesseract tesseract-lang
pip3 install pytesseract
import cv2
import numpy as np
import pytesseract
plate=cv2.CascadeClassifier('./haarcascades/haarcascade_russian_plate_number.xml')
img=cv2.imread('./chinacar.jpeg')
gray=cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)
plates=plate.detectMultiScale(gray,1.1,3)
for(x,y,w,h) in plates:
cv2.rectangle(img,(x,y),(x+w,y+h),(0,0,255),2)
#对获取到车牌进行预处理
#1.提取ROI
roi=gray[y:y+h,x:x+w]
#进行二值化
ret,roi_bin=cv2.threshold(roi,0,255,cv2.THRESH_BINARY+cv2.THRESH_OTSU)
print(pytesseract.image_to_string(roi,lang='chi_sim+eng',config='--psm 8 --oem 3'))
cv2.imshow('roi_bin',roi_bin)
cv2.imshow('img', img)
cv2.waitKey()
三 深度学习
1 DNN
2 RNN
3 RNN主要用途
语音识别
机器翻译
生产图像描述
4 CNN
5 CNN主要用途
图片分类、检索
目标定位检测
目标分割
人脸识别
四 DNN实现图像分类
1 DNN 使用步骤
读取模型，并得到深度神经网络；
读取图片/视频；
将图片转成张量，送入深度神经网络；
进行分析得到结果
2 导入模型
readNetFromTensorflow
readNetFromCaffe
readnetDarknet,YOLO
readNet
3 导入模型API参数
readNetFromTensorFlow(model,config)
readNetFromCaffe/Darknet(config,model)
readNet(model,[config,[framework]])
4 blobFromImage函数
将图像转成张量
blobFromImage(image,
scalefactor=1.0,
size=Size(),
mean=Scalar(),
swapRB=false,
swapRB=false,
crop=false...)
mean的含义
5 将张量送入网络并执行
net.setInput(blob)
net.forward()
import cv2
from cv2 import dnn
import numpy as np
#导入模型，创建神经网络
config="./model/bvlc_googlenet.protoxt"
model="./model/bvlc_googlenet.caffemodel"
net=dnn.readNetFromCaffe(config,model)
#读图片，转成张量
img=cv2.imread('./smallcat.jpeg')
blob=dnn.blobFromImage(img,
1.0
(224,224),
(104,117,123))
#将张量输入到网络中，并进行预测
net.setInput(blob)
r=net.forward()
#读net.forwar()
#读取类目
classes=[]
path='./model/synset_words.txt'
with open(path,'rt') as f:
classes =[x[x.find(" ")+1:]for x in f]
order=sorted(r[0],reverse=True)
z=list(range(3))
for i in range(0,3):
z[i]=np.where(r[0]==order[i])[0][0]
print('第',i+1, '项，匹配：',classes[z[i]],end='')
print('类所在行：',z[i]+1,' ','可能性：',order[i])
#得到结果，显示
