使用 mtcnn 和 facenet 进行人脸识别

一、前言

人脸识别目前有比较多的应用了，比如门禁系统，手机的人脸解锁等等，今天，我们也来实现一个简单的人脸识别。

二、思维导图

三、详细步骤

3.1 准备

3.1.1 `facenet` 权重文件下载

下载地址：https://drive.google.com/drive/folders/1pwQ3H4aJ8a6yyJHZkTwtjcL4wYWQb7bn，下载 facenet_keras_weights.h5权重文件到本地。

3.1.2 依赖库安装

pip 安装库的时候如果太慢，设置软件源的地址为清华源，设置命令：

pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

依赖库	作用	安装命令
OpenCV	一个用于计算机视觉和图像处理的开源库。用于处理图像和视频。	pip install opencv-python
mtcnn	人脸检测的深度学习模型	pip install mtcnn
tensorflow	开源的机器学习框架	pip install tensorflow
mysql-connector-python	连接 mysql 数据库	pip install mysql-connector-python

3.1.3 目录结构说明

├─docs 存放文档
├─encodings 存放本地图像特征值
├─facenet_model 存放 facenet 权重文件
├─font 存放简体字体
├─test_faces 测试集
├─train_faces 训练集
├─src 存放代码

3.2 训练人脸

3.2.1 人脸训练集准备

在 train_faces 文件夹下新建 hu_ge文件夹，然后从社交网络上获取胡歌图片放进去，作为训练集。

一张人脸生成的特征值显然是不够的，因此我们需要多张人脸，不考虑过拟合的情况下，人脸越多越精确。

3.2.2 加载模型

这边加载模型是 ResNetV2，没有引用库，而是手动去构建神经网络的，我尝试去直接使用 ResNet 库没成功，部分构建代码:

def inception_resnet_v2():
	inputs = Input(shape=(160, 160, 3))
	# 第一层是一个卷积层，应用了 32 个大小为 3x3 的滤波器
	x = Conv2D(32, 3, strides=2, padding='valid', use_bias=False, name= 'Conv2d_1a_3x3') (inputs)
	# 对输入进行批量归一化
	x = BatchNormalization(axis=3, momentum=0.995, epsilon=0.001, scale=False, name='Conv2d_1a_3x3_BatchNorm')(x)
	# 应用 ReLU 激活函数
	x = Activation('relu', name='Conv2d_1a_3x3_Activation')(x)
	x = Conv2D(32, 3, strides=1, padding='valid', use_bias=False, name= 'Conv2d_2a_3x3') (x)
	x = BatchNormalization(axis=3, momentum=0.995, epsilon=0.001, scale=False, name='Conv2d_2a_3x3_BatchNorm')(x)
	x = Activation('relu', name='Conv2d_2a_3x3_Activation')(x)
	x = Conv2D(64, 3, strides=1, padding='same', use_bias=False, name= 'Conv2d_2b_3x3') (x)
	x = BatchNormalization(axis=3, momentum=0.995, epsilon=0.001, scale=False, name='Conv2d_2b_3x3_BatchNorm')(x)
	x = Activation('relu', name='Conv2d_2b_3x3_Activation')(x)
	x = MaxPooling2D(3, strides=2, name='MaxPool_3a_3x3')(x)
	x = Conv2D(80, 1, strides=1, padding='valid', use_bias=False, name= 'Conv2d_3b_1x1') (x)
	x = BatchNormalization(axis=3, momentum=0.995, epsilon=0.001, scale=False, name='Conv2d_3b_1x1_BatchNorm')(x)
	x = Activation('relu', name='Conv2d_3b_1x1_Activation')(x)
	x = Conv2D(192, 3, strides=1, padding='valid', use_bias=False, name= 'Conv2d_4a_3x3') (x)
	x = BatchNormalization(axis=3, momentum=0.995, epsilon=0.001, scale=False, name='Conv2d_4a_3x3_BatchNorm')(x)
	x = Activation('relu', name='Conv2d_4a_3x3_Activation')(x)
	x = Conv2D(256, 3, strides=2, padding='valid', use_bias=False, name= 'Conv2d_4b_3x3') (x)
	x = BatchNormalization(axis=3, momentum=0.995, epsilon=0.001, scale=False, name='Conv2d_4b_3x3_BatchNorm')(x)
	x = Activation('relu', name='Conv2d_4b_3x3_Activation')(x)

这边就涉及到神经网络比较底层的知识，我也不太懂，我就直接使用了。
加载完模型后，加载 facenet 权重文件。
最后再加载 mtcnn 来识别人脸。

face_encoder = inception_resnet_v2()
facenet_weight_path = "../facenet_model/facenet_keras_weights.h5"
face_encoder.load_weights(facenet_weight_path)

face_detector = mtcnn.MTCNN()

3.2.3 读取图片、转换颜色空间

OpenCV 读取图片默认是以 BGR 颜色空间，如果我们要给 mtcnn识别人脸，要先转为 RGB 颜色空间。

# 读取图片
img_BGR = cv2.imread(image_path)
# 将一幅图像从 BGR（蓝绿红）颜色空间转换为 RGB（红绿蓝）颜色空间
img_RGB = cv2.cvtColor(img_BGR, cv2.COLOR_BGR2RGB)

3.2.4 mtcnn 识别人脸具体位置

MTCNN 是一种检测图像上的人脸和面部标志的神经网络。

x = face_detector.detect_faces(img_RGB)
print(x)

mtcnn 会生成人脸框的坐标和人脸上五个关键点的坐标，分别是左眼，右眼，鼻子，嘴唇的左边界，嘴唇的右边界。

{
  'box': [468, 98, 195, 249],
  'confidence': 0.9999933242797852,
  'keypoints': {
    'left_eye': (534, 190),
    'right_eye': (624, 186),
    'nose': (590, 236),
    'mouth_left': (549, 294),
    'mouth_right': (620, 291)
  }
}

显示一下：

# 人脸的框的左上角坐标和宽高
x1, y1, width, height = x[0]['box']
x1, y1 = abs(x1), abs(y1)
x2, y2 = x1 + width, y1 + height
# 绘制人脸框
cv2.rectangle(img_BGR, (x1, y1), (x2, y2), (0, 255, 0), 2)
# 绘制人脸关键点
for keypoint, coordinates in x[0]['keypoints'].items():
	cv2.circle(img_BGR, coordinates, 2, (0, 0, 255), -1)
# 显示
cv2.imshow('Detected Face', img_BGR)
cv2.waitKey(0)
cv2.destroyAllWindows()

# 裁剪出人脸部分
face = img_RGB[y1:y2, x1:x2]

3.2.5 归一化、设置图片大小、生成图像特征值

归一化，将像素值从 [0, 255] 归一化到 [0, 1]，如果训练的特征分布和测试的差异很大，那么对输入数据进行归一化，可以在训练和测试过程中保持一致的特征分布。

def normalize(img):
    """
    归一化处理：将数据缩放到均值为 0，标准差为 1 的标准正态分布
    像素值通常是在 0 到 255 的范围内。例如，将像素值从 [0, 255] 归一化到 [0, 1]。

    :param img:
    :return: 归一化结果
    """
    # 获取所有像素的平均值，标准差
    mean, std = img.mean(), img.std()
    return (img - mean) / std

face_encoder.predict(face_d)[0]这个函数可以对输入的人脸图像进行特征提取，我们这边只获取单张人脸的特征，所以取下标 0。

face = normalize(face)

# 重新设置大小
face = cv2.resize(face, required_shape)
# 扩展（增加）数组的维度
face_d = np.expand_dims(face, axis=0)
encode = face_encoder.predict(face_d)[0]
encodes.append(encode)

encode 只是一张图像的特征值，我们要训练很多张才能实现泛化效果比较好的模型，因此用 encodes 存放每一张图像的特征值。

3.2.6 特征求和、存放到数据库中

if encodes:
  # 特征求和
  # 计算每一列的总和
  encode = np.sum(encodes, axis=0)
  # 将特征向量标准化为单位向量
  encode = l2_normalizer.transform(np.expand_dims(encode, axis=0))[0]

  image_feature = base64.b64encode(encode).decode('utf-8')
  # 获取标签中文名 hu_ge -> 胡歌
  label_chinese_name = get_label_chinese_name(face_names)
  encoding_dict[face_names] = encode
  save_image_feature(face_names, label_chinese_name, image_feature)

3.3 测试人脸

将需要测试的人脸图片放在 test_faces 文件夹下，这四张都是全新的图片，模型不知道的，这样才可以进行预测。

也是对每一张图像生成人脸的特征值，然后和数据库中的特征值进行比较。

dist = cosine(input_feature, image_feature)

**在机器学习中，欧氏距离用于特征空间中样本之间的相似性度量，通过 ****cosine**函数计算相似度，只要小于相似度阈值，我们就认为属于同一张人脸。

原来我是设置成 0.5，可能由于训练的样本数太少，不是冯提莫的图片也会被认为是冯提莫，造成错误识别，它的值是 0.48、0.49 这样，后面我改成 0.4 就好了。
冯提莫和胡歌的人脸特征我提前训练好了，因此这边可以识别到，杨幂和宋轶没有训练，所以识别不到，显示未知。

四、参考资料

facenet
mtcnn
Face Detection using MTCNN