一、项目简介

该项目基于dlib模块提供的人脸检测器以及关键点定位工具完成。首先通过检测器在图像中定位人脸的位置，然后通过关键点定位工具提取脸部关键点坐标，最后绘制脸部特征点。

二、环境配置

• dlib是一个c++库，其包含了很多有用的预训练工具。
• dlib工具的python API下载地址：http://dlib.net/python/
• dlib库包的介绍与使用：opencv+dlib人脸检测 + 人脸68关键点检测 + 人脸识别 + 人脸特征聚类 + 目标跟踪

2.1、dlib人脸检测器：dlib.get_frontal_face_detector()

dlib官方详细说明：dlib.get_frontal_face_detector()

2.2、dlib关键点定位工具：shape_predictor_68_face_landmarks.dat

dlib官方预训练工具的下载地址：http://dlib.net/files/
（1）5个关键点检测：shape_predictor_5_face_landmarks.dat。五个点分别为：左右眼 + 鼻子 + 左右嘴角
（2）68个关键点检测：shape_predictor_68_face_landmarks.dat

脸部关键点注释详细请看：https://ibug.doc.ic.ac.uk/resources/facial-point-annotations/

三、项目实战

• 【参数配置】方式一：Pycharm + Terminal + 输入指令自动检测：python detect_face_parts.py --shape-predictor shape_predictor_68_face_landmarks.dat --image images/1.jpg
• 【参数配置】方式二：Pycharm + 点击Edit Configuration，输入配置参数--shape-predictor shape_predictor_68_face_landmarks.dat --image images/1.jpg，点击Run开始检测。

from collections import OrderedDict
import numpy as np
import argparse
import dlib
import cv2

#https://ibug.doc.ic.ac.uk/resources/facial-point-annotations/
#http://dlib.net/files/


def shape_to_np(shape, dtype="int"):
	"""获取68个关键点的坐标，并转换为ndarray格式"""
	# （1）创建68*2模板。68个关键点坐标(x,y)
	coords = np.zeros((shape.num_parts, 2), dtype=dtype)
	# （2）遍历每一个关键点, 得到坐标(x,y)
	for i in range(0, shape.num_parts):
		coords[i] = (shape.part(i).x, shape.part(i).y)
	return coords


def visualize_facial_landmarks(image, shape, colors=None, alpha=0.75):
	"""可视化脸部位置"""
	overlay = image.copy()		# 绘制图像
	output = image.copy()		# 输出图像
	# （1）设置七个颜色，分别对应脸部的七个位置
	if colors is None:
		colors = [(19, 199, 109), (79, 76, 240), (230, 159, 23), (168, 100, 168), (158, 163, 32), (163, 38, 32), (180, 42, 220)]
	# （2）遍历每一个区域（七个脸部位置）
	for (i, name) in enumerate(FACIAL_LANDMARKS_68_IDXS.keys()):
		# 获取当前区域68个关键点的坐标
		(j, k) = FACIAL_LANDMARKS_68_IDXS[name]
		pts = shape[j:k]
		# 检查脸部位置
		if name == "jaw":		# 下巴使用线条绘制
			for l in range(1, len(pts)):
				ptA = tuple(pts[l - 1])
				ptB = tuple(pts[l])
				cv2.line(overlay, ptA, ptB, colors[i], 2)				# 绘制线条
		else:					# 其余位置使用凸包绘制
			hull = cv2.convexHull(pts)									# 计算凸包
			cv2.drawContours(overlay, [hull], -1, colors[i], -1)		# 绘制凸包
	# （3）图像融合
	cv2.addWeighted(overlay, alpha, output, 1 - alpha, 0, output)
	return output


if __name__ == '__main__':
	###################################################################################################################
	# （1）参数配置
	ap = argparse.ArgumentParser()
	# 		【参数1】面部地标预测器路径: shape_predictor_68_face_landmarks.dat
	ap.add_argument("-p", "--shape-predictor", required=True, help="path to facial landmark predictor")
	# 		【参数2】待检测图像的存放路径
	ap.add_argument("-i", "--image", required=True, help="path to input image")
	args = vars(ap.parse_args())

	# （2）68个关键点与5个关键点（嘴 + 右眉毛 + 左眉毛 + 右眼 + 左眼 + 鼻子 + 下巴）
	# from collections import OrderedDict 由于字典是无序的，故导入模块使得字典有序。因为需要按指定顺序提取，以识别当前数据。
	FACIAL_LANDMARKS_68_IDXS = OrderedDict([("mouth", (48, 68)),
											("right_eyebrow", (17, 22)),
											("left_eyebrow", (22, 27)),
											("right_eye", (36, 42)),
											("left_eye", (42, 48)),
											("nose", (27, 36)),
											("jaw", (0, 17))])
	FACIAL_LANDMARKS_5_IDXS = OrderedDict([("right_eye", (2, 3)), ("left_eye", (0, 1)), ("nose", 4)])
	###################################################################################################################
	# （1）先检测人脸，然后定位脸部的关键点。优点: 与直接在图像中定位关键点相比，准确度更高。
	detector = dlib.get_frontal_face_detector()							# 1.1、基于dlib的人脸检测器
	predictor = dlib.shape_predictor(args["shape_predictor"])			# 1.2、基于dlib的关键点定位（68个关键点）

	# （2）图像预处理
	image = cv2.imread(args["image"])									# 2.1、读取图像
	(h, w) = image.shape[:2]		# 获取图像的宽和高
	width = 500						# 指定宽度
	r = width / float(w)			# 计算比例
	dim = (width, int(h * r))		# 按比例缩放高度: (宽, 高)
	image = cv2.resize(image, dim, interpolation=cv2.INTER_AREA)		# 2.2、图像缩放
	gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)						# 2.3、灰度图

	# （3）人脸检测
	rects = detector(gray, 1)				# 若有多个目标，则返回多个人脸框

	# （4）遍历检测得到的【人脸框 + 关键点】
	for (i, rect) in enumerate(rects):		# rect: 人脸框
		shape = predictor(gray, rect)		# 4.1、定位脸部的关键点（返回的是一个结构体信息，需要遍历提取坐标）
		shape = shape_to_np(shape)			# 4.2、遍历shape提取坐标并进行格式转换: ndarray

		# 4.3、遍历当前框的所有关键点（name: 脸部位置。i,j表示脸部的坐标。）
		for (name, (i, j)) in FACIAL_LANDMARKS_68_IDXS.items():
			clone = image.copy()
			cv2.putText(clone, name, (10, 30), cv2.FONT_HERSHEY_SIMPLEX, 0.7, (0, 0, 255), 2)		# 在图像的指定位置显示当前脸部位置的名称
			# 4.4、根据脸部位置画点（每个脸部由多个关键点组成）
			for (x, y) in shape[i:j]:
				cv2.circle(clone, (x, y), 3, (0, 0, 255), -1)
			# 4.5、提取ROI区域（即截取脸部位置）
			(x, y, w, h) = cv2.boundingRect(np.array([shape[i:j]]))			# 矩形框得到坐标
			roi = image[y:y + h, x:x + w]									# 获取ROI区域
			(h, w) = roi.shape[:2]											# 获取ROI宽和高
			width = 250														# 指定宽度
			r = width / float(w)											# 计算比例
			dim = (width, int(h * r))										# 按比例缩放高度: (宽, 高)
			roi = cv2.resize(roi, dim, interpolation=cv2.INTER_AREA)		# 图像缩放

			# 4.6、显示图像
			cv2.imshow("ROI", roi)			# 将当前脸部位置截取出来
			cv2.imshow("Image", clone)		# 显示带有关键点特征的图像
			cv2.waitKey(0)

		# 可视化脸部位置
		output = visualize_facial_landmarks(image, shape)
		cv2.imshow("Image", output)
		cv2.waitKey(0)