前言

📅大四是整个大学期间最忙碌的时光,一边要忙着备考或实习为毕业后面临的就业升学做准备,一边要为毕业设计耗费大量精力。近几年各个学校要求的毕设项目越来越难,有不少课题是研究生级别难度的,对本科同学来说是充满挑战。为帮助大家顺利通过和节省时间与精力投入到更重要的就业和考试中去,学长分享优质的选题经验和毕设项目与技术思路。

🚀对毕设有任何疑问都可以问学长哦!

大家好,这里是海浪学长毕设专题,本次分享的课题是

🎯机器视觉的疲劳驾驶检测系统

课题背景和意义

疲劳检测系统是指利用驾驶员的面部特征、眼部信号、头部运动性等推断驾驶员的疲劳状态，并进行报警提示和采取相应措施的装置。一些汽车装备的疲劳监测系统被称为“疲劳识别系统”(它从驾驶开始时便对驾驶员的操作行为进行记录)并能够通过识别长途旅行中驾驶操作的变化对驾驶员的疲劳程度进行判断。驾驶员转向操作频率变低,并伴随轻微但急骤的转向动作以保持行驶方向是驾驶精力不集中的典型表现。根据以上动作的出现频率，并综合诸如旅途长度、转向灯使用情况、驾驶时间等其他参数，系统对驾驶员的疲劳程度进行计算和鉴别，如果计算结果超过某一定值，仪表盘上就会闪烁一个咖啡杯的图案，提示驾驶员需要休息。驾驶员疲劳识别系统将驾驶员注意力集中程度作为衡量驾驶员驾驶状态的重要考虑因素，以致力于道路安全的提高。根据国家公路交通安全管理局的数据，每年均涉及疲劳驾驶事故中导致超过1,550人死亡和71,000人受伤，但是实际数字可能要高得多[1]。因此，为了避免这类事故的发生，我们制作了这个系统。它通过检查人的眼睛是否闭合或正在打哈欠来预测眼睛和嘴巴的标志，从而确定一个人是否正处于疲劳驾驶。

实现技术思路

疲劳认定标准

眨眼：连续3帧内，眼睛长宽比为 0.2
打哈欠：连续3帧内，嘴部长宽比为 0.5
瞌睡点头：连续3帧内，pitch（x）旋转角为 0.3

因为人在疲倦时大概会产生两种状态：眨眼：正常人的眼睛每分钟大约要眨动10-15次，

每次眨眼大概0.2-0.4秒，如果疲倦时眨眼次数会增多，速度也会变慢。打哈欠：此时嘴

会长大而且会保持一定的状态。因此检测人是否疲劳可以从眼睛的开合度，眨眼频率，以

及嘴巴张合程度来判断一个人是否疲劳。

检测工具

dlib ：一个很经典的用于图像处理的开源库，shape_predictor_68_face_landmarks.dat是一个用于人脸68个关键点检测的dat模型库，使用这个模型库可以很方便地进行人脸检测，并进行简单的应用。

具体实现步骤

使用dlib.get_frontal_face_detector() 获得脸部位置检测器
使用dlib.shape_predictor获得脸部特征位置检测器
分别获取左右眼面部标志的索引
打开cv2 本地摄像头
从视频流进行循环，读取图片，并对图片做维度扩大，并进灰度化
使用detector(gray, 0) 进行脸部位置检测
循环脸部位置信息，使用predictor(gray, rect)获得脸部特征位置的信息
将脸部特征信息转换为数组array的格式
提取左眼和右眼坐标
构造函数计算左右眼的EAR值，使用平均值作为最终的EAR
使用cv2.convexHull获得凸包位置，使用drawContours画出轮廓位置进行画图操作
进行画图操作，用矩形框标注人脸
分别计算左眼和右眼的评分求平均作为最终的评分，如果小于阈值，则加1，如果连续3次都小于阈值，则表示进行了一次眨眼活动
进行画图操作，68个特征点标识
进行画图操作，同时使用cv2.putText将眨眼次数进行显示
统计总眨眼次数大于50次屏幕显示睡着。

def get_head_pose(shape):# 头部姿态估计
    # （像素坐标集合）填写2D参考点，注释遵循https://ibug.doc.ic.ac.uk/resources/300-W/
    # 17左眉左上角/21左眉右角/22右眉左上角/26右眉右上角/36左眼左上角/39左眼右上角/42右眼左上角/
    # 45右眼右上角/31鼻子左上角/35鼻子右上角/48左上角/54嘴右上角/57嘴中央下角/8下巴角
    image_pts = np.float32([shape[17], shape[21], shape[22], shape[26], shape[36],
                            shape[39], shape[42], shape[45], shape[31], shape[35],
                            shape[48], shape[54], shape[57], shape[8]])
    # solvePnP计算姿势——求解旋转和平移矩阵：
    # rotation_vec表示旋转矩阵，translation_vec表示平移矩阵，cam_matrix与K矩阵对应，dist_coeffs与D矩阵对应。
    _, rotation_vec, translation_vec = cv2.solvePnP(object_pts, image_pts, cam_matrix, dist_coeffs)
    # projectPoints重新投影误差：原2d点和重投影2d点的距离（输入3d点、相机内参、相机畸变、r、t，输出重投影2d点）
    reprojectdst, _ = cv2.projectPoints(reprojectsrc, rotation_vec, translation_vec, cam_matrix,dist_coeffs)
    reprojectdst = tuple(map(tuple, reprojectdst.reshape(8, 2)))# 以8行2列显示

    # 计算欧拉角calc euler angle
    # 参考https://docs.opencv.org/2.4/modules/calib3d/doc/camera_calibration_and_3d_reconstruction.html#decomposeprojectionmatrix
    rotation_mat, _ = cv2.Rodrigues(rotation_vec)#罗德里格斯公式（将旋转矩阵转换为旋转向量）
    pose_mat = cv2.hconcat((rotation_mat, translation_vec))# 水平拼接，vconcat垂直拼接
    # decomposeProjectionMatrix将投影矩阵分解为旋转矩阵和相机矩阵
    _, _, _, _, _, _, euler_angle = cv2.decomposeProjectionMatrix(pose_mat)
    
    pitch, yaw, roll = [math.radians(_) for _ in euler_angle]
 
 
    pitch = math.degrees(math.asin(math.sin(pitch)))
    roll = -math.degrees(math.asin(math.sin(roll)))
    yaw = math.degrees(math.asin(math.sin(yaw)))
    print('pitch:{}, yaw:{}, roll:{}'.format(pitch, yaw, roll))

    return reprojectdst, euler_angle# 投影误差，欧拉角

def eye_aspect_ratio(eye):
    # 垂直眼标志（X，Y）坐标
    A = dist.euclidean(eye[1], eye[5])# 计算两个集合之间的欧式距离
    B = dist.euclidean(eye[2], eye[4])
    # 计算水平之间的欧几里得距离
    # 水平眼标志（X，Y）坐标
    C = dist.euclidean(eye[0], eye[3])
    # 眼睛长宽比的计算
    ear = (A + B) / (2.0 * C)
    # 返回眼睛的长宽比
    return ear
 
def mouth_aspect_ratio(mouth):# 嘴部
    A = np.linalg.norm(mouth[2] - mouth[9])  # 51, 59
    B = np.linalg.norm(mouth[4] - mouth[7])  # 53, 57
    C = np.linalg.norm(mouth[0] - mouth[6])  # 49, 55
    mar = (A + B) / (2.0 * C)
    return mar