计算机设计大赛 深度学习疲劳检测 驾驶行为检测 - python opencv cnn

news2024/9/24 3:25:44

文章目录

  • 0 前言
  • 1 课题背景
  • 2 相关技术
    • 2.1 Dlib人脸识别库
    • 2.2 疲劳检测算法
    • 2.3 YOLOV5算法
  • 3 效果展示
    • 3.1 眨眼
    • 3.2 打哈欠
    • 3.3 使用手机检测
    • 3.4 抽烟检测
    • 3.5 喝水检测
  • 4 最后

0 前言

🔥 优质竞赛项目系列，今天要分享的是

🚩 **基于深度学习加驾驶疲劳与行为检测 **

该项目较为新颖，适合作为竞赛课题方向，学长非常推荐！

🥇学长这里给一个题目综合评分(每项满分5分)

  • 难度系数：4分
  • 工作量：3分
  • 创新点：5分

🧿 更多资料, 项目分享：

https://gitee.com/dancheng-senior/postgraduate

1 课题背景

为了有效监测驾驶员是否疲劳驾驶、避免交通事故的发⽣,本项目利⽤⼈脸特征点进⾏实时疲劳驾驶检测的新⽅法。对驾驶员驾驶时的⾯部图像进⾏实时监控,⾸先检测⼈脸,并利⽤ERT算法定位⼈脸特征点;然后根据⼈脸眼睛区域的特征点坐标信息计算眼睛纵横⽐EAR来描述眼睛张开程度,根据合适的EAR阈值可判断睁眼或闭眼状态;最后基于EAR实测值和EAR阈值对监控视频计算闭眼时间⽐例(PERCLOS)值度量驾驶员主观疲劳程度,将其与设定的疲劳度阈值进⾏⽐较即可判定是否疲劳驾驶。

2 相关技术

2.1 Dlib人脸识别库

简历
Dlib是一个基于c++开发的开源数据工具库,其中包含了不少的机器学习的成熟算法与模型,相对于tensorflow和PyTorch,它用于图像处理以及人脸面部特征提取、分类及对比这几个方面比较具有通用性和优越性,因此,Dlib正在越来越广泛地应用在人脸识别技术领域。
Dlib具有独立使用的可移植代码。Dlib中的代码使用c++语言进行开发而成,使用独立封装,在不借助第三方数据库的情况下,可以直接移植到自己所需要设计的项目中进行使用。

Dlib优点

  • Dlib拥有全面的文档说明。作为一个开源的人脸数据库训练集,Dlib中有很多功能齐全的程序和文件,从人性化的角度而言的,Dlib在这一点上做的是非常不错的,因为它为每一个程序文档和文件都做了相对应的注释,这样开发者就可以迅速准确的调集程序文档来完成自己所需要的项目功能。

  • Dlib涵盖了支持功能完备的深度学习以及图像处理的各类算法。Dlib为开发者提供了机器深度学习的各类成熟的完备算法,并且在图像处理方面也为开发者带来了能够

相关代码

​

import` `matplotlib.pyplot as plt
import` `dlib
import` `numpy as np
import` `glob
import` `re
 
#正脸检测器
detector``=``dlib.get_frontal_face_detector()
#脸部关键形态检测器
sp``=``dlib.shape_predictor(r``"D:LBJAVAscriptshape_predictor_68_face_landmarks.dat"``)
#人脸识别模型
facerec ``=` `dlib.face_recognition_model_v1(r``"D:LBJAVAscriptdlib_face_recognition_resnet_model_v1.dat"``)
 
#候选人脸部描述向量集
descriptors``=``[]
 
photo_locations``=``[]
 
for` `photo ``in` `glob.glob(r``'D:LBJAVAscriptfaces*.jpg'``):
 ``photo_locations.append(photo)
 ``img``=``plt.imread(photo)
 ``img``=``np.array(img)
 
 ``#开始检测人脸
 ``dets``=``detector(img,``1``)
 
 ``for` `k,d ``in` `enumerate``(dets):
  ``#检测每张照片中人脸的特征
  ``shape``=``sp(img,d)
  ``face_descriptor``=``facerec.compute_face_descriptor(img,shape)
  ``v``=``np.array(face_descriptor)
  ``descriptors.append(v)
    
#输入的待识别的人脸处理方法相同
img``=``plt.imread(r``'D:test_photo10.jpg'``)
img``=``np.array(img)
dets``=``detector(img,``1``)
#计算输入人脸和已有人脸之间的差异程度（比如用欧式距离来衡量）
differences``=``[]
for` `k,d ``in` `enumerate``(dets):
 ``shape``=``sp(img,d)
 ``face_descriptor``=``facerec.compute_face_descriptor(img,shape)
 ``d_test``=``np.array(face_descriptor)
 
 ``#计算输入人脸和所有已有人脸描述向量的欧氏距离
 ``for` `i ``in` `descriptors:
  ``distance``=``np.linalg.norm(i``-``d_test)
  ``differences.append(distance)
 
#按欧式距离排序 欧式距离最小的就是匹配的人脸
candidate_count``=``len``(photo_locations)
candidates_dict``=``dict``(``zip``(photo_locations,differences))
candidates_dict_sorted``=``sorted``(candidates_dict.items(),key``=``lambda` `x:x[``1``])
 
#matplotlib要正确显示中文需要设置
plt.rcParams[``'font.family'``] ``=` `[``'sans-serif'``]
plt.rcParams[``'font.sans-serif'``] ``=` `[``'SimHei'``]
 
plt.rcParams[``'figure.figsize'``] ``=` `(``20.0``, ``70.0``)
 
ax``=``plt.subplot(candidate_count``+``1``,``4``,``1``)
ax.set_title(``"输入的人脸"``)
ax.imshow(img)
 
for` `i,(photo,distance) ``in` `enumerate``(candidates_dict_sorted):
 ``img``=``plt.imread(photo)
 
 ``face_name``=``""
 ``photo_name``=``re.search(r``'([^\]*).jpg$'``,photo)
 ``if` `photo_name:
  ``face_name``=``photo_name[``1``]
  
 ``ax``=``plt.subplot(candidate_count``+``1``,``4``,i``+``2``)
 ``ax.set_xticks([])
 ``ax.set_yticks([])
 ``ax.spines[``'top'``].set_visible(``False``)
 ``ax.spines[``'right'``].set_visible(``False``)
 ``ax.spines[``'bottom'``].set_visible(``False``)
 ``ax.spines[``'left'``].set_visible(``False``)
 
 ``if` `i``=``=``0``:
  ``ax.set_title(``"最匹配的人脸nn"``+``face_name``+``"nn差异度："``+``str``(distance))
 ``else``:
  ``ax.set_title(face_name``+``"nn差异度："``+``str``(distance))
 ``ax.imshow(img)
 
plt.show()

2.2 疲劳检测算法

该系统采用Dlib库中人脸68个关键点检测shape＿predictor＿68＿face＿landmarks.dat的dat模型库及视频中的人脸，之后返回人脸特征点坐标、人脸框及人脸角度等。本系统利用这68个关键点对驾驶员的疲劳状态进行检测，算法如下：

  1. 初始化Dlib的人脸检测器(HOG)，然后创建面部标志物预测；
  2. 使用dlib.get＿frontal＿face＿detector() 获得脸部位置检测器；
  3. 使用dlib.shape＿predictor获得脸部特征位置检测器；
  4. 分别获取左、右眼面部标志的索引；
  5. 打开cv2本地摄像头。

Dlib库68个特征点模型如图所示：

眼睛检测算法

基于EAR算法的眨眼检测，当人眼睁开时，EAR在某个值域范围内波动，当人眼闭合时，EAR迅速下降，理论上接近于0。当EAR低于某个阈值时，眼睛处于闭合状态；当EAR由某个值迅速下降至小于该阈值，再迅速上升至大于该阈值，则
在这里插入图片描述
EAR计算公式如下：
在这里插入图片描述
当后帧眼睛宽高比与前一帧差值的绝对值(EAR)大于0.2时，认为驾驶员在疲劳驾驶。（68点landmark中可以看到37-42为左眼，43-48为右眼）
在这里插入图片描述
右眼开合度可以通过以下公式：
在这里插入图片描述
眼睛睁开度从大到小为进入闭眼期，从小到大为进入睁眼期，计算最长闭眼时间(可用帧数来代替)。闭眼次数为进入闭眼、进入睁眼的次数。通过设定单位时间内闭眼次数、闭眼时间的阈值判断人是否已经疲劳了。

相关代码：

​

# 疲劳检测，检测眼睛和嘴巴的开合程度

from scipy.spatial import distance as dist
from imutils.video import FileVideoStream
from imutils.video import VideoStream
from imutils import face_utils
import numpy as np  # 数据处理的库 numpy
import argparse
import imutils
import time
import dlib
import cv2
import math
import time
from threading import Thread

def eye_aspect_ratio(eye):
    # 垂直眼标志（X，Y）坐标
    A = dist.euclidean(eye[1], eye[5])  # 计算两个集合之间的欧式距离
    B = dist.euclidean(eye[2], eye[4])
    # 计算水平之间的欧几里得距离
    # 水平眼标志（X，Y）坐标
    C = dist.euclidean(eye[0], eye[3])
    # 眼睛长宽比的计算
    ear = (A + B) / (2.0 * C)
    # 返回眼睛的长宽比
    return ear

打哈欠检测算法

基于MAR算法的哈欠检测，利用Dlib提取嘴部的6个特征点，通过这6个特征点的坐标(51、59、53、57的纵坐标和49、55的横坐标)来计算打哈欠时嘴巴的张开程度。当一个人说话时，点51、59、53、57的纵坐标差值增大，从而使MAR值迅速增大，反之，当一个人闭上嘴巴时，MAR值迅速减小。

嘴部主要取六个参考点，如下图：
在这里插入图片描述
计算公式：
在这里插入图片描述
通过公式计算MAR来判断是否张嘴及张嘴时间，从而确定驾驶员是否在打哈欠。阈值应经过大量实验，能够与正常说话或哼歌区分开来。为提高判断的准确度，采用双阈值法进行哈欠检测，即对内轮廓进行检测：结合张口度与张口时间进行判断。Yawn为打哈欠的帧数，N为1
min内总帧数，设双阈值法哈欠检测的阈值为10%，当打哈欠频率Freq>10%时，则认为驾驶员打了1个深度哈欠或者至少连续2个浅哈欠，此时系统进行疲劳提醒。

相关代码：

​

# 疲劳检测，检测眼睛和嘴巴的开合程度

from scipy.spatial import distance as dist
from imutils.video import FileVideoStream
from imutils.video import VideoStream
from imutils import face_utils
import numpy as np  # 数据处理的库 numpy
import argparse
import imutils
import time
import dlib
import cv2
import math
import time
from threading import Thread

def mouth_aspect_ratio(mouth):  # 嘴部
    A = np.linalg.norm(mouth[2] - mouth[10])  # 51, 59
    B = np.linalg.norm(mouth[4] - mouth[8])  # 53, 57
    C = np.linalg.norm(mouth[0] - mouth[6])  # 49, 55
    mar = (A + B) / (2.0 * C)
    return mar

​

点头检测算法

基于HPE算法的点头检测：算法步骤：2D人脸关键点检测，3D人脸模型匹配，求解3D点和对应2D点的转换关系，根据旋转矩阵求解欧拉角。检测过程中需要使用世界坐标系(UVW)、相机坐标系(XYZ)、图像中心坐标系(uv)和像素坐标系(xy)。一个物体相对于相机的姿态可以使用旋转矩阵和平移矩阵来表示。

  • 平移矩阵：物体相对于相机的空间位置关系矩阵，用T表示。
  • 旋转矩阵：物体相对于相机的空间姿态关系矩阵，用R表示。

因此必然少不了坐标系转换。如图所示：
在这里插入图片描述
于是世界坐标系(UVW)、相机坐标系(XYZ)、图像中心坐标系(uv)和像素坐标系(xy)四兄弟闪亮登场。相对关系如：
世界坐标系转换到相机坐标：在这里插入图片描述
相机坐标系转换到像素坐标系：
在这里插入图片描述
像素坐标系与世界坐标系的关系为：
在这里插入图片描述
图像中心坐标系转换到像素坐标系：
在这里插入图片描述

得到旋转矩阵后，求欧拉角：
在这里插入图片描述
设定参数阈值为0.3，在一个时间段，如10
s内，当低头欧拉角|Pitch|≥20°或者头部倾斜欧拉角|Roll|≥20°的时间比例超过0.3时，则认为驾驶员处于瞌睡状态，发出预警。

2.3 YOLOV5算法

简介
我们选择当下YOLO最新的卷积神经网络YOLOv5来进行检测是否存在玩手机、抽

目标检测架构分为两种，一种是two-stage，一种是one-stage，区别就在于 two-stage 有region
proposal过程，类似于一种海选过程,网络会根据候选区域生成位置和类别，而one-stage直接从图片生成位置和类别。今天提到的 YOLO就是一种
one-stage方法。YOLO是You Only Look Once的缩写,意思是神经网络只需要看一次图片，就能输出结果。YOLO
一共发布了五个版本，其中 YOLOv1 奠定了整个系列的基础，后面的系列就是在第一版基础上的改进，为的是提升性能。

YOLOv5有4个版本性能如图所示：
在这里插入图片描述
网络架构图
在这里插入图片描述

3 效果展示

3.1 眨眼

在这里插入图片描述

3.2 打哈欠

在这里插入图片描述

3.3 使用手机检测

在这里插入图片描述

3.4 抽烟检测

在这里插入图片描述

3.5 喝水检测

在这里插入图片描述

4 最后

🧿 更多资料, 项目分享：

https://gitee.com/dancheng-senior/postgraduate

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1488154.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

网络架构与组网部署——补充

网络架构与组网部署——补充

5G网络架构的演进趋势 （1） MEC：多接入边缘计算。首先MEC可以实现5GC的功能，因为5GC是集中在机房中，所以当有MEC后，就可以把MEC下发到基站旁边，这样减少端到端的延时。便于实现5G中不同场景的实…
阅读更多...
基于 rk3566 的 uboot 分析 - dts 加载和 dm 模型的本质

基于 rk3566 的 uboot 分析 - dts 加载和 dm 模型的本质

文章目录 一、设备树加载使用1、概述2、第一阶段1) fdtdec_setup2) 总结 3、第二阶段1) kernle dtb 编译打包2) 加载流程2.1) board_init2.2) init_kernel_dtb2.3) rockchip_read_dtb_file2.4) rockchip_read_resource_dtb 3) 总结 二、dm 模型1、树的创建1) device_bind_commo…
阅读更多...
营业执照年报申报

营业执照年报申报

姿势：营业执照年报申报 借鉴文章：个体工商户年报申报流程（不要再花冤枉钱） 1、国家企业信用信息公示系统 地址：https://www.gsxt.gov.cn/index.html 2、登录（重庆的方式二简单）
阅读更多...
SpringBoot+Vue实现el-table表头筛选排序（附源码）

SpringBoot+Vue实现el-table表头筛选排序（附源码）

👨‍💻作者简介：在笑大学牲 🎟️个人主页：无所谓^_^ ps：点赞是免费的，却可以让写博客的作者开心好几天😎 前言 后台系统对table组件的需求是最常见的，不过element-ui的el…
阅读更多...
SAP PP学习笔记05 - BOM配置（Customize）1 - 修正参数

SAP PP学习笔记05 - BOM配置（Customize）1 - 修正参数

上次学习了BOM相关的内容。 SAP PP学习笔记04 - BOM1 - BOM创建，用途，形式，默认值，群组BOM等_sap销售bom与生产bom-CSDN博客 SAP PP学习笔记04 - BOM2 -通过Serial来做简单的BOM变式配置，副明细，BOM状态&…
阅读更多...
禁用pycharm中解释器的-u选项

禁用pycharm中解释器的-u选项

用pycharm远程连接服务器跑代码的时候，想在配置中设置好入参，可以直接运行如下图。 但是运行之后发现总会在运行脚本前多出来一个参数选项‘-u’，不能被正确识别就走不下去。 ssh://rootxxxxx:22/usr/bin/python -m torch.distributed.laun…
阅读更多...
用边缘计算网关解决离散行业数采问题-天拓四方

用边缘计算网关解决离散行业数采问题-天拓四方

一、引言 随着工业4.0时代的来临，离散制造行业正面临数字化转型的关键节点。离散制造的特点是小批量、多品种、高复杂度，如何实现高效、精准的数据采集与分析，提升生产效率和产品质量，成为行业亟待解决的问题。边缘计算网关作为一…
阅读更多...
MySQL 逗号分隔查询--find_in_set()函数

MySQL 逗号分隔查询--find_in_set()函数

业务场景： 在使用MySQL的时候，可能的某个字段存储的是一个英文逗号分割的字符串（这里我们不讨论表设计的合理性），如图所示： 我们在查询的时候需要匹配逗号分割中的某个字符串，该怎么查询呢&am…
阅读更多...
Python爬虫：爬虫基本概念和流程

Python爬虫：爬虫基本概念和流程

前言： 零基础学Python：Python从0到100最新最全教程。 想做这件事情很久了，这次我更新了自己所写过的所有博客，汇集成了Python从0到100，共一百节课，帮助大家一个月时间里从零基础到学习Python基础语法、Pyth…
阅读更多...
Sora爆火，数字人IP如何借助AIGC视频生成软件制作短视频营销？

Sora爆火，数字人IP如何借助AIGC视频生成软件制作短视频营销？

ChatGPT、Sora等大模型的出现，创新了短视频内容创作生产方式。但目前Sora模型无法准确模拟复杂场景的物理特性，并且可能无法理解因果关系导致视频失真。 广州虚拟动力基于用户使用需求，推出了AIGC数字人视频生成平台，企业、品牌可…
阅读更多...
Linux CentOS使用Docker部署Apache Superset并实现远程分析数据

Linux CentOS使用Docker部署Apache Superset并实现远程分析数据

文章目录 前言1. 使用Docker部署Apache Superset1.1 第一步安装docker 、docker compose1.2 克隆superset代码到本地并使用docker compose启动 2. 安装cpolar内网穿透，实现公网访问3. 设置固定连接公网地址 前言 Superset是一款由中国知名科技公司开源的“现代化的…
阅读更多...
GPT-4劲敌来袭！Mistral Large全球第二大模型重磅上线，你准备好体验了吗？

GPT-4劲敌来袭！Mistral Large全球第二大模型重磅上线，你准备好体验了吗？

近日，Mistral刚刚推出了一个新的大模型，叫做Mistral Large。 这个模型在全球的排名是第二，仅次于我们熟知的GPT-4，现在你可以通过API轻松访问到它。 Mistral Large是通过la Plateforme平台提供的，而且还在Azure上进行…
阅读更多...
sparse transformer 常见稀疏注意力

sparse transformer 常见稀疏注意力

参考： https://zhuanlan.zhihu.com/p/259591644 主要就是降低transformer自注意力模块的复杂度 复杂度主要就是 Q K^T影响的，稀疏注意力就是在Q点乘K的转置这模块做文章 下列式一些sparse transformer稀疏注意力方法 a、transformer原始的 &#xff0…
阅读更多...
OpenGL 实现色温、色调、亮度、对比度、饱和度、高光

OpenGL 实现色温、色调、亮度、对比度、饱和度、高光

1.简介 色温：简单理解是色彩的温度，越低越冷如蓝色，约高越暖如红色。 亮度：增加就是给图片所有色彩加白色，减少加黑色。注意是只加黑白两种颜色，不然容易跟纯度弄混。 对比度：增加就是让白的…
阅读更多...
微信如何设置自动回复消息，提升沟通效率的？

微信如何设置自动回复消息，提升沟通效率的？

在日常微信聊天过程中，我们可能会频繁遇到相同问题的客户提问，特别是对于从事销售工作的朋友们而言，客户添加好友后的第一句话常常为“在吗”或“你好”。当我们拥有大量好友，手动逐一回复可能会耗费大量时间。因此，自…
阅读更多...
Conda笔记--移动Conda环境后pip使用异常的解决

Conda笔记--移动Conda环境后pip使用异常的解决

1--概述 由于各种原因，需要将Anaconda转变为Minicoda，为了保留之前安装的所有环境，直接将anaconda3/envs的所有环境拷贝到Miniconda/envs中，但在使用移动后环境时会出现pip的错误：bad interpreter: No such file or di…
阅读更多...
Acwing---1497. 树的遍历

Acwing---1497. 树的遍历

树的遍历 1.题目2.基本思想3.代码实现 1.题目 一个二叉树，树中每个节点的权值互不相同。 现在给出它的后序遍历和中序遍历，请你输出它的层序遍历。 输入格式 第一行包含整数 N，表示二叉树的节点数。 第二行包含 N个整数，表示二…
阅读更多...
数字经济的下一步：Web3的潜力与前景

数字经济的下一步：Web3的潜力与前景

引言： 随着区块链技术的迅速发展，数字经济正迎来新的变革时代。在这个数字化时代，Web3作为区块链技术的延伸和演进，正在成为全球数字经济发展的重要方向。本文将深入探讨Web3的潜力与前景，以及它对数字经济发展的深远…
阅读更多...
物联网边缘计算云边协同

物联网边缘计算云边协同

文章目录 一、物联网云边协同1.IoT云边协同设计2.物联网平台设计3.物联网平台实现 二、部署环境1.节点配置2.版本信息 三、IoT云边协同部署1.部署Kubernetes集群2.部署KubeEdge3.部署ThingsBoard集群4.部署Node-RED边缘网关4.1.边缘网关功能4.2.部署EMQX4.2.部署Node-RED 5.配置…
阅读更多...
文案如何让产品卖点看得见、摸得着？

文案如何让产品卖点看得见、摸得着？

好的电影能够让人记忆犹新，而好的文案也能让卖点可视化，卖点可视化就是让传播目的、产品优势、品牌形象等信息变得可感知，可视化的文案能够让产品功能、优势的展现可以更加直观、生动，从而缩短用户的购买决策时间。今天媒介盒子就…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023