竞赛 深度学习驾驶行为状态检测系统(疲劳 抽烟 喝水 玩手机) - opencv python

news2024/11/23 19:18:18

文章目录

  • 1 前言
  • 1 课题背景
  • 2 相关技术
    • 2.1 Dlib人脸识别库
    • 2.2 疲劳检测算法
    • 2.3 YOLOV5算法
  • 3 效果展示
    • 3.1 眨眼
    • 3.2 打哈欠
    • 3.3 使用手机检测
    • 3.4 抽烟检测
    • 3.5 喝水检测
  • 4 最后

1 前言

🔥 优质竞赛项目系列，今天要分享的是

🚩 基于深度学习的驾驶行为状态检测系统

该项目较为新颖，适合作为竞赛课题方向，学长非常推荐！

🥇学长这里给一个题目综合评分(每项满分5分)

  • 难度系数：3分
  • 工作量：3分
  • 创新点：5分

🧿 更多资料, 项目分享：

https://gitee.com/dancheng-senior/postgraduate

1 课题背景

为了有效监测驾驶员是否疲劳驾驶、避免交通事故的发⽣,本项目利⽤⼈脸特征点进⾏实时疲劳驾驶检测的新⽅法。对驾驶员驾驶时的⾯部图像进⾏实时监控,⾸先检测⼈脸,并利⽤ERT算法定位⼈脸特征点;然后根据⼈脸眼睛区域的特征点坐标信息计算眼睛纵横⽐EAR来描述眼睛张开程度,根据合适的EAR阈值可判断睁眼或闭眼状态;最后基于EAR实测值和EAR阈值对监控视频计算闭眼时间⽐例(PERCLOS)值度量驾驶员主观疲劳程度,将其与设定的疲劳度阈值进⾏⽐较即可判定是否疲劳驾驶。

2 相关技术

2.1 Dlib人脸识别库

简历
Dlib是一个基于c++开发的开源数据工具库,其中包含了不少的机器学习的成熟算法与模型,相对于tensorflow和PyTorch,它用于图像处理以及人脸面部特征提取、分类及对比这几个方面比较具有通用性和优越性,因此,Dlib正在越来越广泛地应用在人脸识别技术领域。
Dlib具有独立使用的可移植代码。Dlib中的代码使用c++语言进行开发而成,使用独立封装,在不借助第三方数据库的情况下,可以直接移植到自己所需要设计的项目中进行使用。

Dlib优点

  • Dlib拥有全面的文档说明。作为一个开源的人脸数据库训练集,Dlib中有很多功能齐全的程序和文件,从人性化的角度而言的,Dlib在这一点上做的是非常不错的,因为它为每一个程序文档和文件都做了相对应的注释,这样开发者就可以迅速准确的调集程序文档来完成自己所需要的项目功能。

  • Dlib涵盖了支持功能完备的深度学习以及图像处理的各类算法。Dlib为开发者提供了机器深度学习的各类成熟的完备算法,并且在图像处理方面也为开发者带来了能够解决大多数实质问题的优良算法。例如基于SVM的递归和分类算法,以及专门用于面对大规模分类和递归的降维算法。当然还有能够对未知函数进行预分类和预测的相关向量机,其分类和预测训练是基于贝叶斯框架。

相关代码

​

import` `matplotlib.pyplot as plt
import` `dlib
import` `numpy as np
import` `glob
import` `re
 
#正脸检测器
detector``=``dlib.get_frontal_face_detector()
#脸部关键形态检测器
sp``=``dlib.shape_predictor(r``"D:LBJAVAscriptshape_predictor_68_face_landmarks.dat"``)
#人脸识别模型
facerec ``=` `dlib.face_recognition_model_v1(r``"D:LBJAVAscriptdlib_face_recognition_resnet_model_v1.dat"``)
 
#候选人脸部描述向量集
descriptors``=``[]
 
photo_locations``=``[]
 
for` `photo ``in` `glob.glob(r``'D:LBJAVAscriptfaces*.jpg'``):
 ``photo_locations.append(photo)
 ``img``=``plt.imread(photo)
 ``img``=``np.array(img)
 
 ``#开始检测人脸
 ``dets``=``detector(img,``1``)
 
 ``for` `k,d ``in` `enumerate``(dets):
  ``#检测每张照片中人脸的特征
  ``shape``=``sp(img,d)
  ``face_descriptor``=``facerec.compute_face_descriptor(img,shape)
  ``v``=``np.array(face_descriptor)
  ``descriptors.append(v)
    
#输入的待识别的人脸处理方法相同
img``=``plt.imread(r``'D:test_photo10.jpg'``)
img``=``np.array(img)
dets``=``detector(img,``1``)
#计算输入人脸和已有人脸之间的差异程度（比如用欧式距离来衡量）
differences``=``[]
for` `k,d ``in` `enumerate``(dets):
 ``shape``=``sp(img,d)
 ``face_descriptor``=``facerec.compute_face_descriptor(img,shape)
 ``d_test``=``np.array(face_descriptor)
 
 ``#计算输入人脸和所有已有人脸描述向量的欧氏距离
 ``for` `i ``in` `descriptors:
  ``distance``=``np.linalg.norm(i``-``d_test)
  ``differences.append(distance)
 
#按欧式距离排序 欧式距离最小的就是匹配的人脸
candidate_count``=``len``(photo_locations)
candidates_dict``=``dict``(``zip``(photo_locations,differences))
candidates_dict_sorted``=``sorted``(candidates_dict.items(),key``=``lambda` `x:x[``1``])
 
#matplotlib要正确显示中文需要设置
plt.rcParams[``'font.family'``] ``=` `[``'sans-serif'``]
plt.rcParams[``'font.sans-serif'``] ``=` `[``'SimHei'``]
 
plt.rcParams[``'figure.figsize'``] ``=` `(``20.0``, ``70.0``)
 
ax``=``plt.subplot(candidate_count``+``1``,``4``,``1``)
ax.set_title(``"输入的人脸"``)
ax.imshow(img)
 
for` `i,(photo,distance) ``in` `enumerate``(candidates_dict_sorted):
 ``img``=``plt.imread(photo)
 
 ``face_name``=``""
 ``photo_name``=``re.search(r``'([^\]*).jpg$'``,photo)
 ``if` `photo_name:
  ``face_name``=``photo_name[``1``]
  
 ``ax``=``plt.subplot(candidate_count``+``1``,``4``,i``+``2``)
 ``ax.set_xticks([])
 ``ax.set_yticks([])
 ``ax.spines[``'top'``].set_visible(``False``)
 ``ax.spines[``'right'``].set_visible(``False``)
 ``ax.spines[``'bottom'``].set_visible(``False``)
 ``ax.spines[``'left'``].set_visible(``False``)
 
 ``if` `i``=``=``0``:
  ``ax.set_title(``"最匹配的人脸nn"``+``face_name``+``"nn差异度："``+``str``(distance))
 ``else``:
  ``ax.set_title(face_name``+``"nn差异度："``+``str``(distance))
 ``ax.imshow(img)
 
plt.show()

2.2 疲劳检测算法

该系统采用Dlib库中人脸68个关键点检测shape＿predictor＿68＿face＿landmarks.dat的dat模型库及视频中的人脸，之后返回人脸特征点坐标、人脸框及人脸角度等。本系统利用这68个关键点对驾驶员的疲劳状态进行检测，算法如下：

  1. 初始化Dlib的人脸检测器(HOG)，然后创建面部标志物预测；
  2. 使用dlib.get＿frontal＿face＿detector() 获得脸部位置检测器；
  3. 使用dlib.shape＿predictor获得脸部特征位置检测器；
  4. 分别获取左、右眼面部标志的索引；
  5. 打开cv2本地摄像头。

Dlib库68个特征点模型如图所示：

眼睛检测算法

基于EAR算法的眨眼检测，当人眼睁开时，EAR在某个值域范围内波动，当人眼闭合时，EAR迅速下降，理论上接近于0。当EAR低于某个阈值时，眼睛处于闭合状态；当EAR由某个值迅速下降至小于该阈值，再迅速上升至大于该阈值，则判断为一次眨眼。为检测眨眼次数，需要设置同一次眨眼的连续帧数。眨眼速度较快，一般1～3帧即可完成眨眼动作。眼部特征点如图：
在这里插入图片描述
EAR计算公式如下：
在这里插入图片描述
当后帧眼睛宽高比与前一帧差值的绝对值(EAR)大于0.2时，认为驾驶员在疲劳驾驶。（68点landmark中可以看到37-42为左眼，43-48为右眼）
在这里插入图片描述
右眼开合度可以通过以下公式：
在这里插入图片描述
眼睛睁开度从大到小为进入闭眼期，从小到大为进入睁眼期，计算最长闭眼时间(可用帧数来代替)。闭眼次数为进入闭眼、进入睁眼的次数。通过设定单位时间内闭眼次数、闭眼时间的阈值判断人是否已经疲劳了。

相关代码：

​

# 疲劳检测，检测眼睛和嘴巴的开合程度

from scipy.spatial import distance as dist
from imutils.video import FileVideoStream
from imutils.video import VideoStream
from imutils import face_utils
import numpy as np  # 数据处理的库 numpy
import argparse
import imutils
import time
import dlib
import cv2
import math
import time
from threading import Thread

def eye_aspect_ratio(eye):
    # 垂直眼标志（X，Y）坐标
    A = dist.euclidean(eye[1], eye[5])  # 计算两个集合之间的欧式距离
    B = dist.euclidean(eye[2], eye[4])
    # 计算水平之间的欧几里得距离
    # 水平眼标志（X，Y）坐标
    C = dist.euclidean(eye[0], eye[3])
    # 眼睛长宽比的计算
    ear = (A + B) / (2.0 * C)
    # 返回眼睛的长宽比
    return ear

打哈欠检测算法

基于MAR算法的哈欠检测，利用Dlib提取嘴部的6个特征点，通过这6个特征点的坐标(51、59、53、57的纵坐标和49、55的横坐标)来计算打哈欠时嘴巴的张开程度。当一个人说话时，点51、59、53、57的纵坐标差值增大，从而使MAR值迅速增大，反之，当一个人闭上嘴巴时，MAR值迅速减小。

嘴部主要取六个参考点，如下图：
在这里插入图片描述
计算公式：
在这里插入图片描述
通过公式计算MAR来判断是否张嘴及张嘴时间，从而确定驾驶员是否在打哈欠。阈值应经过大量实验，能够与正常说话或哼歌区分开来。为提高判断的准确度，采用双阈值法进行哈欠检测，即对内轮廓进行检测：结合张口度与张口时间进行判断。Yawn为打哈欠的帧数，N为1
min内总帧数，设双阈值法哈欠检测的阈值为10%，当打哈欠频率Freq>10%时，则认为驾驶员打了1个深度哈欠或者至少连续2个浅哈欠，此时系统进行疲劳提醒。

相关代码：

​

# 疲劳检测，检测眼睛和嘴巴的开合程度

from scipy.spatial import distance as dist
from imutils.video import FileVideoStream
from imutils.video import VideoStream
from imutils import face_utils
import numpy as np  # 数据处理的库 numpy
import argparse
import imutils
import time
import dlib
import cv2
import math
import time
from threading import Thread

def mouth_aspect_ratio(mouth):  # 嘴部
    A = np.linalg.norm(mouth[2] - mouth[10])  # 51, 59
    B = np.linalg.norm(mouth[4] - mouth[8])  # 53, 57
    C = np.linalg.norm(mouth[0] - mouth[6])  # 49, 55
    mar = (A + B) / (2.0 * C)
    return mar

​

点头检测算法

基于HPE算法的点头检测：算法步骤：2D人脸关键点检测，3D人脸模型匹配，求解3D点和对应2D点的转换关系，根据旋转矩阵求解欧拉角。检测过程中需要使用世界坐标系(UVW)、相机坐标系(XYZ)、图像中心坐标系(uv)和像素坐标系(xy)。一个物体相对于相机的姿态可以使用旋转矩阵和平移矩阵来表示。

  • 平移矩阵：物体相对于相机的空间位置关系矩阵，用T表示。
  • 旋转矩阵：物体相对于相机的空间姿态关系矩阵，用R表示。

因此必然少不了坐标系转换。如图所示：
在这里插入图片描述
于是世界坐标系(UVW)、相机坐标系(XYZ)、图像中心坐标系(uv)和像素坐标系(xy)四兄弟闪亮登场。相对关系如：
世界坐标系转换到相机坐标：在这里插入图片描述
相机坐标系转换到像素坐标系：
在这里插入图片描述
像素坐标系与世界坐标系的关系为：
在这里插入图片描述
图像中心坐标系转换到像素坐标系：
在这里插入图片描述

得到旋转矩阵后，求欧拉角：
在这里插入图片描述
设定参数阈值为0.3，在一个时间段，如10
s内，当低头欧拉角|Pitch|≥20°或者头部倾斜欧拉角|Roll|≥20°的时间比例超过0.3时，则认为驾驶员处于瞌睡状态，发出预警。

2.3 YOLOV5算法

简介
我们选择当下YOLO最新的卷积神经网络YOLOv5来进行检测是否存在玩手机、抽烟、喝水这三种行为。6月9日，Ultralytics公司开源了YOLOv5，离上一次YOLOv4发布不到50天。而且这一次的YOLOv5是完全基于PyTorch实现的！在我们还对YOLOv4的各种高端操作、丰富的实验对比惊叹不已时，YOLOv5又带来了更强实时目标检测技术。按照官方给出的数目，现版本的YOLOv5每个图像的推理时间最快0.007秒，即每秒140帧（FPS），但YOLOv5的权重文件大小只有YOLOv4的1/9。

目标检测架构分为两种，一种是two-stage，一种是one-stage，区别就在于 two-stage 有region
proposal过程，类似于一种海选过程,网络会根据候选区域生成位置和类别，而one-stage直接从图片生成位置和类别。今天提到的 YOLO就是一种
one-stage方法。YOLO是You Only Look Once的缩写,意思是神经网络只需要看一次图片，就能输出结果。YOLO
一共发布了五个版本，其中 YOLOv1 奠定了整个系列的基础，后面的系列就是在第一版基础上的改进，为的是提升性能。

YOLOv5有4个版本性能如图所示：
在这里插入图片描述
网络架构图
在这里插入图片描述

3 效果展示

3.1 眨眼

在这里插入图片描述

3.2 打哈欠

在这里插入图片描述

3.3 使用手机检测

在这里插入图片描述

3.4 抽烟检测

在这里插入图片描述

3.5 喝水检测

在这里插入图片描述

4 最后

🧿 更多资料, 项目分享：

https://gitee.com/dancheng-senior/postgraduate

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1181922.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

【Python深入学习】- 书籍推荐|数据结构和算法介绍|内建集合数据类型

【Python深入学习】- 书籍推荐|数据结构和算法介绍|内建集合数据类型

🌈个人主页: Aileen_0v0 🔥系列专栏:PYTHON学习系列专栏 💫"没有罗马,那就自己创造罗马~" 若把编写代码比作行军打仗，那么要想称霸沙场，不能仅靠手中的利刃，还需深谙兵法。Python是一把利刃&…
阅读更多...
oracle使用regexp_substr来拆分，CONNECT BY LEVEL查询卡死，速度慢的问题。

oracle使用regexp_substr来拆分，CONNECT BY LEVEL查询卡死，速度慢的问题。

一、问题 oracle 使用regexp_substrCONNECT BY LEVEL来，根据特定字符拆分成多行。 （注意这里我的数据是每个值都有“ ; ”，即使后面没有值，后面也会有个“ ; ”， 如果是正常的分隔符，sql 需要改成” LEVEL…
阅读更多...
Centos7下安装使用K3S

Centos7下安装使用K3S

## K3S简介 K3S官方文档链接 K3s是一个轻量级的、专为容器化应用和Kubernetes集群设计的开源Kubernetes发行版。K3s的目标是提供一个更小、更简单、更易于部署和维护的Kubernetes集群。它是Rancher Labs开发的一个项目，旨在满足边缘计算、IoT设备、开发和测试环境…
阅读更多...
QoS（服务质量）学习记录

QoS（服务质量）学习记录

一、概述 QoS，英文全称quality of service，是网络通信协议的设计提供了理论基础。 QoS的度量指标 带宽 时延 指数据报文从发送端到接收端所需要的延迟时间。时延包括传输延迟、发送端处理延迟和接收端处理延迟。 抖动 描述延迟变化的程度&#xf…
阅读更多...
栈（定义，基本操作，顺序存储，链式存储）

栈（定义，基本操作，顺序存储，链式存储）

目录 1.栈的定义1.重要术语2.特点 2.栈的基本操作3.栈的顺序存储1.顺序栈的定义2.基本操作1.初始化2.进栈3.出栈4.读栈顶 3.共享栈 4.栈的链式存储 1.栈的定义 栈( Stack）是只允许在一端进行插入或删除操作的线性表。 一种受限的线性表，只能在栈顶进行插…
阅读更多...
IDEA使用Git进行代码管理教程

IDEA使用Git进行代码管理教程

系列文章目录 1.Win11Git安装教程 2.git同时配置Gitee和GitHub 文章目录 系列文章目录前言一、Git提交代码二、合并分支三、版本回退 前言 这一篇文章主要用来记录如何使用IDEA中的git进行代码管理，包括日常开发中进行代码提交，以及如何将开发分支的代…
阅读更多...
红黑数原理及存在原因

红黑数原理及存在原因

我红黑树那么牛，你们为什么不用？_哔哩哔哩_bilibili 面试时经常会被问到红黑树，它到底有什么优点呢？ 对于查找数据，数组二分查询速度最快，时间复杂度为O(logN)。但是如果增加和删除数据，数组就…
阅读更多...
TikTok小店运营的三大技巧！跨境电商必看

TikTok小店运营的三大技巧！跨境电商必看

众所周知，国内的抖音早已风生水起，抖音给了很多普通人一夜暴富的机会。而Tiktok也跟随着抖音开启了商业模式，目前流量与机会都是不可小觑的。在店铺申请通过，成功入驻之后，又该如何运营？这篇文章为大家解答…
阅读更多...
每天一点python——day63

每天一点python——day63

#第63天 #字符串的字符串的查询操作字符串的查询操作方法 如图 我们可以把字符串看做是关于字符的列表 所以字符串与列表查的操作是非常相似的 区别在于 当我们获得字符串中指定子串索引的时候除了index（）方法，还有如上图所示的rindex&#x…
阅读更多...
得帆云iPaaS白皮书｜WMS集成，打造高效规范的仓储管理业务生态

得帆云iPaaS白皮书｜WMS集成，打造高效规范的仓储管理业务生态

仓储管理，在传统企业运作中往往是比较容易被管理者忽视的一个部分，部分管理者认为仓库只是放货的场所，能正常出入库即可。 而随着企业信息化的不断发展，越来越多的企业意识到仓储管理与生产、销售、发货有着密切的联系&#xff0…
阅读更多...
使用STM32微控制器进行 Blink LED

使用STM32微控制器进行 Blink LED

在嵌入式系统开发中，点亮一个简单的 LED 是入门级的练习。通过使用STM32微控制器，我们可以通过 GPIO 控制来实现Blink LED的功能。本文将介绍如何在STM32微控制器上利用CubeMX和HAL库来实现Blink LED的功能。 一、 硬件准备 首先，确保你有一…
阅读更多...
Java连接数据库并查询表中的全部数据

Java连接数据库并查询表中的全部数据

1、导入相关jar包 这里创建简单的maven项目&#xff0c;我们导入相关的jar包 相关依赖&#xff1a; <dependency><groupId>mysql</groupId><artifactId>mysql-connector-java</artifactId><version>5.1.47</version></dependenc…
阅读更多...
操作系统实验--进程调度算法的模拟代码

操作系统实验--进程调度算法的模拟代码

代码如下&#xff0c;运行了没问题&#xff01; #include<stdio.h> #include<stdlib.h> #define getpch(type) (type*)malloc(sizeof(type)) struct pcb {char name[10];char state;int nice;int ntime;int rtime;struct pcb* link; }*readyNULL, *p; typedef str…
阅读更多...
怎样选择金鸣识别中的输出选项（网页版）？

怎样选择金鸣识别中的输出选项（网页版）？

本操作适合金鸣表格文字识别程序的网页版&#xff08;新版&#xff09;。 表格识别&#xff1a; excel(xlsx)&#xff1a;将需识别的图片转换成编辑的xlsx格式&#xff0c;此格式仅支持excel2007以上版本或wps打开。 excel(xls)&#xff1a;将需识别的图片转换成编辑的xls格式…
阅读更多...
虚幻引擎:如何进行关卡切换?

虚幻引擎:如何进行关卡切换?

一丶非无缝切换 在切换的时候会先断开连接,等创建好后才会链接,造成体验差 蓝图中用到的节点是 Execute Console Command 二丶无缝切换 链接的时候不会断开连接,中间不会出现卡顿,携带数据转换地图 1.需要在gamemode里面开启无缝漫游,开启之后使用上面的切换方式就可以做到无缝…
阅读更多...
‘vite‘ is not recognized as an internal or external command

‘vite‘ is not recognized as an internal or external command

标题翻译后就是&#xff1a;‘vite‘ 不是内部或外部命令&#xff0c;也不是可运行的程序 或批处理文 运行一个由 Vite 构建的 Vue3 项目&#xff0c;之前还好好的能正常跑&#xff0c; 但拉取新代码之后再次执行 npm run dev 就提示 ‘vite’ 不是内部或外部命令&#xff0…
阅读更多...
C语言--结构体(内容超级详细)

C语言--结构体(内容超级详细)

一.前言 通过数据类型来定义一个一个的变量,当需要很多相同类型的变量时有数组。基本数据类型在使用时 很方便,但是利用它们来描述现实世界就显得捉襟见肘。例如需要保存一个班学生的信息”姓名,年龄,分 数”,按照前面的学习需要单独定义三个数组,一个保存姓名,一个保存年龄,一…
阅读更多...
台式电脑怎么无损备份迁移系统到新硬盘（使用傲梅，免费的就可以）

台式电脑怎么无损备份迁移系统到新硬盘（使用傲梅，免费的就可以）

文章目录 前言一、想要将源硬盘上的系统原封不动地迁移到新硬盘上二、准备工作2.具体步骤 总结 前言 半路接手公司一台台式电脑&#xff0c;C盘&#xff08;120g&#xff09;爆红&#xff0c;仅剩几个G&#xff0c;优化了几次&#xff0c;无果后。准备换一个大一点的增到500g。…
阅读更多...
【ARM Trace32(劳特巴赫) 使用介绍 2 - Veloce 环境中使用trace32 连接 Cortex-M33】

【ARM Trace32(劳特巴赫) 使用介绍 2 - Veloce 环境中使用trace32 连接 Cortex-M33】

文章目录 T32MARM 介绍Trace32 .t32 和 .cmm 差异veloce 下启动TRACE321.1.3 TAP 状态机操作命令1.1.3.1 IDCODE&#xff08;Identification Code&#xff09;寄存器 介绍 T32MARM 介绍 T32MARM 是 Lauterbach 的 Trace32 软件包的一部分&#xff0c;专门用于 ARM 基础架构的微…
阅读更多...
kubernetes集群编排（6）

kubernetes集群编排（6）

目录 k8s调度 nodename nodeselector nodeaffinity podaffinity podantiaffinity Taints cordon、drain、delete k8s调度 nodename [rootk8s2 node]# vim nodename.yaml apiVersion: v1 kind: Pod metadata:name: nginxlabels:app: nginxspec:containers:- name: nginximage: n…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023