基于边缘设备的驾驶员疲劳检测方法与流程

本发明涉及驾驶员疲劳驾驶检测领域，具体涉及一种基于边缘设备的驾驶员疲劳检测方法。

背景技术：

1、驾驶员的疲劳驾驶是对车辆安全运营的隐患之一，在公交车、货物运输领域对驾驶员疲劳驾驶的需求与日俱增。车内驾驶员疲劳监测技术，本质上是在行驶过程中捕捉并分析驾驶员的生物行为信息，比如眼睛、脸部、心脏、脑电活动等等的技术。通常情况下受制于传感器限制，基于驾驶行为和面部视频更为常用，实现对驾驶员疲劳检测的方法分为驾驶室视频帧和驾驶行为传送云端由云端模型进行评价，以及将相关数据直接在车载边缘设备检测两种方法。考虑到云端处理方式带来的流量消耗高及行车过程中信号不稳定等因素，基于边缘移动设备的驾驶员疲劳驾驶检测方法更具有实用价值。

2、当前被最多被采用的疲劳检测手段是驾驶员驾驶员行为分析，即通过记录和解析驾驶员转动方向盘、踩刹车等行为特征，判别驾驶员是否疲劳。但是这种方式受驾驶员驾驶习惯影响极大。另一大类别检测方法是：通过图像分析手段对驾驶员脸部与眼睛特征进行疲劳评估，这种方法正在被更多的开发商采用。考虑到对车辆加装方向盘和三急等传感器作为驾驶行为数据可操作性不强的原因，因此需要寻找新的方法用作为疲劳驾驶行为的评估。

技术实现思路

1、本发明意在提供基于边缘设备的驾驶员疲劳检测方法，以针对公交车、货运车辆等特种用途车辆驾驶员疲劳驾驶问题的有效检测。

2、为达到上述目的，本发明采用如下技术方案：基于边缘设备的驾驶员疲劳检测方法，所述方法包括以下步骤：

3、步骤一，视频采集，使用摄像头进行图像采集，得到采集图片；

4、步骤二，滤波预处理去噪，将采集图片采用同比例缩放法缩放到统一尺寸，对采集图片进行灰度化处理，使用高斯滤波器对采集图片进行滤波处理；

5、步骤三，基于霍夫变换的车道检测，使用霍夫变化检测车道线集合，对车道线按标准左右车道进行聚类计算出左右车道平均线斜率；

6、步骤四，基于yolov5模型的睡眠检测，对驾驶员面部眼睛和嘴巴与疲劳直接相关的动作进行单独判别；

7、步骤五，疲劳评估，通过车道检测和睡眠检测，对驾驶员的疲劳等级进行计算并给出疲劳得分。

8、本方案的原理及优点是：本方案提出了一种利用边缘计算设备，通过对驾驶员生理面部特征进行识别的方式判断是否存在疲劳行为，同时又在检测睡眠疲劳的基础上加入了基于车道偏离的驾驶行为疲劳的检测，并将两者转换为了综合疲劳评价；通过加权和衰减的方式融合为最终的疲劳总评价得分，给予驾驶行为疲劳的量化评价。能为驾驶员疲劳驾驶预警、云端记录考核得分提供数据依据。本方案采用是一种基于嘴、眼睛和驾驶行为的疲劳驾驶评估方法，通过图像分析手段对驾驶员脸部与眼睛特征进行疲劳评估。本方案采用基于图像的车道偏离作为驾驶行为的替代。

9、优选的，作为一种改进，步骤一中，架设前置摄像头和后置摄像头，所述前置摄像头采集车外道路线图像；所述后置摄像头采集车内包含驾驶员眼、嘴的图像。

10、优选的，作为一种改进，步骤三中，基于霍夫变换的车道检测包括：

11、1)对拍摄外景的前置摄像头获取的车道图像进行灰度化处理；

12、2)对车道图像进行高斯滤波去除噪模糊处理；

13、3)对车道图像进行canny边缘检测，提取前车窗外的景物边缘轮廓图；

14、4)从边缘化处理后的车道图像中分割出车道轮廓图。

15、优选的，作为一种改进，采用三角区域硬编码法从边缘化处理后的车道图像中分割出车道轮廓图。

16、优选的，作为一种改进，使用霍夫变化确定车道直线方程，使用opencv的houghlinesp函数输出所有能够检测出的车道线若干两点坐标(x1,y1.x2,y2)集合，计算出所有车道线的斜率数值，

17、优选的，作为一种改进，步骤四中，在回归框定位loss中使用了iou_loss与l2_loss的加权loss；

18、box_loss＝iou_loss*beta+l2_loss*(1-beta)在loss中conf_loss是将前景分拆为了嘴眼、打手机、背景；在loss中的class_loss，包含了眼睛睁开，眼睛闭上，嘴巴闭上，嘴巴张开，困乏低头5类，对应box定位中眼部定位、嘴部定位和头部定位3类box框。

19、优选的，作为一种改进，判断眼部闭合使用em准则，瞳孔被眼睑覆盖超过50％面积，则认为是闭合。

20、优选的，作为一种改进，步骤五中，在设定的统计时间段内，对获取的来自道路偏离模块的车道线斜率按正负分别进行分类，同时计算正负斜率的平均数值，并与设定的阈值斜率进行比对，并按与阈值的远近程度计算得分，

21、优选的，作为一种改进，驾驶员睡眠疲劳直接检测，在两个数据帧之间都处于闭眼及认为该时间属于闭眼时间；

22、当两个数据帧之间一个睁眼一个闭眼本方案认为闭眼和睁眼时间各占一半，睡眠分值由闭眼时间与其超过阈值时间的比例计算：

23、优选的，作为一种改进，计算综合驾驶员疲劳得分；

24、得分＝σi＊驾驶疲劳分*(1-beat)+θj*睡眠疲劳分*beta。

技术特征：

1.基于边缘设备的驾驶员疲劳检测方法，其特征在于，所述方法包括以下步骤：

2.根据权利要求1所述的基于边缘设备的驾驶员疲劳检测方法，其特征在于：步骤一中，架设前置摄像头和后置摄像头，所述前置摄像头采集车外道路线图像；所述后置摄像头采集车内包含驾驶员眼、嘴的图像。

3.根据权利要求1所述的基于边缘设备的驾驶员疲劳检测方法，其特征在于：步骤三中，基于霍夫变换的车道检测包括：

4.根据权利要求3所述的基于边缘设备的驾驶员疲劳检测方法，其特征在于：采用三角区域硬编码法从边缘化处理后的车道图像中分割出车道轮廓图。

5.根据权利要求4所述的基于边缘设备的驾驶员疲劳检测方法，其特征在于：使用霍夫变化确定车道直线方程，使用opencv的houghlinesp函数输出所有能够检测出的车道线若干两点坐标(x1,y1.x2,y2)集合，计算出所有车道线的斜率数值，

6.根据权利要求1所述的基于边缘设备的驾驶员疲劳检测方法，其特征在于：步骤四中，在回归框定位loss中使用了iou_loss与l2_loss的加权loss；

7.根据权利要求6所述的基于边缘设备的驾驶员疲劳检测方法，其特征在于：判断眼部闭合使用em准则，瞳孔被眼睑覆盖超过50％面积，则认为是闭合。

8.根据权利要求1所述的基于边缘设备的驾驶员疲劳检测方法，其特征在于：步骤五中，在设定的统计时间段内，对获取的来自道路偏离模块的车道线斜率按正负分别进行分类，同时计算正负斜率的平均数值，并与设定的阈值斜率进行比对，并按与阈值的远近程度计算得分，

9.根据权利要求8所述的基于边缘设备的驾驶员疲劳检测方法，其特征在于：驾驶员睡眠疲劳直接检测，在两个数据帧之间都处于闭眼及认为该时间属于闭眼时间，当两个数据帧之间一个睁眼一个闭眼本方案认为闭眼和睁眼时间各占一半，睡眠分值由闭眼时间与其超过阈值时间的比例计算：

10.根据权利要求9所述的基于边缘设备的驾驶员疲劳检测方法，其特征在于：计算综合驾驶员疲劳得分，得分＝σi＊驾驶疲劳分*(1-beat)+θj*睡眠疲劳分*beta。

技术总结
本发明涉及驾驶员疲劳驾驶检测领域，具体涉及一种基于边缘设备的驾驶员疲劳检测方法。本方案通过视频采集，滤波预处理去噪，基于霍夫变换的车道检测，基于yolov5模型的睡眠检测，疲劳评估，提出了一种利用边缘计算设备，通过对驾驶员生理面部特征进行识别的方式判断是否存在疲劳行为，同时又在检测睡眠疲劳的基础上加入了基于车道偏离的驾驶行为疲劳的检测，并将两者转换为了综合疲劳评价；通过加权和衰减的方式融合为最终的疲劳总评价得分，给予驾驶行为疲劳的量化评价。能为驾驶员疲劳驾驶预警、云端记录考核得分提供数据依据。

技术研发人员：罗锋
受保护的技术使用者：云车智途（重庆）科技有限公司
技术研发日：
技术公布日：2024/1/13