一种基于图像增强技术的疲劳驾驶检测方法

1.本发明涉及疲劳驾驶检测技术领域，尤其涉及一种基于图像增强技术的疲劳驾驶检测方法。


背景技术：

2.随着国家汽车行业的发展及国民经济收入的快速增长,人均拥有汽车的数量急剧增加,国民的出行安全问题也日益突出。据不完全统计,约有60％的重大交通事故是由驾驶员疲劳驾驶引发的。因此,对于驾驶员疲劳状态和道路信息的检测,成为防范车辆安全行驶问题的关键。
3.基于计算机视觉技术对驾驶员进行疲劳驾驶检测是目前的主流方案，但是对于夜晚行车等情况，一般的摄像设备并不能很好地满足检测需求，存在误判的可能性。


技术实现要素：

4.为了解决上述现有技术中存在的不足，本发明提供一种基于图像增强技术的疲劳驾驶检测方法，其检测准确率高且降低了数据采集的难度。
5.本发明解决上述技术问题所采用的技术方案为：一种基于图像增强技术的疲劳驾驶检测方法，包括以下步骤，
6.s1：采用摄像头对驾驶图像进行采集；
7.s2：驾驶图像中定位驾驶员的眼睛区域，判断驾驶员是否佩戴墨镜，并获得粗定位图像；
8.s3：根据不同光线情况和驾驶员是否佩戴墨镜对粗定位图像进行处理得到面部轮廓图像；
9.s4：将面部轮廓图像归一化，传入预先训练好的enlightengan模型进行光照增强，并转化得到灰度图像；
10.s5：从灰度图像中提取人脸中68个关键点的坐标，并将上述关键点坐标转换成numpy数组；
11.s6：从numpy数组中提取左右眼的点坐标并计算眼睛纵横比，当任一只眼睛的纵横比在一段时间中低于预先设定的阈值时，则发出利用有源蜂鸣器发出警报来提醒司机。
12.在步骤s3中，当光线较暗时或检测到驾驶员佩戴墨镜时，通过开启车载补光装置对驾驶员脸部进行补光以便于采集面部轮廓图像。
13.enlightengan模型训练如下，
14.s41：获取同一场景下低光图像和正常光图像，并对低光图像和正常光图像的尺寸进行均一化处理，构成一个图像组；
15.s42：基于生成式对抗网络构建低光图像增强模型及损失函数，低光图像增强模型包括生成器网络和鉴别器网络，鉴别器网络包括全局鉴别器和局部鉴别器；
16.s43：训练低光图像增强模型：随机将处理后的数据集中的图像组输入到低光图像
增强模型中进行训练，反复迭代通过最小化生成器网络或鉴别器网络的损失函数值来训练低光图像增强模型，直至低光图像增强模型达到纳什均衡状态，则训练完成；
17.s44：将待增强的低光图像输入到训练好的低光图像增强模型，获得增强后的正常光图像。
18.生成器网络包含8个卷积模块，每个卷积模块包含2个3x3的卷积层、leakyrelu激活函数以及批归一化层。
19.全局鉴别器和局部鉴别器均采用了patchgan来用于真/假鉴别，除了图像级别的全局鉴别，还通过从输出和真实图像之间随机裁剪局部块来区分真/假以用作局部鉴别。
20.全局鉴别器中使用最小二乘gan以提升鉴别器能力，其函数结构如下，
[0021][0022][0023]
局部鉴别器中从增强后图像和原始图像中随机剪裁5个图像块来进行真假判断，局部鉴别器选择使用原始的最小二乘gan来作为对抗损失，局部损失函数结构如下,
[0024][0025][0026]
与现有技术相比，本发明的优点在于：
[0027]
1.在不同的光照条件下通过enlightengan模型进行光照增强均能有良好的检测效果；
[0028]
2.与传统的通过监督学习进行光照增强技术相比，通过enlightengan网络可以使用不成对图像进行训练，降低了采集数据的难度；
[0029]
3.算法复杂度低，在开发板上能够达到实时检测的效果；
[0030]
4.检测准确率高。
附图说明
[0031]
图1为本发明的流程图；
[0032]
图2为本发明中面部关键点坐标的示意图。
具体实施方式
[0033]
以下结合附图和实施例对本发明作进一步详细说明，但不作为对本发明的限定。
[0034]
实施例：如图所示,一种基于图像增强技术的疲劳驾驶检测方法，包括以下步骤，
[0035]
s1：采用摄像头对驾驶图像进行采集；
[0036]
s2：驾驶图像中定位驾驶员的眼睛区域，判断驾驶员是否佩戴墨镜，并获得粗定位图像；
[0037]
s3：根据不同光线情况和驾驶员是否佩戴墨镜对粗定位图像进行处理得到面部轮廓图像；
[0038]
s4：将面部轮廓图像归一化，传入预先训练好的enlightengan模型进行光照增强，并转化得到灰度图像；
[0039]
s5：从灰度图像中提取人脸中68个关键点的坐标，并将上述关键点坐标转换成numpy数组；
[0040]
s6：从numpy数组中提取左右眼的点坐标并计算眼睛纵横比，当任一只眼睛的纵横比在一段时间中低于预先设定的阈值时，则发出利用有源蜂鸣器发出警报来提醒司机。
[0041]
在步骤s3中，当光线较暗时或检测到驾驶员佩戴墨镜时，通过开启车载补光装置对驾驶员脸部进行补光以便于采集面部轮廓图像。
[0042]
enlightengan模型训练如下，
[0043]
s41：获取同一场景下低光图像和正常光图像，并对低光图像和正常光图像的尺寸进行均一化处理，构成一个图像组；
[0044]
s42：基于生成式对抗网络构建低光图像增强模型及损失函数，低光图像增强模型包括生成器网络和鉴别器网络，鉴别器网络包括全局鉴别器和局部鉴别器；
[0045]
s43：训练低光图像增强模型：随机将处理后的数据集中的图像组输入到低光图像增强模型中进行训练，反复迭代通过最小化生成器网络或鉴别器网络的损失函数值来训练低光图像增强模型，直至低光图像增强模型达到纳什均衡状态，则训练完成；
[0046]
s44：将待增强的低光图像输入到训练好的低光图像增强模型，获得增强后的正常光图像。
[0047]
生成器网络包含8个卷积模块，每个卷积模块包含2个3x3的卷积层、leakyrelu激活函数以及批归一化层。
[0048]
全局鉴别器和局部鉴别器均采用了patchgan来用于真/假鉴别，除了图像级别的全局鉴别，还通过从输出和真实图像之间随机裁剪局部块来区分真/假以用作局部鉴别。
[0049]
全局鉴别器中使用最小二乘gan以提升鉴别器能力，其函数结构如下，
[0050][0051][0052]
局部鉴别器中从增强后图像和原始图像中随机剪裁5个图像块来进行真假判断，局部鉴别器选择使用原始的最小二乘gan来作为对抗损失，局部损失函数结构如下,
[0053][0054][0055]
当人眨眼时，眼睛纵横比值会降低，正常睁开眼睛时，会在一个常数处维持稳定。在此基础上，可以通过检测检测每次眨眼时，人眼闭上的时间就行睡眠监测，以此来识别驾
驶司机是否处于疲劳驾驶的状态，更好地规避因疲劳驾驶而发生意外的情况。具体而言，当纵横比在持续5秒以上时间内低于0.3，则判定为疲劳驾驶。
[0056]
值得注意的是，以上所述仅为本发明的较佳实施例，并非因此限定本发明的专利保护范围，本发明还可以对上述各种零部件的构造进行材料和结构的改进，或者是采用技术等同物进行替换。故凡运用本发明的说明书及图示内容所作的等效结构变化，或直接或间接运用于其他相关技术领域均同理皆包含于本发明所涵盖的范围内。