基于时空双特征的驾驶员疲劳检测方法

本发明属于辅助驾驶领域，具体涉及一种基于时空双特征的驾驶员疲劳检测技术。

背景技术：

1、驾驶员疲劳是汽车事故的主要原因之一。根据相关研究，如果能够实时检测驾驶员的疲劳状态，并在驾驶员严重疲劳之前发出警报，则96％的疲劳驾驶交通事故可以避免。当驾驶员疲劳时，通常会出现以下迹象：注意力不集中、眼睛长闭、难以保持面部笔直向前、打呵欠频率高、方向盘停留时序长、方向盘突然修正次数多、车辆有偏离道路、无目的变道等倾向。

2、随着技术的进步，疲劳检测系统显著减少了与疲劳相关的交通事故。为了检测疲劳的发生，疲劳检测系统分析驾驶员行为和警告指示，识别出疲劳的早期迹象进而降低事故风险。学术界和研究人员使用了许多新技术和方法来提高安全驾驶的质量，并在紧急情况下做出重要决定。

3、疲劳检测方法可大致分为四类：主观报告、生理信号、车辆轨迹和面部特征。主观报告不太适合实时检测；生理信号是疲劳的直接量度。然而，由于传感器的侵入性，它们的应用不容易推广；车辆轨迹的准确性不太可靠，因为它取决于道路因素和驾驶员的驾驶技能；基于面部特征的疲劳检测越来越流行，它通常比车辆轨迹更可靠，因为它注重人的表现，而不是外部设备。此外，面部表情检测是非侵入性的，比生理信号更实用。

4、因此，致力于开发一种疲劳检测模型，通过视频捕捉面部特征，基于视频的疲劳预警系统能够及时给出预警提示并接收驾驶员反馈，具有很高的实用价值。

技术实现思路

1、针对现有技术的不足，本发明的目的在于提供一种基于驾驶员面部表情的疲劳检测方法，以解决上述背景技术中提出的问题。

2、本发明的目的可以通过以下技术方案实现：

3、一种基于时空双特征的驾驶员疲劳检测方法，所述方法包括：

4、步骤1：对驾驶员疲劳数据集进行视频分帧处理，适配图片的标签；

5、步骤2：对得到的数据集图片进行多任务卷积神经网络mtcnn人脸对齐和人脸定位；

6、步骤3：对图像中人脸区域的特征区域(双眼、鼻子、嘴巴)进行裁剪合并；

7、步骤4：将裁剪合并后的特征图片输入空间特征提取网络emn-net中，学习空间特征；

8、步骤5：将步骤4中的输出特征输入到时序特征提取网络t-lstm中，学习时序特征；

9、步骤6：结合空间特征和时序特征的疲劳检测模型，输出驾驶员的状态。

10、优选地，所述步骤2中多任务卷积神经网络mtcnn主体包括p-net、r-net、和o-net三层网络结构。其中p-net全称为proposal network，其基本的构造是一个全卷积网络。对上一步构建完成的图像金字塔，通过一个全卷积网络进行初步特征提取与标定边框，并进行边界框回归调整窗口与非极大值抑制进行大部分窗口的过滤。r-net全称为refinenetwork，其基本的构造是一个卷积神经网络，相对于第一层的p-net来说，增加了一个全连接层，因此对于输入数据的筛选会更加严格。在图片经过p-net后，会留下许多预测窗口，我们将所有的预测窗口送入r-net，这个网络会滤除大量效果比较差的候选框，最后对选定的候选框进行边界框回归和非极大值抑制进一步优化预测结果。o-net全称为outputnetwork，基本结构是一个较为复杂的卷积神经网络，相对于r-net来说多了一个卷积层。o-net的效果与r-net的区别在于这一层结构会通过更多的监督来识别面部的区域，而且会对人的面部特征点进行回归，最终输出五个人脸面部特征点。

11、优选地，所述步骤3中空间特征提取网络emn-net主体包含3个卷积层，2个最大值池化，2个fire层，1个多尺度池化spp层和两个全连接层。具体的，输入图像尺寸180×120，经过两层卷积特征图尺寸变为45×30，随后进入fire1层、一个最大值池化层特征图尺寸变为22×15，在进入fire2层、一个最大值池化层、一个卷积层特征图大小变成5×3，最后通过空间金字塔池化(窗口大小1×1、2×2、3×3)输出一维特征向量进入全连接层。

12、优选地，所述步骤4中时序特征提取网络t-lstm。完整的t-lstm由三个门组成：输入门、遗忘门和输出门，所以t-lstm可用于学习驾驶员在产生疲劳阶段的序列数据中的长期相关性。此外，t-lstm有一个存储单元，可以在其矢量中存储长期信息。因此，我们采用t-lstm来挖掘驾驶员疲劳的时序特征。我们的时序特征与空间特征是分开训练的，时空特征分开训练的优点是时空网络参数的解耦，可以降低网络收敛的难度，加快网络的收敛过程。在训练时序特征提取网络时，将空间域的256维疲劳向量作为输入，每个t-lstm块中的隐藏单元数等于256。遗忘门被启用，最大存储步长被设置为25帧。全连接层用于将特征向量的输出投影为二维向量，然后由softmax解码为两个类别的概率。

13、本发明的有益效果：

14、1、本发明基于时空双特征的驾驶员疲劳检测方法通过对驾驶员面部疲劳特征的细致提取，使得网络模型更容易学习驾驶员的疲劳特征；

15、2、本发明基于时空双特征的驾驶员疲劳检测方法通过结合驾驶员驾驶过程中的空间特征和时序特征判断疲劳状态，极大提升了对驾驶员疲劳检测的准确性。

技术特征：

1.一种基于时空双特征的驾驶员疲劳检测方法，其特征在于，所述方法包括：

2.根据权利要求1所述的一种基于时空双特征的驾驶员疲劳检测方法，其特征在于，所述步骤3中使用多任务卷积神经网络mtcnn对数据集图片中驾驶员的面部进行人脸对齐和人脸定位，定位出驾驶员左眼、右眼、鼻子和嘴巴五个特征点，根据五个特征点对面部特征进行裁剪，将面部的左眼、右眼、鼻子和嘴巴四个特征区域裁剪成四个chip,每个chip的尺寸为90×60，随后将这四个chip拼接到一个新的图片上，图片尺寸为180×120。

3.根据权利要求1所述的一种基于时空双特征的驾驶员疲劳检测方法，其特征在于，步骤4所使用的空间特征提取网络需要学习驾驶员疲劳状态和清醒状态时的疲劳表征。为了有效提取疲劳特征参数的深层特征表示，同时为了保证模型的轻量化，该网络采用轻量化网络，网络的输入为180×120像素图像，使用两个fire模块，fire模块由一个squeeze层(只有1×1卷积),将其放入一个具有1×1和3×3卷积组合的expand层中。我们将该轻量化网络命名为面部状态识别网络emn-net，以有效识别驾驶员的疲劳状态。

4.根据权利要求1所述的一种基于时空双特征的驾驶员疲劳检测方法，其特征在于，步骤5所使用的时序特征提取网络需要学习驾驶员在由清醒到疲劳这段时序的变化关系。为了有效学习这一时序过程，我们采用时序循环神经网络t-lstm对这一时序数据进行学习。t-lstm的优势在于可以处理序列数据。隐藏层的输入不仅包括输入层的输出，还包括上一次隐藏层的输出，序列的当前输出也与上一次输出相关，这与驾驶员疲劳状态的逐渐形成有着密切的相关性。时序特征提取网络t-lstm的输入是空间特征提取网络emn-net的输出，其中t-lstm的步长为25，即一次输入25张图片的序列信息。

5.一种基于时空双特征的驾驶员疲劳检测系统，储存有运行权利要求1-4任意一项所述的基于时空双特征的驾驶员疲劳检测方法程序。

技术总结
本发明公开了辅助驾驶领域的一种时空双特征的驾驶员疲劳检测方法，所述方法包括：对驾驶员疲劳数据集进行分帧处理，标签对应；对数据集图片中的人脸使用多任务卷积神经网络MTCNN网络进行人脸对齐和人脸定位；对人脸特征区域进行裁剪合并；将裁剪合并后的特征图片输入空间特征提取网络EMN‑net中进行训练；经过空间特征提取后的特征向量输入时序特征提取网络T‑lstm中训练；通过时空双特征网络模型预测驾驶员的疲劳状态。本发明结合驾驶员驾驶过程中面部疲劳特征的空间信息和时序信息，提高了对驾驶员疲劳驾驶的检测精度同时满足实时性要求。

技术研发人员：梁兴柱,姚伟
受保护的技术使用者：安徽理工大学
技术研发日：
技术公布日：2024/1/14