驾驶员疲劳检测系统及其疲劳检测方法与流程

本发明涉及汽车领域，特别是涉及一种基于深度学习和信息融合的驾驶员疲劳检测系统。本发明还涉及一种基于深度学习和信息融合的疲劳检测方法。

背景技术：

根据国内外的研究表明，疲劳驾驶是发生重大事故的三大原因之一：疲劳驾驶引发的交通事故占比高达40％以上，其次为酒后驾车、车辆故障、违反交通法规等。驾驶疲劳是指驾驶员在驾驶车辆时由于种种原因产生的生理机能或者心理机能的失调(即在生理或心理上产生疲劳)，从而使驾驶员对周边环境的感知能力减弱以及对车辆的操纵能力下降，偏离正常的驾驶行为。因此，如何主动针对驾驶员的状态进行监测，并有效的提供驾驶疲劳预警，是一个亟待解决的交通安全问题。

现在对驾驶员的实时疲劳检测技术，主要采用接触式的设备，检测驾驶员的生理信号，其优点是精确，但对驾驶员驾驶操作不够友好，或者采用车辆信息进行判断，其优点是不会对驾驶员造成影响，但是精确度不高，滞后严重。因此，急需一种功能全面，安全高效的对驾驶员疲劳检测的技术。

技术实现要素：

本发明要解决的技术问题是提供一种基于深度学习和信息融合在光照、驾驶员姿态变化等复杂条件下均能精确获取驾驶员的面部信息，判断驾驶员疲劳程度的驾驶员疲劳检测系统。

本发明还提供一种基于深度学习和信息融合在光照、驾驶员姿态变化等复杂条件下均能精确获取驾驶员的面部信息，判断驾驶员疲劳程度的驾驶员疲劳检测方法。

为解决上述技术问题，本发明提供的驾驶员疲劳检测系统，包括：图像预处理模块、面部以及面部特征点检测模块、面部区域调整归一化模块、面部特征提取网络模块和疲劳程度判断模块；

图像预处理模块，将图像处理为预设格式；

面部以及面部特征点检测模块，采用第一卷积神经网络检测获得面部区域和面部特征点；

面部区域调整归一化模块，根据人脸特征点形成面部位置框，利用面部位置框裁剪面部区域，将裁剪后的面部区域归一化处理；

面部特征提取网络模块，采用第二卷积神经网络在归一化后的图像中获取面部特征，并获取各面部特征的置信度；

疲劳程度及疲劳状态判断模块，根据疲劳判断规则获取当前图像疲劳程度，根据前图像疲劳程度利用perclos算法获得驾驶员疲劳状态。

进一步改进所述驾驶员疲劳检测系统，所述预设格式为单通道灰度图像，图像分辨率大于640×480。

进一步改进所述驾驶员疲劳检测系统，所述灰度转化公式为，gray＝0.299r+0.587g+0.114b。

进一步改进所述驾驶员疲劳检测系统，所述第一卷积神经网络是多级级联卷积神经网络mtcnn。

进一步改进所述驾驶员疲劳检测系统，使多级级联卷积神经网络mtcnn输出的所有面部特征点位于面部区域内形成面部位置框，再通过面部位置框对面部区域形象裁剪。

进一步改进所述驾驶员疲劳检测系统，所述归一化是将图像转换分辨率为96×96的图像。

进一步改进所述驾驶员疲劳检测系统，所述第二卷积神经网络采用mobilenetv2网络结构，损失函数由分类损失和回归损失构成，多标签分类损失采用的是sigmoid交叉熵损失函数，公式为：

回归损失采用的是l2损失函数，公式为：l2(x)＝∑(yi-p(xi))²，训练过程的学习率设置为0.05，最大迭代次数为100000。

进一步改进所述驾驶员疲劳检测系统，所述面部特征包括:左右眼睁闭状态，嘴部的张闭状态以及驾驶员头部位姿。

进一步改进所述驾驶员疲劳检测系统，所述疲劳判读规则包括:根据左右眼闭眼状态置信度，张嘴状态置信度以及头部位姿的pitch值利用加权融合算法获得驾驶员所当前帧下的疲劳程度置信度，前帧下疲劳程度置信度大于第一阈值的则当前帧为疲劳。

进一步改进所述驾驶员疲劳检测系统，所述加权融合算法公式如下；

低头置信度为pitch为低头的角度值。

进一步改进所述驾驶员疲劳检测系统，所述第一阈值为0.5-0.9。

进一步改进所述驾驶员疲劳检测系统，所述perclos算法是单位时间内驾驶员眼睛闭合时间所占的比例，计算公式为：perclos＝单位时间闭眼帧数/单位时间总帧数，当比值大于第二阈值的时候，驾驶员处于疲劳状态。

进一步改进所述驾驶员疲劳检测系统，所述单位时间为30秒～180秒。

进一步改进所述驾驶员疲劳检测系统，所述第二阈值为0.3-0.5。

本发明提供一种驾驶员疲劳检测方法，包括以下步骤：

1)拍摄驾驶员面部图像；

2)将图像处理为预设格式；

3)采用第一卷积神经网络检测获得面部区域和面部特征点；

4)根据人脸特征点形成面部位置框，利用面部位置框裁剪面部区域，将裁剪后的面部区域归一化处理；

5)采用第二卷积神经网络在归一化后的图像中获取面部特征，并获取各面部特征的置信度；

6)根据疲劳判断规则获取当前图像疲劳程度，根据前图像疲劳程度利用perclos算法获得驾驶员疲劳状态。

进一步改进所述的驾驶员疲劳检测方法，实施步骤2)时，预设格式为单通道灰度图像，图像分辨率大于640×480。

进一步改进所述的驾驶员疲劳检测方法，所述灰度转化公式为，gray＝0.299r+0.587g+0.114b。

进一步改进所述的驾驶员疲劳检测方法，实施步骤3)时，所述第一卷积神经网络是多级级联卷积神经网络mtcnn。

进一步改进所述的驾驶员疲劳检测方法，实施步骤4)时，使多级级联卷积神经网络mtcnn输出的所有面部特征点位于面部区域内形成面部位置框，再通过面部位置框对面部区域形象裁剪。

进一步改进所述的驾驶员疲劳检测方法，实施步骤4)时,所述归一化是将图像转换分辨率为96×96的图像。

进一步改进所述的驾驶员疲劳检测方法，实施步骤5)时,第二卷积神经网络采用mobilenetv2网络结构，损失函数由分类损失和回归损失构成，多标签分类损失采用的是sigmoid交叉熵损失函数，公式为：

回归损失采用的是l2损失函数，公式为：l2(x)＝∑(yi-p(xi))²，训练过程的学习率设置为0.05，最大迭代次数为100000。

进一步改进所述的驾驶员疲劳检测方法，实施步骤5)时,所述面部特征包括:左右眼睁闭状态，嘴部的张闭状态以及驾驶员头部位姿。

进一步改进所述的驾驶员疲劳检测方法，实施步骤6)时,所述疲劳判读规则包括:根据左右眼闭眼状态置信度，张嘴状态置信度以及头部位姿的pitch值利用加权融合算法获得驾驶员所当前帧下的疲劳程度置信度，前帧下疲劳程度置信度大于第一阈值的则当前帧为疲劳。

进一步改进所述的驾驶员疲劳检测方法，所述加权融合算法公式如下；

低头置信度为pitch为低头的角度值。

进一步改进所述的驾驶员疲劳检测方法，所述第一阈值为0.5-0.9。

进一步改进所述的驾驶员疲劳检测方法，所述perclos算法是单位时间内驾驶员眼睛闭合时间所占的比例，计算公式为：perclos＝单位时间闭眼帧数/单位时间总帧数，当比值大于第二阈值的时候，驾驶员处于疲劳状态。

进一步改进所述的驾驶员疲劳检测方法，所述单位时间为30秒～180秒。

进一步改进所述的驾驶员疲劳检测方法，所述第二阈值为0.3-0.5。

本发明能减少因驾驶疲劳引发的交通事故，保障驾驶员安全驾驶。本发明基于深度学习和信息融合的驾驶员疲劳状态检测系统及方法，实现了即使在光照、姿态变化等复杂条件下均能精确获取驾驶员的面部信息，并进行融合决策准确判断驾驶员状态并预警，能够有效的预防驾驶员疲劳驾驶，减少因驾驶疲劳引发的交通事故。

本发明至少具有以下技术效果：

(1)本发明采用基于视觉信息的非接触式方式，利用深度卷积神经网络能够有效的克服各种光照、位姿等变化带来的干扰，实现对驾驶疲劳的实时精准判别检测。

(2)利用单一的神经网络对图像进行成处理，同时获取面部区域和面部点区域，减少冗余计算，有效提升计算速度，并利用特征点优化面部检测模块，提高面部检测的精度。

(3)利用单一神经网络结合多标签分类损失和回归损失对面部区域进行计算，同时计算得出左右眼闭眼状态置信度值、嘴部张开状态置信度值以及头部位姿的pitch(俯仰角)、yaw(偏航角)和roll(翻滚角)角度值，可以高效准确的获取人脸数据，计算速度快。

(4)采用眼睛、嘴部以及头部位姿的特征信息融合，充分利用驾驶员的面部信息，系统更加精准有效的判别驾驶员所处的状态。

附图说明

下面结合附图与具体实施方式对本发明作进一步详细的说明：

图1是本发明的原理示意图。

图2是本发明面部以及面部特征点检测模块通过神经网络获取左右眼睁闭，嘴部张闭以及头部位姿值原理示意图。

图3是本发明面部特征提取网络模块采用mobilenetv2模型原理示意图。

图4是本发明融合判断原理示意图。

具体实施方式

参考图1所示，本发明提供的驾驶员疲劳检测系统，包括：图像预处理模块、面部以及面部特征点检测模块、面部区域调整归一化模块、面部特征提取网络模块和疲劳程度判断模块；

图像预处理模块，将图像转换为单通道灰度图像，图像分辨率大于640×480；

灰度转化公式为，gray＝0.299r+0.587g+0.114b；

参考图2所示，面部以及面部特征点检测模块，采用多级级联卷积神经网络mtcnn检测获得面部区域和面部特征点；使多级级联卷积神经网络mtcnn输出的所有面部特征点位于面部区域内形成面部位置框，再通过面部位置框对面部区域形象裁剪；面部特征包括:左右眼睁闭状态，嘴部的张闭状态以及驾驶员头部位姿；

面部区域调整归一化模块，根据人脸特征点形成面部位置框，利用面部位置框裁剪面部区域，将裁剪后的面部区域转换分辨率为96×96的图像；

参考图3所示，面部特征提取网络模块，采用第二卷积神经网络在归一化后的图像中获取面部特征，并获取各面部特征的置信度；

所述第二卷积神经网络采用mobilenetv2网络结构，损失函数由分类损失和回归损失构成，多标签分类损失采用的是sigmoid交叉熵损失函数，公式为：

回归损失采用的是l2损失函数，公式为：l2(x)＝∑(yi-p(xi))²，训练过程的学习率设置为0.05，最大迭代次数为100000；

疲劳程度及疲劳状态判断模块，根据疲劳判断规则获取当前图像疲劳程度，根据前图像疲劳程度利用perclos算法获得驾驶员疲劳状态；

所述疲劳判读规则包括:根据左右眼闭眼状态置信度，张嘴状态置信度以及头部位姿的pitch值利用加权融合算法获得驾驶员所当前帧下的疲劳程度置信度，前帧下疲劳程度置信度大于第一阈值的则当前帧为疲劳。

所述加权融合算法公式如下；

低头置信度为pitch为低头的角度值；例如，低头17度；

所述perclos算法是单位时间内驾驶员眼睛闭合时间所占的比例，计算公式为：perclos＝单位时间闭眼帧数/单位时间总帧数，当比值大于第二阈值的时候，驾驶员处于疲劳状态，发出疲劳预警。

其中，所述第一阈值为0.5-0.9，优选为0.6。

所述单位时间为30秒～180秒，优选为90秒。

所述第二阈值为0.3-0.5，优选为0.4。

本发明提供一种驾驶员疲劳检测方法，包括以下步骤：

1)采用相机/摄像机拍摄驾驶员面部图像；

2)将图像转换为单通道灰度图像，图像分辨率大于640×480；灰度转化公式为，gray＝0.299r+0.587g+0.114b；

3)采用多级级联卷积神经网络mtcnn检测获得面部区域和面部特征点；

4)使多级级联卷积神经网络mtcnn输出的所有面部特征点位于面部区域内形成面部位置框，再通过面部位置框对面部区域形象裁剪，将裁剪后的面部区域转换分辨率为96×96的图像。

面部特征包括:左右眼睁闭状态，嘴部的张闭状态以及驾驶员头部位姿；

5)采用第二卷积神经网络在归一化后的图像中获取面部特征，并获取各面部特征的置信度；

所述第二卷积神经网络采用mobilenetv2网络结构，损失函数由分类损失和回归损失构成，多标签分类损失采用的是sigmoid交叉熵损失函数，公式为：

回归损失采用的是l2损失函数，公式为：l2(x)＝∑(yi-p(xi))²，训练过程的学习率设置为0.05，最大迭代次数为100000。

6)根据疲劳判断规则获取当前图像疲劳程度，根据前图像疲劳程度利用perclos算法获得驾驶员疲劳状态；

所述疲劳判读规则包括:根据左右眼闭眼状态置信度，张嘴状态置信度以及头部位姿的pitch值利用加权融合算法获得驾驶员所当前帧下的疲劳程度置信度，前帧下疲劳程度置信度大于第一阈值的则当前帧为疲劳。

所述加权融合算法公式如下；

低头置信度为pitch为低头的角度值；例如，低头17度；

所述perclos算法是单位时间内驾驶员眼睛闭合时间所占的比例，计算公式为：perclos＝单位时间闭眼帧数/单位时间总帧数，当比值大于第二阈值的时候，驾驶员处于疲劳状态，发出疲劳预警。

其中，所述第一阈值为0.5-0.9，优选为0.6。

所述单位时间为30秒～180秒，优选为90秒。

所述第二阈值为0.3-0.5，优选为0.4。

以上通过具体实施方式和实施例对本发明进行了详细的说明，但这些并非构成对本发明的限制。在不脱离本发明原理的情况下，本领域的技术驾驶员还可做出许多变形和改进，这些也应视为本发明的保护范围。