疲劳驾驶检测方法和装置与流程

本公开一般涉及汽车安全驾驶技术领域，具体涉及基于深度神经网络的疲劳驾驶检测方法和装置。

背景技术：

随着社会经济的发展，机动车辆急剧增多，由疲劳驾驶导致的交通事故呈现越来越多发的趋势。针对这一现象，产生了各种疲劳驾驶检测技术，其中包括基于驾驶员的生理特征的疲劳驾驶检测技术。当驾驶员疲劳时，会表现出低头、闭眼频率增加等生理特征。通过监控装置，检测驾驶员的这些生理特征，可以判断驾驶员是否疲劳。基于驾驶员的生理特征的疲劳驾驶检测技术，具有非接触、成本低、精确度高的特点，因此，被广泛采用于目前的疲劳驾驶检测装置。

当前的基于驾驶员的生理特征的疲劳驾驶检测装置，大多通过图像处理技术，定位人脸，再在人脸的范围内分析眼睛的状态，判断是否疲劳。具体地，通常有两种方法，一种是采用可见光摄像头，获得人眼张合状态信息进行检测识别，根据眼睛、嘴巴、鼻子等器官的特征以及相互之间的几何位置关系来进行，这种方法在强光和黑暗环境条件下准确率受到很大影响，而且，传统的单纯基于图像的人眼检测分析算法，如肤色瞳孔分割检测，对噪声不鲁棒，无法准确的分割出人眼区域进行识别。另一种基于深度学习模型的算法，通过对大量人脸图像样本构造人脸模式空间，根据相似度来判断人脸是否存在。这种方法虽然准确率有所提升，但这种方法计算量大，无法在嵌入式设备上实时运行，不能实用。

技术实现要素：

在下文中给出关于本发明的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。

本发明提出一种能够实时的、高鲁棒性而准确地进行疲劳驾驶检测的方法。

在本发明的第一方面，本发明提供一种疲劳驾驶检测方法，包括：接收采集的驾驶员的正面图像；在采集的图像中进行人脸检测；在检测到的人脸中进一步定位人眼和/或嘴巴；其中，所述方法还包括：

基于深度神经网络模型，对检测到的人眼和/或嘴巴进行定位，识别人眼的状态；

跟踪多帧图像中人眼的状态的变化，判断驾驶员是否疲劳。

优选地，上述疲劳驾驶方法基于深度神经网络模型，对检测到的人眼和/或嘴巴进行定位包括：将人脸图像输入人脸特征点回归卷积神经网络模型，回归预测在一个降采样的低分辨率图像中人眼和/或嘴巴的边界位置。

优选地，上述疲劳驾驶方法对检测到的人眼和/或嘴巴进行定位还包括从所述降采样的低分辨率图像中裁剪出双眼区域图像，输入眼睛区域分割深度神经网络模型，预测在另一降采样的低分辨率图像上属于人眼区域的概率图，分割出人眼区域所包含的图像像素，并据此判断人眼的张合状态。

优选地，在上述疲劳驾驶方法中，所述人眼状态的变化包括人眼张合大小的变化。优选地，在上述疲劳驾驶方法中，所述人眼状态的变化包括人眼张合频次的变化。

优选地，所述疲劳驾驶检测方法还包括在检测到的人脸中进一步定位鼻子，并且基于深度神经网络模型，对检测到的鼻子进行定位。

优选地，所述疲劳驾驶检测方法还包括利用单目红外摄像头进行图像采集。

优选地，所述疲劳驾驶检测方法还包括从降采样的低分辨率图像中定位嘴部区域，裁剪出嘴部区域图像，输入嘴区域分割深度神经网络模型，分类判断嘴部张开闭合状态。

优选地，所述疲劳驾驶检测方法还包括根据检测的疲劳的不同状况，作出不同等级的预警提示。

在本发明的第二方面，本发明还提供一种驾驶员疲劳驾驶检测装置，包括人脸检测装置、人眼定位装置、以及疲劳判断装置，所述人脸检测装置用于在接收的驾驶员的活动图像中检测驾驶员的面部，所述人眼定位装置，用于在所述面部中，定位驾驶员的眼睛，从而确定驾驶员眼睛的状态，所述疲劳判断装置，用于根据所述驾驶员眼睛的状态，判断所述驾驶员是否疲劳；其中，

所述人眼定位装置基于深度神经网络模型，对检测到的人眼和/或嘴巴进行定位，识别人眼的状态；

所述疲劳判断装置跟踪多帧图像中人眼的状态的变化，判断驾驶员是否疲劳。

优选地，所述人眼定位装置包括人眼粗略定位装置，所述人眼粗略定位装置，用于将人脸图像输入人脸特征点回归卷积神经网络模型，回归预测在一个降采样的低分辨率图像中人眼和/或嘴巴的边界位置，进而识别人眼的状态。

优选地，所述人眼定位装置包括进一步包括人眼精确定位装置，所述人眼精确定位装置，用于从降采样的低分辨率图像中裁剪出双眼区域图像，输入眼睛区域分割深度神经网络模型，预测在另一降采样的低分辨率图像上属于人眼区域的概率图，分割出人眼区域所包含的图像像素，并据此判断人眼的张合状态。

优选地，所述驾驶员疲劳驾驶检测装置还包括嘴部精确定位装置，所述嘴部精确定位装置用于从降采样的低分辨率图像中定位嘴部区域，裁剪出嘴部区域图像，输入嘴区域分割深度神经网络模型，分类判断嘴部张开闭合状态。

优选地，所述驾驶员疲劳驾驶检测装置进一步包括疲劳驾驶报警装置，所述疲劳驾驶报警装置用于根据驾驶员疲劳驾驶检测装置判断的疲劳驾驶程度向驾驶员发出报警信息。

优选地，所述驾驶员疲劳驾驶检测装置进一步包括图像采集装置，所述图像采集装置用于采集驾驶员的正面图像。

通过根据本发明的驾驶员疲劳驾驶检测方法和检测装置，能够实现低成本快速、准确、鲁棒地基于图像的驾驶员疲劳状态检测装置，以便嵌入式设备不需要任何人机交互就可以实时获取驾驶员是否处于疲劳状态，为驾驶员提供安全防护提示或预警。

附图说明

参照下面结合附图对本发明实施例的说明，会更加容易地理解本发明的以上和其它目的、特点和优点。附图中的部件只是为了示出本发明的原理。在附图中，相同的或类似的技术特征或部件将采用相同或类似的附图标记来表示。

图1是根据本发明的驾驶员疲劳驾驶检测方法的流程图；

图2是根据本发明的驾驶员疲劳驾驶检测装置的组成示意图；

图3和图4示出安装根据本发明的驾驶员疲劳驾驶检测装置的位置示意图。

具体实施方式

下面参照附图来说明本发明的实施例。在本发明的一个附图或一种实施方式中描述的元素和特征可以与一个或更多个其它附图或实施方式中示出的元素和特征相结合。应当注意，为了清楚的目的，附图和说明中省略了与本发明无关的、本领域普通技术人员已知的部件和处理的表示和描述。

图1为本发明实施例一提供的疲劳驾驶检测方法的流程图。其包括如下的步骤：

首先，在步骤S101，接收利用摄像头采集的驾驶员正面的活动图像。例如以640*480像素、1280*720像素、1920*1080像素的分辨率采集图像。

在此，摄像头可以采用普通摄像头，或者单目红外可见光摄像头，以加强在弱光线或夜间行驶条件下的图像采集的清晰度。

然后，在步骤S102，对采集的驾驶员活动图像进行人脸检测。

人脸检测是为了在整幅(帧)驾驶员图像中识别出驾驶员的面部，为进一步定位眼睛及嘴巴做基础。人脸检测可以采用现有的各种检测识别技术，例如，如肤色分割，形状检测等。优选地，可以采用多级级联分类算法进行人脸检测。

接着，在步骤S103，在检测的人脸图像中进一步定位眼睛和嘴巴。根据本发明的方法，在进一步定位眼睛和鼻子的步骤中，可以基于深度神经网络的方法来进行，根据定位的眼睛，来识别人眼所处的状态。

最后，在步骤S104中，连续跟踪多帧人脸图像中眼睛状态的变化，确定驾驶员是否疲劳以及疲劳程度。

优选地，对检测到的人眼和/或嘴巴进行定位，识别人眼所处的状态包括：对人眼进行粗略定位和精确定位。对人眼进行粗略定位包括：将人脸图像输入人脸特征点回归卷积神经网络模型，回归预测在一个降采样的低分辨率图像中人眼和/或嘴巴的边界位置，进而识别人眼的状态。例如，在降采样的低分辨率图像中，人眼和/或嘴巴可以是分辨率为72*72的图像块。在一个实施例中，将人脸图像输入到卷积神经网络，从而获得包括表征两只眼睛位置的二维坐标的两对数据。在另一个实施例中，将人脸图像输入到卷积神经网络，从而获得包括表征两只眼睛和嘴巴位置的二维坐标的三对数据。也可以采用现有图像分析方法，例如，瞳孔分割，形状检测等，定位出人眼的边界位置，进而确定人眼的状态。确定人眼的状态包括人眼瞳孔的面积、人眼张合大小及其变化。例如，归一化的人眼区域面积，瞳孔区域的相对运动。

优选地，可以在对人眼进行粗略定位的基础上进一步对人眼进行精确定位。对检测到的人眼进行精确定位还可以包括：根据粗略定位的人眼定位结果，从降采样的低分辨率图像中裁剪出双眼区域图像，输入眼睛区域分割深度神经网络模型，预测在另一降采样的低分辨率图像上属于人眼区域的概率图，分割出人眼区域所包含的图像像素，并据此判断人眼的张合状态。例如，在另一降采样的低分辨率为64*64的图像上，裁剪出驾驶员双眼的图像，以更精确地判断人眼状态的变化。

优选地，在上述精确定位人眼过程中，根据在对人眼进行粗略定位时嘴区域定位结果，裁剪出嘴部区域图像，输入嘴区域分割深度神经网络模型进行分类判断嘴部张合状态。将嘴部张合状态与上述的人眼张合状态相结合分析，获得更精确的疲劳状态检测结果。

优选地，在上述检测驾驶员疲劳驾驶的方法中，还包括跟踪多帧图像中人眼的状态的变化，从而分析人眼张合频次的变化，辅助检测驾驶员的疲劳程度变化。

在上述检测中，可选地，包括在检测到的人脸中定位鼻子、嘴等多个人脸特征点，并且基于深度神经网络模型提高对眼睛检测定位的精确度。这是为了促进加快根据神经网络模型的方法定位人的眼睛。在此情况下，将人脸图像输入到该深度神经网络模型，输出包括表征两只眼睛、嘴巴和鼻子位置的二维坐标的四对数据。

在上述疲劳驾驶检测方法中，还可以包括结合嘴巴状态分析，判断是否疲劳。例如，通过对比连续多帧图像中，分析眼睛状态的变化，并且结合嘴巴张合大小的变化或打哈欠的频次，辅助判断驾驶员是否疲劳。

根据眼睛和/或嘴巴张合的程度及频次判断驾驶员的疲劳程度，提取疲劳参数，可以依据现有技术标准进行。

在上述判断人眼状态的过程中，可以仅在进行人眼粗略定位后即对人眼的张合状态作出判断，这样有利于快速地获得判断驾驶员疲劳驾驶的判断结果。

另外，在上述神经网络模型中，将前后多帧的人脸检测或人眼检测结果相互关联，可以降低误检测，提高检测的准确度。

所述疲劳驾驶检测方法还包括根据检测的驾驶员的疲劳的不同状况，设置上述疲劳驾驶检测的敏感度，作出不同等级的预警提示。例如，人眼区域过小即人眼闭合达到10秒，或者瞳孔无相对运动10秒，设置为“轻度疲劳”，开始语音提示初级报警；人眼闭合20秒，设置为“中度疲劳”，开始进入中级报警；人眼闭合30秒，设置为“重度疲劳”，开始最大音量持续报警，等等。

在上述驾驶员疲劳驾驶检测方法中，建立卷积神经网络模型时，对于多维数组数据，例如RGB多通道的图像数据，进行多层网络非线性处理，例如卷积层，池化层(Pooling)、全连接层,得到图像不同阶段的语义表达特征，用于对图像的检测，分类和识别。例如，在训练阶段，搜集大量人脸数据，并进行眼睛和嘴部区域标注，采用监督学习和反向传导算法优化模型参数，提取出鲁棒和准确的神经网络模型。

通过根据本发明的驾驶员疲劳驾驶检测方法，能够实现低成本快速、准确、鲁棒的基于图像的驾驶员疲劳状态检测装置，以便嵌入式设备不需要任何人机交互就可以实时获取驾驶员是否处于疲劳状态，为驾驶员提供安全防护提示或预警。

本发明还提供一种驾驶员疲劳检测装置1，如图2所示，其包括：人脸检测装置12，人眼定位装置13，以及疲劳判断装置14。在驾驶员疲劳检测装置1的外部可以包括图像采集装置11，用于采集驾驶员的活动图像。所述人脸检测装置12用于在接收的驾驶员活动图像中检测驾驶员的面部，所述人眼定位装置13，用于在所述面部中，定位驾驶员的眼睛，从而确定驾驶员眼睛的状态，所述疲劳判断装置14，用于根据所述驾驶员眼睛的状态，判断所述驾驶员是否疲劳；其中，人眼定位装置13基于深度神经网络模型，对检测到的人眼和/或嘴巴进行定位，识别人眼的状态；疲劳判断装置14跟踪多帧图像中人眼的状态的变化，判断驾驶员是否疲劳。

优选地，在上述驾驶员疲劳驾驶检测装置，人眼定位装置包括：人眼粗略定位装置。所述人眼粗略定位装置，用于将人脸图像输入人脸特征点回归卷积神经网络模型，回归预测在一个降采样的低分辨率图像中人眼和/或嘴巴的边界位置，进而识别人眼的状态。

优选地，上述驾驶员疲劳驾驶检测装置，人眼定位装置进一步包括人眼精确定位装置。所述人眼精确定位装置，用于从降采样的低分辨率图像中裁剪出双眼区域图像，输入眼睛区域分割深度神经网络模型，预测在另一降采样的低分辨率图像上属于人眼区域的概率图，分割出人眼区域所包含的图像像素，并据此判断人眼的张合状态。

优选地，上述驾驶员疲劳驾驶检测装置还包括嘴部精确定位装置。所述嘴部精确定位装置用于从降采样的低分辨率图像中定位嘴部区域，裁剪出嘴部区域图像，输入嘴部区域分割卷积深度神经网络模型，分类判断嘴部张合状态。

优选地，上述驾驶员疲劳驾驶检测装置，进一步包括疲劳驾驶报警装置，所述疲劳驾驶报警装置用于根据驾驶员疲劳驾驶检测装置判断的疲劳驾驶程度向驾驶员发出报警信息。报警信息包括声音和/或光学报警。例如，报警装置包括喇叭和警示灯，在判定适当程度的疲劳驾驶后，喇叭发出鸣叫和/或警示灯发出闪烁的灯光。

可选地，上述图像采集装置也可以集成到驾驶员疲劳驾驶检测装置中。

上述图像采集装置、人脸检测装置、人眼定位装置、以及疲劳判断装置可以用电子硬件电路实现，人脸检测装置、人眼定位装置、以及疲劳判断装置也可以用能够在嵌入式硬件平台上运行的软件实现。例如，人脸检测装置、人眼定位装置、以及疲劳判断装置可以用分别用一个或多个ASIC和/或FPGA及其组合实现，也可以分别用运行在ARM平台、X86平台上的软件功能模块实现。各个功能模块，也可以依据硬件或软件功能划分的方便，重新组合或一体化实现。

根据本发明的驾驶员疲劳驾驶检测装置可以采用分体式结构，其中图像采集装置优选地安装在汽车挡风玻璃上，驾驶员位置的左前上方或右前上方的车顶上。也可以采用一体式结构，集成嵌入到车辆的不同位置，例如后视镜、仪表盘中央等。图3和图4示出安装根据本发明的驾驶员疲劳驾驶检测装置的位置示意图。图3中驾驶员疲劳驾驶检测装置安装于仪表盘中央透过方向盘能够捕获驾驶员正面的适当位置，图4中驾驶员疲劳驾驶检测装置安装于后视镜左侧朝向驾驶员的位置。驾驶员可根据实际的应用场景，自主调节预警的敏感度和报警音量。

通过根据本发明的驾驶员疲劳驾驶检测方法和装置，可以实时快速对驾驶员疲劳状态进行判定，其嵌入式软硬件装置设备可以集成到各种用于监控驾驶人员的设备中，如轿车、公交、高铁、飞机等。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。