驾驶场景下驾驶员眼动行为检测方法、系统、介质及设备与流程

本公开属于汽车自动控制处理领域，具体涉及一种驾驶场景下驾驶员眼动行为检测方法、系统、介质及设备。

背景技术：

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

随着经济的发展，汽车的数量越来越多，这就使得道路拥挤变得越来越严重，交通事故发生率越来越高，中国每年大约发生数十万起交通事故，伤亡人数达百万，驾驶员注意力不集中是导致交通事故发生的主要原因，比如在驾驶过程中使用智能手机、操作汽车中央控制系统、与乘客交谈等任何使驾驶员的注意力从驾驶任务转移的活动都会导致驾驶员注意力不集中。而这些活动有一个共同点就是使驾驶员的眼睛从驾驶任务中转移，因此，如果我们能够在驾驶场景下检测出驾驶员的眼动行为，并根据驾驶员的眼动行为分析出驾驶员注意力的状态，对驾驶员注意力不集中的行为及时做出警示，那么就可以避免交通事故的发生，减少伤亡人数。

据发明人了解，目前，国内外学者已经提出的眼动行为检测方法大致分为两种，一种是基于特征的方法，即在分析瞳孔中心与角膜上的光线反射点之间的关系来检测眼动行为，这种方法，依赖于用户校准和手动初始化，并对阳光等可见光非常敏感，而在驾驶场景下，阳光等可见光对车内照明的影响又不可避免，头戴式眼动仪大多采用这种方法，头戴式眼动仪在眼动行为检测中能够准确识别出人的注视点，但是它成本高，使用过程中需要佩戴相关硬件设施，在一定程度上会影响驾驶员的驾驶行为，所以这种方法应用于驾驶环境下的眼动行为检测存在局限性。另一种是基于外观的方法，基于外观的眼动行为检测方法是采用深度学习算法获取相关图片的特征，来建立图片与注视点之间的关联，深度学习的优点在于能够通过自我学习来提取特征，并以较高的准确率识别目标。这种方法不依赖于用户校准以及手动初始化，受阳光等可见光的影响较小，并且成本较低，比较适合应用在驾驶环境下的眼动行为检测。虽然，深度学习在大多数计算机视觉任务中发挥着重要的作用，但是实际运用在驾驶场景下眼动行为检测方向的情况少之又少，已经提出的驾驶场景下驾驶员眼动行为检测模型的大部分是用已有网络训练得出，不具有针对性，并且模型参数过于复杂。

技术实现要素：

本公开为了解决上述问题，提出了一种驾驶场景下驾驶员眼动行为检测方法、系统、介质及设备，本公开的投入成本低且不需要复杂的模型参数，具有非常好的应用前景。

根据一些实施例，本公开采用如下技术方案：

一种驾驶场景下驾驶员眼动行为检测方法，包括以下步骤：

采集驾驶过程视频；

对视频进行分帧，识别出包括脸部和眼部的目标区域，截取目标区域并以图片的形式保存；

构建双通道卷积神经网络，将眼部图片作为其中一个通道的输入，提取眼部特征；脸部图片作为另一个通道的输入，提取脸部特征；

两个通道提取的特征经过两层全连接层进行融合并通过softmax函数得到最终识别结果。

作为可能的实施方式，利用放置在驾驶舱内后视镜附近的普通rgb摄像头采集驾驶员驾驶视频。

作为可能的实施方式，截取目标区域并以图片的形式保存，对图片进行灰度化处理，将左右眼两张图片拼接成一张图片并保存。

作为可能的实施方式，将得到的脸部图片、左右眼图片按照适当比例划分训练集、验证集，作为训练网络以及优化网络模型的输入数据。

作为可能的实施方式，通过分析数据集的特征以及应用的具体场景，构建双通道卷积神经网络，其中一个通道提取脸部数据的特征，另一通道提取眼部数据的特征，最后在全连接层完成特征的融合。

作为可能的实施方式，对构建的双通道卷积神经网络进行优化，用两层卷积核大小为3*3的卷积层来代替卷积核大小为5*5的卷积层，卷积层之间使用selu激活函数，使用最大池化实现降采样处理。

作为可能的实施方式，利用优化后的卷积神经网络的反向传播优化网络整体参数。

一种驾驶场景下驾驶员眼动行为检测系统，包括：

数据处理模块，被配置为对驾驶员驾驶视频进行分帧，识别出包括脸部和眼部的目标区域，截取目标区域并以图片的形式保存；

模型构建模块，被配置为构建双通道卷积神经网络，将眼部图片作为其中一个通道的输入，提取眼部特征；脸部图片作为另一个通道的输入，提取脸部特征；

识别结果输出模块，被配置为将两个通道提取的特征经过两层全连接层进行融合并通过softmax函数得到最终识别结果。

一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行所述的一种驾驶场景下驾驶员眼动行为检测方法。

一种终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行所述的一种驾驶场景下驾驶员眼动行为检测方法。

与现有技术相比，本公开的有益效果为：

本公开利用车内已有的rgb摄像头拍摄实际驾驶场景下驾驶员的驾驶视频即可实现原始数据的处理，投入成本低，且不需要复杂的模型参数，具有非常好的应用前景。

本公开对卷积神经网络进行改进，用两层卷积核大小为3*3的卷积层来代替卷积核大小为5*5的卷积层，来减少网络模型的参数量，卷积层之间使用selu激活函数，可以更好地归一化数据集，并减少梯度爆炸或者消失，使用最大池化实现降采样处理，应用dropout函数，降低过拟合。

附图说明

构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。

图1为驾驶场景下驾驶员眼动行为检测的总体框图，虚线框图内为本实施例内容；

图2(a)-(d)为原始图像截取目标区域：(a)原始图像；(b)驾驶员脸部图像；(c)驾驶员右眼图像；(d)驾驶员左眼图像。

图3为左右眼两张图像拼接后的图像。

图4为驾驶场景下驾驶员眼动行为检测的卷积神经网络模型；

具体实施方式：

下面结合附图与实施例对本公开作进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

一种基于卷积神经网络的驾驶场景下驾驶员眼动行为检测方法。首先，利用普通rgb摄像头拍摄实际驾驶场景下驾驶员的驾驶视频，将视频帧保存为图片；然后对这些原始图片进行预处理得到驾驶员脸部、左右眼图片，并且灰度化处理脸部、左右眼图片，另外将左右眼图片拼接成一张图片，预处理后的脸部图像以及左右眼图片作为卷积神经网络的输入数据集；最后，对于卷积神经网络，包括两个通道，一个通道提取脸部图片的特征信息，另一个通道提取左右眼图片信息，两个通道提取的特征信息在全连接层进行融合，利用损失函数计算卷积神经网络输出值与图像原本标签数值之前的差值，根据卷积神经网络反向传播的原理，优化网络参数，提高卷积神经网络的正确率，优化网络模型。如图1是驾驶场景下驾驶员眼动行为检测的总体框图，虚线框图内为本实施例内容，即基于卷积神经网络的驾驶场景下驾驶员眼动行为检测的方法，具体实施方式如下：

(1)利用放置在驾驶舱内后视镜附近的普通rgb摄像头采集驾驶员驾驶视频。

(2)原始图片预处理。利用dlib这种开源人脸识别库标定目标区域(驾驶员脸部、左右眼区域)，将目标区域截取并保存为图片如图2(b)、2(c)所示。为了提高卷积神经网络的收敛速率，将截取得到的人脸、左右眼图片进行灰度化化处理，并将两张灰度图片拼接成一张图片，如图3所示。

(3)构建适用于驾驶场景下驾驶员眼动行为检测的双通道卷积神经网络，如图4所示。将预处理得到的脸部图片、左右眼图片按照适当比例划分训练集、验证集，作为训练网络以及优化网络模型的输入数据，通过分析现有数据集的特征以及应用的具体场景，构建双通道卷积神经网络，其中一个通道提取脸部数据的特征，另一通道提取眼部数据的特征，最后在全连接层完成特征的融合，改进卷积神经网络，用两层卷积核大小为3*3的卷积层来代替卷积核大小为5*5的卷积层，来减少网络模型的参数量，卷积层之间使用selu激活函数，可以更好地归一化数据集，并减少梯度爆炸或者消失，,使用最大池化实现降采样处理，应用dropout函数，降低过拟合，利用卷积神经网络的反向传播优化网络整体参数。

相应的，还提供以下产品实施例：

一种驾驶场景下驾驶员眼动行为检测系统，包括：

数据处理模块，被配置为对驾驶员驾驶视频进行分帧，识别出包括脸部和眼部的目标区域，截取目标区域并以图片的形式保存；

模型构建模块，被配置为构建双通道卷积神经网络，将眼部图片作为其中一个通道的输入，提取眼部特征；脸部图片作为另一个通道的输入，提取脸部特征；

识别结果输出模块，被配置为将两个通道提取的特征经过两层全连接层进行整合并通过softmax函数得到最终识别结果。

一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行所述的一种驾驶场景下驾驶员眼动行为检测方法。

一种终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行所述的一种驾驶场景下驾驶员眼动行为检测方法。

本领域内的技术人员应明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。