一种用于疲劳驾驶检测的头部姿态检测方法与流程

本发明属于计算机视觉图像处理技术,具体为一种用于疲劳驾驶检测的头部姿态检测方法,可以用于为疲劳驾驶检测提供更具及时性的提示信号。

背景技术：

当前，我国公路交通事业逐渐繁荣，汽车数量不断上升。随之到来的道路交通安全问题变得日益严重起来。根据公安部相关统计调查，由于疲劳驾驶导致的交通事故占总事故数的比例超过20％。美国国家交通安全管理局对于本国的最近几年调查显示，约有27％的受采访者有过开车打瞌睡的经历。由于驾驶疲劳导致的交通事故通常比一般交通事故要严重很多，通常为重大交通事故，驾驶员在事故中死亡概率较高，具体事故原因无法判断；为了逃避相关法律责任，当事人往往隐瞒疲劳驾驶的事实，当对事故原因进行深入调查时发现，交通事故中疲劳驾驶比例会上升至35％-45％，甚至更高。据有关研究表明，在发生交通事故前对司机进行提醒，可以成功避免交通事故的概率达90％左右。因此，对驾驶员的疲劳程度进行实时检测与预警，对避免交通事故的发生具有重要的意义。

头部姿态估计一直是模式识别以及计算机视觉领域的一个热口课题，其在人脸识别、视线估计等相关研充中有非常重要的应用前景。近年来，头部姿态估计技术被广泛的引入到机动车驾驶环境中，用以辅助并监督驾驶员的驾驶行为。例如，erik等人提出了一种驾驶员辅助系统的构想，能够通过姿态估计算法得到驾驶员当前的注视方向，进而可以通过模糊判断或者经验学习使得系统能够对驾驶员无法关注到的危险情况进行警告。

基于计算机视觉的头部姿态估计需要从采集到的二维或者三维图像中还原出最初的头部姿态参数，这是一个复杂而又典型的模式识别问题。要解决这个问题，首先需要在复杂的干扰因素(光照变化、背景变化、遮挡等)下准确地分割出各种姿态的头部图像；同时，还要设计一种能够精确表述头部姿态变化的特征表达方法。

欧拉旋转角的定义

欧拉旋转角最早由欧拉提出的用于确定定点转动刚体在三维欧几里得空间中位置的一组独立角参量，由滚动角(roll)、平动角(yaw)以及转动角(pitch)组成。将头部看作是一个刚体，则头部姿态能够使用欧拉旋转角表示。同时，ferrario等人研究后发现，成年人头部转动角度有一个固定的范围，其中，头部前后倾斜(pitch)的范围为-60.4°到69.6°，左右倾斜(roll)的范围为-40.9°到36.3°，水平旋转(yaw)的范围为-79.8°到75.3°。

除此之外，研究中还需要注意的是由于面部及颈部肌肉群的运动，正前方相机捕捉到的侧脸图像与同一角度的侧方相机捕捉到的面朝人体正前方的侧脸图像并不完全相同。而这一差异在很多头部姿态数据库的建立过程中往往被忽略，同一时刻布置在不同角度的相机捕捉到的图像被作为头部姿态数据。同时，这些数据库还将人头看作是能够围绕一点在三维空间中旋转的刚体。

头部姿态估计算法简介

现有头部姿态估计算法多种多样，从数据来源上可以分为普通二维彩色图像、深度图像以及三维图像三种。其中，基于二维彩色图像的估计算法应用最为广泛，这类算法对硬件设备要求较低——仅仅需要一个普通的摄像头，而且算法研究可以以现有的大量计算机视觉相关知识为基础，实现方式多样。不过，这类算法同样继承了传统算法的缺点——受光照变化、背景变化以及遮挡等影响较大。得益于微软推出的廉价深度传感器——kinect的出现，近年来基于深度图像或者深度、彩色图像相结合的头部姿态估计算法渐渐得到了学者的青睐。这类算法能够克服外界光照变化的干扰，但相较于彩色图像，深度图像含有的信息量较少，而且对于车载移动平台来说，现有深度传感器无论是价格还是体积都需要进一步优化。而三维图像能够包含任何视角下的深度信息及彩色纹理信息，使用三维图像进行姿态估计无疑能够获得极高的准确度并且能大大增强鲁棒性，但是，目前三维图像采集设备无论是价格还是体量上都难以符合实际应用，并且三维数据信息过于庞大，使用该类算法进行姿态估计的技术仍不成熟。依据实现方式及原理不同，erik等人以及唐云祁等人先后对现有的头部姿态估计算法进行了总结，主要可分为基于模板匹配的算法、基于检测器阵列的算法、基于局部约束模型的算法、基于流形嵌入的算法、基于面部关键特征点几何关系的算法以及基于特征回归的算法。

基于深度学习的头部姿态估计算法

好的头部姿态估计算法应对光照、噪声、遮挡等因素时鲁棒性较好，但目前为止如何提高姿态估计的精确度和鲁棒性依然是计算机视觉领域的一大挑战。本发明提出的一种用于驾驶疲劳检测的头部姿态估计方法，利用深度学习强大的学习能力，对输入的人脸图像进行一系列的非线性操作，逐层提取图像中抽象的特征，然后利用提取的特征进行分类。此类特征在姿态上具有较大的差异性，同时对光照、遮挡等因素鲁棒。实验结果表明，改方法有效地提高了姿态估计的准确性。

技术实现要素：

本发明提供了一种用于疲劳驾驶检测的头部姿态检测方法。该方法基于深度学习,可以把驾驶员的面部图片直接作为神经网络的输入,避免对面部图片进行复杂的显式特征提取。主要用于确保驾驶员在疲劳驾驶的时候及时发出报警信号，保障他们的生命与财产安全。

本发明提出的一种用于疲劳驾驶检测的头部姿态估计方法包括图像获取部分、人脸检测部分、头部姿态疲劳特征提取部分及疲劳报警部分。

1)图像获取部分，采用车载摄像机获取驾驶员的面部；

将车载摄像机安装固定在主驾驶位置前方，并将摄像机通过usb接口连接到车载计算机，调试使其能正确拍摄到驾驶人的驾驶部位。

2)人脸检测部分，利用人脸检测器检测人脸面部区域；

将训练好的人脸检测模型及其运行程序拷贝至车载计算机指定位置并测试。

3)利用深度卷积神经网络进行头部姿态欧拉角(yaw,pitch,roll)的检测；

将训练好的头部姿态估计模型及其运行程序拷贝至车载计算机指定位置，并结合2)中已调试好的人脸检测调试头部姿态估计模型。

4)疲劳判断部分即头部姿态的疲劳特征提取，根据点头频率和异常姿态占比来判断是否为疲劳。

根据点头频率和异常姿态占比对3)中的头部姿态估计结果进行疲劳特征提取。疲劳特征提取如下：

(1)点头频率判断

当驾驶员处于疲劳状态时，会不由自主地低头，这时为了清醒头脑会将头抬起，不断地重复进行点头、抬头动作。通过对驾驶员一段时间内点头次数的统计，得到点头频率用来对驾驶疲劳进行决策。三个欧拉旋转角中前后方向的倾斜角(pitch)与驾驶员低头角度相关。点头频率fnod为：

其中，ntn为时间t发生点头动作次数，nt为t时间内的视频总帧数，实验中t值大小为30s。fnod作为是否疲劳的一个评价特征。

(2)异常姿态占比

当驾驶员处于疲劳状态时，颈部肌肉乏力、松弛，很难保持正常的驾驶姿势，最直接的表现为驾驶员头部的前倾后仰，左右倾斜或者这些动作的组合，对应于roll、pitch、yaw角度的变化，因此，在头部姿态估计的基础上通过阈值判断，就可以确定驾驶员的疲劳状态。

ferrariod等人研究发现，成年人头部姿态转动角度有一个固定的范围，其中，头部前后倾斜角(pitch)的范围是60.4°到69.6°，左右倾斜(roll)的范围为40.9°到36.3°，水平旋转(yaw)的范围为79.8°到75.3°。点头频率和pitch角度为同一个角度，因此pitch角度不再参与决策。参考perclos标准的p80标准，把20％的角度变化作为疲劳判断的标准，因此，当roll旋转角的平均变化大于8.18°或者yaw旋转角的平均变化大于15.8°时，判断驾驶员处于异常姿态。设异常姿态占比fpose：

其中，npose为时间t内检测出现异常姿态的帧数，nt为t时间内的视频总帧数，实验中t值大小为30s。fpose作为是否疲劳的一个评价特征。

疲劳报警部分，当判断为疲劳状态后，软件已响铃方式进行报警。

本发明提出的一种用于疲劳检测的头部姿态检测方法具有较高的精度和速度。通过在实际环境中设计合理的实验,由多名测试者进行反复实验,证明了本方法可以稳定地检测头部姿态,具有一定的可行性和适用性。

附图说明

图1为头部姿态的欧拉旋转角表示。

图2为本发明整体技术路线。

图3为本发明车载摄像机安装位置。

图4为本发明车载摄像机拍摄到的驾驶人的驾驶部位。

图5本发明的识别检测结果：a.正常驾驶b.疲劳状态。

图6.本发明使用的hopenet网络结构。

具体实施方式

本发明的主要思想是基于深度学习强大的学习能力，提出一种用于疲劳检测的头部姿态估计方法，具体实施执行步骤如下：

图像获取部分，采用车载摄像机获取驾驶员的面部；

人脸检测部分，利用人脸检测器检测人脸面部区域；

本发明使用dlib人脸检测器进行人脸检测。dlib是一个包含机器学习、计算机视觉、图像处理等等一堆算法的库。首先，加载dlib自带的frontal_face_detector作为我们的人脸征检测器；其次，加载官方提供的模型构建特征提取器；再次，使用detector进行人脸检测；最后，输出人脸个数及每个人脸矩形区域的中心点坐标及矩形宽度和高度。

利用深度卷积神经网络进行头部姿态欧拉角(yaw,pitch,roll)的检测；

基于机器视觉的头部姿态估计需要从采集到的二维或者三维图像中还原出最初的头部姿态参数，这是一个复杂而又典型的模式识别问题。要解决这个问题，首先需要在复杂的干扰因素(光照变化、背景变化、遮挡等)下准确地分割出各种姿态的头部图像；同时，还要设计一种能够精确表述头部姿态变化的特征表达方法。本发明使用hopenet卷积神经网络进行头部姿态估计。hopenet是一个精确且易于使用的头部姿态估计网络，通过训练一个multi-loss的卷积神经网络，直接使用rgb结合分类和回归损失来预测欧拉角(yaw，pitchandroll)，模型已经在300w-lp数据集上进行了训练，并且已经在具有良好定性能的实际数据上进行了测试。本发明使用hopenet的头部姿态估计的疲劳检测算法，主要适用于眼部及嘴部特征不清晰或者环境干扰比较大的情况，输入为人脸区域，输出为预测的欧拉角，其使用的网络结构如图4：

头部姿态的疲劳特征提取，根据点头频率和异常姿态占比来判断是否为疲劳。

疲劳报警部分，当判断为疲劳状态后，软件已响铃方式进行报警。