一种基于快速特征点定位的视线朝向判断方法及系统与流程

本发明涉及图像处理技术领域，尤其是涉及一种基于快速特征点定位的视线朝向判断方法及系统。

背景技术：

现代社会，人们生活水平有了大幅提高，对于汽车的保有量也是得到快速增长。因此，人们对安全驾驶越来越重视，对安全驾驶技术的研究也越来越深入。据不完全估计，全世界交通事故中几乎有一半左右是由于驾驶员处于非正常驾驶状态所引起的，比如，疲劳驾驶，注意力分散，左顾右盼等。因此，实时对驾驶员状态监测具有重要意义，而一个实时性快，准确性高，判断角度大的驾驶员视线朝向检测方法显得尤为重要。

一种车载型疲劳驾驶检测与身份认证装置及其检测方法，通过基于三维面部图像建立欧拉旋转角坐标系，每种不同的角度分别用平动角、旋转角以及滚动角表示，通过根据欧拉旋转角坐标分析判断左右摆头姿势；该方法通过对头部姿态进行三维立体建模，该方法相对其他方法来说也是稳定性较为可靠的一种方法，但是采用该方法的缺点就是在实时性方面较差，没有考虑到对驾驶员状态监测的实时性要求。

一种眼睛视线判断的方法，通过摄像头采集图像，利用轮廓比对的方式从图像中分析出眼睛区域，分析眼睛区域中的眼部特征，计算瞳孔和眼眶相对距离并依据瞳孔半径算出差异值，根据相对距离与差异值计算出特征比例，根据特征比例判断瞳孔位于眼眶的位置，依据瞳孔所在眼眶的位置，以判定视线朝向，该方法相对来说比较简单，实时性快，能快速检测驾驶员视线朝向，但是却严重依赖于眼睛检测的精度，眼睛检测稍微出现点偏差就会导致误检，因此在稳定性和可靠性上亟待提高。

当前判断驾驶员视线的方法在准确性、实时性以及稳定性等方面存在许多不足之处。

技术实现要素：

本发明的目的在于克服上述技术不足，提出一种基于快速特征点定位的视线朝向判断方法及系统，解决现有技术中的上述技术问题。

为达到上述技术目的，本发明的技术方案提供一种基于快速特征点定位的视线朝向判断方法，包括：

s1、利用具有红外补光功能的图像采集装置采集驾驶员头部图像并对采集的驾驶员头部图像进行预处理，利用adaboost算法训练出识别脸部区域的分类器，利用训练出的所述分类器对预处理后的驾驶员头部图像进行识别从而识别出驾驶员脸部区域图像；

s2、利用基于局部二值特征的形状回归算法训练定位脸部特征点的模型，利用训练出的所述模型定位驾驶员脸部区域图像的特征点，根据定位的驾驶员脸部区域特征点获取所有眼部轮廓特征点位置信息以及特定的耳部特征点位置信息，眼部轮廓特征点位置信息包括左眼轮廓特征点位置信息和右眼轮廓特征点位置信息，特定的耳部特征点位置信息包括一特定的左耳特征点位置信息和一特定的右耳特征点位置信息；

s3、定义视线参数并将前设定帧数的驾驶员脸部区域图像用以初始化视线参数，其中l1表示左眼轮廓特征点的质心到特定的左耳特征点的距离，l2表示右眼轮廓特征点的质心到特定的右耳特征点的距离；

s4、获取前设定帧数之后的驾驶员脸部区域图像后，计算每张驾驶员脸部区域图像的视线参数与视线参数初始化值的比值，并根据比值获取该张驾驶员脸部区域图像的视线偏转结果；

s5、获取设定时长内识别出的驾驶员脸部区域图像的视线偏转结果并统计各视线偏转结果出现的频率，以出现频率最高的一视线偏转结果作为该设定时长的驾驶员视线偏转结果，在偏转角度较大无法识别出驾驶员脸部区域图像时，以上一时长的视线偏转结果作为实时的视线偏转结果。

本发明还提供一种基于快速特征点定位的视线朝向判断系统，包括：

脸部识别模块：利用具有红外补光功能的图像采集装置采集驾驶员头部图像并对采集的驾驶员头部图像进行预处理，利用adaboost算法训练出识别脸部区域的分类器，利用训练出的所述分类器对预处理后的驾驶员头部图像进行识别从而识别出驾驶员脸部区域图像；

特征点定位模块：利用基于局部二值特征的形状回归算法训练定位脸部特征点的模型，利用训练出的所述模型定位驾驶员脸部区域图像的特征点，根据定位的驾驶员脸部区域特征点获取所有眼部轮廓特征点位置信息以及特定的耳部特征点位置信息，眼部轮廓特征点位置信息包括左眼轮廓特征点位置信息和右眼轮廓特征点位置信息，特定的耳部特征点位置信息包括一特定的左耳特征点位置信息和一特定的右耳特征点位置信息；

视线参数初始化模块：定义视线参数并将前设定帧数的驾驶员脸部区域图像用以初始化视线参数，其中l1表示左眼轮廓特征点的质心到特定的左耳特征点的距离，l2表示右眼轮廓特征点的质心到特定的右耳特征点的距离；

单帧视线偏转结果获取模块：获取前设定帧数之后的驾驶员脸部区域图像后，计算每张驾驶员脸部区域图像的视线参数与视线参数初始化值的比值，并根据比值获取该张驾驶员脸部区域图像的视线偏转结果；

多帧视线偏转结果获取模块：获取设定时长内识别出的驾驶员脸部区域图像的视线偏转结果并统计各视线偏转结果出现的频率，以出现频率最高的一视线偏转结果作为该设定时长的驾驶员视线偏转结果，在偏转角度较大无法识别出驾驶员脸部区域图像时，以上一时长的视线偏转结果作为实时的视线偏转结果。

与现有技术相比，本发明的有益效果包括：使用了基于局部二值特征的形状回归算法，相比全局特征而言，噪声更少，减少了计算量，可以快速地进行脸部特征点定位,实时性高；建立视线判别模型快速判断视线偏转，由于对视线参数进行了初始化，所以视线偏转判断不会受限于图像采集装置的安装位置(但是安装位置需要能够检测到脸部)，且通过初始化过程可以学习个人脸部视线参数，使得可以检测不同驾驶者的视线偏转，适应性强；借助具有红外补光功能的图像采集装置，不同光照强度下，均可采集清晰驾驶员头部图像，准确定位驾驶员脸部区域的特征点，且由于视线偏转的判断只采用了部分特征点，因此受表情变化影响和部分遮挡的影响较小，适应性强；视线偏转的判断采用多帧判断，以出现频率最高的一视线偏转结果作为该设定时长的驾驶员视线偏转结果，准确率更高，并且，在视线偏转角度较大时仍然能输出一个视线偏转结果，适用性更广。

附图说明

图1是本发明提供的一种基于快速特征点定位的视线朝向判断方法流程图；

图2是本发明提供的一种基于快速特征点定位的视线朝向判断系统结构框图；

图3是本发明的adaboost算法流程图；

图4是本发明的局部二值特征的形状回归算法流程图；

图5是步骤s2中定位的特征点标号示意图。

附图中：1、基于快速特征点定位的视线朝向判断系统，11、脸部识别模块，12、特征点定位模块，13、视线参数初始化模块，14、单帧视线偏转结果获取模块，15、多帧视线偏转结果获取模块。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明提供了一种基于快速特征点定位的视线朝向判断方法，包括：

s1、利用具有红外补光功能的图像采集装置采集驾驶员头部图像并对采集的驾驶员头部图像进行预处理，利用adaboost算法训练出识别脸部区域的分类器，利用训练出的所述分类器对预处理后的驾驶员头部图像进行识别从而识别出驾驶员脸部区域图像；

s2、利用基于局部二值特征的形状回归算法训练定位脸部特征点的模型，利用训练出的所述模型定位驾驶员脸部区域图像的特征点，根据定位的驾驶员脸部区域特征点获取所有眼部轮廓特征点位置信息以及特定的耳部特征点位置信息，眼部轮廓特征点位置信息包括左眼轮廓特征点位置信息和右眼轮廓特征点位置信息，特定的耳部特征点位置信息包括一特定的左耳特征点位置信息和一特定的右耳特征点位置信息；

s3、定义视线参数并将前设定帧数的驾驶员脸部区域图像用以初始化视线参数，其中l1表示左眼轮廓特征点(如图5，编号为36-41)的质心到特定的左耳特征点(如图5，编号为0)的距离，l2表示右眼轮廓特征点(如图5，编号为42-47)的质心到特定的右耳特征点(如图5，编号为16)的距离，优选的，前设定帧数为前300帧；

s4、获取前设定帧数之后的驾驶员脸部区域图像后，计算每张驾驶员脸部区域图像的视线参数与视线参数初始化值的比值，并根据比值获取该张驾驶员脸部区域图像的视线偏转结果，优选的，前设定帧数为前300帧；

s5、获取设定时长内识别出的驾驶员脸部区域图像的视线偏转结果并统计各视线偏转结果出现的频率，以出现频率最高的一视线偏转结果作为该设定时长的驾驶员视线偏转结果，在偏转角度较大无法识别出驾驶员脸部区域图像时，以上一时长的视线偏转结果作为实时的视线偏转结果。

本发明所述的基于快速特征点定位的视线朝向判断方法，步骤s1中对采集的驾驶员头部图像进行预处理的步骤为：灰度化，图像增强，图像去燥等。

本发明所述的基于快速特征点定位的视线朝向判断方法，步骤s1中利用adaboost算法训练出识别脸部区域的分类器的步骤包括：

s11、准备训练样本：设adaboost训练过程中样本集合为：{(x1,y1),(x2,y2),(x3,y3),…(xn,yn)}其中，yi＝0或1，分别表示该训练样本为负样本(非人脸样本)或正样本(人脸样本)；

s12、初始化样本权重：根据yi设置初始化权值，当yi＝0时，w1,i＝1/2m，当yi＝1，w1,i＝1/2l，其中m和l分别表示正负样本的个数，若总样本数为n，则n＝m+l；

s13、归一化样本权重系数，计算每个样本特征点分类误差，选取分类误差最小的弱分类器，然后重新计算并分配训练样本的权值，具体为：

首先，根据归一化样本权重系数，表示在第t次迭代中的第j个训练样本的权值等于该样本的训练参数除以该次训练迭代中的所有的样本的权值的总和；

然后，在输入的样本中，根据每一个haar-like特征fj，可训练出一个仅仅依赖于单一特征的弱分类器hj，该弱分类器的分类误差为：

选择使得当前分类错误率最小的弱分类器ht；

使用公式重新计算并分配训练样本的权值，其中，j为样本序号，若在本次迭代过程中样本j被正确分类，则ej＝0；反之则ej＝1。βt＝εt/(1-εt)；

s14、判断训练迭代总次数是否达到预设次数，如果没有达到预设次数，则循环执行步骤s13继续训练分类器，如果达到预设次数，则进行步骤s15；

s15、结束训练，获取强分类器，最终得到的强分类器h(x)的表达式为：

其中

本发明所述的基于快速特征点定位的视线朝向判断方法，步骤s2中利用基于局部二值特征的形状回归算法训练定位脸部特征点的模型的步骤包括：

s21、准备训练样本：样本包括人脸样本库以及对应的人脸样本库标注文件groundtruth；

s22、预处理训练样本：对样本图像进行预处理操作，其中包括(灰度化，图像增强，人脸检测)，图像裁剪(加快训练速度)；

s23、对样本进行坐标变换，构建平均形状模型：考虑到样本图片之间人脸是各式各样的，受到光照、姿势等各方面的影响，因此在获取平均形状时，应该在一个相对统一的框架下求取，对训练样本进行坐标变换之后，对所有特征点求取平均值获得平均形状模型；

s24、设置训练模型参数，包括提取局部二值特征的随机森林参数(随机树个数，随机树深度等)和用于形状的全局线性回归相关参数(回归阶段次数，形状残差等)；

s25、训练随机森林，获得特征映射函数，提取局部二值特征，对形状进行全局线性回归，并对形状进行更新，具体为：

首先，训练随机森林，获得特征映射函数φ^t(i,s^t-1)，提取局部二值特征；

然后采用δs^t＝w^tφ^t(i,s^t-1)对形状进行全局线性回归，对形状进行更新，其中，δs^t＝s^gt-s^t为第t个阶段的残差，w为线性回归矩阵，i为样本图像；

s26、判断回归次数是否达到预设次数，如果没有达到预设次数，则循环执行步骤s25，如果达到预设次数，则保存模型。

本发明所述的基于快速特征点定位的视线朝向判断方法，步骤s3中将前设定帧数的驾驶员脸部区域图像用以初始化视线参数的步骤为：

计算前300帧的驾驶员脸部区域图像的初始化参数的平均值，以该平均值作为视线参数的初始化值。

本发明所述的基于快速特征点定位的视线朝向判断方法，步骤s4中根据视线参数比值获取该张驾驶员脸部区域图像的视线偏转结果的步骤为：

前300帧之后的驾驶员脸部区域图像的视线参数与视线参数初始化值的比值如果大于2.0，则视线偏转结果为视线向右偏转，如果比值小于0.5，则视线偏转结果为视线向左偏转，如果比值大于或等于0.5并且小于或等于2.0，则视线偏转结果为视线不发生偏转。

本发明所述的基于快速特征点定位的视线朝向判断方法，步骤s5中：

特征点定位对于姿态偏转的容忍度有限，偏转角度有一定范围的限制，在驾驶员脸部小角度偏转时，可以识别到驾驶员脸部区域图像，获取视线偏转结果，此时，以出现频率最高的一视线偏转结果作为该设定时长的驾驶员视线偏转结果，但是当驾驶员脸部偏转角度较大，无法识别出驾驶员脸部区域图像时，以上一时长的视线偏转结果作为实时的视线偏转结果。

本发明还提供一种基于快速特征点定位的视线朝向判断系统1，包括：

脸部识别模块11：利用具有红外补光功能的图像采集装置采集驾驶员头部图像并对采集的驾驶员头部图像进行预处理，利用adaboost算法训练出识别脸部区域的分类器，利用训练出的所述分类器对预处理后的驾驶员头部图像进行识别从而识别出驾驶员脸部区域图像；

特征点定位模块12：利用基于局部二值特征的形状回归算法训练定位脸部特征点的模型，利用训练出的所述模型定位驾驶员脸部区域图像的特征点，根据定位的驾驶员脸部区域特征点获取所有眼部轮廓特征点位置信息以及特定的耳部特征点位置信息，眼部轮廓特征点位置信息包括左眼轮廓特征点位置信息和右眼轮廓特征点位置信息，特定的耳部特征点位置信息包括一特定的左耳特征点位置信息和一特定的右耳特征点位置信息；

视线参数初始化模块13：定义视线参数并将前设定帧数的驾驶员脸部区域图像用以初始化视线参数，其中l1表示左眼轮廓特征点的质心到特定的左耳特征点的距离，l2表示右眼轮廓特征点的质心到特定的右耳特征点的距离；

单帧视线偏转结果获取模块14：获取前设定帧数之后的驾驶员脸部区域图像后，计算每张驾驶员脸部区域图像的视线参数与视线参数初始化值的比值，并根据比值获取该张驾驶员脸部区域图像的视线偏转结果；

多帧视线偏转结果获取模块15：获取设定时长内识别出的驾驶员脸部区域图像的视线偏转结果并统计各视线偏转结果出现的频率，以出现频率最高的一视线偏转结果作为该设定时长的驾驶员视线偏转结果，在偏转角度较大无法识别出驾驶员脸部区域图像时，以上一时长的视线偏转结果作为实时的视线偏转结果。

本发明所述的基于快速特征点定位的视线朝向判断系统1，脸部识别模块11包括：

第一样本准备单元：准备训练样本；

初始化单元：初始化样本权重；

第一训练单元：归一化样本权重系数，计算每个样本特征点分类误差，选取分类误差最小的弱分类器，然后重新计算并分配训练样本的权值；

第一判断单元：判断训练迭代总次数是否达到预设次数，如果没有达到预设次数，则循环执行第一训练单元，如果达到预设次数，则执行强分类器获取单元的操作；

强分类器获取单元：获取强分类器。

本发明所述的基于快速特征点定位的视线朝向判断系统1，特征点定位模块12包括：

第二样本准备单元：准备训练样本；

预处理单元：预处理训练样本；

坐标变换单元：对样本进行坐标变换，构建平均形状模型；

参数设置单元：设置训练模型参数；

第二训练单元：训练随机森林，获得特征映射函数，提取局部二值特征，对形状进行全局线性回归，并对形状进行更新；

第二判断单元：判断回归次数是否达到预设次数，如果没有达到预设次数，则循环执行第二训练单元，如果达到预设次数，则保存模型。

本发明所述的基于快速特征点定位的视线朝向判断系统1，视线参数初始化模块13中：

计算前设定帧数的驾驶员脸部区域图像的初始化参数的平均值，以该平均值作为视线参数的初始化值。

本发明所述的基于快速特征点定位的视线朝向判断系统1，单帧视线偏转结果获取模块14中：

设定帧数之后的驾驶员脸部区域图像的视线参数与视线参数初始化值的比值如果大于2.0，则视线偏转结果为视线向右偏转，如果比值小于0.5，则视线偏转结果为视线向左偏转，如果比值大于或等于0.5并且小于或等于2.0，则视线偏转结果为视线不发生偏转。

与现有技术相比，本发明的有益效果包括：使用了基于局部二值特征的形状回归算法，相比全局特征而言，噪声更少，减少了计算量，可以快速地进行脸部特征点定位,实时性高；建立视线判别模型快速判断视线偏转，由于对视线参数进行了初始化，所以视线偏转判断不会受限于图像采集装置的安装位置(但是安装位置需要能够检测到脸部)，且通过初始化过程可以学习个人脸部视线参数，使得可以检测不同驾驶者的视线偏转，适应性强；借助具有红外补光功能的图像采集装置，不同光照强度下，均可采集清晰驾驶员头部图像，准确定位驾驶员脸部区域的特征点，且由于视线偏转的判断只采用了部分特征点，因此受表情变化影响和部分遮挡的影响较小，适应性强；视线偏转的判断采用多帧判断，以出现频率最高的一视线偏转结果作为该设定时长的驾驶员视线偏转结果，准确率更高，并且，在视线偏转角度较大时仍然能输出一个视线偏转结果，适用性更广。

以上所述本发明的具体实施方式，并不构成对本发明保护范围的限定。任何根据本发明的技术构思所做出的各种其他相应的改变与变形，均应包含在本发明权利要求的保护范围内。