一种基于快速特征点定位的全天候哈欠检测方法及系统与流程

本发明涉及图像处理技术领域，尤其是涉及一种基于快速特征点定位的全天候哈欠检测方法及系统。

背景技术：

哈欠是指人的嘴部从闭合到持续张开再到闭合的一个完整的状态过程，是反应人体疲劳程度的一个重要特征。一个可靠性高，实时性强以及适用性广泛的哈欠检测方法对于准确的进行疲劳检测来说极其重要。当前对于哈欠检测的方法较多。

一种基于数字视频的驾驶员疲劳状态检测方法，采用基于时-空域约束的优化adaboost人脸检测方法的进行人脸检测，利用人脸的检测与定位结果结合人脸五官的“三庭五眼”的几何特征规则，再查找嘴巴区域，在查找到嘴巴区域的基础上用链码描述嘴巴轮廓，然后在频域中提取嘴巴的频谱特征，将该特征采用svm训练，进而判别嘴巴哈欠状态。但上述专利仅仅依据人脸的几何规则确定嘴巴区域可靠性较低，考虑到每个人的脸部五官特征之间的几何约束均存在差异，而且在频域提取频谱特征再通过svm训练识别哈欠状态工作量大、过于复杂而且耗时，因此在很大程度上降低了该方法实时性。

一种疲劳驾驶检测方法，利用harr特征人脸识别方法检测定位人脸区域，再依据嘴巴在人脸的几何位置关系结合灰度投影法确定嘴巴区域，检测嘴部的区域的形状变化，即宽高比的变化，然后统计一段时间内，嘴部宽高比小于某一固定阈值的图像帧数，若其中帧数超过设定阈值，则可以判断为哈欠动作。但上述专利依据几何位置关系和灰度投影法确定嘴部区域极其容易受光照变化的影响而导致嘴巴区域定位失败，而且该方法采用灰度信息，无法适用于红外环境下，因此该方法的可靠性非常低，从而直接影响哈欠检测准确度。

当前哈欠检测方法较多，但目前的哈欠检测方法在准确性(嘴部张开大小，张开持续时间)，可靠性(嘴部精确定位)以及适用性(白天夜间)等方面尚存在的一些不足之处。

技术实现要素：

本发明的目的在于克服上述技术不足，提出一种基于快速特征点定位的全天候哈欠检测方法及系统，解决现有技术中的上述技术问题。

为达到上述技术目的，本发明的技术方案提供一种基于快速特征点定位的全天候哈欠检测方法，包括：

s1、利用具有红外补光功能的图像采集装置采集驾驶员头部图像，利用adaboost算法训练出识别脸部区域的分类器，利用训练出的分类器对驾驶员头部图像进行识别从而识别出驾驶员脸部区域；

s2、利用基于局部二值特征的形状回归算法训练定位脸部特征点的模型，利用训练出的模型定位驾驶员脸部区域的特征点，并根据驾驶员脸部区域的特征点获取驾驶员嘴部区域位置和图像；

s3、对驾驶员嘴部区域图像进行预处理操作之后进行轮廓检测，筛选出嘴部轮廓，由嘴部轮廓计算嘴部的张开度和持续张开时长，根据嘴部的张开度和持续张开时长判断驾驶员是否打哈欠以及统计打哈欠的次数。

本发明还提供一种基于快速特征点定位的全天候哈欠检测系统，包括：

脸部识别模块：利用具有红外补光功能的图像采集装置采集驾驶员头部图像，利用adaboost算法训练出识别脸部区域的分类器，利用训练出的分类器对驾驶员头部图像进行识别从而识别出驾驶员脸部区域；

嘴部识别模块：利用基于局部二值特征的形状回归算法训练定位脸部特征点的模型，利用训练出的模型定位驾驶员脸部区域的特征点，并根据驾驶员脸部区域的特征点获取驾驶员嘴部区域位置和图像；

哈欠判断模块：对驾驶员嘴部区域图像进行预处理操作之后进行轮廓检测，筛选出嘴部轮廓，由嘴部轮廓计算嘴部的张开度和持续张开时长，根据嘴部的张开度和持续张开时长判断驾驶员是否打哈欠以及统计打哈欠的次数。

与现有技术相比，本发明的有益效果：使用了基于局部二值特征的形状回归算法，相比全局特征而言，噪声更少，减少了计算量，可以快速地进行脸部特征点定位,从而可以快速定位嘴巴位置，获取驾驶员嘴部区域图像，实时性高；借助具有红外补光功能的图像采集装置，不同光照强度下，均可采集清晰驾驶员头部图像，准确定位驾驶员脸部区域的特征点，并根据采集驾驶员头部图像时的光照强度自动选择对于驾驶员嘴部区域图像的不同预处理操作，使得哈欠判断更加准确，不易受光照环境影响，适应性强；根据驾驶员脸部区域的特征点获取驾驶员嘴部位置、图像，比通过五官几何位置关系确定嘴部位置更准确；哈欠判断时，嘴部的张开度超过张开度预设值时并持续一定时间时，才判断为驾驶员打哈欠，比仅仅通过单帧图像的嘴部张开度来判断哈欠更加准确。

附图说明

图1是本发明提供的一种基于快速特征点定位的全天候哈欠检测方法流程图；

图2是本发明提供的一种基于快速特征点定位的全天候哈欠检测系统结构框图；

图3是本发明的adaboost训练算法流程图；

图4是本发明的基于局部二值特征的形状回归算法流程图。

附图中：1、基于快速特征点定位的全天候哈欠检测系统，11、脸部识别模块，12、嘴部识别模块，13、哈欠判断模块。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明提供了一种基于快速特征点定位的全天候哈欠检测方法，包括：

s1、利用具有红外补光功能的图像采集装置采集驾驶员头部图像，利用adaboost算法训练出识别脸部区域的分类器，利用训练出的分类器对驾驶员头部图像进行识别从而识别出驾驶员脸部区域；

s2、利用基于局部二值特征的形状回归算法训练定位脸部特征点的模型，利用训练出的模型定位驾驶员脸部区域的特征点，并根据驾驶员脸部区域的特征点获取驾驶员嘴部区域位置和图像；

s3、对驾驶员嘴部区域图像进行预处理操作之后进行轮廓检测，筛选出嘴部轮廓，由嘴部轮廓计算嘴部的张开度和持续张开时长，根据嘴部的张开度和持续张开时长判断驾驶员是否打哈欠以及统计打哈欠的次数。

本发明所述的基于快速特征点定位的全天候哈欠检测方法，步骤s1中利用adaboost算法训练出识别脸部区域的分类器的步骤包括：

s11、准备训练样本：设adaboost训练过程中样本集合为：{(x1,y1),(x2,y2),(x3,y3),…(xn,yn)}其中，yi＝0或1，分别表示该训练样本为负样本(非人脸样本)或正样本(人脸样本)；

s12、初始化样本权重：根据yi设置初始化权值，当yi＝0时，w1,i＝1/2m，当yi＝1，w1,i＝1/2l，其中m和l分别表示正负样本的个数，若总样本数为n，则n＝m+l；

s13、归一化样本权重系数，计算每个样本特征点分类误差，选取分类误差最小的弱分类器，然后重新计算并分配训练样本的权值，具体为：

首先，根据归一化样本权重系数，表示在第t次迭代中的第j个训练样本的权值等于该样本的训练参数除以该次训练迭代中的所有的样本的权值的总和；

然后，在输入的样本中，根据每一个haar-like特征fj，可训练出一个仅仅依赖于单一特征的弱分类器hj，该弱分类器的分类误差为：

选择使得当前分类错误率最小的弱分类器ht；

使用公式重新计算并分配训练样本的权值，其中，j为样本序号，若在本次迭代过程中样本j被正确分类，则ej＝0；反之则ej＝1。βt＝εt/(1-εt)；

s14、判断训练迭代总次数是否达到预设次数，如果没有达到预设次数，则循环执行步骤s13继续训练分类器，如果达到预设次数，则进行步骤s15；

s15、结束训练，获取强分类器，最终得到的强分类器h(x)的表达式为：

其中

本发明所述的基于快速特征点定位的全天候哈欠检测方法，步骤s2中利用基于局部二值特征的形状回归算法(rlbf算法)训练定位脸部特征点的模型的步骤包括：

s21、准备训练样本：样本包括人脸样本库以及对应的人脸样本库标注文件groundtruth；

s22、预处理训练样本：对样本图像进行预处理操作，其中包括(灰度化，图像增强，人脸检测)，图像裁剪(加快训练速度)；

s23、对样本进行坐标变换，构建平均形状模型：考虑到样本图片之间人脸是各式各样的，受到光照、姿势等各方面的影响，因此在获取平均形状时，应该在一个相对统一的框架下求取，对训练样本进行坐标变换之后，对所有特征点求取平均值获得平均形状模型；

s24、设置训练模型参数，包括提取局部二值特征的随机森林参数(随机树个数，随机树深度等)和用于形状的全局线性回归相关参数(回归阶段次数，形状残差等)；

s25、训练随机森林，获得特征映射函数，提取局部二值特征，对形状进行全局线性回归，并对形状进行更新，具体为：

首先，训练随机森林，获得特征映射函数φ^t(i,s^t-1)，提取局部二值特征；

然后采用δs^t＝w^tφ^t(i,s^t-1)对形状进行全局线性回归，对形状进行更新，其中，δs^t＝s^gt-s^t为第t个阶段的残差，w为线性回归矩阵，i为样本图像；

s26、判断回归次数是否达到预设次数，如果没有达到预设次数，则循环执行步骤s25，如果达到预设次数，则保存模型。

本发明所述的基于快速特征点定位的全天候哈欠检测方法，步骤s3中对驾驶员嘴部区域图像进行预处理的步骤为：

根据s1中采集驾驶员头部图像时环境的光照强度选择基于最大阈值分割法计算二值化阈值从而获取驾驶员嘴部区域图像的二值化图像或者基于yiq表色系统进行唇色阈值分割从而获取驾驶员嘴部区域图像的二值化图像，具体为：

如果光照强度较高，由于唇色和肤色的差异较大，则可以通过对唇色对嘴部进行阈值分割，获取嘴部区域图像的二值化图像，分割阈值可以根据如下确定：

yiq表色系统由美国国家电视标准委员会制定，主要用于彩色电视信号的传输。其中y分量代表图像的亮度信息，i分量代表从橙色到青色的颜色变化，而q分量则代表从绿色到品红色的颜色变化。yiq表示法的重要性是它的亮度信号(y)和色度信号(i、q)是相互独立的，而且q分量代表的颜色变化正好覆盖了嘴唇的颜色范围，因此可以选用yiq颜色空间确定嘴唇。yiq和rgb的对应关系用下面的方程式表示：

y＝0.299r+0.587g+0.114b

i＝0.596r－0.275g－0.321b

q＝0.212r－0.523g+0.311b

唇色的最佳阈值分别为y∈[80，220]，i∈[12，78]，q∈[7，25]；

如果光照强度较低，具有红外补光功能的图像采集装置会发出红外线对驾驶员头部进行补光，这种情况可以先对基于特征点定位出的嘴部区域图像进行图像增强，通过对红外环境下的嘴部区域运动进行分析发现，嘴部在运动时其内部的灰度信息与嘴部外面的灰度信息差异较大，因此可以对增强后的嘴部内部区域图像进行最大阈值分割法计算分割阈值，使用该阈值对嘴部内部区域进行二值化操作获得嘴部区域图像的二值化图像。

本发明所述的基于快速特征点定位的全天候哈欠检测方法，步骤s3中：

对二值化操作后的嘴部区域图像进行轮廓检测，根据嘴部的轮廓特征设置相关的约束条件对非嘴部轮廓进行筛选，这里的约束条件可以是轮廓的宽高比，面积大小等，筛选出嘴部轮廓。

本发明所述的基于快速特征点定位的全天候哈欠检测方法，步骤s3中：

用椭圆对嘴部轮廓进行拟合，以拟合的椭圆长短轴长度比值为嘴部的张开度。

本发明所述的基于快速特征点定位的全天候哈欠检测方法，步骤s3中：

当嘴部的张开度超过张开度预设值时，开始计算持续张开时长，当嘴部的张开度小于张开度预设值时，停止计算持续张开时长，如果计算的持续张开时长超过张开时长预设值时，判定驾驶员在打哈欠，并计入驾驶员打哈欠的次数，具体为：

人在打哈欠的过程中，一般情况下人的嘴巴的张开度是从低到高再到低的，因此可以通过判断嘴部张开度大于张开度预设值所持续的时间长度来判断是否发生哈欠。首先，计算出嘴部张开度，设嘴部张开度为hn，则hn与持续张开时长t，以及张开时长预设值β应满足下式：

其中

这里hc为张开度预设值，tc表示嘴部从超过张开度预设值到小于张开度预设值的持续时长；当嘴部张开度大于张开度预设值时开始计算持续张开时长，当嘴部的张开度小于张开度预设值时，停止计算持续张开时长，若计算的持续张开时长大于张开时长预设值β，则可以认为是驾驶员打了一次哈欠(有效哈欠)，否则不是。

本发明还提供一种基于快速特征点定位的全天候哈欠检测系统1，包括：

脸部识别模块11：利用具有红外补光功能的图像采集装置采集驾驶员头部图像，利用adaboost算法训练出识别脸部区域的分类器，利用训练出的分类器对驾驶员头部图像进行识别从而识别出驾驶员脸部区域；

嘴部识别模块12：利用基于局部二值特征的形状回归算法训练定位脸部特征点的模型，利用训练出的模型定位驾驶员脸部区域的特征点，并根据驾驶员脸部区域的特征点获取驾驶员嘴部区域位置和图像；

哈欠判断模块13：对驾驶员嘴部区域图像进行预处理操作之后进行轮廓检测，筛选出嘴部轮廓，由嘴部轮廓计算嘴部的张开度和持续张开时长，根据嘴部的张开度和持续张开时长判断驾驶员是否打哈欠以及统计打哈欠的次数。

本发明所述的基于快速特征点定位的全天候哈欠检测系统1，脸部识别模块11包括：

第一样本准备单元：准备训练样本；

初始化单元：初始化样本权重；

第一训练单元：归一化样本权重系数，计算每个样本特征点分类误差，选取分类误差最小的弱分类器，然后重新计算并分配训练样本的权值；

第一判断单元：判断训练迭代总次数是否达到预设次数，如果没有达到预设次数，则循环执行训练单元，如果达到预设次数，则执行强分类器获取单元的操作；

强分类器获取单元：获取强分类器。

本发明所述的基于快速特征点定位的全天候哈欠检测系统1，嘴部识别模块12包括：

第二样本准备单元：准备训练样本；

预处理单元：预处理训练样本；

坐标变换单元：对样本进行坐标变换，构建平均形状模型；

参数设置单元：设置训练模型参数；

第二训练单元：训练随机森林，获得特征映射函数，提取局部二值特征，对形状进行全局线性回归，并对形状进行更新；

第二判断单元：判断回归次数是否达到预设次数，如果没有达到预设次数，则循环执行第二训练单元，如果达到预设次数，则保存模型。

本发明所述的基于快速特征点定位的全天候哈欠检测系统1，哈欠判断模块13中：

根据脸部识别模块中采集驾驶员头部图像时环境的光照强度选择基于最大阈值分割法计算二值化阈值从而获取驾驶员嘴部区域图像的二值化图像或者基于yiq表色系统进行唇色阈值分割从而获取驾驶员嘴部区域图像的二值化图像。

本发明所述的基于快速特征点定位的全天候哈欠检测系统1，哈欠判断模块13中：

用椭圆对嘴部轮廓进行拟合，以拟合的椭圆长短轴长度比值为嘴部的张开度；

当嘴部的张开度超过张开度预设值时，开始计算持续张开时长，当嘴部的张开度小于张开度预设值时，停止计算持续张开时长，如果计算的持续张开时长超过张开时长预设值时，判定驾驶员在打哈欠，并计入驾驶员打哈欠的次数。

与现有技术相比，本发明的有益效果：使用了基于局部二值特征的形状回归算法，相比全局特征而言，噪声更少，减少了计算量，可以快速地进行脸部特征点定位,从而可以快速定位嘴部位置，获取驾驶员嘴部区域图像，实时性高；借助具有红外补光功能的图像采集装置，不同光照强度下，均可采集清晰驾驶员头部图像，准确定位驾驶员脸部区域的特征点，并根据采集驾驶员头部图像时的光照强度自动选择对于驾驶员嘴部区域图像的不同预处理操作，使得哈欠判断更加准确，不易受光照环境影响，适应性强；根据驾驶员脸部区域的特征点获取驾驶员嘴部位置、图像，比通过五官几何位置关系确定嘴部位置更准确；哈欠判断时，嘴部的张开度超过张开度预设值时并持续一定时间时，才判断为驾驶员打哈欠，比仅仅通过单帧图像的嘴部张开度来判断哈欠更加准确。

以上所述本发明的具体实施方式，并不构成对本发明保护范围的限定。任何根据本发明的技术构思所做出的各种其他相应的改变与变形，均应包含在本发明权利要求的保护范围内。