一种疲劳驾驶检测方法及系统与流程

本发明属于计算机视觉技术领域，具体而言，涉及一种疲劳驾驶检测方法及系统。

背景技术：

为了降低因疲劳驾驶导致的交通事故发生率，疲劳驾驶预警系统广泛应用于驾驶领域。疲劳驾驶预警系统利用驾驶员的面部特征、眼部信号、头部运动性等推断驾驶员的疲劳状态，并进行报警提示和采取相应措施的装置。然而当驾驶员佩戴墨镜后则会降低疲劳驾驶预警系统判断的准确率，进而产生误报。

当前的疲劳驾驶预警系统一般包括红外照明元件、滤光元件及摄像头，通过摄像头获取红外图像保证即使在夜间光线较差的情况下，也能获得较清晰的人脸图像，从而判断驾驶员的疲劳状态。然而，当驾驶员佩戴墨镜后，现有的疲劳驾驶预警系统无法准确判断驾驶员的疲劳状态。因为利用波长较短的红外线光源检测照射时佩戴的墨镜直接影响对人眼状态的获取或者不能穿透墨镜，而利用波长较长的红外线光源长时间照射人眼将会造成白内障等眼部疾病。

技术实现要素：

为解决上述技术缺陷，本发明通过对驾驶员的眼睛部位周围信息的提取,得到驾驶员是否佩戴了墨镜的状态,并依据此状态影响进行疲劳检测，提高疲劳驾驶检测的准确性，降低红外线光源对人体的影响。

本发明提供了一种疲劳驾驶检测方法，包括如下步骤：

输入采集的驾驶员视频图像，利用预设的人脸特征分离器获取待检测人脸区域图像集；

将待检测人脸区域图像集中所有人脸图像进行归一得到平均脸，根据平均脸获取待检测人脸区域图像集中某一人脸图像的初始关键点形状，通过预设的回归器计算初始关键点的偏差值，根据偏差结果更新关键点形状直至确定人脸区域内关键点的形状；

根据确定的人脸区域关键点的形状获取眼睛关键点的位置，并提取对应的纹理特征，利用预设墨镜分类器判断用户是否佩戴眼睛，判断结果进行驾驶员疲劳状态的检测。

进一步，所述根据确定的人脸区域关键点的形状获取眼睛关键点的位置，并提取对应的纹理特征，利用预设墨镜分类器判断用户是否佩戴眼睛，判断结果进行驾驶员疲劳状态的检测包括

如果墨镜分类器输出结果小于阈值，则不做处理；否则根据眼睛关键点位置处的纹理特征分析眼镜闭合状态，将闭合状态与疲劳标准比较，判断驾驶员是否处于疲劳状态。

进一步，所述输入采集的驾驶员视频图像，利用预设的人脸特征分离器获取待检测人脸区域图像集包括

利用滑动窗口检测方法搜索视频图像，生成候选子区域；

将候选子区域输入人脸特征分类器，判断输出结果是否不小于分类阈值，是则标记为待检测人脸区域，否则不做处理。

进一步，所述根据平均脸获取待检测人脸区域图像集中某一人脸图像的初始关键点形状，通过预设的回归器计算初始关键点的偏差值，根据偏差结果更新关键点形状直至确定人脸区域内关键点的形状包括

遍历待检测人脸区域图像集，根据评价脸获取某一人脸图像的关键点形状，并提取对应的纹理特征；

根据纹理特征计算该人脸图像的偏差值；

根据偏差值更新后的关键点形状输出回归结果。

更进一步，所述根据偏差值更新后的关键点形状输出回归结果还包括

根据预设的识别模型判断更新后的关键点形状的回归值是否不小于归回阈值，是则不做处理，否则将回归结果作为下一次回归的偏差值。

本发明还提供了一种疲劳驾驶检测系统，包括

人脸检测模块，用于输入采集的驾驶员视频图像，利用预设的人脸特征分离器获取待检测人脸区域图像集；

关键点追踪模块，用于将待检测人脸区域图像集中所有人脸图像进行归一得到平均脸，根据平均脸获取待检测人脸区域图像集中某一人脸图像的初始关键点形状，通过预设的回归器计算初始关键点的偏差值，根据偏差结果更新关键点形状直至确定人脸区域内关键点的形状；

墨镜识别模块，用于根据确定的人脸区域关键点的形状获取眼睛关键点的位置，并提取对应的纹理特征，利用预设墨镜分类器判断用户是否佩戴眼睛，判断结果进行驾驶员疲劳状态的检测。

进一步，人脸检测模块包括

候选单元，用于利用滑动窗口检测方法搜索视频图像，生成候选子区域；

输出单元，将候选子区域输入人脸特征分类器，判断输出结果是否不小于分类阈值，是则标记为待检测人脸区域，否则不做处理。

进一步，墨镜识别模块还包括

判断单元，用于如果墨镜分类器输出结果小于阈值，则不做处理；否则根据眼睛关键点位置处的纹理特征分析眼镜闭合状态，将闭合状态与疲劳标准比较，判断驾驶员是否处于疲劳状态。

进一步，关键点追踪模块包括

特征提取单元，用于遍历待检测人脸区域图像集，根据评价脸获取某一人脸图像的关键点形状，并提取对应的纹理特征；

偏差计算单元，用于根据纹理特征计算该人脸图像的偏差值；

回归输出单元，用于根据偏差值更新后的关键点形状输出回归结果。

进一步，回归输出单元包括

处理子单元，用于根据预设的识别模型判断更新后的关键点形状的回归值是否不小于归回阈值，是则不做处理，否则将回归结果作为下一次回归的偏差值。

综上，本发明首先通过人脸检测技术获取人脸区域，然后基于此区域定位和追踪到人脸关键点，再根据眼睛周围区域的纹理特征判别司机是否戴了墨镜，进而防止因驾驶员佩戴墨镜导致误判降低疲劳驾驶检测的准确性。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1为本发明所述的疲劳驾驶检测方法的流程示意图；

图2为本发明所述的疲劳驾驶检测方法中确定关键点形状的流程示意图；

图3为本发明所述的疲劳驾驶检测系统的结构示意图。

具体实施方式

为了使本领域的技术人员更好地理解本发明的技术方案，下面将结合附图对本发明作进一步的详细介绍。

下面通过具体的实施例并结合附图对本发明做进一步的详细描述。

检测驾驶员眼镜状态一般利用红外线光源，一般利用的是波长1.5微米的红外线光源，长时间的话会造成白内障等眼部疾病，但是选用波长较大的红外线光源，带来了一个问题就是有些材质的墨镜穿不透，这样在图像上就看不清眼睛的状态，无法判断疲劳状态。因此本发明要解决的问题就是判断司机是否戴了墨镜，如果判断结果是戴墨镜的话，就不进入眼睛状态的检测模块，防止可能的虚报警。为此本发明提供了一种疲劳驾驶检测方法。

如图1所示，所述方法包括如下步骤：

S101、输入采集的驾驶员视频图像，利用预设的人脸特征分离器获取待检测人脸区域图像集；

视频图像中每个视频帧图像包括人脸区域，也包括非人脸区域，非人脸区域包括还包括背景区域以及人体其他部分。该步骤的目的在视频帧图像中识别人脸区域，加快对人脸关键点区域的检测。该步骤中从视频图像中识别人脸所在的区域，一般可用矩形框等进行标记，这种标记的人脸区域并不是精确的人脸轮廓曲线。

本发明所述的人脸特征分类器采用的是基于像素灰度值对比特征的级联决策树分类器，此方法的优势在于速度快，识别率较高，特别适用于嵌入式智能设备。

进一步，S101包括如下步骤：

利用滑动窗口检测方法搜索视频图像，生成候选子区域；

将候选子区域输入人脸特征分类器，判断输出结果是否不小于分类阈值，是则标记为待检测人脸区域，否则不做处理。对于每一个候选的区域，只有通过所有级联的分类器，才输出为人脸区域。

为了进一步说明本发明，下面给出像素对比特征(pixel intensity)定义：

pixel intensity(I；i1,i2)＝0如果I(i1)<＝I(i2)；

pixel intensity(I；i1,i2)＝1如果I(i1)>I(i2)；

其中,i1、i2分别是像素位置，I(＊)表示像素亮度。i1、i2分别对的两个像素点的位置，在提取像素差特征时用到。决策树分类器由若干个弱分类器级联组成。每个弱分类器有若干个决策树组成，其中，每个决策树都是一个弱分类器。当检测的时候，对于输入的待选区域图像，只有通过所有的级联的决策树分离器才能检测到人脸区域。每个决策树都保存着若干个像素对的位置，用于提取特征(如像素对比特征，对提取的特征对于区分分类和非人脸贡献较大)，基于提取的特征以得到待选区域图像对于此决策树的置信度(score)。如果小于某个决策树的阈值，则认为是非人脸区域，反之进入后续分离器。这些像素对位置通过离线训练获得。

进一步，人脸特征分类器的训练过程包括如下步骤：

A：确定样本集；

B：初始化样本集中各个样本的权重，生成一个决策树；

C：更新样本权重，迭代决策树最终生成决策树分类器。

具体实施时，如下步骤进行：

对于一个训练集{I_s,c_s}，I_s为图像集，c_s{-1,1}图像为是否为人脸的标注集，-1表示不是人脸，1代表人脸，其中s＝1,2,3…，n,s为图像样本的个数。

(1)首先初始化每个训练样本的权重W；

(2)对于每一个k＝1,2,3，…，K决策树，

<a>.以最小化基于权重的最小二乘误差WMSE，训练决策树Tk

其中，Δ和x_k是决策树中的每个节点中标注分别是-1和1的训练集的集合，和是两个集合的基于权重的标注真值的均值。

<b>更新每个样本的权重

<c>归一化权重，使所有权重的和为1；

(3)更新每个样本的权重,以最小化基于权重的最小二乘误差WMSE，训练决策树，其中所有权重的和为1；

其中，Δ和x_k是决策树中的每个节点中标注分别是-1和1的训练集的集合，和是两个集合的基于权重的标注真值的均值。

(3)输出级联决策树。

S102、将待检测人脸区域图像集中所有人脸图像进行归一得到平均脸，根据平均脸获取待检测人脸区域图像集中某一人脸图像的初始关键点形状，通过预设的回归器计算初始关键点的偏差值，根据偏差结果更新关键点形状直至确定人脸区域内关键点的形状；具体实施时，为了便于管理首先将各个人脸区域范围的图像进行归一处理，可选的将所有的人脸区域归一化为统一的分辨率，如50*50。

具体实施时，平均脸在离线训练的时候得到，其方法如下：

平均人脸模型包括每个关键点离中心点(所有关键点的中心)的平均距离mean.x和mean.y,以及整个形状的中心点离人脸检测框中心点的纵轴方向的平均偏移dy，关键点形状的宽度与人脸检测框宽度的平均比值sx，关键点形状的高度与人脸检测框高度的平均比值sy。在实际应用中，得到人脸检测框(detect_x，detect_y，detect_w，detect_h)后获取初始的关键点形状的方法如下：对于每一个关键点：

x＝mean.x*detect_w*sx+detect_x+detect_w/2；y＝mean.y*detect_h*sy+detect_y+detect_h/2+dy。

进一步，S102包括

S201、遍历待检测人脸区域图像集，根据评价脸获取某一人脸图像的关键点形状，并提取对应的纹理特征；具体实施时，通过提取SIFT特征作为纹理特征实现计算初始关键点的偏差值。SIFT特征的提取可选的采用如下公式，利用关键点邻域像素的梯度方向分布特性为每个关键点指定方向参数，使算子具备旋转不变性。

θ(x，y)＝a tan2((L(x，y+1)-L(x，y-1))/(L(x+1，y)-L(x-1，y)))

m(x，y)＝√(L(x+1，y)-L(x-1，y))²+(L(x，y+1)-L(x，y-1))²

其中，θ和m分别是像素(x，y)处梯度的方向和模值公式。其中L是关键点所在的尺度值，本实施例中不考虑尺度信息，默认为1。以关键点为中心的邻域窗口内采样(采样内容为SIFT特征、SURF特征、聚合通道特征、局部二值特征等)，用直方图统计邻域内所分的子块内的像素梯度方向。实际应用中，梯度直方图的范围是0～360度，我们把其分为每45度一个柱，总共8个柱，最后把邻域窗口内采样的所有子块计算得出的梯度方向直方图归一化后串联起来即是所用的特征。

S202、根据纹理特征计算该人脸图像的偏差值；

S203、根据偏差值更新后的关键点形状输出回归结果。

本发明以平均人脸初始关键点为基础，并将其与提取的目标人脸区域的初始关键点形状处的像素特征进行关键点回归，从而生成回归后的关键点形状，进而将回归后的关键点形状与其他人脸区域的关键点形状进行回归直至最后一个人脸区域，输出最终的人脸关键点形状。

具体实施时，本发明采用基于监督下降方法的级联回归器对人脸关键点的初始形状进行更新，基于监督下降方法的级联回归器如下：

其中，Δx_k表示在回归第k次后的所有关键点的偏差，R_k和b_k(k＝0，1，…N)表示监督下降方法离线学习到的第k步回归器，x_k表示k次回归后人脸关键点结果，φ_k表示k次回归时提取的特征，比如SIFT特征(尺度不变特征)。

本发明首先从一个人脸关键点初始形状开始，经过一次回归后得到每个关键点所需移动的偏差，第二次回归依据前步的回归结果，若干次回归后，人脸关键点从初始形状逐步逼近真正的关键点形状。即，当开始回归人脸关键点时，先从初始的关键点形状开始，从每一个关键点周围区域提取纹理特征，比如SIFT，然后按一定顺序把特征串联起来用于回归即φ₀，w_k＝[R_k,b_k],而W₀*φ₀＝Δx₀，根据上述公式得到每个关键点的偏差去更新关键点形状，迭代多次后输出x_k即为关键点形状的结果，其中，w_k＝[R_k,b_k]即回归器由离线训练得到。

更进一步，根据偏差值更新后的关键点形状输出回归结果后，还可选的，根据预设的识别模型判断更新后的关键点形状的回归值是否不小于归回阈值，是则不做处理，否则将回归结果作为下一次回归的偏差值。通过对回归结果的判断实现对人脸形状的确定，提高对人脸上是否佩戴墨镜的判断率。

S103、根据确定的人脸区域关键点的形状获取眼睛关键点的位置，并提取对应的纹理特征，利用预设墨镜分类器判断用户是否佩戴眼睛，判断结果进行驾驶员疲劳状态的检测。

进一步，S103包括

如果墨镜分类器输出结果小于阈值，则不做处理；否则根据眼睛关键点位置处的纹理特征分析眼镜闭合状态，将闭合状态与疲劳标准比较，判断驾驶员是否处于疲劳状态。本发明确定人脸关键点形状后获取两只眼睛的位置，在其周围提取纹理特征如SIFT特征，然后基于BP人工神经网络分类器进行判别。因此具体实施时可选在采集两个眼睛位置周围区域再提取纹理特征，比如SIFT特征，然后用人工神经网络进行二分类，BP人工神经网络是一种现有的分类技术，并不是本发明的发明重点，故而本发明在此不再赘述。本发明通过计算平均脸及各个人脸区域的初始关键点的偏差，实现对人脸关键点的校正，进而提取人脸关键点位置处的像素特征，从而判断驾驶员是否佩戴眼镜。

如图3所示，本发明还提供了一种疲劳驾驶检测系统，包括人脸检测模块10、关键点追踪模块20、墨镜识别模块30。

其中，

人脸检测模块10，用于输入采集的驾驶员视频图像，利用预设的人脸特征分离器获取待检测人脸区域图像集；

关键点追踪模块20，用于将待检测人脸区域图像集中所有人脸图像进行归一得到平均脸，根据平均脸获取待检测人脸区域图像集中某一人脸图像的初始关键点形状，通过预设的回归器计算初始关键点的偏差值，根据偏差结果更新关键点形状直至确定人脸区域内关键点的形状；

墨镜识别模块30，用于根据确定的人脸区域关键点的形状获取眼睛关键点的位置，并提取对应的纹理特征，利用预设墨镜分类器判断用户是否佩戴眼睛，判断结果进行驾驶员疲劳状态的检测。

进一步，人脸检测模块包括

候选单元，用于利用滑动窗口检测方法搜索视频图像，生成候选子区域；

输出单元，将候选子区域输入人脸特征分类器，判断输出结果是否不小于分类阈值，是则标记为待检测人脸区域，否则不做处理。

进一步，墨镜识别模块还包括

判断单元，用于如果墨镜分类器输出结果小于阈值，则不做处理；否则根据眼睛关键点位置处的纹理特征分析眼镜闭合状态，将闭合状态与疲劳标准比较，判断驾驶员是否处于疲劳状态。

进一步，关键点追踪模块包括

特征提取单元，用于遍历待检测人脸区域图像集，根据评价脸获取某一人脸图像的关键点形状，并提取对应的纹理特征；

偏差计算单元，用于根据纹理特征计算该人脸图像的偏差值；

回归输出单元，用于根据偏差值更新后的关键点形状输出回归结果。更进一步，回归输出单元包括

处理子单元，用于根据预设的识别模型判断更新后的关键点形状的回归值是否不小于归回阈值，是则不做处理，否则将回归结果作为下一次回归的偏差值。

以上只通过说明的方式描述了本发明的某些示范性实施例，毋庸置疑，对于本领域的普通技术人员，在不偏离本发明的精神和范围的情况下，可以用各种不同的方式对所描述的实施例进行修正。因此，上述附图和描述在本质上是说明性的，不应理解为对本发明权利要求保护范围的限制。