专利名称：基于多特征融合的困倦驾驶检测方法
技术领域：
本发明属于一种模式识别技术，适用于对机动车辆驾驶员进行困倦驾驶状态的检测。
背景技术：
世界上，每年因为交通事故都会造成巨大的生命财产损失。而由于困倦和过度困倦造成的驾驶员驾驶机动车辆时精神不集中是引发公路交通事故的重要原因，所以预防困倦己成为一个被广泛重视的问题，各国专家和技术人员对此进行了一系列的研究，有的已经将研究成果申请了专利[US 6243015，US6304187，ZL 93200863]。
从检测对象角度划分，对机动车辆驾驶员进行困倦驾驶状态检测的方法有四种(1)基于机车状态的检测方法；(2)基于驾驶员操作的检测方法；(3)基于驾驶员反应的检测方法；(4)基于驾驶员生理特征状态的检测方法。
专利ZL 93200863基于方法(2)原理而设计，它通过固定在方向盘上的特殊传感器检测驾驶员的手对方向盘的作用力信息，从而做出判断。也有专家撰文提出通过特殊传感器检测驾驶员踩油门和刹车的动作习惯，从而做出判决，这些设计原理属于方法(1)。基于方法(1)和方法(2)的检测装置都不能适用于所有的机动车型，也会因为不同的驾驶员个人习惯而不能广泛适用。方法(3)要求驾驶员周期性地向检测系统回复一个回答，这样长时间后势必会引起驾驶员的厌烦。方法(4)基于驾驶员生理特征状态，如检测驾驶员的脑电波、心律、眨眼、体态下垂、头部倾斜和眼睑的闭合速度，其中因为可以用摄像头对头部倾斜、眼睑闭合速度和眨眼等特征进行非接触地检测，所以引起了工业界和学术界的兴趣，并且逐渐地开展了此类研究，部分研究成果申请了专利[US 6243015，US 6304187]。
现有的基于方法(4)的设计中，都是针对驾驶员头部倾斜、眼睑闭合速度和眼睑闭合程度特征中的单一特征进行困倦和困倦检测，由于实际应用环境复杂，单一特征检测结果可靠性差、准确率低。
发明内容
为解决现有技术所存在的问题，提供一种基于多特征融合的困倦驾驶检测的方法。
该方法的技术方案包括由摄像头采集到驾驶员的面部图像后，首先进行人眼检测与跟踪，同时分别进行眼睑闭合速度、闭眼持续时间和面部方向三个特征的提取与匹配，然后利用标准归一化方法将输出的三个匹配结果归一化到同一范围，再利用神经网络技术进行融合，融合结果采用0，1输出，输出结果为0表示未困倦，返回到人眼检测与跟踪，输出结果为1表示驾驶员困倦，报警提示驾驶员注意安全。
本发明的技术要点本发明的技术要点(1)人眼检测与跟踪采用红外光源照明，这样，在摄像头采集到的驾驶员脸部图像中，人眼是最亮的部分。利用图像中人眼的灰度信息和人眼的形状、大小以及两个人眼间的位置关系作为特征，运用模式识别技术将其识别定位；检测到人眼后，运用卡尔曼滤波技术对随后由摄像头采集到的每一帧图像进行人眼跟踪。
(2)眼睑闭合速度检测计算每次眼睑闭合速度时，把该次图像采集之前固定时间间隔(30秒或1分钟)内所有检测到的眼睑闭合速度相加，求出算术平均值作为当前待比较的眼睑闭合速度，与事先设定的阈值进行比较，从而得出驾驶员困倦与否的结果。
(3)闭眼持续时间检测如果前后连续两次采集的眼睛图像都是闭合状态，则认为这两次采集时间间隔是闭眼持续时间。连续采集的闭眼次数越多，则闭眼持续时间越长，如果超过事先设定的阈值，则判驾驶员困倦，反之则判未困倦。
(4)面部方向检测对实时检测到的驾驶员面部图像进行面部方向分析，如果，不是前方(驾驶员应面向的方向)，而是其他方向(如下方和侧面方向)，则进行计时，如果超过阈值，则判驾驶员困倦，反之则判未困倦。融合决策将前面几部分的检测结果利用标准归一化方法将其输出归一化到同一范围，再利用神经网络技术进行融合，融合结果采用(0，1)输出，输出结果为1表示驾驶员困倦，输出结果为0表示未困倦。
本发明的有益效果是，融合决策提高了可靠性和准确性，使整个系统具有更强的鲁棒性。本方法利用眼睑闭合速度、闭眼持续时间和面部方向三个特征进行非接触式困倦驾驶检测，对驾驶员没有干扰和影响。
图1为基于多特征的困倦驾驶检测系统的框2为闭眼持续时间和闭眼速度示意3为人眼检测与跟踪模块流程4为眼睑闭合速度检测模块流程5为闭眼持续时间检测模块流程6为面部方向检测模块流程7为系统硬件实现方框图
具体实施例方式实施过程如图1所示由摄像头采集到驾驶员的面部图像后，首先进行人眼检测与跟踪，如不成功，则返回到人眼检测与跟踪；如成功，则同时分别进行眼睑闭合速度、闭眼持续时间和面部方向三个特征的提取与匹配，然后利用标准归一化方法将输出的三个匹配结果归一化到同一范围，再利用神经网络技术进行融合，融合结果采用(0，1)输出，输出结果为0表示未困倦，返回到人眼检测与跟踪，输出结果为1表示驾驶员困倦，报警提示驾驶员注意安全。
具体如下第一步，人眼检测与跟踪如图3所示。
(一)人眼检测本发明采用的方法是利用图像的垂直灰度投影曲线，根据凸峰宽度确定人脸的左右边界，然后利用人脸区域的水平灰度投影曲线确定头顶及鼻中部形成的上下边界。利用预测法先确定人眼在眉眼区域的大概位置，通过检测眉眼部位的边缘及边缘分组，确定双眼的坐标位置。
1.人脸左右边界的确定因为与背景相比，人脸区域往往具有较高的亮度，所以在垂直灰度投影曲线中，人脸左右边界处的垂直方向上亮度值的总和减小很快，形成一个明显的凸峰，这个凸峰的左右边界大致代表了人脸的左右边界。因此，只需确定垂直灰度投影曲线中主要凸峰的左右边界，即可得到人脸的左右边界。
设所处理图像为I(x，y)，其大小为M×N，则该图像的垂直灰度投影函数为PV(x)=Σy=1NI(x,y).......(1)]]>PV称为垂直灰度投影曲线。为了去除噪声的影响，对垂直灰度投影曲线进行平滑处理，平滑处理后的曲线称为PV'(x)=1K+1Σi=x-K/2x+K/2PV(i).......(2)]]>K的取值跟人脸在图像中的大小有关，可以根据驾驶员距摄像头的远近及驾驶员脸部大小来灵活调整。将凸峰的上升沿梯度值最大的点作为人脸的左边界，凸峰的下降沿梯度值最小的点作为人脸的右边界。
2.人眼定位在人脸的左右边界确定之后，取左右边界之间的人脸区域作为研究对象。设此时的图像区域大小为M′×N，M′＜M。该图像区域的水平灰度投影函数为PH(y)=Σx=1M'I(x,y).......(3)]]>PH称为水平灰度投影曲线。为了去除噪声的影响，对水平灰度投影曲线进行平滑处理，平滑处理后的曲线称为PH'(y)=1L+1Σi=y-L/2y+L/2PH(i).......(4)]]>L(性质与H同)的取值跟人脸在图像中的大小有关，可以根据驾驶员距摄像头的远近及驾驶员脸部大小来灵活调整。
因为头发的灰度较低，所以水平投影曲线的低谷对应于头顶，而曲线的最大值点和次最大值点分别对应额头部位和鼻中部。人眼的水平坐标位于最大值点和次最大值点之间。因此通过分析该曲线的极大和极小值，可以容易地求得人眼所处的大致水平位置，如可取得包含眉眼的小块矩形区域。之后，从该矩形区域中区分眉眼。根据人的生理特征，从垂直方向上看，眼在眉的下面，从下至上搜索，首先找到的是人眼。对眉眼区域图像进行去噪、增强处理，然后通过检测眉眼部位的边缘及边缘分组，确定双眼的坐标位置。
(二)人眼跟踪利用卡尔曼滤波技术进行下一帧图像中人眼位置的跟踪与定位。
第二步，特征提取与匹配首先，如图2所示，定义当眼睑张开为最大瞳孔尺寸80％以上时为睁眼，当眼睑张开为最大瞳孔尺寸20％以下时为闭眼，(t2-t1)的倒数表示眼睑闭合速度，(t3-t2)表示闭眼持续时间。
(一)眼睑闭合速度特征的检测，如图4所示。当第一次检测到眼睑闭合到小于等于80％即开始计时，直到之后第一次检测到眼睑闭合到小于等于20％，之间时间间隔的倒数即为该次闭眼速度。为减小各种随机因素影响，计算每次眼睑闭合速度时，把该次图像采集之前固定时间间隔(如取1分钟)内所有检测到的眼睑闭合速度相加，求出算术平均值作为当前待比较的眼睑闭合速度，与事先设定的阈值进行比较，从而得出匹配结果。
(二)闭眼持续时间特征的检测，如图5所示。如果前后连续两次采集的眼睛图像都是闭合状态，则认为这两次采集时间间隔是闭眼持续时间。连续采集的闭眼次数越多，则闭眼持续时间越长，(t3-t2)与根据驾驶员情况事先设定的阈值比较，得出匹配结果。
(三)面部方向特征的检测，如图6所示。本发明目的是为了检测驾驶员困倦和注意力集中与否，并不需要精确定位面部方向，所以，本发明只需确定出驾驶员面部是否偏离正前方频率太高或时间太长。在人眼检测与跟踪模块中，已经得到人脸的左右边缘和鼻孔位置，以此为基础，划一个人脸矩形框，当驾驶员面向正前方时，两眼中心应在矩形框中一特定位置(设为阈值)，当面部方向偏离正前方时，两眼中心也将偏离这一特定位置，将实时取得的位置与阈值比较，得出匹配结果。
第三步，融合决策，将前面三部分的匹配结果利用标准归一化方法将其输出归一化到同一范围，再利用神经网络技术进行融合。如利用自组织特征映射神经网络，将归一化后的匹配结果作为自组织特征映射神经网络的输入，该网络的输出即为融合结果，采用(0，1)输出，输出结果为0表示未困倦，输出结果为1表示驾驶员困倦，报警提示。
该系统硬件实现方框图如图7所示，摄像头用于采集驾驶员脸部图像，嵌入式控制器CPU完成控制功能，FLASH存储主控程序和驾驶员困倦状态模板库，DSP内存储检测跟踪、特征提取和匹配算法。
虚线框内为检测器主体部分，它可以做成一个体积很小的装置，并且可以灵活地安放在机动车的任何位置；摄像头放置在驾驶员头部前方位置(如仪表盘上)，报警器可放在车厢内驾驶员周围。
权利要求
1.一种基于多特征融合的困倦驾驶检测的方法，其特征在于由摄像头采集到驾驶员的面部图像后，首先进行人眼检测与跟踪，同时分别进行眼睑闭合速度、闭眼持续时间和面部方向三个特征的提取与匹配，然后利用标准归一化方法将输出的三个匹配结果归一化到同一范围，再利用神经网络技术进行融合，融合结果采用0，1输出，输出结果为0表示未困倦，返回到人眼检测与跟踪，输出结果为1表示驾驶员困倦，报警提示驾驶员注意安全。
2.根据权利要求1所述的基于多特征融合的困倦驾驶检测方法，其特征在于人眼检测采用的方法是利用图像的垂直灰度投影曲线，根据凸峰宽度确定人脸的左右边界，然后利用人脸区域的水平灰度投影曲线确定头顶及鼻中部形成的上下边界，利用预测法先确定人眼在眉眼区域的大概位置，通过检测眉眼部位的边缘及边缘分组，确定双眼的坐标位置。
3.根据权利要求1所述的基于多特征融合的困倦驾驶检测方法，其特征在于面部方向检测用将实时取得的两眼中心在矩形框中的位置与阈值比较，得出匹配结果。
全文摘要
一种基于多特征融合的困倦驾驶检测的方法，涉及一种模式识别技术。摄像头采集到驾驶员的面部图像后，首先进行人眼检测与跟踪，同时分别进行眼睑闭合速度、闭眼持续时间和面部方向三个特征的提取与匹配，然后利用标准归一化方法将输出的三个匹配结果归一化到同一范围，再利用神经网络技术进行融合，融合结果采用0，1输出，输出结果为0表示未困倦，返回到人眼检测与跟踪，输出结果为1表示驾驶员困倦，报警提示驾驶员注意安全。本方法对困倦和注意力不集中的检测结果可靠、准确。
文档编号B60K28/00GK1458006SQ0314852
公开日2003年11月26日 申请日期2003年7月2日 优先权日2003年7月2日
发明者梁满贵, 谢纪刚, 裘正定 申请人:北京交通大学