专利名称：基于数字视频的驾驶员疲劳状态检测方法
技术领域：
本发明涉及一种驾驶员疲劳检测报警装置，属交通安全防护报警器具。该装置具 有对疲劳驾驶发出声光警示和强制停车功能。
背景技术：
安全行车取决于多方面的因素，除了车况、路况等自然因素外，起决定作用的还是 驾驶员的人为因素，大量的分析研究表明驾驶员疲劳驾驶是交通事故的主要原因之一，特 别是在高速公路上，近一半的交通死亡事故归结于疲劳驾驶。国外的一些汽车厂商和研究机构投入了巨大的人力、物力，广泛地开展驾驶员疲 劳检测的研究工作，有的研究已经转化为相应的产品。例如VOLVO汽车公司就推出了“驾驶 员警示系统”，该系统可根据行车状况及时地在驾驶员进入睡眠前给予警示。而法国的图卢 兹西门子VDO汽车公司则在开发一种通过监测驾驶员注意力下降的系统。在国内，也有相应的一些汽车厂商和研究机构设计出一些疲劳检测装置，如申请 号为200610007961.0的专利，该装置通过由单片机控制的反射式红外线传感器自动检测 驾驶员在常规坐姿下的头部位置，判断驾驶员是否处于疲劳驾驶状态，如果检测到驾驶员 的确处于疲劳状态，则输出报警信号以警醒驾驶员注意。专利200480031216. 9 (疲劳度测定装置、疲劳检测装置及计算机程序)提供一种 可使疲劳度定量化并进行显示的疲劳度测定装置。该装置首先检测生物体信号峰值，然后 获取限定时间内的上限侧峰值与下限侧峰值之差，将其作为功率值，最后求取功率值的倾 斜度积分参数作为疲劳度特征，此方法可以定量分析人的疲劳度。专利200710010629. 4 (驾驶员疲劳检测报警器)由装有反射式光纤位移传感器的 眼镜和智能控制系统组成。以眼部疲劳的表情为基准，建立数学模型，对眼睑闪动频率、闭 合时间乃至眼球转动、瞳孔收扩进行动态监测。具有对疲劳驾驶能及时发出声光警示或强 制停车功能。但是现有技术有的系统复杂或体积庞大而无法实现车载；有的采用接触式检测方 法而影响驾驶员的正常行为；有的系统实时性或准确性不高造成系统的检测率过低，在实 际应用过程中经常出现误检、漏检现象。
发明内容
针对现有的技术的不足，本发明提供一种基于数字视频的驾驶员疲劳状态检测方法。如
图1所示，该驾驶员疲劳状态检测系统包括视频DSP、摄像头，数据存储电路、程 序存储器、时钟芯片、键盘和语音芯片。所述摄像头与视频DSP中的I2C控制器连接；所述 数据存储电路由两组完全相同的SDRAM构成，实现对图像的实时采集与处理。所述时钟芯 片与视频DSP中的时钟控制器连接；所述键盘与视频DSP中的键盘控制器连接；所述语音 芯片与视频DSP的语音控制器连接，语音控制器将视频DSP中的处理器传来的疲劳报警信
4号传输至语音芯片进行报警。所述的摄像头处还设有红外光源和红外滤镜，红外光源采用 均勻分布的20个红外二极管构成，红外二级管的波长为560 970nm，照射角度为60度； 红外滤镜尺寸与摄像头尺寸一致，可以滤除所有非红外光线。采用这种方式可以大大提高 系统对环境光照的适用性。该系统使用CMOS或者CCD摄像头实时采集驾驶员的脸部图像，在视频DSP处理器 调度下，图像数据经过算法处理器的分析与处理，实时地判断出驾驶员是否分神或打瞌睡， 一旦发现驾驶员处于疲劳驾驶状态，马上通过声音报警和GPRS发送信息等方式及时通知 驾驶员和有关部门做出相应的处理。系统按电路功能结构可分为图像采集存储模块、图像处理模块和人机交互接口模 块三个主要的功能模块。1、图像采集存储模块实现图像的采集主要是由摄像头、数据存储电路、I2C控制器和视频DSP组成。同 时为了提高系统的适用性，在系统摄像头的附近添加了红外光源，使得系统在晚上或光线 不足的情况下也能很好地工作。系统中的动态存储器SDRAM在系统SDRAM控制器作用下， 作为系统的数据存储器在系统中运行；FLASH闪存是系统的程序存储器，实现对系统中的 视频DSP上的程序存储。2、图像处理模块图像处理模块是本系统最关键的部分之一。它的任务是对图像采集存储模块所采 集到的驾驶员脸部图像进行相应的图像分析与处理。摄像头采集到的图像由算法处理器进 行分析处理，系统中主要是由视频DSP中的算法处理器完成这一部分的功能。算法处理器 主要由四个模块组成，分别是人脸检测模块、人眼检测模块、嘴巴检测模块以及特征提取与 分类模块。它们充分利用视频DSP的流水线处理能力，实现人脸定位、人眼定位、嘴巴定位 和疲劳状态特征提取与分类。3、人机交互接口模块系统除了在视频DSP中实现算法处理器外，为了提高系统的交互性和可操作性， 系统还在视频DSP中设计有定时器、键盘控制器、语音控制器、时钟控制器和与GPRS通信的 UART等模块。当系统经过算法处理器的处理后，若发现驾驶员处于疲劳状态时，系统处理器 马上发出疲劳报警信号给语音控制器，使得系统能及时地通过语音芯片进行报警从而唤醒 驾驶员，同时系统把当前的疲劳驾驶时间、行车时间以及一些汽车行车状态记录并存储下 来，并通过串口控制的GPRS模块把有关行车信息及时地通过短信形式发给交通管理等相 关部门，以达到预防事故的目的。图2是本发明的系统工作流程图，首先汽车启动后，系统处理器初始化系统的有 关外围部件，包括键盘、语音芯片、时钟芯片等；然后启动I2C控制器完成对摄像头的输出 模式配置；配置完成后，系统就开始采集驾驶员的图像，并把图像数据存到数据存储电路 上，系统的算法处理器从数据存储电路中读入采集到的图像数据，并进行相应的处理，包括 人脸检测、人眼定位、嘴巴定位、人眼状态判别和嘴巴状态判别等，实现对驾驶员的疲劳状 态的判别。在判别到驾驶员处于疲劳驾驶状态时，系统处理器马上发出疲劳报警信号给语 音控制器，使得系统能及时地通过语音芯片进行报警从而唤醒驾驶员，从而降低因疲劳驾 驶造成的交通事故。同时系统把当前的疲劳驾驶时间，行车时间以及一些汽车的行车状态记录并存储下来，并通过串口控制的GPRS模块把有关行车信息及时地通过短信形式发送 给交通管理等相关部门，以达到预防事故的目的。图3是本发明中算法处理器的疲劳检测算法流程图，其算法流程如下在摄像头 采集到图像的基础上，首先进行人脸的检测与定位；当定位到人脸后，再查找人眼区域和嘴 巴区域；在查找到人眼区域和嘴巴区域的基础上，对人眼状态及嘴巴状态进行判断，从而判 断出驾驶员是否处于疲劳驾驶状态。为了提高系统的实时处理能力，系统采用了流水线的 方式实现该检测算法。根据人之疲劳，首先是脑之疲劳，它的表象是人在瞬间失去平衡，躯体或前仰后 合，或左右摇摆，头面部姿态失常或猛然顿首，或打哈欠打盹，或眼睑闭合停闪，视物模糊， 分辩迟钝等机理。确定以面部疲劳的表情为基准，通过动态检测和综合分析面部的眼睛状 态和嘴巴状态的变化规律，建立数学模型，实时准确地检测疲劳状态，并发出声光警示或强 制停车。当驾驶员疲劳时报警装置在频闪红灯的同时将以“你已疲劳，赶快休息”高声警示 三遍，既可提醒驾驶员注意安全驾驶，也必将引起其他乘车人警觉，督促驾驶员休息，以避 免发生交通事故。发明提出的疲劳检测算法包括一种高精度的人脸检测算法和一种高可靠的疲劳 检测算法。一、基于时_空域约束的优化Adaboost高精度人脸检测算法人脸检测是基于图像特征的疲劳状态检测技术的前提，现有的疲劳检测算法在检 测人脸时一般采用肤色检测算法或灰度聚类算法。但这类算法易受光线变化、类肤色物体 干扰或复杂背景干扰的影响，环境适应性较差。而Adaboost人脸检测算法以人脸几何结构 特征为检测目标，不需要获取人脸的颜色信息，不受光线变化、类肤色物体干扰或复杂背景 干扰的影响，环境适应性强，是一种有效的人脸检测算法。然而，Adaboost人脸检测算法采 用了大量的浮点运算和循环结构，在嵌入式平台(如DSP)下运算效率很低；同时由于在训 练过程中负样本选择的有限性，以及在检测过程中多窗口、多尺度遍历的人脸搜索方式，导 致传统的Adaboost算法误检率较高，这给高精度人脸检测的实现带来了很大的挑战。在进行疲劳检测时，人脸检测存在两个前提条件，一是待检测的人脸只有一个，即 驾驶员；二是人脸的空间位置变化不大，也即驾驶员在正常驾驶过程中头部的位置变化不 大。在这两个前提条件下，本文提出了基于时-空域约束的优化Adaboost高精度人脸检测 算法。基于时-空域约束的优化Adaboost高精度人脸检测算法的基本原理是第一，设计时间域约束条件，具体是采用帧差法获取目标运动区域，从而预测当前 帧目标出现的可能位置，然后在该位置附近设计目标检测窗口进行人脸检测，由于该检测 窗口要远小于整个视频帧的尺寸，因此在该检测窗口的约束下可以去除大量的冗余窗口检 测，从而提高Adaboost人脸检测的速度，并且避免了在非人脸区域进行人脸检测时可能出 现的误检现象。第二，在检测到人脸时，设计空间域约束条件，具体是依据前一帧检测到的人脸实 际尺寸，限制当前帧人脸目标的最大尺寸和最小尺寸，也即约束人脸检测的尺度空间。第三，设计人脸五官分布几何约束条件，对检测到的人脸进行筛选，如果有满足几 何约束条件的人脸，则提前跳出多窗口多尺度搜索流程，这样不仅降低误检率，也极大地提高Adaboost人脸检测的速度。算法的具体流程如图4所示。基于时-空域约束的优化Adaboost高精度人脸检测算法的具体实现方法是(1)获取运动区域运动目标检测方法主要有背景减除法、相邻帧差法、光流法等。其中，相邻帧差法 运算量小、速度快、易于实现，在运动目标检测中得到广泛应用。其实现过程为stepl取相邻两帧图像Ik^ Ik,计算帧间绝对灰度差图像D(k, k_1}。st印2确定自适应阈值T。计算绝对灰度差图像的均值m，并将其乘以一个加权系 数t，得到自适应阈值T = mXt。t用于描述场景的变化程度，取值范围为OSt <30。实 验中取t = 10。st印3获取运动区域Mk。
权利要求
基于数字视频的驾驶员疲劳状态检测系统，包括视频DSP、摄像头，数据存储电路、程序存储器、时钟芯片、键盘和语音芯片，其特征在于摄像头与视频DSP中的I2C控制器连接；数据存储电路由两组SDRAM构成；时钟芯片与视频DSP中的时钟控制器连接；键盘与视频DSP中的键盘控制器连接；语音芯片与视频DSP的语音控制器连接。
2.根据权利要求1所述的基于数字视频的驾驶员疲劳状态检测系统，其特征在于所述 的摄像头处设有红外光源和红外滤镜，红外光源采用红外二极管构成，红外滤镜尺寸与摄 像头尺寸一致。
3.根据权利要求1所述的基于数字视频的驾驶员疲劳状态检测系统，其特征在于所述 的摄像头为CMOS或CCD。
4.基于数字视频的驾驶员疲劳状态检测方法，其特征在于其算法流程为在摄像头采 集到图像的基础上，首先进行人脸的检测与定位；当定位到人脸后，再查找人眼区域和嘴巴 区域；在查找到人眼区域和嘴巴区域的基础上，对人眼状态及嘴巴状态进行判断，从而判断 出驾驶员是否处于疲劳驾驶状态，采用基于时-空域约束的优化Adaboost高精度人脸检测 算法和基于空_频域特征融合与SVM分类的高可靠疲劳检测算法。
5.根据权利要求4所述的基于数字视频的驾驶员疲劳状态检测方法，其特征在于基于 时_空域约束的优化Adaboost高精度人脸检测算法的具体步骤为(1)获取运动区域采用相邻帧差法检测运动区域，帧差阈值依据绝对灰度差图像的均值自适应选取。(2)求取当前帧人脸可能位置获取运动区域后，采用8-邻接连通方法进行连通域标示，选择连通域面积最大的一个 作为人脸运动区域。如果该区域面积大于设定面积阈值，则定义该区域的左上角位置为当 前帧人脸的可能位置；否则，判定人脸位置未移动，此时认定前一帧的人脸可能位置即为当 前帧的人脸可能位置。(3)Adaboost搜索窗口约束依据前一帧检测到的人脸实际尺寸和当前帧人脸可能位置，设计当前帧Adaboost人 脸检测的搜索窗口约束条件。(4)Adaboost搜索尺度约束依据前一帧检测到的人脸实际尺寸，设计当前帧Adaboost人脸检测的搜索尺度约束 条件。(5)人脸五官几何位置约束依据人脸的“三庭五眼”几何规则，设计待检测人脸的五官几何位置分布约束条件。
6.根据权利要求4所述的基于数字视频的驾驶员疲劳状态检测方法，其特征在于基于 空_频域特征融合与SVM分类的高可靠疲劳检测算法的具体步骤为(a)几何特征的提取方法是stepl提取双眼、鼻子、嘴巴相互之间的距离、角度等几何特征，用于描述头部的位置；st印2提取双眼、嘴巴的闭合轮廓线，并细化为单像素曲线；st印3用链码描述双眼轮廓和嘴巴轮廓；st印4依据双眼轮廓线的链码表示，提取反映双眼上下眼睑距离和曲率的几何特征，用 于描述眼睛的状态；st印5依据嘴巴轮廓线的链码表示，提取反映嘴巴上下嘴唇距离和曲率的几何特征，用 于描述嘴巴的状态；(b)频谱特征的提取方法是stepl按设定的尺寸裁剪双眼区域图像、嘴巴区域图像；st印2分别对双眼区域图像和嘴巴区域图像进行快速二维傅里叶变换，得到对应图像 的频谱图；step3提取频谱特征，这里先将频谱图的原点调整到图像中心，即将频谱能量集中到图 像的中心区域，以便于提取频谱特征；(c)提取到空-频域疲劳状态特征后，采用SVM方法进行疲劳特征分类，在训练阶段，选 取尽可能多的正样本和负样本，提取空_频域疲劳状态特征，分别进行SVM训练，SVM训练 采用一对一的分类方法，选择径向基函数作为SVM的核函数；(d)在疲劳识别阶段，提取当前帧人脸图像的空-频域疲劳状态特征，分别送入对应的 SVM分类器，将几何特征和频谱特征的分类结果进行融合判决。
7.根据权利要求4所述的基于数字视频的驾驶员疲劳状态检测方法，其特征在于该方 法按电路功能结构可分为图像采集存储模块、图像处理模块和人机交互接口模块三个主要 的功能模块。
8.根据权利要求4所述的基于数字视频的驾驶员疲劳状态检测方法，其特征在于算法 处理器主要由人脸检测模块、人眼检测模块、嘴巴检测模块、特征提取与分类模块组成。
全文摘要
本发明公开了一种基于数字视频的驾驶员疲劳状态检测方法。该方法在摄像头采集到图像的基础上，首先进行人脸的检测与定位；当定位到人脸后，再查找人眼区域和嘴巴区域；在查找到人眼区域和嘴巴区域的基础上，对人眼状态及嘴巴状态进行判断，从而判断出驾驶员是否处于疲劳驾驶状态。采用了高精度的人脸检测算法和高可靠的疲劳检测算法，可以实现高精度、高可靠的疲劳状态检测功能。
文档编号G06K9/62GK101950355SQ20101027556
公开日2011年1月19日 申请日期2010年9月8日 优先权日2010年9月8日
发明者刘通, 李沛秦, 谢剑斌, 闫玮 申请人:中国人民解放军国防科学技术大学