基于多元信息融合的驾驶员疲劳监测装置及其监测方法

专利名称：基于多元信息融合的驾驶员疲劳监测装置及其监测方法
技术领域：
本发明属于数字图像信号处理应用领域和传感器应用领域，具体涉及基于多元信息融 合的驾驶员疲劳监测装置及其监测方法。
背景技术：
随着汽车消费的普及，交通安全已成为制约社会和谐发展的焦点问题。由于驾驶员疲 劳驾驶而造成的交通事故率的增长已成为社会普遍关注的一个热点，疲劳驾驶的司机在观 察、识别和进行车辆控制的能力上都显著下降，严重威胁着自身的安全和他人的生命。
据研究介绍，全世界每年因交通事故而导致的死亡人数也已经超过60万，造成的直接 经济损失约125亿美元。我国的汽车拥有量虽然只占到全世界的3%，但每年因交通事故造 成的死亡人数却占全世界的20%，多年来中国每年交通事故死亡数都超过10万人，位居世 界第一，这些事故多与疲劳驾驶有关。英国交通研究实验室认为:驾驶疲劳导致的道路交通 事故占全部交通事故的10%。更有研究表明在高速公路上，50%的交通事故是由于驾驶疲 劳引起。在美国，车祸已成为引起死亡和伤害的三大原因之一，在每年发生的200万交通 事故中，由于疲劳驾驶和因疲劳导致注意力不集中所致的车祸超过100万起。1995年美国 国家交通安全委员会NTSB(The National Transportation Safety Board)检査了 107起由驾驶员 造成的卡车交通事故，其中58起与驾驶员打盹驾驶有关。法国国家警察总署事故报告表明， 因疲劳瞌睡而发生车祸的，占人身伤害事故的14.9°/。，占死亡事故的20.6%。英国交通研 究实验室(Transport Research Laboratory)认为驾驶疲劳导致的路面交通事故占全部交通事 故率的10%。而在中国境内，来自湖南省交警总队最新统计数据表明，仅从2005年5月 下旬至7月上旬，在湖南省内高速公路共发生事故55起，造成34人死亡，81人受伤，其 中因疲劳驾驶已引发交通事故13起，造成13人死亡，29人不同程度受伤。即使在广州市 区中心，疲劳驾驶也时刻危及到人们的生命财产安全，如2005年4月16日，广州市197 路公共汽车由于驾驶员疲劳驾驶，三辆公共汽车连环相撞，造成30名乘客和1名司机不同 程度受伤的事故。
基于多源信息融合的驾驶员疲劳特征识别理论与方法是从主动安全出发的研究的驾驶 员疲劳特征理论方法。它综合了驾驶员的各种疲劳特征，它利用传感器测量驾驶员驾驶时 方向、踏板等，疲劳检测中先进的PERCLOS标准，驾驶员视点跟踪等信息进行融合，对 驾驶员的疲劳状态进行判别与预警。
研究表明， 一个处于疲劳状态的人会表现出特定的视觉行为，这些行为容易通过诸如眼睛、头部、面部表情等视觉特征的改变来观察。基于这些视觉特征，利用摄像机和计算 机视觉技术对司机的视觉行为进行监测。该方法不会对司机的驾驶行为带来任何干扰，因 此成为这一领域现行研究的热点。PERCL0S (Percent Eyelid Closure眼睛闭合时间占特 定时间的百分率)是此领域中的公认的最具潜力的检测疲劳的方法之一，目前大部分研究 驾驶疲劳的机构都采用PERCL0S (Percent Eyelid Closure眼睛闭合时间占特定时间的百 分率)作为生理疲劳程度的指标。根据美国联邦公路管理局和汽车联合会资助的研究结果 表明 一般情况下人们眼睛闭合的时间在O. 12—0.13秒之间，驾驶时若眼睛皮和时间达到 0. 15秒就很容易发生交通事故。但是其在实际应用中，这种方法还是存在着很多问题① 不同体质和生活习惯的驾驶员的PERCLOS有很大不同，因此,它的误判率较高;②它是一种 多重的非严格的对象跟踪，车内照明条件的变化和头部的移动可导致预测不准甚至失败； ③当头部未正对摄像头时，无法识别眼部特征；④驾驶员戴墨镜时无法进行PERCLOS检测。 另一方面，监测驾驶员注视方向也是有效的方法之一，通过摄像头获得眼睛的图像，对眼 球进行建模，眼球中心与眼球表面亮点的连线即为驾驶员视线的方向，通过判别驾驶员的 视线是否在偏离正常范围作为判别驾驶员是否疲劳的特征之一，但是此方法也同样存在着 与PERCLOS测量时所发生的问题。
也有研究表明，驾驶员驾驶时方向、踏板等的运动参数与驾驶员的疲劳程度具有一定 的联系，如方向盘较长时间不动，说明驾驶员在打瞌睡借助仪器对驾驶行为和状态进行实 时检测和客观评价。因此安装方向盘，踏板运动传感器可监视驾驶员驾车动作的稳定性和 协调性；安装车轴转向角速度传感器并且检测转向灯时候开启可监视行驶路线有所偏离时 驾驶员的转向操作，从而监测驾驶员的驾驶员的疲劳状态。但从实际来说单一的检测方法 还无法做到十全十美，在准确率上与理想的状态存在一定的差距。
因此，本装置采用基于多源信息融合的驾驶员疲劳特征识别理论与方法是从主动安全 出发的研究的驾驶员疲劳特征理论方法，综合了驾驶员的各种疲劳特征，利用传感器测量 驾驶员驾驶时方向、踏板，利用图像处理的手段检测PERCLOS系数和驾驶员视线方向的 信息后，通过对驾驶员视线信息、眼状态信息、以及驾驶员驾驶时方向、踏板的行为信息 进行融合，建立的驾驶员疲劳状态判决架构，准确地监测驾驶员的疲劳状态。

发明内容
本发明的目的在于克服现有技术存在的上述不足，提供基于多元信息融合的驾驶员疲 劳监测装置及其监测方法，利用信息融合技术，将车辆现有电子控制装置的运行工况数据和 疲劳检测方法紧密结合起来,使疲劳驾驶检测技术得到更进一步的发展和提高，能客观、实 时、快速准确地判断出驾驶员的疲劳状态，最大限度的避免疲劳驾驶所引起的交通事故。
6本发明的基本原理如下本装置通过摄像头实时采集驾驶室图像，采用人脸检测、人 眼的识别定位、基于计算机视觉理论的眼状态判别等模式识别理论，综合运用图像处理方
法，实时地判断驾驶员的眼状态，并记录闭眼频率以获取PERCLOS指标。同时，在前面进 行的采用人脸检测、人眼的识别定位所得出的眼睛图像的基础上，结合人机交互技术，利 用矩形红外LED光源帮助成像，有效地计算出司机的视点，建立视点跟踪的具体算法模型， 用根据眼睛的特征和位置以及其他的线索来检测用户注视的方向的变化。通过安装在方向 盘和踏板的角度传感器和压力传感器测量驾驶员驾驶时方向、踏板等的运动参数， 从驾驶员的驾驶行为上判断其疲劳状态。最后，采用信息融合技术动态的对采集的数据 进行评估得出驾驶员的疲劳状态。
本发明的目的通过如下技术方案实现
一种基于多元信息融合的驾驶员疲劳监测装置，包括数字信号处理器，带有滤光片的 摄像头，安装在汽车的挡风玻璃的矩形红外LED光源模块，扬声器模块和由角度传感器和 压力传感器组成的传感器模块，所述摄像头、矩形红外LED光源模块、扬声器模块和传感 器模块分别与数字信号处理器连接；所述数字信号处理器用于接收并处理由摄像头和传感 器模块输入的数据，通过基于多元信息融合的驾驶员疲劳监测的监测算法，计算出驾驶员 的疲劳状态，如果驾驶员处于疲劳，则输出信号到扬声器模块；所述矩形红外LED光源模 块与数字信号处理器连接；带有滤光片的摄像头用于采集驾驶员的头部范围图像数据并输 入到数字信号处理器，其采集数据用于眼睛特征识别步骤和视线跟踪步骤；所述矩形红外 LED光源模块包括安装在汽车挡风玻璃的四个角上的高亮红外LED，发射的红外光通过人 眼瞳孔的反射到摄像头之上并在摄像头采集的图像上产生四个光斑，用于视线跟踪辅助， 是对驾驶员的视线方向进行跟踪的信号产生模块，用于视线跟踪步骤；所述由角度传感器 和压力传感器组成的传感器模块包括角度传感器和压力传感，安装在方向盘上的角度传感 器和压力传感器测量方向盘转动情况和驾驶员是否有抓紧方向盘、安装在脚踏板上的压力 传感器测量脚踏板的使用状态，并把数据输入到数字信号处理器进行处理，用于驾驶行为 监测步骤；所述的扬声器模块接收数字信号处理器发出的驾驶员疲劳判别结果信号，如果 为疲劳状态，则发出声音警告疲劳中的驾驶员。
上述的基于多元信息融合的驾驶员疲劳监测装置中，所述与数字信号处理器连接并带 有滤光片的摄像头，在摄像头的镜头上装有红外滤光片，把日光干扰滤除，只采集由矩形 红外LED光源模块发出的红外光产生的图像信息，通过SVHS视频接口发送图像数据到数 字信号处理器进行处理。
上述的基于多元信息融合的驾驶员疲劳监测装置中，所述矩形红外LED光源模块包括 安装在汽车的挡风玻璃的四个角上的四个高亮红外LED,形成矩形排列并在人眼虹膜的反射作用下，在人眼瞳孔四周产生四个亮点，由带有滤光片的摄像头采集其图像并输入到数 字信号处理器进行计算，判定视线方向的改变。
上述的基于多元信息融合的驾驶员疲劳监测装置中，所述由角度传感器和压力传感器 组成的传感器模块包括角度传感器和压力传感器，安装在方向盘上的角度传感器和压力传 感器测量方向盘转动情况和驾驶员是否有抓紧方向盘、安装在脚踏板上的压力传感器测量 脚踏板的使用状态，通过RS232接口把数据输入到数字信号处理器进行处理，判断其驾驶 行为。
基于多元信息融合的驾驶员疲劳监测装置的监测方法，由眼睛特征识别、视线跟踪、 驾驶行为监测、疲劳特征判决四个部分块组成
(1)眼睛特征识别，其过程如下摄像头采集到头部图像数据并通过SVHS接口传送到 数字信号处理器，数字信号处理器对摄像头拍摄的图像进行平滑去噪声处理，去除造成干 扰的冗余信息，采用Viola方法检测和定位摄像头采集图像的人脸区域，再次使用Viola方 法检测和定位之前得到人脸区域内的人眼区域图像。对采集到的人眼区域图像进行2D-DCT 变换得到观察向量序列，把观察向量序列输入到已训练好的用于判断眼睛闭合的嵌入式隐 马尔可夫判别模型，计算睁眼和闭眼分类器产生该序列的似然值，根据此似然值判定眼睛 的睁闭状态。如果睁眼分类器的似然值比闭眼分类器的似然值大，则为睁眼状态，相反则 为闭眼状态。检测到人眼状态后，分时段记录判别为闭眼状态的帧数和采集到的帧总 数，并计算出眼睛闭合时间占特定时间的百分率的perclos系数，从而判断驾驶员的疲劳 程度。如果perclos系数超过正常状态值，则驾驶员处于疲劳状态，相反则处于正常状态。 (2)视线跟踪，其过程如下安装在汽车的挡风玻璃的矩形红外LED光源模块发出高 亮红外线，红外光源经人眼角膜反射后，在带有滤光片的摄像头采集的图像上形成高亮斑 点，称为普尔钦斑点。数字信号处理器通过SVHS接口接收由摄像头采集经红外光源照射后 的人脸图像，通过眼睛特征识别步骤中的人脸人眼定位处理得'到人眼区域，采用水平和垂 直灰度投影法定位瞳孔中心，并利用普尔钦斑点的几何特征检测其位置，然后对普尔钦斑 点进行灰度修正、平滑处理，通过几何计算求取瞳孔中心与普尔钦斑点的位置关系，从而 判别视线方向。通过计算在特定时间内视线不变的帧数占帧段总数的比例得出视线停留时 间比例，若视线停留时间比例过长，则判断驾驶员为长时间注视某个方向或者是视线没有 注视道路前方等情况，并认定为疲劳状态。
(3)驾驶行为监测，其过程如下通过安装在方向盘上的角度传感器和压力传感器， 监测方向盘的转动情况和驾驶员是否有抓紧方向盘，记录特定长时间段内的角度传感器和 压力传感器的数据变化情况，如果两传感器RS232接口输出到数字信号处理器的数据长时间 没发生变化，则可以判断驾驶员处于疲劳驾驶状态，没有操作方向盘。通过安装在脚踏板上的压力传感器，监测汽车脚踏板的使用状况，记录特定长时间段内的压力传感器的数据
变化情况，如果传感器通过RS232接口输出到数字信号处理器的数据长时间没发生变化，则 可以判断驾驶员处于疲劳驾驶状态，没有操作脚踏板。
(4)疲劳特征判决，其过程如下测量眼睛特征识别步骤、视线跟踪步骤、驾驶行为 监测步骤中判别驾驶员疲劳状态的基本可信度，即正确判断的概率；结合信息融合理论建 立疲劳特征判决架构，使用已有的贝叶斯推理扩充的D—S证据推理方法，利用Dempster组 合规则融合眼睛特征识别步骤、视线跟踪步骤、驾驶行为监测步骤的疲劳判断的基本可信 度得到联合基本可信度分配，从而建立准确的疲劳判决架构利用各模块的疲劳测量信息来 判断对驾驶员是否处于疲劳驾驶状态。如果驾驶员处于疲劳驾驶状态，数字信号处理器输 出信号到扬声器模块，此时扬声器模块发出声音来提醒驾驶员。
上述的监测方法中，所述用于判断眼睛闭合的嵌入式隐马尔可夫判别模型的训练过程 如下
(1) 采集一定数量的不同人群在不同时间、不同光照条件、不同距离、不同面部 表情、不同面部细节和不同脸部朝向条件下的闭眼和睁眼状态样本。
(2) 对步骤(1)中采集到的图像进行几何尺寸归一化处理和灰度均衡预处理，对两 类人眼图像进行采样并对每个采样窗进行2D-DCT变换，通过2D-DCT变换后的低频系数 构成观察向量序列。
(3) 设定嵌入式隐马尔可夫模型的超状态个数和每一个超状态中的子隐马尔可夫模型 状态数，根据设定的超状态个数和每个超状态内嵌入状态个数以及嵌入式隐马尔可夫模型 的结构，将步骤(2)中的人眼观察向量序列均匀分割。
(4) 根据步骤(3)中的状态数和图像均匀分割后得到的观察向量序列，初始化嵌入 式隐马尔可夫模型参数，通过双重嵌套的Viterbi算法对图像进行重新分割，用Baum-welch 算法重估嵌入式隐马尔可夫模型参数。当前后两次的迭代误差小于设定的阈值时，停止迭 代，得到所述的用于判断眼睛闭合的嵌入式隐马尔可夫判别模型。
上述的监测方法中，视线跟踪过程中所述的普尔钦斑点灰度值修正的方法如下以其 中一个普尔钦斑点P0为中心，对与P0相邻的8个像素A1 A8中的每个像素的灰度值进行 修正；以被修正像素为中心，取其周围相邻8个像素，寻找包括被修正的像素在内这9个 像素中的灰度最小值，将其替代被修正像素的灰度值；再对PO的灰度值进行修正，取P0， A1 A8这9个像素中的灰度最小值，将其替代PO的灰度值，另外三个普尔钦斑点的灰度 修正方法和P0相同。
上述的监测方法中，视线跟踪过程中所述的通过几何计算求取瞳孔中心与普尔钦斑点的位置关系来判别视线方向的过程如下设P0、 Pl、 P2、 P3为检测到的四个普尔钦斑点，
Q为瞳孔中心，利用定比分点公式求出P0 P3的对角线交点0的坐标，连结0Q， 0P0， 0P1， 0P2， 0P3， OP0 OP3把由点P0 P3连接成的矩形分割为四个区域。通过计算0Q处于哪个 区域，计算出相应的视线方向。
与现有技术相比，本发明的优点与积极效果在于
(1)基于多元信息融合的驾驶员疲劳监测装置的开发，采用的数字信号处理器运算能 力高，开发的装置实时性、功耗低，符合车载装置的要求。
(2) 采用更加准确的PERCLOS系数测量方法，首先在人眼定位和人脸定位上采用当今 先进的VIOLA算法，而且在人眼状态的识别上采用准确率更高的嵌入式隐马尔可夫判别模型 的判别模型，这两方面大大地提升了装置的准确性。
(3) 利用带有滤光片的摄像头和安装在汽车的挡风玻璃的矩形红外LED光源模块， 运动图像处理和模式识别技术，在没有接触和影响到驾驶员地情况下，研究驾驶员在驾驶 的时候视线是否偏移了正常的视角范围，以判断驾驶员的疲劳状态。本方法结合人机交互 技术，利用红外光源帮助成像，可以有效地计算出司机的视线方向。
(4) 利用安装在方向盘上的角度传感器与安装在脚踏板上的压力传感器，测量驾驶员 的驾驶行为参数，增加装置对疲劳状态的判断依据，安装在方向盘上的角度传感器和和压 力传感器测量方向盘的转动情况以确定驾驶员是否操作方向盘和驾驶方向的偏离，在踏板 上的压力传感器检测驾驶员是否因瞌睡而失去对踏板的控制，完善驾驶员疲劳监测装置的 测量机制。
(5) 采用基于多源信息融合的方法综合驾驶员的各种疲劳特征，通过对驾驶员视线信 息、眼状态信息、以及驾驶员操作方向盘、踏板的行为信息进行融合，可以在不同光线、 背景、人脸姿势、面部细节等条件下，快速、准确地判别驾驶员精神状态。


图1是基于多元信息融合的驾驶员疲劳监测装置硬件总体结构框图。 图2是基于多元信息融合的驾驶员疲劳监测装置方法流程图。 图3是基于多元信息融合的驾驶员疲劳监测装置中PERCLOS系数检测流程图。 图4是人眼状态识别的嵌入式隐马尔可夫模型训练流程图。 图5是基于多元信息融合的驾驶员疲劳监测装置中驾驶员视线跟踪监测流程图。 图6是驾驶员视线跟踪监测的视线方向判别几何关系图。 图7是基于多元信息融合的驾驶员疲劳监测装置中多元信息融合的原理图。
具体实施例方式
下面结合附图及实施例对本发明的具体实施作进一步说明。
10的驾驶员疲劳监测装置的硬件实施方式
参见图1，本装置的硬件实施实施方式由五个模块组成，其中包括数字信号处理器和 分别与数字信号处理器连接并带有滤光片的摄像头、安装在汽车的挡风玻璃的矩形红外 LED光源模块、由角度传感器和压力传感器组成的传感器模块和扬声器模块。
1. 数字信号处理器
所述数字信号处理器选用TI公司的DSP处理器，接收并处理由摄像头和传感器模块 输入的数据，通过基于多元信息融合的驾驶员疲劳检测的监测算法，计算出驾驶员的疲劳 状态，如果驾驶员处于疲劳，则输出信号到扬声器模块。
2. 与数字信号处理器连接并带有滤光片的摄像头
所述与数字信号处理器连接并带有滤光片的摄像头选用，在摄像头的镜头上装有红外 滤光片，把日光干扰滤除，采集由矩形红外LED光源模块发出的红外光产生的图像信息， 通过SVHS视频接口发送图像数据到数字信号处理器进行处理。
3. 安装在汽车的挡风玻璃的矩形红外LED光源模块
所述安装在汽车挡风玻璃的四个角上的高亮红外LED，发射的红外光通过人眼瞳孔的 反射到摄像头之上并在摄像头采集的图像上产生四个光斑，是视线跟踪辅助装置，是对驾 驶员的视线方向进行跟踪的信号产生模块，用于视线跟踪步骤，由带有滤光片的摄像头采 集其图像并输入到数字信号处理器进行计算，判定视线方向的改变。
4. 由角度传感器和压力传感器组成的传感器模块
所述由角度传感器和压力传感器组成的传感器模块包括角度传感器和压力传感器，安 装在方向盘上的角度传感器和压力传感器测量方向盘转动情况和驾驶员是否有抓紧方向 盘、安装在脚踏板上的压力传感器测量脚踏板的使用状态，通过RS232接口把数据输入到 数字信号处理器进行处理，判断其驾驶行为。
5. 扬声器模块
所述扬声器模块接收数字信号处理器发出的驾驶员疲劳判别结果信号，如果为疲劳状 态，则发出声音警告疲劳中的驾驶员。
二. 基于多元信息融合的驾驶员疲劳监测装置的监测方法的实施 本装置的监测方法是在VC++编程环境下开发的，多元信息融合驾驶员疲劳监测装置
在基于CCS2的DSP处理器开发软件的环境下进行仿真与实现，工作步骤如流程图2，介绍 如下
所述的多元信息融合驾驶员疲劳监测装置的监测方法有四个部分组成眼睛特征识别 步骤，视线跟踪步骤，驾驶行为监测步骤，疲劳特征判决。眼睛特征识别装置，是图像处 理和模式识别方法提取驾驶员的眼睛闭合状态特征，计算PERCLOS系数，判断疲劳状态。
11视觉跟踪装置是通过图像处理、模式识别和几何计算方法提取驾驶员的视线方向特征数据， 判断疲劳状态。驾驶员行为监测装置是通过压力传感器和角度传感器提取驾驶员某些特定 驾驶行为的特征数据，通过这些行为数据判断疲劳状态。疲劳特征判决架构是把上述的疲 劳检测结果，通过D—S证据推理方法融合成一个疲劳判决架构以监测驾驶员的疲劳状态。 1.眼睛特征识别步骤快速准确地分析出驾驶员的PERCLOS系数，判别驾驶员疲劳状
态，流程图如图3所示，主要包含以下几个工作步骤
第一步，人脸区域定位，采集图像时，禾,摄像头固有功能对图像进行如灰度化、直
方图均衡化等处理，然后直接对图像进行搜索并定位出人脸。使用Viola方法进行检测并标 记出人脸在检测人脸时使用Cascade级联算法基于已训练好的类矩形分类器特征库来识别 人脸区域，本模块使用的分类器特征库由22级强分类器构成，而每个强分类器又由若干个 弱分类器构成，是通过长期采集的人脸图像库通过利用AdaBoost算法进行特征的筛选和特 征训练得出来的。
第二步，人眼定位及确认，将定位出的人脸图像再次利用Viola方法人眼进行定位。本 工作步骤在人脸区域定位步骤检测出人脸区域的基础上，使用Viola方法进行检测并标记出 人眼在检测人脸时使用Cascade级联算法基于已训练好的类矩形分类器特征库来识别人脸 区域，本步骤使用的分类器特征库由22级强分类器构成，而每个强分类器又由若干个弱分 类器构成，本步骤所使用的眼睛训练库是采用有OPENCV提供的右眼特征库，是通过采样 7000多幅人脸图像的右眼区域并通过AdaBoost算法进行特征的筛选和特征训练所得。
第三步，眼睛状态判别，在定位到人眼区域后，判断人眼区域的人眼状态是睁开还是 闭合，本工作步骤采用基于2D-DCT特征的嵌入式隐马尔可夫模型(EHMM算法模式)对人 眼状态进行识别。
A. 判别模型的建立
如图4所示，人眼状态识别EHMM模型是用概率最大可能性评估标准进行训练，为睁眼 和闭眼的图像状态确定一组经过优化的EHMM模型参数。针对人眼的相关特征建立相应的 嵌入式隐马尔可夫模型，对两个眼状态模型都用多幅图像进行训练，并对人眼从上到下进 行分割，包括上中下3个状态(超状态)，划分每一个状态从左到右建立4个嵌入状态，对不 同的光照、不同的头偏转角度等环境下采集到的睁眼和闭眼图像库进行训练根据状态数 和图像均匀分割后得到的观察向量，初始化嵌入式隐马尔可夫模型参数，通过双重嵌套的 Viterbi算法，对图像进行重新分割；用Baum-welch算法重估模型参数。当前后两次的迭代 误差小于某个设定的阈值时，迭代停止，得出睁眼和闭眼的EHMM评估模型。
B. 眼状态识别
进行眼状态识别时，先将待识别眼睛图像分块，并提取窗口经过2D-DCT变换以后的图
12像构造观察向量序列，然后输入到嵌入式隐马尔可夫模型，计算睁眼和闭眼分类器产生该 序列的似然值(相似程度)，根据此似然值(相似程度)判定眼睛的睁闭状态，具有最大似 然值的模型即为待识别眼睛图像所属对象。
第四步，PERCLOS系数的确定，在图像处理速度达到20帧/s的情况下，PERCLOS 可以转换为闭眼的帧占特定时间段帧总数的比例，所以在检测到人眼状态后，在一定长的 时间内分别记录判别状态为闭眼的帧数和采集到的帧总数，计算出PERCLOS系数来判断 出驾驶员的驾驶状态。
2.视线跟踪步骤，计算跟踪视线的注视方向和通过计算在特定时间内视线不变的帧数 占帧段总数的比例，得出视线停留时间比例，判断驾驶员疲劳状态本步骤(只对睁眼区域 进行视线的跟踪)，流程图如图5所示，主要包含以下4个工作步骤
第一步，瞳孔中心定位(在图像中检测定位瞳孔中心的精确坐标)由于在眼睛特征识 别装置已经对人脸的右眼区域进行定位，在视线跟踪的检测中直接对眼睛特征识别步骤中 所得出的右眼区域进行视线跟踪的图像处理，使用水平和垂直灰度投影法来定位瞳孔中心。 首先对人眼灰度图像进行平滑处理，接着做水平和垂直的灰度投影，寻找在瞳孔中心的垂 直方向和水平方向上灰度投影的极小值并记录坐标，此坐标为瞳孔中心的坐标。
第二步，普尔钦斑点的定位矩形红外LED光源由于人眼虹膜的反射作用，由摄像头 采集到的图像上可以看到在人眼瞳孔四周也会相应出现四个亮点(普尔钦斑点)，经过分析
图像上普尔钦斑点具有以下几何特征:a.位置位于瞳孔周围，与瞳孔中心距离小于30像素；
b.大小为5 20个像素，灰度值在100以，表现为突出的亮点；c.眼部区域中，四个普 尔钦斑点处灰度值突变最大；d.四个普尔钦斑点之间的距离在8 18像素范围内，且成矩
形或类似矩形关系。根据这些特征定位四个普尔钦斑点在第一步工作步骤上定位的瞳孔 中心周围距离小于30个像素范围内，搜索满足普尔钦斑点几何特征的像素点集；再用
Laplace算子对进普尔钦斑点行巻积，用Laplace巻积得到的值越大，说明该处灰度的突 变越大，L即lace算子巻积运算后具有最大值的四个像素，即为四个普尔钦斑点，且四个 普尔钦斑点顺次连接，会形成矩形的形状。
第三步，根据瞳孔中心与图像中因矩形红外LED光源所形成普尔钦斑点的位置关系， 计算出视线的方向。通过几何计算，确定LED光源所引起的矩形与采集图像的一一对应关 系，即四个角的LED与人眼图像中四个亮点相对应，视线方向与瞳孔中心相对应。如图6 所示，设P0、 Pl、 P2、 P3为检测到的四个普尔钦斑点，Q为瞳孔中心，利用定比分点公式 求出P0 P3的对角线交点0的坐标，连结0Q， 0P0， 0P1， 0P2， 0P3， 0P0 0P3把由点P0 P3连接成的矩形分割为四个区域，计算0Q处于哪个区域，便可计算驾驶员的视线方向。
第四步，计算视线停留时间比例。在图像处理速度达到20帧/s的情况下，视线停留时间可以转换为闭眼的帧占特定时间段帧总数的比例，通过计算出视线停留时间比例，判断 出驾驶员的驾驶状态，如果长时间注视某个方向或者是视线没有注视道路前方等情况，判 定为疲劳状态。
3. 驾驶员行为监测步骤汽车方向盘的操作参数的测量，通过安装在方向盘上的角度 传感器和压力传感器可以监测到方向盘的转动情况和驾驶员是否有抓紧方向盘，通过驾驶 员对方向盘的操作情况的监测来判断疲劳状态。汽车脚踏板的操作参数测量通过安装在 脚踏板上的压力传感器可以测量脚踏板的使用状态，判断驾驶员的疲劳状态。以驾驶员对 方向盘和脚踏板的驾驶行为作为判断疲劳状态的依据输入到数字信号处理器进行处理。
4. 基于信息融合理论建立的疲劳判决架构(原理图如图7所示)由于测量的不精确以 及环境噪声和人为干扰等因素，会增加被融合的数据不确定性，作为贝叶斯推理扩充的D —S证据推理方法能很好的把握问题的未知性和不确定，基于信息融合理论建立的疲劳判决 架构包含以下工作步骤
第一步，根据D-S证据理论，首先定义一个空间0，称为识别框架，是由相互排斥的命题
组成的有限完备集。 的幂集表示为20 ，是0所有子集的集合。对于20中的任何命题A, 定义映射m:20 — [ 0， l]为基本概率分配函数(Basic Probability Assignment, BPA)， 也称BPA函数，m满足
(1) 0《m(A )《1;
(2) m(O) =0， O表示空集，即不可能的命题；
(3) ZAe0m (A) = 1。
2.根据Dempster规则，通过Dempster规则来组合不同信息源产生的证据，该规则是在假设 信息源独立的条件下进行的。对于独立的多个证据，组合运算可以通过正交和表述如下
m:附l十附2十附3......十謡
'式中，④表示组合运算。对于n个BPA函数mi ( i =1， 2, n) , De卿ster组合规则 定义如下 w(李O, ^ = <D
<formula>formula see original document page 14</formula>
令K-I^Ai^fl脂'(^)^^0，式中K表示融合过程中各证据之间冲突程度，1 - K称为归
一化因子，避免在组合过程中将非零的概率分配给空集。
第三步，测量眼睛特征识别步骤、视线跟踪步骤、驾驶行为监测步骤中判别驾驶员疲劳状态的基本可信度，即正确判断的基本概率；结合信息融合理论，使用上述步骤的D—S 证据推理方法和Dempster组合规则融合眼睛特征识别步骤、视线跟踪步骤、驾驶行为监测 步骤的疲劳判断的基本可信度得到联合基本可信度分配，从而建立准确的疲劳判决架构利 用各模块的疲劳测量信息，判断对驾驶员是否处于疲劳驾驶状态。如果驾驶员处于疲劳驾 驶状态，数字信号处理器输出信号到扬声器模块，此时扬声器模块发出声音来提醒驾驶员。
权利要求
1.一种基于多元信息融合的驾驶员疲劳监测装置，其特征在于包括数字信号处理器，带有滤光片的摄像头，安装在汽车的挡风玻璃的矩形红外LED光源模块，扬声器模块和由角度传感器和压力传感器组成的传感器模块，所述摄像头、矩形红外LED光源模块、扬声器模块和传感器模块分别与数字信号处理器连接；所述数字信号处理器用于接收并处理由摄像头和传感器模块输入的数据，当驾驶员处于疲劳时，则输出信号到扬声器模块；带有滤光片的摄像头用于采集驾驶员的头部范围图像数据并输入到数字信号处理器；所述矩形红外LED光源模块包括安装在汽车挡风玻璃的四个角上的红外LED，该四个红外LED发射的红外光通过人眼瞳孔的反射到所述摄像头之上并在摄像头采集到的图像上产生四个光斑；所述传感器模块包括角度传感器和压力传感器，其中安装在方向盘上的角度传感器和压力传感器用于测量方向盘转动情况和驾驶员是否有抓紧方向盘，安装在脚踏板上的压力传感器测量脚踏板的使用状态，传感器模块把数据输入到数字信号处理器进行处理，用于驾驶行为监测；所述扬声器模块接收数字信号处理器发出的驾驶员疲劳判别结果信号，如果为疲劳状态，则发出声音警告疲劳中的驾驶员。
2、 根据权利要求1所述的基于多元信息融合的驾驶员疲劳监测装置，其特征在于所述 摄像头的镜头上装有用于滤除日光的红外滤光片，摄像头只采集由矩形红外LED光源模块 发出的红外光产生的图像信息，并通过SVHS视频接口发送图像数据到数字信号处理器进 行处理。
3、 根据权利要求1所述的基于多元信息融合的驾驶员疲劳监测装置，其特征在于所述 矩形红外LED光源模块包括安装在汽车的挡风玻璃的四个角上的四个红外LED,四个红外 LED形成矩形排列并在人眼虹膜的反射作用下，在人眼瞳孔四周产生四个亮点，由摄像头 采集其图像并输入到数字信号处理器进行计算，判定视线方向的改变。
4、 根据权利要求1所述的基于多元信息融合的驾驶员疲劳监测装置，其特征在于所述 传感器模块通过RS232接口把数据输入到数字信号处理器进行处理。
5、 基于多元信息融合的驾驶员疲劳监测装置的监测方法，其特征在于由眼睛特征识别 过程、视线跟踪过程、驾驶行为监测过程和疲劳特征判决四个部分组成，所述眼睛特征识别过程包括摄像头采集到头部图像数据并通过SVHS接口传送到数字 信号处理器，数字信号处理器对摄像头拍摄的图像进行平滑去噪声处理，去除造成干扰的 冗余信息，采用Viola方法检测和定位摄像头采集图像的人脸区域，再次使用Viola方法检 测和定位之前得到人脸区域内的人眼区域图像；对釆集到的人眼区域图像进行2D-DCT变换 得到观察向量序列，把观察向量序列输入到已训练好的用于判断眼睛闭合的嵌入式隐马尔 可夫判别模型，计算睁眼和闭眼分类器产生该序列的似然值，根据此似然值判定眼睛的睁 闭状态，如果睁眼分类器的似然值比闭眼分类器的似然值大，则为睁眼状态，相反则为闭眼状态；检测到人眼状态后，分时段记录判别为闭眼状态的帧数和采集到的帧总数， 并计算出眼睛闭合时间占特定时间的百分率的perclos系数，从而判断驾驶员的疲劳程 度，如果perclos系数超过正常状态值，则驾驶员处于疲劳状态，相反则处于正常状态；所述视线跟踪过程包括安装在汽车的挡风玻璃的矩形红外LED光源模块发出红外线， 红外光源经人眼角膜反射后，在带有滤光片的摄像头采集的图像上形成亮斑点，称为普尔 钦斑点；数字信号处理器通过SVHS接口接收由摄像头采集经红外光源照射后的人脸图像， 通过所述眼睛特征识别过程中的人脸人眼定位处理得到人眼区域，采用水平和垂直灰度投 影法定位瞳孔中心，并利用普尔钦斑点的几何特征检测其位置，然后对普尔钦斑点进行灰 度修正、平滑处理，通过几何计算求取瞳孔中心与普尔钦斑点的位置关系，从而判别视线 方向；通过计算在特定时间内视线不变的帧数占帧段总数的比例得出视线停留时间比例， 若视线停留时间比例超过设定值，则判断驾驶员为长时间注视某个方向或者是视线没有注 视道路前方，并认定为疲劳状态；所述驾驶行为监测过程包括通过安装在方向盘上的角度传感器和压力传感器，监测 方向盘的转动情况和驾驶员是否有抓紧方向盘，记录设定长时间段内的角度传感器和压力 传感器的数据变化情况，如果传感器RS232接口输出到数字信号处理器的数据在设定时间内 没发生变化，则判断驾驶员处于疲劳驾驶状态，没有操作方向盘；通过安装在脚踏板上的 压力传感器，监测汽车脚踏板的使用状况，记录特定长时间段内的压力传感器的数据变化 情况，如果传感器通过RS232接口输出到数字信号处理器的数据设定时间内没发生变化，则判断驾驶员处于疲劳驾驶状态，没有操作脚踏板；所述疲劳特征判决包括测量所述眼睛特征识别过程、视线跟踪过程、驾驶行为监测 过程中判别驾驶员疲劳状态的基本可信度，即正确判断的概率；结合信息融合理论建立疲 劳特征判决架构，使用现有的贝叶斯推理扩充的D—S证据推理方法，利用Dempster组合规 则融合眼睛特征识别过程、视线跟踪过程、驾驶行为监测过程的疲劳判断的基本可信度得 到联合基本可信度分配，从而建立准确的疲劳判决架构并利用各个过程的疲劳测量信息来 判断对驾驶员是否处于疲劳驾驶状态，如果驾驶员处于疲劳驾驶状态，数字信号处理器输 出信号到扬声器模块，此时扬声器模块发出声音来提醒驾驶员。
6、根据权利要求5所述的方法，其特征在于眼睛特征识别过程中用于判断眼睛闭合的 嵌入式隐马尔可夫判别模型的训练过程如下(1) 采集不同人群在不同时间、不同光照条件、不同距离、不同面部表情、不 同面部细节和不同脸部朝向条件下的闭眼和睁眼状态样本；(2) 对步骤(1)中采集到的图像进行几何尺寸归一化处理和灰度均衡预处理，对两类人眼图像进行采样并对每个采样窗进行2D-DCT变换，通过2D-DCT变换后的低频系数 构成观察向量序列；(3) 设定嵌入式隐马尔可夫模型的超状态个数和每一个超状态中的子隐马尔可夫模型 状态数，根据设定的超状态个数和每个超状态内嵌入状态个数以及嵌入式隐马尔可夫模型 的结构，将步骤(2)中的人眼观察向量序列均匀分割；(4) 根据步骤(3)中的状态数和图像均匀分割后得到的观察向量序列，初始化嵌入 式隐马尔可夫模型参数，通过双重嵌套的Viterbi算法对图像进行重新分割，用Baum-welch 算法重估嵌入式隐马尔可夫模型参数；当前后两次的迭代误差小于设定的阈值时，停止迭 代，得到所述用于判断眼睛闭合的嵌入式隐马尔可夫判别模型。
7、 根据权利要求5所述的方法，其特征在于视线跟踪过程中视线跟踪过程中所述的普 尔钦斑点灰度值修正的方法如下以其中一个普尔钦斑点PO为中心，对与P0相邻的8个 像素A1 A8中的每个像素的灰度值进行修正；以被修正像素为中心，取其周围相邻8个像 素，寻找包括被修正的像素在内这9个像素中的灰度最小值，将其替代被修正像素的灰度 值；再对PO的灰度值进行修正，取PO， A1 A8这9个像素中的灰度最小值，将其替代PO 的灰度值，另外三个普尔钦斑点的灰度修正方法和PO相同。
8. 根据权利要求5所述的方法，其特征在于视线跟踪过程中所述的通过几何计算求取 瞳孔中心与普尔钦斑点的位置关系来判别视线方向的过程如下设PO、 Pl、 P2、 P3为检测 到的四个普尔钦斑点，Q为瞳孔中心，利用定比分点公式求出P0 P3的对角线交点0的坐 标，连结OQ， OP0， 0P1， OP2， 0P3， OP0 OP3把由点P0 P3连接成的矩形分割为四个区 域。通过计算OQ处于哪个区域，得出相应的视线方向。
全文摘要
本发明公开了一种基于多元信息融合的驾驶员疲劳监测装置及其监测方法，所述装置包括数字信号处理器，带有滤光片的摄像头，安装在汽车的挡风玻璃的矩形红外LED光源模块，扬声器模块和由角度传感器和压力传感器组成的传感器模块，所述摄像头、矩形红外LED光源模块、扬声器模块和传感器模块分别与数字信号处理器连接；所监测方法包括、视线跟踪、驾驶行为监测、疲劳特征判决四个过程，疲劳特征判融合眼睛特征识别、视线跟踪、驾驶行为监测的疲劳判断结果，准确判断驾驶员的疲劳状态。本发明利用信息融合技术，使疲劳驾驶检测技术得到更进一步的发展和提高，能客观、实时、快速准确地判断出驾驶员的疲劳状态，避免疲劳驾驶所引起的交通事故。
文档编号G08B21/06GK101540090SQ20091003861
公开日2009年9月23日 申请日期2009年4月14日 优先权日2009年4月14日
发明者倪向东, 梁铭炬, 秦华标 申请人:华南理工大学