一种驾驶员安全驾驶状态检测方法及装置制造方法
【专利摘要】一种驾驶员安全驾驶状态检测方法及装置，该方法的步骤为：（1）、实时检测驾驶员的当前视线方向及采集车辆行驶中驾驶员前方视野中的场景图像信号；（2）、根据视觉注意力计算模型，对采集到的当前场景图像信号进行处理，获得当前道路场景下驾驶员期望注意力分布；（3）、对步骤（1）中实时检测到的驾驶员当前视线方向与步骤（2）中计算得到的驾驶员期望注意力分布进行融合分析，判断当前驾驶员是否处于正常驾驶状态以及能否对突发的道路交通事件作出及时而适当的响应。该装置用来实施上述方法。本发明具有原理简单、易实现、可直接地反映出驾驶员真实驾驶状态、提高驾驶安全性等优点。
【专利说明】一种驾驶员安全驾驶状态检测方法及装置
【技术领域】
[0001]本发明主要涉及到车辆主动安全设计领域，特指一种驾驶员安全驾驶状态检测方法及装置。
【背景技术】
[0002]随着汽车工业的发展，汽车越来越成为社会生产与日常生活中的重要组成部分；与此同时，汽车安全问题也逐渐成为人们关注的焦点。据统计，道路交通事故中大约有75%是由于人为失误导致的，也就是由于驾驶员的个人因素导致的。具体又包括驾驶员对车辆运行环境估计不准，驾驶员反应滞后等等。因此，通过技术手段来检测驾驶员的驾驶状态是否安全，能够有效地提高道路交通的安全性。
[0003]目前，针对驾驶员的安全驾驶状态的检测技术可以分为三大类:第一类是基于驾驶员生理疲劳特征检测的方法，第二类是基于车辆相对于道路的运行关系判断的方法，第三类是基于刺激-反应监测的心理反应监测方法。
[0004]第一类方法，基于驾驶员生理疲劳特征检测的方法工作原理基于一个基本的假设:当驾驶员的精神状态不佳时，其驾驶状态也会不佳，从而不能安全地完成驾驶任务。通常可以用于检测的生理疲劳特征包括眼睛闭合度、脑电波、方向盘握力等。有从业者公布了一种基于单目视觉的驾驶员疲劳检测方法，就是利用检测驾驶员眨眼的频率来判断驾驶员的精神状态的。该方法通过在驾驶室仪表盘上方安装一个面向驾驶员脸部的摄像机，利用摄像机采集驾驶员脸部图像，对采集得到的每帧图像进行人脸检测与跟踪，在检测得到的人脸区域中进行人眼检测与定位，并利用左右眼睛区域进行人眼睁闭状态识别，最后通过连续帧的检测状态进行疲劳检测。另有从业者公开了一种通过连续检测驾驶员头部的异常晃动来进行驾驶员精神状态检测的方法及系统，工作原理是利用安装在驾驶员头枕位置的传感器来检测驾驶员头部晃动的频率和模式，从而从异常的晃动模式中判断驾驶员的精神状态。综上所述，这类方法通过驾驶员的疲劳状态来推断驾驶员的安全驾驶状态，存在以下三方面的问题:一是本身是间接检测方法，效果不可靠。仅仅以驾驶员的疲劳状态作为驾驶员安全驾驶状态的检测手段，不仅很难给出疲劳状态与驾驶员驾驶行为的安全性的直接对应关系，而且通过外在的生理特征判断是否疲劳本身就存在一定的不确定性。二是从疲劳状态来推断驾驶员的驾驶状态是否安全，能够检测的不安全状态是局限的。驾驶员的处于不安全的驾驶状态时，未必一定是处于疲劳状态。三是从疲劳状态来推断驾驶员的驾驶状态是否安全，及时性是很难保证的。当驾驶员处于疲劳状态时，驾驶行为本身已经非常不安全了。
[0005]第二类方法，基于车辆相对于道路的运行关系判断的方法工作原理是直接测量当前车辆与其他车辆以及与道路的关系来对即将发生的碰撞等事故进行预测。有从业者公开了一种基于单芯片的车道偏离提醒装置，即通过对车辆的非正常越道行驶动作来检测驾驶员的驾驶状态。这类方法的缺点一是通常只能在危险的交通事件即将发生了才给出判断，二是很难对正常的交通事件和异常的交通事件之间给出明确而客观的判别方法，比如正常的超车越道行为和异常的车道跑偏行为。
[0006]第三类方法，基于刺激-反应检测的方法的工作原理是利用特定的刺激模式对驾驶员心理反应进行评价。有从业者近期公开了一种通过视线捕捉技术进行驾驶员精神状态检测的方法。该方法首先生成一个人造的视觉刺激，然后使用视线捕捉技术来检测驾驶员是否注意到该刺激，从而评价驾驶员对当前出现的突发事件的判断能力。这类方法虽然能够直接判断驾驶员是否能对突发刺激做出反应，但是这类方法同样有以下缺点:一是这样做本身很容易分散驾驶员的注意力。二是特定模式刺激本身对驾驶员的心理活动产生了额外的刺激，增加了驾驶员的负担。
[0007]随着对交通事故的成因的深入研究，人们逐渐认识到导致交通事故重要原因是驾驶员处于非安全的驾驶状态。而不安全驾驶状态至少包括两个类型:一是疲劳驾驶导致的反应迟钝；二是并非疲劳驾驶，仅仅是驾驶员的注意力未得到合理分配。比如驾驶员本身的驾驶经验不足，驾驶习惯不好，初学者过于紧张等，而未注意到应该被注意的交通事件。又比如被其他诸如广告牌等目标吸引，看短信，思想走神等等。现有的驾驶员的安全驾驶状态的检测技术很难对第二类不安全驾驶状态进行检测。
[0008]多年的研究，人们对驾驶员的视线方向(注视点相对与驾驶员自身的指向)与道路场景以及道路交通事件的关系的理解越来越深入。正常的驾驶状态中，驾驶员应该能够在不同的道路场景和道路交通事件中进行合理的注意力分配与转换。如果驾驶员不能对随时出现的重要交通事件进行迅速反应，则其就处于危险或者异常的驾驶状态。
【发明内容】
[0009]本发明要解决的技术问题就在于:针对现有技术存在的技术问题，本发明提供一种原理简单、易实现、可直接地反映出驾驶员真实驾驶状态、提高驾驶安全性的驾驶员安全驾驶状态检测方法及装置。
[0010]为解决上述技术问题，本发明采用以下技术方案:
[0011]一种驾驶员安全驾驶状态检测方法，其步骤为:
[0012](I)、实时检测驾驶员的当前视线方向及采集车辆行驶中驾驶员前方视野中的场景图像
[0013](2)、根据视觉注意力计算模型，对采集到的驾驶员前方视野中场景图像信号进行处理，获得当前驾驶员前方视野场景下驾驶员期望注意力分布；
[0014](3)、对步骤(I)中实时检测到的驾驶员当前视线方向与步骤(2)中计算得到的驾驶员期望注意力分布进行融合分析，判断当前驾驶员是否处于正常驾驶状态以及能否对突发的道路交通事件作出及时而适当的响应。
[0015]作为本发明的进一步改进:采用定量的方式来评估驾驶员是否及时地对当前场景中的重要交通事件进行了反应；在任一时刻，定量评估具体是通过分析驾驶员的视线是否落在了场景中的重要的交通事件所在的区域，以及落入了比例和迅速程度来进行评判的。
[0016]作为本发明的进一步改进:利用一台视线捕捉设备实时检测驾驶员的当前视线方向，并通过一台车载前视摄像机实时采集车辆行驶中驾驶员前方视野中的场景图像信号。
[0017]作为本发明的进一步改进:所述步骤(2)中采用基于有意义交通事件和显著性的驾驶员注意力计算方法，具体步骤为:[0018](6.1)、启动图像采集，保存当前mXn大小的前视图像；
[0019](6.2)、生成三个动态数组Pl，P2，P3，以及用于存放中间数据的尺寸为mXn的三个矩阵:Mapl，Map2，Map3 ;前视图像包含三种驾驶员注视区域:第一类是交通事件相关的注视区域％，第二类是前视图像中的显著区域Rs，第三类是驾驶员经常注视的固定区域Rqf，矩阵Mapl，Map2，Map3用于存放着上述三类区域；
[0020](6.3)、确定Rw类型注意区域,并生成第一幅注意分布图Mapl ；
【权利要求】
1.一种驾驶员安全驾驶状态检测方法，其特征在于，步骤为: (1)、实时检测驾驶员的当前视线方向及采集车辆行驶中驾驶员前方视野中的场景图像?目号; (2)、根据视觉注意力计算模型，对采集到的当前道路场景图像信号进行处理，获得当前道路场景下驾驶员期望注意力分布； (3)、对步骤(1)中实时检测到的驾驶员当前视线方向与步骤(2)中计算得到的驾驶员期望注意力分布进行融合分析，判断当前驾驶员是否处于正常驾驶状态以及能否对突发的道路交通事件作出及时而适当的响应。
2.根据权利要求1所述的驾驶员安全驾驶状态检测方法，其特征在于，采用定量的方式来评估驾驶员是否及时地对当前场景中的重要交通事件进行了反应；在任一时刻，定量评估具体是通过分析驾驶员的视线是否落在了场景中的重要的交通事件所在的区域，以及落入了比例和迅速程度来进行评判的。
3.根据权利要求1所述的驾驶员安全驾驶状态检测方法，其特征在于，利用一台视线捕捉设备实时检测驾驶员的当前视线方向，并通过一台车载前视摄像机实时采集车辆行驶中驾驶员前方视野中的场景图像信号。
4.根据权利要求1所述的驾驶员安全驾驶状态检测方法，其特征在于，所述步骤(2)中采用基于有意义交通事件和显著性的驾驶员注意力计算方法，具体步骤为: (6.1)、启动图 像采集,保存当前mXn大小的前视图像； (6.2)、生成三个动态数组Pl，P2，P3，以及用于存放中间数据的尺寸为mXn的三个矩阵:Mapl，Map2，Map3 ;前视图像包含三种驾驶员注视区域:第一类是交通事件相关的注视区域Rtj，第二类是前视图像中的显著区域Rs，第三类是驾驶员经常注视的固定区域IV，矩阵Mapl，Map2，Map3用于存放着上述三类区域； (6.3)、确定Rrar类型注意区域Ww }并生成第一幅注意分布图Mapl ；
7Mapl (X) =1，ifχ€ k else Mapl (x) =O ； (6.4)、将Mapl中的区域按照顺序将这些区域的索引存入数组Pl中，其中 Pl=ZR1 R2 …}
I OF 5 OF，..” OF^ ?
s (6.5)、生成交通事件相关注意区域；使用计算机视觉方法检测并跟踪前方车道、车辆、行人、交通标志等％类型区域作“、其中k=l，2，3，4，分别代表前方车道、车辆、行人以及交通标志等四类区域，并生成第二幅注意分布图:Map2(x)=l，ifx€{R；:>J；elseMap2(X)=0 ； (6.6)、将Map2中的区域按照顺序将这些区域的索引存入数组P2中，其中
P2={R' ,R2 ,...,RW ,R2 …R.v;…:R1 ,R2 ,...,Re } “I"I".1… (6.7)、根据视觉显著性算法计算前视图像I (t)的显著区域，并生成二值化的区域'Rs}的显著图 Map3:Map3 (x)=l，ifxe《R;}; else Map3 (x) =0 ； (6.8)、将Map3中的区域所对应的索引按照顺序存入数组P3中，其中数组
5.根据权利要求4所述的驾驶员安全驾驶状态检测方法，其特征在于，所述步骤(3)中，对交通相关区域和显著性区域与驾驶员注意力分配的互动过程进行统一建模，具体流程为: 用生理学中的神经元活性描述方法，将所述区域的“需要被关注”程度建模成区域的活性，用V表示；当驾驶员没有关注这些区域时，该区域的活性V会按照一定的规律升高；而当驾驶员将视线投入某一区域时，该区域的活性会被迅速拉低；所述第一类区域是需要驾驶员关注的，若这些区域长时间没有被关注时，活性V会升高很多，并在超出一定阈值的时候引起告警；所述第二类区域是不希望驾驶员长期关注的，若驾驶员长期关注这些区域，则其活性V会持续降低，并在低于一定阈值是引起告警； 对于第一类区域，将其活性随时间的演化规律建模成如下一个动态过程:
6.根据权利要求3所述的驾驶员安全驾驶状态检测方法，其特征在于，对前视摄像机获得的道路场景和视线捕捉设备捕捉到的驾驶员视线之间进行标定，使由视线捕捉设备捕捉得到的驾驶员视线所注视的场景目标的位置与该目标在前视摄像机中呈现的位置对应—致。
7.一种驾驶员安全驾驶状态检测装置，其特征在于，包括: 第一模块，用来实时检测驾驶员的当前视线方向及采集车辆行驶中驾驶员前方视野中的场景图像信号； 第二模块，用来根据视觉注意力计算模型，对采集到的当前道路场景图像信号进行处理，获得当前道路场景下驾驶员期望注意力分布； 第三模块，用来对实时检测到的驾驶员当前视线方向与计算得到的驾驶员期望注意力分布进行融合分析，判断当前驾驶员是否处于正常驾驶状态以及能否对突发的道路交通事件作出及时而适当的响应。
【文档编号】G08B21/24GK103770733SQ201410017252
【公开日】2014年5月7日 申请日期:2014年1月15日 优先权日:2014年1月15日
【发明者】安向京, 李健, 吴涛, 叶磊, 孙振平, 贺汉根 申请人:中国人民解放军国防科学技术大学