一种驾驶员安全驾驶状态检测装置制造方法
【专利摘要】一种驾驶员安全驾驶状态检测装置，包括：视线捕捉设备，用来实时检测驾驶员的当前视线方向；一台以上的车载前视摄像机，用来实时采集车辆行驶中前方道路的场景图像信号；计算机，用来根据视觉注意力计算模型对采集到的当前道路场景图像信号进行处理，获得当前道路场景下驾驶员期望注意力分布，并将实时检测到的驾驶员当前视线方向与驾驶员期望注意力分布进行融合分析，判断当前驾驶员是否处于正常驾驶状态以及能否对突发的道路交通事件作出及时而适当的响应。本发明具有原理简单、易实现、可直接地反映出驾驶员真实驾驶状态、提高驾驶安全性等优点。
【专利说明】一种驾驶员安全驾驶状态检测装置
【技术领域】
[0001]本发明主要涉及到车辆主动安全设计领域，特指一种驾驶员安全驾驶状态检测装置。
【背景技术】
[0002]随着汽车工业的发展，汽车越来越成为社会生产与日常生活中的重要组成部分；与此同时，汽车安全问题也逐渐成为人们关注的焦点。据统计，道路交通事故中大约有75%是由于人为失误导致的，也就是由于驾驶员的个人因素导致的。具体又包括驾驶员对车辆运行环境估计不准，驾驶员反应滞后等等。因此，通过技术手段来检测驾驶员的驾驶状态是否安全，能够有效地提高道路交通的安全性。
[0003]目前，针对驾驶员的安全驾驶状态的检测技术可以分为三大类:第一类是基于驾驶员生理疲劳特征检测的方法，第二类是基于车辆相对于道路的运行关系判断的方法，第三类是基于刺激-反应监测的心理反应监测方法。
[0004]第一类方法，基于驾驶员生理疲劳特征检测的方法工作原理基于一个基本的假设:当驾驶员的精神状态不佳时，其驾驶状态也会不佳，从而不能安全地完成驾驶任务。通常可以用于检测的生理疲劳特征包括眼睛闭合度、脑电波、方向盘握力等。有从业者公布了一种基于单目视觉的驾驶员疲劳检测方法，就是利用检测驾驶员眨眼的频率来判断驾驶员的精神状态的。该方法通过在驾驶室仪表盘上方安装一个面向驾驶员脸部的摄像机，利用摄像机采集驾驶员脸部图像，对采集得到的每帧图像进行人脸检测与跟踪，在检测得到的人脸区域中进行人眼检测与定位，并利用左右眼睛区域进行人眼睁闭状态识别，最后通过连续帧的检测状态进行疲劳检测。另有从业者公开了一种通过连续检测驾驶员头部的异常晃动来进行驾驶员精神状态 检测的方法及系统，工作原理是利用安装在驾驶员头枕位置的传感器来检测驾驶员头部晃动的频率和模式，从而从异常的晃动模式中判断驾驶员的精神状态。综上所述，这类方法通过驾驶员的疲劳状态来推断驾驶员的安全驾驶状态，存在以下三方面的问题:一是本身是间接检测方法，效果不可靠。仅仅以驾驶员的疲劳状态作为驾驶员安全驾驶状态的检测手段，不仅很难给出疲劳状态与驾驶员驾驶行为的安全性的直接对应关系，而且通过外在的生理特征判断是否疲劳本身就存在一定的不确定性。二是从疲劳状态来推断驾驶员的驾驶状态是否安全，能够检测的不安全状态是局限的。驾驶员的处于不安全的驾驶状态时，未必一定是处于疲劳状态。三是从疲劳状态来推断驾驶员的驾驶状态是否安全，及时性是很难保证的。当驾驶员处于疲劳状态时，驾驶行为本身已经非常不安全了。
[0005]第二类方法，基于车辆相对于道路的运行关系判断的方法工作原理是直接测量当前车辆与其他车辆以及与道路的关系来对即将发生的碰撞等事故进行预测。有从业者公开了一种基于单芯片的车道偏离提醒装置，即通过对车辆的非正常越道行驶动作来检测驾驶员的驾驶状态。这类方法的缺点一是通常只能在危险的交通事件即将发生了才给出判断，二是很难对正常的交通事件和异常的交通事件之间给出明确而客观的判别方法，比如正常的超车越道行为和异常的车道跑偏行为。
[0006]第三类方法，基于刺激-反应检测的方法的工作原理是利用特定的刺激模式对驾驶员心理反应进行评价。有从业者近期公开了一种通过视线捕捉技术进行驾驶员精神状态检测的方法。该方法首先生成一个人造的视觉刺激，然后使用视线捕捉技术来检测驾驶员是否注意到该刺激，从而评价驾驶员对当前出现的突发事件的判断能力。这类方法虽然能够直接判断驾驶员是否能对突发刺激做出反应，但是这类方法同样有以下缺点:一是这样做本身很容易分散驾驶员的注意力。二是特定模式刺激本身对驾驶员的心理活动产生了额外的刺激，增加了驾驶员的负担。
[0007]随着对交通事故的成因的深入研究，人们逐渐认识到导致交通事故重要原因是驾驶员处于非安全的驾驶状态。而不安全驾驶状态至少包括两个类型:一是疲劳驾驶导致的反应迟钝；二是并非疲劳驾驶，仅仅是驾驶员的注意力未得到合理分配。比如驾驶员本身的驾驶经验不足，驾驶习惯不好，初学者过于紧张等，而未注意到应该被注意的交通事件。又比如被其他诸如广告牌等目标吸引，看短信，思想走神等等。现有的驾驶员的安全驾驶状态的检测技术很难对第二类不安全驾驶状态进行检测。
[0008]多年的研究，人们对驾驶员的视线方向(注视点相对与驾驶员自身的指向)与道路场景以及道路交通事件的关系的理解越来越深入。正常的驾驶状态中，驾驶员应该能够在不同的道路场景和道路交通事件中进行合理的注意力分配与转换。如果驾驶员不能对随时出现的重要交通事件进行迅速反应，则其就处于危险或者异常的驾驶状态。
【发明内容】
[0009]本发明要解决的技术问`题就在于:针对现有技术存在的技术问题，本发明提供一种原理简单、易实现、可直接地反映出驾驶员真实驾驶状态、提高驾驶安全性的驾驶员安全驾驶状态检测装置。
[0010]为解决上述技术问题，本发明采用以下技术方案:
[0011]一种驾驶员安全驾驶状态检测装置，包括:
[0012]视线捕捉设备，用来实时检测驾驶员的当前视线方向；
[0013]一台以上的车载前视摄像机，用来实时采集车辆行驶中前方道路的场景图像信号;
[0014]计算机，用来根据视觉注意力计算模型对采集到的当前道路场景图像信号进行处理，获得当前道路场景下驾驶员期望注意力分布，并将实时检测到的驾驶员当前视线方向与驾驶员期望注意力分布进行融合分析，判断当前驾驶员是否处于正常驾驶状态以及能否对突发的道路交通事件作出及时而适当的响应。
[0015]作为本发明装置的进一步改进:所述车载前视摄像机安装在车辆前挡风玻璃板内侧顶端，所述车载前视摄像机朝向前安装。
[0016]作为本发明装置的进一步改进:所述计算机采用定量的方式来评估驾驶员是否及时地对当前场景中的重要交通事件进行了反应；在任一时刻，定量评估具体是通过分析驾驶员的视线是否落在了场景中的重要的交通事件所在的区域，以及落入了比例和迅速程度来进行评判的。
[0017]作为本发明装置的进一步改进:所述视线捕捉设备为眼动仪。[0018]作为本发明装置的进一步改进:还包括车载主动安全系统模块和综合告警控制模块，所述车载主动安全系统模块用来主动分析、判断车辆的运行安全状况，并提示驾驶员；所述综合告警控制模块用来根据当前驾驶员精神状态的检测结果判定开启或屏蔽车载主动安全系统模块，或主动向驾驶员告警。
[0019]与现有技术相比，本发明的优点在于:
[0020]1、本发明的检测结果可直接地反映出驾驶员真实的安全驾驶状态。驾驶员的安全驾驶状态与驾驶员当前的注意力分布及反应灵敏度直接相关，而其他一些生理指标仅仅当前精神状态的表现，因而与安全驾驶状态属于间接对应关系。本发明通过检测驾驶员的注意力分配模式和注意力转换方式来直接判断驾驶员能否对当前道路交通事件做出正确而迅速的反应，检测结果直接对应当前驾驶员的驾驶状态。
[0021]2、本发明不仅能检测出驾驶员因为疲劳而导致的驾驶状态异常，也能检测出驾驶员非疲劳状态的走神、被其他事件吸引等非安全驾驶状态，以及检测由于服用某些药物、醉酒、驾驶经验缺乏等原因导致的反应变慢等非安全状态，进而大大提高了整体的安全性。
[0022]3、本发明的检测结果能及时发现驾驶行为的异常，属于“非滞后”。通常对疲劳程度的检测需要对驾驶员过去一段时间内的驾驶特性或生理指征进行检测，得到的结论是对前面一段时间的若干事件的驾驶员是否适合驾驶的判断(事实上，传统方法发现驾驶员疲劳的之前的相当长一段时间，驾驶员已经处于不安全驾驶状态，这些方法属于滞后检测)，无法对当前正在发生的突发道路交通事件进行及时的反应甚至提醒。
[0023]4、本发明的检测结果更加准确。由于本发明没有利用疲劳状态或驾驶员对特定事件的反应来间接地判断驾驶员的驾驶状态，检测结果能够更加准确地反应驾驶员对当前道路交通事件的判断和处理能力。正常驾驶状态下，驾驶员必然会对当前道路场景中的显著区域进行注意力分配和投放，因此通过实际注意力情况和期望注意力情况之间的比对，可以有效地估计驾驶员的驾驶状态。同时对驾驶员的注意力实测和对场景注意力计算均具有很高的精度，因此可以精 确地判断驾驶员的精神状态。
[0024]5、本发明的检测过程是非接触式的。本发明的检测方法和检测过程不需要对驾驶员提供额外的刺激，不会干扰驾驶员正常的驾驶行为。另一方面，本发明的检测过程不需要通过与驾驶员的直接接触来测量驾驶员的生理参数，测量过程是非接触式的。
【专利附图】
【附图说明】
[0025]图1是本发明方法在应用后的原理示意图。
[0026]图2是本发明装置在应用后的框架结构示意图。
[0027]图3是本发明在具体应用实例中具体使用状态下的实际场景示意图。
[0028]图4是在实际场景中系统前视摄像机的视野以及三种注意分布区域示意图。
[0029]图5是本发明在具体应用实例中进行系统标定的流程示意图。
[0030]图6是本发明在具体应用实例中基于有意义交通事件和显著性的驾驶员注意力计算流程示意图。
[0031]图7是本发明在具体应用实例中进行驾驶员安全状态分析的流程示意图。
[0032]图8是本发明在具体应用实例中进行模型参数训练的流程示意图。
[0033]图9是本发明在具体应用实例中进行场景不同区域的活性程度分析的对比图。[0034]图10是本发明装置与传统主动安全系统结合的应用实例的结构图。
【具体实施方式】
[0035]以下将结合说明书附图和具体实施例对本发明做进一步详细说明。
[0036]如图2所示，本发明的装置包括:用于捕捉和记录人眼视线的视线捕捉设备、用于捕捉前方道路场景的前视摄像机、以及嵌入式计算机(主要用于驾驶员视线分析、交通事件相关区域计算以及根据本发明实现驾驶员精神状态评估)。视线捕捉设备应安装固定于类似驾驶面板上的适当位置，并保证可以正常捕捉驾驶员视线(为了提高捕捉驾驶员视线性能，在其他实施例中也可以采用多摄像机的方案。车载前视摄像机安装在车辆前挡风玻璃板内侧顶端，主光轴与车体平行，摄像机朝向前安装，用于拍摄车辆前方道路信息，前视摄像机可以安装固定于在驾驶室上方的车顶之下。
[0037]本发明是基于驾驶员视线跟踪与驾驶员期望注意力计算相融合的驾驶员安全驾驶状态的检测方法。本发明首先采用视线捕捉设备对驾驶员当前的视线进行跟踪。然后，利用场景理解技术和注意力计算技术对车载摄像机拍摄到的实时前方场景图像进行目标理解和显著性计算，得出当前场景下驾驶员应该注意或者可能注意的交通相关事件的区域和引人注意的显著区域。最后，将视线捕捉设备实时记录的驾驶员实际注意力和利用场景理解与注意力计算模型计算获得的基于当前场景预测的理想注意力分布进行融合分析，进而判断驾驶员当前的注意力分配是否合理，从而对当前驾驶员的驾驶状态以及驾驶员对突发交通事件的响应能力做出准确的判断。
[0038]如图1所示，本发明的驾驶员安全驾驶状态检测方法是基于视线跟踪与注意力计算相匹配的检测方法，其步 骤为:
[0039](I)、实时检测驾驶员的当前视线方向及采集车辆行驶中前方道路的场景图像信号。本实例中，利用一台视线捕捉设备实时检测驾驶员的当前视线方向，并通过一台车载前视摄像机实时采集车辆行驶中前方道路的场景图像信号。
[0040](2)、根据视觉注意力计算模型，对采集到的当前道路场景图像信号进行处理，获得当前道路场景下驾驶员期望注意力分布(例如:交通事件相关区域与显著性区域的检测与跟踪)；本实例中，设置一台用于计算当前道路场景的期望注意力分布的嵌入式计算机系统，该嵌入式计算机对车载前视摄像机采集到的当前道路场景进行处理，得到当前道路场景下驾驶员期望注意力分布。
[0041](3)、对步骤(1)中实时检测到的驾驶员当前视线方向与步骤(2)中计算得到的驾驶员期望注意力分布进行融合分析。具体而言，采用定量的方式来评估驾驶员是否及时地对当前场景中的重要交通事件进行了反应。例如，在任一时刻，定量评估具体是通过分析驾驶员的视线是否落在了场景中的重要的交通事件所在的区域，以及落入了比例和迅速程度来评判的。此刻的这一评估结果用来判断当前驾驶员是否处于正常驾驶状态以及能否对突发的道路交通事件作出及时而适当的响应。
[0042]由于本发明需要对由视线捕捉设备(如眼动仪)获得驾驶员实测注意力分布与根据车载摄像机和注意力计算模型得到的驾驶员注意力分布之间进行比对，因此需要对前视摄像机获得的道路场景和视线捕捉设备捕捉到的驾驶员视线之间需要进行标定，从而使由视线捕捉设备捕捉得到的驾驶员视线所注视的场景目标的位置与该目标在摄像机中呈现的位置对应一致。在本发明中，初始标定过程的流程图如图5所示。本实例中，标定的具体步骤如下:
[0043](4.1)、在停车状态下，在车辆(前视摄像机)前方一定距离(如:20米或者更远)处人工摆放一些物体，这些物体应该具有显著而便于描述的特征(如:红色的球形物体)，以这些物体和场景中固有的其他远处物体作为标定基准。
[0044](4.2)、在停车状态下，辅助人员通过指定呈现在前视摄像机拍摄内容的屏幕上的某一个物体(点)，并引导驾驶员进行注视。此时，记录视线捕捉设备所记录的驾驶员此刻的视线方向。
[0045](4.3)、通过改变被注意物体的位置或被注意物体本身，重复上述步骤(4.2);例如，通常需要改变五至七次不同的物体(点)。
[0046](4.4)、对标定结果进行验证。此时，引导驾驶员注意场景中不同的物体(点)，将视线捕捉设备估计出的驾驶员视线显示在前视摄像机拍摄的实时图像上，观察并记录这些物体(点)与检测到的视线位置是否重合或者接近。如果误差满足预设要求(比如:小于I~
1.5度)，则结束初始标定过程结束；否则，重复步骤(4.2)至(4.3)，开始重新标定。流程中存在一些参数以及参数k，E等，可以根据实验确定。本方法一般采用5点进行标定或者采用9点继续进行标定，因此，这里的k可以取5或者9即可。当标定结果不满足要求是，可以增加标定点的个数； 这里的E，根据本方案中的驾驶员的视线容许误差(Θ=1~1.5度)所对应的显示屏上的偏差距离而确定，可根据E~D*cos( Θ )，这里的D是驾驶员的眼睛距离调试时所用的显示屏(放置在眼动仪处)之间的距离。
[0047]由于驾驶员眼睛高度与摄像机的安装高度不一致，会导致前方摄像机视野与驾驶员眼睛看到的实际视野有一定误差。具体而言，对驾驶员来说车辆前方同一视角下的不同物体(点)随着距离的不同而导致在摄像机视野内产生不同的视角。经过计算，如果安装高度差控制在20cm内，则车辆前方20m外的不同物体之间视角误差可以控制在0.6度内，这已经低于视线捕捉设备能够给出的精度(约I度)。通过以上标初始定过程，可以将驾驶员每一时刻所注视的物体在前视图像中呈现的位置，与视线捕捉设备观测到此刻的驾驶员的视线一一对应起来。因此，在任意时刻可以根据视线捕捉设备观测到的驾驶员视线方向推测出驾驶员注视的前方物体在前视图像中呈现的具体位置，由此可以知道驾驶员注意的实际场景中的位置。需要说明的是，为了保证标定的方便性和准确性，还可以进一步通过控制前视摄像机的畸变程度，或者通过算法对前视摄像机拍摄的图像进行去畸变处理。
[0048]上述标定方法是一种直接将驾驶员视线与图像坐标系标定在一起的方法。除此之外，在其他实施例中，还可以采用分布标定法，其步骤如下:
[0049](5.1)、首先将人眼视线与世界坐标系进行标定:(a)在车前20米外摆放多个标志物，记录其位置{Pi} ;(b)分别记录人眼注视这些物体时的视线方向{Di} ;(c)根据常用的“张正友方法”，计算二者之间的标定结果。
[0050](5.2)、将图像坐标系与世界坐标系标定，这是已有的技术，计算二者之间的标定结果;
[0051](5.3)、根据步骤(5.1)和步骤(5.2)的结果，利用常用的标定方法可以获得最终的人眼视线与图像坐标系之间的转换矩阵。
[0052]在上述步骤(2)中，采用了基于有意义交通事件和显著性的驾驶员注意力预估方法。通常引起驾驶员注意的区域包括两大类:一类是环境中非常显著的区域，这些区域的显著性是有区域本身的特殊性(比如区域具有显著的颜色、纹理、形状等)决定的，并且可能与交通驾驶事件无关；而另一类显著区域是与驾驶任务相关的交通事件导致的。比如前方的运动车辆、行人、交通标志、仪表盘等。这些区域所对应的交通事件与驾驶任务密切相关，是一个处于正常驾驶状态的驾驶员必须密切关注的区域。第二类驾驶员的注意区域中有包含两种:第一种是动态的驾驶员注意区域，比如前方运动的车辆、行人、交通标志、车道等，这些区域随着时间的变化是与车体本身发生相对运动的；第二种是静态的驾驶员注意区域，比如观后镜区域，仪表盘区域等，这些区域与车辆不发生相对运动，而且在图像中的区域位置是固定不变的。
[0053]在本发明中，需要预估出驾驶员注意力的可能分布区域，从而可以进一步与实测的驾驶员注意力进行比对。如图6所示，基于有意义交通事件和显著性的驾驶员注意力计算方法，过程是基于采集的当前前视图像进行驾驶员注意力估计和计算。此计算结果是对驾驶员注意力的可能的分布区域的预测，因此可用于与实测的驾驶员注意力进行比对，从而判断驾驶员是否处与安全驾驶状态。其具体步骤如下:
[0054](6.1)、启动图像采集，保存当前mXn大小的前视图像；本方案中采用常用的1024X768的图像；
[0055](6.2)、生成三个动态数组Pl，P2，P3，以及用于存放中间数据的尺寸为mXn的三个矩阵:Mapl，Map2，Map3。由图4可以看出，前视图像大致包含三种驾驶员注视区域。第一类是交通事件相关的注视区域R0,第二类是前视图像中的显著区域Rs，第三类是驾驶员经常注视的固定区域Rqf ;矩阵Mapl，Map2，Map3用于存放着上述三类区域。
[0056](6.3)、由于Rw区域是静态的，因此根据事先确定的标定结果即可以确定Rof类型
注意区域并生成第一幅注意分布图Mapl ； Mapl(X)=I5 ifxe (R1i^elseMapl(X)=O。 当前视摄像机在车上安装固定后，可以很容易在前视图像中标出这些固定注视区域。
[0057](6.4)、将Mapl中的区域按照顺序将这些区域的索引存入数组Pl中，其中
Pi='iRl,在后续使用中，可以根据Pl中的任意一个元素，索引Mapl中对应的
区域；
[0058](6.5)、生成交通事件相关注意区域。使用现有的计算机视觉方法(本方法使用H0G+SVM方法对场景中的物体进行检测)，检测并跟踪前方车道、车辆、行人、交通标志等Rq
类型区域Pk〖,其中k=l，2，3，4，分别代表前方车道、车辆、行人以及交通标志等四类区域，并生成第二幅注意分布图:Map2(x)=ufxe {R\ else Map2(x)=0.[0059](6.6)、将Map2中的区域按照顺序将这些区域的索引存入数组P2中，其中P2={R?i ,R-,，…,R；R..; ,R0.”..，Rn:丨.在后续使用中，可以根据 P2 中的任意一个元素，索引Map2中对应的区域；
[0060](6.7)、根据视觉显著性算法，计算前视图像I (t)的显著区域，并生成二值化的区
域{RU 的显著图 Map3: Map3(x)=l,ifx€ {R；}; else Map3(x)=0 ；[0061](6.8)、将Map3中的区域所对应的索引按照顺序存入数组P3中，其中数组
【权利要求】
1.一种驾驶员安全驾驶状态检测装置，其特征在于，包括: 视线捕捉设备，用来实时检测驾驶员的当前视线方向； 一台以上的车载前视摄像机，用来实时采集车辆行驶中前方道路的场景图像信号； 计算机，用来根据视觉注意力计算模型对采集到的当前道路场景图像信号进行处理，获得当前道路场景下驾驶员期望注意力分布，并将实时检测到的驾驶员当前视线方向与驾驶员期望注意力分布进行融合分析，判断当前驾驶员是否处于正常驾驶状态以及能否对突发的道路交通事件作出及时而适当的响应。
2.根据权利要求1所述的驾驶员安全驾驶状态检测装置，其特征在于，所述车载前视摄像机安装在车辆前挡风玻璃板内侧顶端，所述车载前视摄像机朝向前安装。
3.根据权利要求1所述的驾驶员安全驾驶状态检测装置，其特征在于，所述计算机采用定量的方式来评估驾驶员是否及时地对当前场景中的重要交通事件进行了反应；在任一时刻，定量评估具体是通过分析驾驶员的视线是否落在了场景中的重要的交通事件所在的区域，以及落入了比例和迅速程度来进行评判的。
4.根据权利要求1~3中任意一项所述的驾驶员安全驾驶状态检测装置，其特征在于，所述视线捕捉设备为眼动仪。
5.根据权利要求1~3中任意一项所述的驾驶员安全驾驶状态检测装置，其特征在于，还包括车载主动安全系统模块和综合告警控制模块，所述车载主动安全系统模块用来主动分析、判断车辆的运行安全状况，并提示驾驶员；所述综合告警控制模块用来根据当前驾驶员精神状态的检测结果判定开`启或屏蔽车载主动安全系统模块，或主动向驾驶员告警。
【文档编号】A61B5/18GK103767715SQ201410017716
【公开日】2014年5月7日 申请日期:2014年1月15日 优先权日:2014年1月15日
【发明者】安向京, 李健, 吴涛, 叶磊, 孙振平, 贺汉根 申请人:中国人民解放军国防科学技术大学