一种基于驾驶分心状态的预警方法及预警装置与流程

本发明属于车辆控制技术领域，尤其是一种基于驾驶分心状态的预警方法及预警装置。

背景技术：

分心驾驶是一种常见但却极易引发交通事故的不安全驾驶行为，据统计，分心驾驶导致的死亡事故约占总死亡事故数的10％。在驾驶过程中，驾驶员使用手机、导航或其他电子产品，或者吃喝、交谈、听音乐广播等行为，极易分散注意力造成驾驶分心，诱发交通事故。驾驶员在分心驾驶状态下，对纵向和横向的潜在冲突认知下降，影响驾驶员对车辆的安全操作，比如，手机通话和发短信对驾驶员应对行人横穿马路冲突反应的反应时间增加，后者的影响更明显。

现阶段，已有大量有关分心状态检测方法和分心行为对驾驶员影响的研究，面向驾驶员的预警或警报系统和装置也有不少方法，但均没有考虑分心因素对驾驶员反应时间的影响。

技术实现要素：

本发明的目的在于克服上述现有技术的缺点，提供一种基于驾驶分心状态的预警方法及预警装置。

为达到上述目的，本发明采用以下技术方案予以实现：

一种基于驾驶分心状态的预警方法，包括以下步骤：

1)获取车辆周围交通状况和道路状况并识别驾驶员的驾驶行为；

2)根据驾驶员行为判断是否存在分心驾驶行为，若无分心驾驶行为，则进入步骤3)；若有分心驾驶行为，则进入步骤4)；

步骤3)基于车辆周围交通状况和道路状况判断是否偏离车道，若不偏离，不发出预警，结束本轮预警；

若偏离，语音提示驾驶员“车道偏离或未打开转向灯”，提示结束后结束本轮预警；

步骤4)预测即将发生的碰撞类型和车道偏离情况，基于预测的情况进行相应级别的预警。

进一步的，步骤4)中碰撞类型通过预测碰撞时间ttc和对应的预警时间阈值t进行预测；

预警时间阈值t包括车辆为避免正面碰撞与侧面碰撞、改变车道偏离状态所用时间ti和驾驶员结束不同分心驾驶行为所需的反应时间ti。

进一步的，步骤4)中基于判断的情况进行相应级别的预警具体为：

当车道未偏离时，若预测的正面碰撞时间x1(1,:)小于等于相应的预警时间阈值t，判断为若不改变行车状态即将发生正面碰撞，进行二级预警且播放提醒频段3；

当车道未偏离时，若预测的侧面碰撞时间x1(2,:)小于等于相应的预警时间阈值t，则是即将发生侧面碰撞，进行二级预警且播放提醒频段2；

当车道偏离时，若预测的正面碰撞时间x1(1,:)小于等于相应的预警时间阈值t或者预测的侧面碰撞时间x1(2,:)小于等于相应的时间阈值t，进行二级预警且播放提醒频段1；

当车道偏离时，若预测的正面碰撞时间x1(1,:)小于等于相应的预警时间阈值t且预测的侧面碰撞时间x1(2,:)小于等于相应的时间阈值t，进行三级预警，发出振动。

进一步的，二级预警之间根据更新的数据互相转换。

进一步的，二级预警和三级预警之间根据更新的数据互相转换。

一种用于实现上述的方法的预警装置，包括驾驶员行为识别装置、环境信息获取装置、控制装置和预警装置；

驾驶员行为识别装置，用于通过实时监测驾驶员头部运动及操作行为判断驾驶员是否处于分心驾驶状态并识别以下分心行为：

广播调台行为、手机通话行为、与乘客交谈行为、看手机行为和吃喝行为；

环境信息获取装置，用于获取车辆周围交通状况和道路状况；

控制装置，用于接收环境信息获取装置和驾驶员行为识别装置的数据，计算车辆与两侧车道线距离，并根据驾驶员的分心驾驶行为，预测碰撞时间并判断其是否达到相应的预警时间阈值，若达到，则启动预警响应等级；

预警装置，用于接收控制装置的控制信号，并启动相应的预警等级。

进一步的，所述控制装置用于包括分心行为管理单元、数据处理单元、分析判断单元和ram储存单元；

分心行为管理单元用于驾驶员行为识别装置的输出写入变量c中，若有分心行为，写入1，标识为分心驾驶状态；若无分心行为，写入0，标识为正常驾驶状态，根据时间序列先后，后判定值覆盖前判定值；

数据处理单元用于接收车辆周围交通状况和道路状况的数据，并将数据进行融合，计算得到预测碰撞时间ttc和车辆与两侧车道线距离；并将预测正面碰撞计算得到ttc数值，写入x1(1,:)变量中，预测侧面碰撞的ttc值写入x1(2,:)变量中；

分析判断单元，用于根据预测碰撞时间ttc和车辆与两侧车道线距离进行是否即将发生碰撞和车道是否偏离；

ram储存单元，用于存在变量c、变量x1(1,:)和x1(2,:)。

与现有技术相比，本发明具有以下有益效果：

本发明的基于驾驶分心状态的预警装置及预警方法，基于驾驶员驾驶状态、驾驶环境和车辆姿态信息，判断当前驾驶行为的风险等级，并可根据驾驶员反应状态进行预警，避免交通事故发生；依据潜在危险存在大体位置和类型，发布不同的预警，提示潜在危险方向与碰撞类型，从而通过驾驶员进行相应的避障操作，规避交通事故的发生；预警只在驾驶员分心情况下进行，降低对驾驶员的干扰；在相同驾驶条件下，分心驾驶行为明显增加驾驶员危险感知和决策的反应时间，不同分心驾驶行为所增加的反应时间不相同，本发明基于分心因素发出的预警更有针对性，考虑了不同分心状态的反应时间，能够在更有效的时间内提醒驾驶员结束分心。

附图说明

图1为基于驾驶分心状态的预警装置的原理框图；

图2为基于驾驶分心状态的预警方法的实施流程图；

图3为进行预警判断的流程图；

图4为可拓展的驾驶员驾驶行为识别示意图。

本发明中的字母含义为：

c-驾驶员驾驶状态，取值为1或0，1-驾驶员处于分心驾驶状态，0-正常状态；

b-驾驶员分心驾驶行为，包括b1、b2、b3、b4、b5，分别对应广播调台、手机通话、与乘客交谈、看手机和吃喝五种行为；

sign(a)-符号函数，当a为正值时，sign(a)为1；当a为负值时，sign(a)为0；

x1-潜在危险为碰撞事件，ttc-预测碰撞时间，x1(1,:)-预测的正面碰撞时间，x1(2,:)-预测的侧面碰撞时间；

x2-潜在危险为车道偏离，x2＝(δe1,δe2)-车辆与两侧车道线的距离；

t-预警时间阈值，t＝ti+ti，ti-规避事故发生车辆所需反应时间，ti-驾驶员结束分心状态所需反应时间；

t1-自采取紧急制动到车辆停止所用时间，t2-自采取紧急制动或转向所用时间；

||a||1为a的范数，

具体实施方案

下面将详细描述本发明的各个方面的特征和示例性实施例。在下面的详细描述中提出了许多具体细节，以便提供对本发明的全面理解。但是，对于本领域技术人员来说，很明显的是，本发明可以在不需要这些具体细节的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的实例来提供对本发明的更好理解。本发明绝不限于下面所提出的任何具体配置和算法，而是在不脱离本发明的精神的前提下覆盖了元素、部件和算法的任何修改、替换和改进。

下面结合附图对本发明工作原理进一步说明：

参见图1，图1为基于驾驶分心的危险预警装置的原理框图；本发明的基于驾驶分心的危险预警装置包括驾驶员行为识别装置、环境信息获取装置、控制装置和预警装置，具体的：

驾驶员行为识别装置由正面摄像头、侧面摄像头和运算单元组成，正摄像头安装于驾驶员正前方车顶位置，用于实时监测驾驶员头部运动；侧面摄像头安装在副驾驶靠近车窗处台子上，视野范围与正面摄像头互补，用于实时监测驾驶员操作行为；运算单元集成于控制装置中，可识别出驾驶员广播调台、手机通话、与乘客交谈、看手机(浏览网页、发送信息等)和吃喝等行为，设定驾驶员广播调台行为用b1表示，手机通话行为用b2表示，与乘客交谈行为用b3表示，看手机(浏览网页、发送信息等)行为用b4表示，吃喝行为用b5表示；摄像头与运算单元通过控制装置接口实时通讯，运算单元对摄像头传输的数据进行处理，检测是否出现上述行为，若检测到相关行为，相关行为bi＝1,i＝1,2,3,4,5，未检测到行为用0表示。同时，若检测到上述行为，运算单元将1写入变量c中，变量c存储与控制装置ram中，标识为分心驾驶状态，判定驾驶员处于分心驾驶状态，若未检测到上述行为，运算单元将0写入变量c，标识为正常驾驶状态，根据时间序列先后，后判定值可覆盖前判定值；运算单元将检测到的结果实时写入向量b存储到ram中，即b＝[b1；b2；b3；b4；b5]，用于预警响应决策和预警级别判定。在本发明中，只分析同一时间点检测到一种分心行为的预警判定方法。

环境信息获取装置用于获取车辆周围交通状况和道路状况，道路状况包括车道线位置，交通状况包括周围机动车与非机动车的相对位置、相对速度和加速度等信息；环境信息获取装置与控制装置接口连接，实时将采集的数据传输给控制装置，控制装置计算预测碰撞时间(ttc)和车辆与左右车道线距离，用于预警时间阈值计算中。考虑实际情况，环境信息获取装置所涉及的车载雷达可包括摄像头、毫米波雷达、超声波雷达等。

控制装置是微型计算机，包括cpu、rom、ram和接口，接口包括d/a和a/d模块，实际中，控制装置可以是车载ecu；驾驶员行为识别装置和环境信息获取装置通过接口与控制装置通信，驾驶员行为识别装置采集到的视频数据在控制装置中进行处理，识别出驾驶员驾驶行为，判定驾驶员是否为分心驾驶状态，并存储ram中；环境信息获取装置将采集自车周围车辆、行人、自行车等障碍物的相对位置、相对速度和加速度信息传输到控制装置，控制装置对雷达数据进行融合，计算得到预测碰撞时间(以下用ttc代称)和车辆与两侧车道线距离δe；设定可能发生的碰撞事件分为两类：正面碰撞(例如，追尾，与非机动车正面相撞)和侧面碰撞(例如，刮蹭，行人突然冲出道路)，控制装置对正面碰撞计算得到ttc数值，写入x1(1,:)变量中，计算侧面碰撞的ttc值写入x1(2,:)变量中。两侧车道线距离δe值写入x2变量，其中，δe1为车辆与左侧车道线距离，车辆左前轮在车道线内侧，则δe1为正，否则为负，δe2为车辆与右侧车道线距离，车辆右前轮在车道线内侧，则δe2为正，否则为负，若未检测到车道线，δe＝[0,0]。若δe1和δe2同为负值，说明此时车辆已经变更车道，重新识别新的车道线，再次计算车辆与两侧新车道线距离。ram储存数据有变量b、变量c、变量x1,x2。

控制装置rom存储预警时间阈值t；预警时间阈值t由两部分计算得到，第一部分为车辆为避免正面碰撞与侧面碰撞、改变车道偏离状态所用时间，用t1和t2表示，t1为自车为规避危险采取紧急制动至车辆停止所用时间，t2为自车为规避危险采取制动或转向所用时间；第二部分为驾驶员结束不同分心驾驶行为所需的反应时间，根据现有文献，驾驶分心分为认知分心、视觉分心和操作分心，不同分心类型对驾驶员反应时间的影响不同，不同驾驶行为所涉及的分心类型不同，结束不同分心类型所需的反应时间也是不同的；因此，针对不同的驾驶员操作行为，结束分心状态所需的反应时间应设定为不同的初始值ti。设定从驾驶员广播调台到接管车辆的反应时间为t1，从结束手机通话到驾驶员接管车辆的反应时间为t2、从结束与乘客交谈到驾驶员接管车辆所需的反应时间为t3、结束看手机(浏览网页、发送信息等)到接管车辆的反应时间为t4、从吃喝行为到接管车辆的反应时间为t5。

预警装置由声音提示模块和振动模块组成，声音提示模块安放于驾驶员正前方，振动模块安装在驾驶员座椅上，二者都接受控制装置传输的指令，按指令执行预警。预警共分为四级，无预警、一级预警、二级预警和三级预警。其中，二级预警声音提示有三个频段，用于提示碰撞类型和大致方位，频段1用于提示车道偏离，频段2提醒有侧面碰撞潜在危险，频段3提示可能出现正面碰撞。无预警时，预警装置不工作；一级预警，声音提示模块工作，为语音提醒，类似于地图导航语音提示，提示内容为“车道偏离或未打开转向灯”；二级预警，声音提示模块工作，提示声音较尖锐，发出三个频段的“滴滴”声，频率从小到大，依次提醒车道偏离、侧面碰撞和正面碰撞三个潜在危险类型；三级预警，振动模块工作，驾驶员能明显感觉到适宜的颤振，提示驾驶员情况危险，应尽快结束分心状态。

参见图2，图2为本发明的流程图；本发明的方法在汽车行驶过程中被执行，用以检测车辆周围驾驶环境，并根据潜在危险方向与碰撞类型提醒驾驶员尽快接管车辆，规避危险，安全驾驶。

步骤201，利用车载传感器探测到自车速度，当车辆处于行驶状态，执行步骤202到步骤220。在一些实施例中，可通过速度传感器，探测自车行驶数据。

步骤202，利用环境信息获取装置获取车辆周围交通状况和道路状况；在一些实施例中，可通过速度传感器、加速度传感器、油门信号、制动信号等车载传感器采集车辆运行数据；通过摄像头、毫米波雷达、超声波雷达等车载雷达采集车辆周围的车辆、行人、自行车等的相对位置、相对速度和加速度信息，利用摄像头采集到车道线位置、交通标志等信息。

步骤203，利用驾驶员行为识别装置识别驾驶员头部运动与操作行为；在一些实施例中，可通过图像处理技术、深度学习等方法识别摄像头采集到的图像信息，可检测到驾驶员广播调台、手持电话通讯、蓝牙/免提通话、浏览手机、吃喝、疲劳/瞌睡、调节广播等分心驾驶行为，也可检测驾驶员注意视线区域；可通过音频传感器探测到驾驶员有听音乐/收音机等分心驾驶行为。

步骤204，控制装置接收到分心驾驶行为数据、自车运行数据、交通状况和道路状况后，判断驾驶员是否有分心驾驶行为，若有分心驾驶行为，则执行步骤205；若无分心驾驶行为，则执行步骤212。

步骤212，控制装置判断车道是否存在偏离情况，即判断x2的数值符号，若同为正(即判断结果为否)，执行步骤213，预警装置不工作，处于无预警状态，结束当前判断；若x2的数值符号为一正一负(即判断结果为是)，执行步骤214，利用预警装置语音提示驾驶员“车道偏离或未打开转向灯”，提示结束后，结束当前判断。

步骤205，控制装置计算预测碰撞时间ttc和车道偏离状况δe(δe1，δe2)，分别储存到控制装置rom中变量x1和变量x2。

步骤206，判断是否达到预警时间阈值，具体的，利用控制装置比较x1中数值与预警时间阈值t大小，若x1中数值均小于预警时间阈值t(即判断结果为未达到预警时间阈值)，则执行步骤215，预警装置不工作，处于无预警状态，结束当前判断；若x1中数值有大于预警时间阈值项t(即判断结果为达到预警时间阈值)，执行步骤207。在一些实施例中，预警时间阈值第一部分t1计算制动时间中，可通过机载方法或基于云的计算方法实时估算车辆在前方道路制动性能表现，也可通过先前制动数据建立速度与加速度函数关系，进而估算t1值。在一些实施例中，分心驾驶行为对驾驶员反应时间的影响可能一致，在预警时间阈值第二部分t2可采用相同的ti。

步骤207，控制装置对ttc和预警时间阈值t大小的判定结果为达到正面碰撞预警时间阈值且未出现车道偏离情况，执行步骤216，预警装置进行二级预警，声音提示模块选择频段3。

在步骤208，利用控制装置对ttc和预警时间阈值t大小的判定结果为达到侧面碰撞预警时间阈值，未出现车道偏离情况，执行步骤217，利用预警装置进行二级预警，声音提示模块选择频段2。

步骤209，利用控制装置对ttc和预警时间阈值t大小的判定结果为出现车道偏离情况且正面碰撞或侧面碰撞ttc达到相应的预警时间阈值，执行步骤218，预警装置二级预警，声音提示模块选择频段1。

步骤210，控制装置对ttc和预警时间阈值大小的判定结果为出现车道偏离情况且正面碰撞和侧面碰撞ttc同时达到相应的预警时间阈值，执行步骤219，预警装置进行三级预警，振动模块工作，警示驾驶员当前驾驶环境危险，应尽快结束分心，接管车辆。

执行步骤216、217、218和219后，控制装置判断驾驶员是否结束分心驾驶状态且注视车辆前方区域，若判断结果为是，则结束当轮判断，等待下一轮判断；若判断结果为否，则返回步骤204，继续执行判断。

可选的，在步骤207、208、209和210，根据控制装置对当前情况的判断结果，四种状态可相互转化，在一些实施例中，二级预警可在预警未结束时，因险情加重，跳转至三级预警，可因险情缓解，跳转至一级预警/无预警；在另一些实施例中，三级预警可在预警未结束时，因险情缓解，跳转至二级预警/一级预警/无预警。

参见图3，图3为本发明中的预警判定流程图；

步骤302，控制装置判断c是否等于1，c为0时，判断为n，则执行步骤308；否则，执行步骤303；

步骤308，控制装置判断x2中左右车道距离是否为一正一负，判断为y，执行步骤309；判断为n，执行步骤310，预警装置不工作；

步骤309，预警装置进行一级预警，声音提示模块提示“车道偏离与未打开转向灯”；

步骤303，判断b的1范数等于1的是bi相对应的哪一行为，根据车辆目前与左右两车道线的距离情况，执行步骤323或311或314。在步骤323中判定x2中左右车道距离符号是否同为正，若都为正，即sign(x2(1))&sign(x2(2))＝＝1，则执行步骤304或317。

步骤323，判定x1(1,:)小于等于车辆反应时间t1与驾驶员反应时间ti之和，且x1(2,:)大于车辆反应时间t2与驾驶员反应时间ti之和时，即检测到的侧面障碍物不认为是潜在危险，检测到的正面障碍物为驾驶员由于分心不能及时规避的潜在危险，利用预警系统警示驾驶员尽快接管车辆。执行步骤305，利用控制装置比较得到满足步骤304条件的最大预警时间阈值t，由控制装置将预警时间阈值t传输至预警装置，执行步骤306，利用预警装置提前t个时间，发出二级预警，警示频段选择频段3，在步骤307中，控制装置检测到||b||1＝0与驾驶员注视前方区域时，执行步骤322，结束预警，认为驾驶员已经结束分心驾驶状态。步骤304到步骤307是对正面潜在危险进行预警。

执行步骤320，控制装置判定x1(1,:)大于车辆反应时间t1与驾驶员反应时间ti之和&x1(2,:)大于车辆反应时间t2与驾驶员反应时间ti之和时，即判定为不存在潜在危险，执行步骤321，不进行预警。

在步骤317，利用控制装置判定x1(1,:)大于车辆反应时间t1与驾驶员反应时间ti之和且x1(2,:)小于等于车辆反应时间t2与驾驶员反应时间ti时，即检测到的正面障碍物不认为是潜在危险，检测到的侧面障碍物为驾驶员由于分心不能及时规避的潜在危险，执行步骤318，利用控制装置比较得到满足步骤317条件的最大预警时间阈值t，由控制装置将预警时间阈值t传输至预警装置，执行步骤319，利用预警装置提前t个时间，发出二级预警，警示频段选择频段2，在步骤307中，利用控制装置检测到||b||1＝0与驾驶员注视前方区域时，执行步骤322，结束预警，认为驾驶员已经结束分心驾驶状态。步骤317到319和步骤307，是对侧面潜在危险进行预警。

执行步骤311，利用控制装置判定x1(1,:)小于等于车辆反应时间t1与驾驶员反应时间ti之和，或x1(2,:)小于等于车辆反应时间t2与驾驶员反应时间ti之和，与判断x2中左右车道距离为一正一负时，执行步骤312，利用控制装置比较得到满足步骤311条件的最大预警时间阈值t，由控制装置将预警时间阈值t传输至预警装置，执行步骤313，利用预警装置提前t个时间，发出二级预警，警示频段选择频段1，用于警示驾驶员出现车道偏离，且存在潜在危险，在步骤307中，利用控制装置检测到||b||1＝0与驾驶员注视前方区域时，执行步骤322，结束预警，认为驾驶员已经结束分心驾驶状态。步骤311至307执行的前提是检测到车辆并未在车道线内行驶，出现压线等现象，用于警示因车道偏离而出现的潜在危险状况。

执行步骤314，利用控制装置判定x1(1,:)小于等于车辆反应时间t1与驾驶员反应时间ti之和且x1(2,:)小于等于车辆反应时间t2与驾驶员反应时间ti之和，且判断x2中左右车道距离为一正一负时，执行步骤315，利用控制装置比较得到满足步骤314条件的最大预警时间阈值t，由控制装置将预警时间阈值t传输至预警装置，执行步骤316，利用预警装置提前t个时间，发出三级预警，警示驾驶员当前情况十分危急，需尽快结束分心状态，接管车辆，在步骤307中，利用控制装置检测到||b||1＝0与驾驶员注视前方区域时，执行步骤322，结束预警，认为驾驶员已经结束分心驾驶状态。步骤314到307，用于警示驾驶员当前驾驶环境复杂，存在多处可能碰撞事件，需尽快处理险情，避免事故出现。

可选的，驾驶员分心驾驶行为不仅仅体现在本发明纳入考虑的五种行为，还有其他各种行为，结合附图4对识别驾驶员驾驶行为进行说明，所识别到的驾驶行为包括分心驾驶行为和正常驾驶行为。利用检测装置，可检测到驾驶员驾驶行为，其中常见的驾驶行为，例如驾驶员睡觉/瞌睡行为、疲劳驾驶、广播调台、手机通话、手机蓝牙通话、看手机、驾驶员的注视区域、吃喝、听音乐、听收音机、伸手拿物品等。在一些实施例中，确定预警时间阈值和决策预警等级，可同时考虑多行为影响因素，可采用模糊判断的方法决策预警等级，本发明选择考虑单行为因素。

以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。