一种面向特种车辆的驾驶员疲劳检测方法

本发明涉及汽车安全驾驶领域，具体涉及一种面向特种车辆的驾驶员疲劳检测方法。

背景技术：

1、疲劳驾驶会影响行车安全，是引起车辆交通事故的主要原因之一。驾驶员由于长时间行车或未充分休息下都会形成疲劳状态，在此状态下身体反应能力会降低，对车辆的控制能力减弱，直观表现为驾驶员出现注意力不集中，无法准确判断并处理突发的异常状况，这会产生驾驶隐患，危害交通安全。

2、驾驶员的疲劳检测技术主要围绕接触式和非接触式两大类进行研究，接触式需要驾驶员额外佩戴传感设备来获取生理数据，通过分析采集到的诸如心率、血氧浓度、脉搏、呼吸频率、肌电、脑电波等参数来判断驾驶员的疲劳状态。非接触式主要通过摄像头采集驾驶员图像分析行为特征或者统计车辆行驶信息来判断驾驶员的疲劳状态，其中行为特征主要利用驾驶员面部图像来判断闭眼、打哈欠等行为，车辆行驶信息主要包括行驶速度、刹车踏板踩踏力度、方向盘握力、行车总累积时长等。一般而言，接触式类技术的检测准确率高于非接触类技术，但是该类技术所需要的生理数据采集设备价格普遍较高，且会影响驾驶员的驾驶习惯，因此并不适合实际应用。

3、目前由于车辆行驶信息较难获取得到，普通车辆中使用最为广泛的是基于驾驶员面部图像特征的非接触式疲劳检测方法，将驾驶员闭眼和打哈欠的行为作为疲劳最关键的指标被纳入到疲劳检测中。但是该方法存在明显的短板，尤其面向特种车辆时，一方面特种车辆由于其自身的特殊性，驾驶员需佩戴头盔、面罩等装备，导致驾驶员的面部被大幅度遮挡，无法获取到眼部、嘴部特征。另一方面，打哈欠的行为已经是处于较为深度的疲劳状态，无法满足特种车辆的应用场景，因此需要提前对特种车辆驾驶员的疲劳检测时间窗口，对疲劳状态进行预警。当前针对疲劳预警主要采用累积驾驶时长判断，但是路况、驾驶员的个体差异和精神状态对疲劳的时间长短不一，容易造成误报情况。

技术实现思路

1、鉴于上述现有技术存在的不足，本发明的目的在于提出一种面向特种车辆的驾驶员疲劳检测方法及装置，实现对特种车辆驾驶员的疲劳预警和检测。

2、第一方面，本发明实施例提供一种驾驶员疲劳预警方法，包括：

3、检测车辆行驶过程中的异常事件，并将至此异常事件消失的整个过程记录为一个时间周期；

4、根据所述记录的时间周期构建行为响应时间预测模型；

5、根据所述行为响应模型预测下个异常事件的响应时间，确定当前驾驶员的疲劳状态，进行语音提醒；

6、根据所述预测下个异常事件的响应时间与实际下个异常事件的响应时间的差异更新行为响应时间预测模型。

7、可选的，本实施例中，所述的检测车辆行驶过程中的异常事件，并将至此异常事件消失的整个过程记录为一个时间周期，包括以下步骤：

8、根据预先训练的基于深度学习的异常事件检测模型实时进行异常事件检测，同时记录异常事件检测模型的工作时长；

9、检测到异常事件后开始计时，检测到异常事件消失后结束计时，两者时间差值组成一个响应时间周期；

10、重复记录异常事件的响应时间周期，直至达到预设数量或者异常事件检测模型的工作时长满足预设时长。

11、可选的，本实施例中，所述的根据所述记录的时间周期构建行为响应时间预测模型，包括以下步骤：

12、将记录的多个异常事件响应周期生成驾驶员响应周期表；

13、利用密度聚类算法对驾驶员响应周期表内数据进行聚类，提取最多簇的最大边界作为疲劳预警阈值；

14、利用神经网络拟合驾驶员响应周期表，构建行为响应时间预测模型。

15、可选的，本实施例中，所述的根据所述行为响应时间预测模型预测下个异常事件的响应时间，确定当前驾驶员的疲劳状态，包括以下步骤：

16、根据所述得到的行为响应时间预测模型预测下一异常事件的响应时间周期；

17、根据所述预测得到的下一异常事件响应时间与疲劳预警阈值的关系判断驾驶员的疲劳状态；

18、根据所述的驾驶员疲劳状态触发语音提醒。

19、可选的，本实施例中，所述的根据所述预测下个异常事件的响应时间与实际下个异常事件的响应时间的差异更新行为响应时间预测模型，包括以下步骤：

20、获取下个异常事件的实际响应时间；

21、判断预测得到的异常事件响应时间与实际响应时间差值；

22、若差值大于预设阈值，将该实际响应时间加入驾驶员响应周期表内，更新行为响应时间预测模型。

23、第二方面，本发明实施例提供一种驾驶员疲劳识别方法，包括：

24、获取驾驶员的面部图像、姿态图像和语音；

25、根据所述驾驶员面部图像，利用面部属性模型检测人脸属性；

26、根据所述检测的人脸属性结果，执行相应的驾驶员疲劳识别方法；

27、根据所述识别结果进行疲劳提醒。

28、可选的，本实施例中，所述的获取驾驶员的面部图像、姿态图像和语音，包括以下步骤：

29、利用正面摄像头获取每帧视频的驾驶员面部图像；

30、利用侧面摄像头获取驾驶员时序姿态图像；

31、利用语音传感模块获取驾驶员的声音信息。

32、可选的，本实施例中，所述的根据所述驾驶员面部图像，利用面部属性模型检测人脸属性，包括以下步骤：

33、根据预先训练的基于深度学习的人脸属性模型进行是否遮挡嘴部眼部的人脸的属性识别；

34、可选的，本实施例中，所述的根据所述人脸属性结果，将分别利用不同的疲劳识别模型进行识别，包括以下步骤：

35、根据所述人脸属性识别结果，执行相应的驾驶员疲劳识别方法，具体如下：

36、若无遮挡嘴部眼部利用人脸关键点检测模型检测眼部嘴部关键点，再利用分类模型对关键点区域进行睁闭眼和睁闭嘴的识别，通过统计预设时间段内的闭眼次数和张嘴次数判定驾驶员是否疲劳；

37、若遮挡眼部未遮挡嘴部，利用人脸关键点检测模型检测嘴部关键点，再利用分类模型进行睁闭嘴识别，通过统计张嘴持续时间和语音识别模型综合判定驾驶员是否疲劳；

38、若遮挡嘴部未遮挡眼部，利用人脸关键点检测模型检测眼部关键点，再利用分类模型进行睁闭眼识别，通过统计闭眼持续时间判定驾驶员是否疲劳；

39、若遮挡嘴部眼部，利用驾驶员行为识别模型进行驾驶员行为识别，通过头部、手部动作判定驾驶员是否疲劳。

40、可选的，本实施例中，所述的根据所述识别结果进行疲劳提醒，具体如下：

41、根据识别结果进行疲劳判断；

42、判断为疲劳状态则进行声光提醒。

43、第三方面，本发明实施例提供一种驾驶员疲劳检测装置，包括：

44、传感模块；处理模块；提醒模块。

45、可选的，本实施例中，所述的传感模块，包括：

46、驾驶室内语音采集单元，用于获取驾驶员语音；

47、驾驶室内图像采集单元，用于获取驾驶员的面部图像和姿态图像；

48、驾驶室外图像采集单元，用于获取道路图像和车身周围环境图像；

49、可选的，本实施例中，所述的处理模块，包括：

50、存储器，用于存储可在处理器中执行的计算机程序；

51、处理器，与存储器通信连接，装配计算加速卡，用于执行上述第一方面和第二方面所述的驾驶员疲劳预警方法和驾驶员疲劳识别方法的计算机程序。

52、可选的，本实施例中，所述的提醒模块，包括：

53、疲劳预警阶段采用声音提醒；

54、疲劳识别阶段采用声光报警。

55、从上述描述可知，本发明实施例具有以下有益效果：

56、本发明提供的一种面向特种车辆的驾驶员疲劳检测方法及装置，从预警和识别两方面对驾驶员疲劳状态进行检测，通过记录驾驶员对异常事件的响应时间来预警驾驶员的疲劳累积情况，同时利用驾驶员的面部、头部、语音以及姿态特征构建疲劳识别模型来判断驾驶员是否处于疲劳状态以及相应的声光提醒。由此能够提前疲劳事件的检测时间窗口，并针对驾驶员处于疲劳状态时进行提醒，从而提升特种车辆驾驶过程中的安全性。