一种基于多模态特征融合的驾驶员疲劳检测方法

1.本发明属于城市智能交通领域，特别是涉及一种基于多模态特征融合的驾驶员疲劳检测方法。


背景技术：

2.随着中国经济的飞速发展，中国机动车保有量连年升高。在汽车保有量稳步上升的同时，交通事故也连年升高。相比于超速、酒驾、醉驾等显性违法违章行为，由于驾驶员个体差异性等原因，疲劳驾驶相对难以判定，且难以预防。
3.疲劳驾驶是指由于长时间、高强度行车、驾驶环境单调等原因导致驾驶员生理及心理机能减退、反应水平降低的现象。据预估，大约有20％的事故原因是驾驶员疲劳驾驶。如果在潜在交通事故发生前1秒对驾驶员作出警示，则大约有90％的交通事故是可以避免的。
4.综上，本发明提出了一种基于多模态特征融合的驾驶员疲劳检测方法。针对实际驾驶环境，首先，提取驾驶员面部有效区域。针对实际驾驶环境，建立基于回归树集合的级联回归器用于检测驾驶员面部关键点；依据驾驶员面部关键点提取驾驶员面部有效区域。其次，建立驾驶员面部行为感知模型。建立基于深度学习的驾驶员面部整体特征检测模型；建立用以分析驾驶员眼睛/嘴巴状态的深度压缩卷积神经网络模型；建立驾驶员视线区域估计模型。最后，建立与优化驾驶员疲劳检测的多模态特征融合模型。


技术实现要素：

5.本发明的目的是针对现有技术的不足，提供一种基于多模态特征融合的驾驶员疲劳检测方法。
6.实现本发明目的的技术解决方案为：
7.一种基于多模态特征融合的驾驶员疲劳检测方法，包括以下步骤：
8.步骤1、提取驾驶员面部有效区域。
9.步骤2、建立驾驶员面部行为感知模型。
10.步骤3、建立与优化驾驶员疲劳检测的多模态特征融合模型。
11.下面结合附图对本发明作进一步阐述。
附图说明
12.图1为本发明方法的流程图。
具体实施方式
13.本发明的一种基于多模态特征融合的驾驶员疲劳检测方法，包括以下步骤：
14.步骤1、提取驾驶员面部有效区域。具体包括以下步骤：
15.步骤1.1、针对实际驾驶环境，建立基于回归树集合的级联回归器用于检测驾驶员
面部关键点。
16.步骤1.1.1、针对实际驾驶环境，提取驾驶员面部图像，建立弱级联回归器。
17.步骤1.1.2、利用多个弱级联回归器组成强级联回归器，检测驾驶员面部关键点。
18.步骤1.1.3、拓展回归树节点划分的误差函数，解决数据集中标签部分缺失的问题。
19.步骤1.2、依据驾驶员面部关键点提取驾驶员面部有效区域。
20.步骤1.2.1、基于驾驶员面部关键点之间的相对位置关系，对驾驶员面部关键点、眼睛图像及嘴巴图像进行提取。
21.步骤2、建立驾驶员面部行为感知模型。具体包括以下步骤：
22.步骤2.1、建立基于深度学习的驾驶员面部整体特征检测模型。
23.步骤2.1.1、通过深度神经网络对驾驶员面部整体特征进行预处理。
24.步骤2.1.2、将处理结果作为驾驶员疲劳检测的参考信息。
25.步骤2.2、建立用以分析驾驶员眼睛/嘴巴状态的深度压缩卷积神经网络模型。
26.步骤2.2.1、该模型在卷积神经网络的基础上，添加残差链接提升模型整体表现。
27.步骤2.2.2、压缩深度神经网络模型，降低模型的参数量和计算量，提升驾驶员眼睛/嘴巴状态的检测效率。
28.步骤2.3、建立驾驶员视线区域估计模型
29.步骤2.3.1、将驾驶员面部关键点间的相对距离和角度关系作为驾驶员头部姿态估计特征。
30.步骤2.3.2、通过二值化对驾驶员眼睛统计灰度，得到驾驶员瞳孔位置。
31.步骤2.3.3、将驾驶员头部姿态估计特征和瞳孔位置作为特征输入，利用随机森林估计驾驶员视线区域。
32.步骤3、建立与优化驾驶员疲劳检测的多模态特征融合模型。具体包括以下步骤：
33.步骤3.1、基于长短期记忆神经网络，融合驾驶员面部多源特征，以驾驶员面部整体特征、眼睛状态、嘴巴状态及视线区域等驾驶员面部行为感知结果为输入，以二分类的疲劳状态为输出。
34.步骤3.2、在参数初始化、学习率、超参数选择等深度模型优化策略方面进行分析和选择。
35.步骤3.3、基于驾驶员眼睛、嘴巴状态检测及视线区域估计结果，计算闭眼持续时间最大值、驾驶员视线离开安全区域的持续时间等疲劳特征，评估驾驶员的疲劳程度。


技术特征：
1.一种基于多模态特征融合的驾驶员疲劳检测方法。其特征在于，所述的驾驶员疲劳检测方法包括以下步骤：步骤1、提取驾驶员面部有效区域。步骤2、建立驾驶员面部行为感知模型。步骤3、建立与优化驾驶员疲劳检测的多模态特征融合模型。2.根据权利要求1所述的一种基于多模态特征融合的驾驶员疲劳检测方法，其特征在于，所述步骤1提取驾驶员面部有效区域，具体包括：步骤1.1、针对实际驾驶环境，建立基于回归树集合的级联回归器用于检测驾驶员面部关键点。步骤1.2、依据驾驶员面部关键点提取驾驶员面部有效区域。3.根据权利要求1所述的一种基于多模态特征融合的驾驶员疲劳检测方法，其特征在于，所述步骤2建立驾驶员面部行为感知模型，具体包括：步骤2.1、建立基于深度学习的驾驶员面部整体特征检测模型。步骤2.2、建立用以分析驾驶员眼睛/嘴巴状态的深度压缩卷积神经网络模型。步骤2.3、建立驾驶员视线区域估计模型。4.根据权利要求1所述的一种基于多模态特征融合的驾驶员疲劳检测方法，其特征在于，所述步骤3建立与优化驾驶员疲劳检测的多模态特征融合模型，具体包括：步骤3.1、基于长短期记忆神经网络，融合驾驶员面部多源特征，以驾驶员面部整体特征、眼睛状态、嘴巴状态及视线区域等驾驶员面部行为感知结果为输入，以二分类的疲劳状态为输出。步骤3.2、在参数初始化、学习率、超参数选择等深度模型优化策略方面进行分析和选择。步骤3.3、基于驾驶员眼睛、嘴巴状态检测及视线区域估计结果，计算闭眼持续时间最大值、驾驶员视线离开安全区域的持续时间等疲劳特征，评估驾驶员的疲劳程度。

技术总结
本发明公开了一种基于多模态特征融合的驾驶员疲劳检测方法。本发明针对实际驾驶环境，首先，提取驾驶员面部有效区域。针对实际驾驶环境，建立基于回归树集合的级联回归器用于检测驾驶员面部关键点；依据驾驶员面部关键点提取驾驶员面部有效区域。其次，建立驾驶员面部行为感知模型。建立基于深度学习的驾驶员面部整体特征检测模型；建立用以分析驾驶员眼睛/嘴巴状态的深度压缩卷积神经网络模型；建立驾驶员视线区域估计模型。最后，建立与优化驾驶员疲劳检测的多模态特征融合模型。驾驶员疲劳检测的多模态特征融合模型。驾驶员疲劳检测的多模态特征融合模型。


技术研发人员：林淑娣 胡波
受保护的技术使用者：宁波中国科学院信息技术应用研究院
技术研发日：2021.06.17
技术公布日：2022/12/19