一种驾驶行为分析方法及装置与流程

1.本发明涉及汽车行车安全领域，更具体地，涉及一种驾驶行为分析方法及装置。


背景技术：

2.疲劳驾驶极易引起交通事故，是指驾驶人在长时间连续行车后，产生生理机能和心理机能的失调，而在客观上出现驾驶技能下降的现象。驾驶人睡眠质量差或不足，长时间驾驶车辆，容易出现疲劳。驾驶疲劳会影响到驾驶人的注意、感觉、知觉、思维、判断、意志、决定和运动等诸方面。疲劳后继续驾驶车辆，会感到困倦瞌睡，四肢无力，注意力不集中，判断能力下降，甚至出现精神恍惚或瞬间记忆消失，出现动作迟误或过早，操作停顿或修正时间不当等不安全因素，极易发生道路交通事故。随着汽车在我国迅速发展与大众化，疲劳驾驶严重威胁到交通安全，疲劳驾驶形成机理、疲劳驾驶行为失误别、疲劳预警与控制技术等正逐渐成为交通安全的主要研究方向。
3.从疲劳驾驶检测的方式来看，现有的解决方案主要分为以下三类：基于驾驶员生理特征、基于车辆运动特征和基于驾驶员面部特征。生理特征一般包括以下几种：眼电波信号、心电波信号、肌电波信号、脑电波信号等，这些生物信号与驾驶员的状态呈现正相关的趋势。针对驾驶员生理特征的检测，主要是通过穿戴相关的仪器设备，直接获取到驾驶员的信号值，然后分析得出驾驶员的疲劳状态。因为这些信息是通过传感器与人体相接触之后获取的，所以可以直观反应驾驶员的疲劳状态，具有很高的准确率。但是，一般情况下此种方法是侵入性的，驾驶员需要配备信号处理装置获取驾驶员的各种生物信号，因此会对驾驶员产生干扰，此外，信号处理装置价格高昂，难以普及。基于车辆运动特征的疲劳驾驶检测方法只需要获取车辆信息，不需要使用传感器与驾驶员相接触，因此不会对驾驶员产生任何干扰，但是，这种方法会受到很多外部因素的干扰，譬如复杂的路况信息和驾驶员的驾驶习惯等。因此在大多数情况下，它只能作为融合检测中的辅助参考因子。基于驾驶员面部特征虽然安装简单成本低，但是当驾驶员进行移动时，难以判断人眼的开闭情况，并且在夜间光照较弱的情况下，现有的人脸检测难以准确对面部特征进行识别，导致其在夜间检测时准确率较低。因此，目前亟需一种适用性强的驾驶行为分析方法及装置。


技术实现要素：

4.为了解决上述问题，本发明提供一种驾驶行为分析方法及装置，该方法及装置与现有的技术相比，具有更强的适用性。
5.本发明采取的技术方案是：
6.一种驾驶行为分析方法，包括以下步骤：
7.步骤s1：采集驾驶信息建立数据集；
8.所述数据集包括图像数据集和生理数据集；
9.所述图像数据集用于存储驾驶员的脸部图像；所述生理数据集用于存储驾驶员的生理信息；
10.步骤s2：将图像数据集输入第一检测模型，计算出第一疲劳值；
11.步骤s3：将生理数据集输入第二检测模型，计算出第二疲劳值；
12.步骤s4：根据第一疲劳值和第二疲劳值判断驾驶员是否处于疲劳状态；
13.步骤s5：根据判断结果采取相应的措施。
14.具体地，基于驾驶员面部特征的疲劳检测方法容易受到外界因素干扰，例如：驾驶员进行移动无法判断人眼开闭、光线不足难以准确识别面部特征等。因此，本方案采取了基于驾驶员面部特征和基于驾驶员生理特征相结合的方法来检测疲劳驾驶。避免了受外界因素干扰，采集不到清晰的驾驶员脸部图像时，无法准确地判断疲劳状态的情况。
15.进一步地，所述步骤s2包括：
16.步骤s2.1：对图像数据集中的脸部图像进行清晰度判断，若清晰度低于预定阈值进行步骤s2.2，否则进行步骤s2.3；
17.步骤s2.2：对脸部图像进行图像降噪和低光增强；
18.步骤s2.3：根据脸部图像的清晰度获取第一权重；
19.步骤s2.4：对图像数据集中的脸部图像进行人脸检测；
20.所述人脸检测采用adaboost算法的层叠分类器进行；
21.步骤s2.5：对完成人脸检测的脸部图像进行人眼定位；
22.所述人眼定位采用灰度投影法；
23.步骤s2.6：从人眼定位后的脸部图像中提第一取疲劳特征；
24.所述第一疲劳特征为以下至少一项：perclos值、瞳孔直径、眨眼频率和嘴巴张合频率；
25.步骤s2.7：根据第一权重和第一疲劳特征计算出第一疲劳值。
26.具体地，对采集到的脸部图像进行预处理，使其更为清晰，并且根据脸部图像的清晰度获取第一权重；脸部图像越清晰，第一权重的越高，反之越低。然后，采用adaboost算法的层叠分类器进行人脸检测；adaboost算法是一种迭代方法，其核心思想是针对不同的训练集训练同一个弱分类器，然后把在不同训练集上得到的弱分类器集合起来，构成一个最终的强分类器。该分类器能快速的检测出人脸，并且具有良好的鲁棒性。之后，再使用灰度投影法对脸部图像进行人眼定位；灰度投影法计算量小，因此能快速对人眼进行定位。最后，对第一取疲劳特征提取，根据第一权重和第一取疲劳特征获取到判断疲劳状态的依据之一——第一疲劳值。
27.进一步地，所述步骤s2.6包括：
28.步骤s2.61：采用canny算法对脸部图像的人眼区域进行边缘检测，获取人眼边缘；
29.步骤s2.62：根据人眼边缘的上边缘和下边缘是否重合判断人眼的开闭状态；
30.步骤s2.63：比较人眼边缘内的像素点数量与预设阈值，以此再次判断人眼的开闭状态；
31.所述像素点为肤色像素的像素点；所述预设阈值为动态函数，随脸部图像的变化而变化；
32.步骤s2.64：根据开闭状态获取perclos值和眨眼频率。
33.具体地，现有的人眼定位技术普遍存在不少缺点，使后续难以判断人眼的开闭状态，导致了无法得到准确的perclos值和眨眼频率。难以判断人眼开闭状态的原因一般为：
驾驶员动作幅度大或进行转动造成的。上述的灰度投影法虽然对人眼定位的速度快，但相应的定位不够精准，属于粗略定位。因此，本方案还采用了canny算法推导出更准确的人眼的开闭状态。首先，使用canny算法对脸部图像的人眼区域进行边缘检测，获取人眼边缘。之后根据人眼边缘的上边缘和下边缘是否重合判断人眼的开闭状态；若重合表明人眼处于闭合状态，若不重合则属于张开状态；此外，人眼还有处于半开闭状态的时候，为了更准确地获取人眼的开闭状态以计算疲劳值，本方案以人眼边缘内的像素值判断人眼的开闭状态。首先，预设一个阈值，当肤色像素的像素点数量大于阈值时，则人眼处于闭合状态，否则处于张开状态。当驾驶员动作幅度大或进行转动时，人眼图像的大小会发生变动，肤色像素的像素点数量会随之发生变动；将预设阈值设计为动态函数，当人眼图像的大小会发生变动时，预设阈值也随人眼图像发生变动，使阈值和像素点数量之间的比较能准确地判断获取人眼的开闭状态。
34.进一步地，所述步骤s3包括：
35.步骤s3.1：根据脸部图像的清晰度获取第二权重；
36.步骤s3.2：根据生理数据集提取第二疲劳特征；
37.所述第二疲劳特征包括：心率、血氧饱和度和驾驶时长；
38.所述心率和血氧饱和度由安装在方向盘上的生理信息传感器采集；所述生理信息传感器还采集指纹；所述指纹用于识别驾驶车辆的是否为同一个驾驶员；所述驾驶时长根据指纹和连续驾驶的时间获取；
39.步骤s3.3：根据第二权重和第二疲劳特征计算出第二疲劳值。
40.具体地，根据脸部图像的清晰度获取第二权重；脸部图像越清晰，第二权重的越低，反之越高。基于驾驶员生理特征一般需要佩戴设备才能采集到人体数据，而侵入式的设备往往会妨碍驾驶员的驾驶操作。鉴于此，本方案选择采集的人体数据为：心率、血氧饱和度和指纹，由于采集三者所用的设备简单，因此不会对驾驶员的驾驶操作造成影响。驾驶员把手握在方向盘安装生理信息传感器的区域上，生理信息传感器即可以采集到心率、血氧饱和度和指纹。根据指纹可以识别在限定的时段内车内驾驶的是否为同一个人，若为同一个人，再根据车辆的行驶时间，则可以得出行驶时长。根据心率和血氧饱和度的变化，可以判断车内驾驶员大致的疲劳程度。再根据第二权重和第二疲劳特征计算出第二疲劳值获取到判断疲劳状态的依据之二——第二疲劳值。
41.进一步地，所述步骤s5中的措施为以下至少一项：音响告警、显示器告警、车内警示灯告警、车外警示灯告警、控制车辆减速和发送信息给控制中心。
42.具体地，当上述的检测判断驾驶员处于疲劳驾驶时，车内的音响会发出警示语音，提示驾驶员停止疲劳驾驶；车内的显示器会显示警示文字，提示驾驶员停止疲劳驾驶；车外的警示灯会开启，提示附近车辆，本车内的驾驶员处于疲劳驾驶；若驾驶员对于上述不进行理会，车内系统会判断道路类型，在不违反交通规则的情况下，强制车辆进行减速；若交通规则不允许，则发送信息给控制中心，再由控制中心发送信息给附近的车辆，通知附近的车辆注意通行。
43.一种驾驶行为分析装置，包括：
44.采集模块，用于采集驾驶信息；
45.所述驾驶信息包括驾驶员的脸部图像和驾驶员的生理信息；
46.解析模块，用于对采集模块采集的信息进行解析，计算第一疲劳值和第二疲劳值，并且根据第一疲劳值和第二疲劳值判断驾驶员是否处于疲劳状态；
47.响应模块，用于根据解析模块的判断结果采取对应的措施。
48.进一步地，所述解析模块包括：
49.图像预处理单元，用于根据脸部图像的清晰度计算第一权重以及对脸部图像进行图像降噪和低光增强；
50.人脸检测单元，用于对脸部图像进行人脸检测；
51.所述人脸检测采用adaboost算法的层叠分类器进行；
52.人眼定位单元，用于对人脸检测后的脸部图像进行人眼定位；
53.所述人眼定位采用灰度投影法；
54.第一解析单元，用于从人眼定位后的脸部图像中提取第一疲劳特征，并且根据第一权重和第一疲劳特征计算出第一疲劳值；
55.所述第一疲劳特征为以下至少一项：perclos值、瞳孔直径、眨眼频率和嘴巴张合频率。
56.进一步地，所述第一解析单元包括：
57.人眼边缘子单元，用于定位人眼边缘；
58.所述人眼边缘采用canny算法检测获取；
59.第一辨别子单元，用于根据人眼边缘的上边缘和下边缘是否重合判断人眼的开闭状态；
60.第二辨别子单元，用于比较人眼边缘内的像素点数量与预设阈值，以此再次判断人眼的开闭状态；
61.所述像素点为肤色像素的像素点；所述预设阈值为动态函数，随脸部图像的变化而变化；
62.perclos值获取子单元，用于根据开闭状态获取perclos值；
63.眨眼频率获取子单元，用于根据开闭状态变化的次数获取眨眼频率。
64.进一步地，所述解析模块还包括：
65.生理信息预处理单元，用于根据脸部图像的清晰度计算第二权重以及生理数据集提取第二疲劳特征；
66.所述第二疲劳特征包括：心率、血氧饱和度和驾驶时长；
67.所述驾驶时长由指纹和连续驾驶的时间计算所得；所述指纹用于识别驾驶车辆的是否为同一个驾驶员；所述心率、血氧饱和度和指纹通过采集模块中的生理信息传感器采集；所述生理信息传感器安装在方向盘上；
68.第二解析单元，用于根据第二权重和第二疲劳特征计算出第二疲劳值。
69.进一步地，所述响应模块包括：
70.音响告警单元，用于语音提示驾驶员当前处于疲劳状态；
71.显示器告警单元，用于文字提示驾驶员当前处于疲劳状态；
72.车内警示灯告警单元，用于灯光提示驾驶员当前处于疲劳状态；
73.车外警示灯告警单元，用于灯光提示附近车辆，车内的驾驶员当前处于疲劳状态；
74.控制车辆减速单元，用于控制车辆进行减速；
75.通信告警单元，用于发送信息给控制中心，控制中心再发信息给附近其他车辆，以此提示附近车辆，车内的驾驶员当前处于疲劳状态。
76.与现有技术相比，本发明的有益效果为：
77.(1)同时使用面部特征和生理特征检测疲劳驾驶，使检测疲劳驾驶方法的适用性更强，受到外界环境影响更小。
78.(2)第一权重和第二权重的设计使疲劳驾驶的检测更为准确。
79.(3)将预设阈值设计为动态函数，使获取到的人眼的开闭状态更为准确，为疲劳驾驶的检测提供了有利条件。
附图说明
80.图1为本发明的驾驶行为分析装置结构图；
81.图2为本发明的解析模块结构图；
82.图3为本发明的第一解析单元结构图；
83.图4为本发明的响应模块结构图。
具体实施方式
84.本发明附图仅用于示例性说明，不能理解为对本发明的限制。为了更好说明以下实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。实施例
85.本实施例一种驾驶行为分析方法，包括以下步骤：
86.步骤s1：采集驾驶信息建立数据集；
87.所述数据集包括图像数据集和生理数据集；
88.所述图像数据集用于存储驾驶员的脸部图像；所述生理数据集用于存储驾驶员的生理信息；
89.步骤s2：将图像数据集输入第一检测模型，计算出第一疲劳值；
90.步骤s3：将生理数据集输入第二检测模型，计算出第二疲劳值；
91.步骤s4：根据第一疲劳值和第二疲劳值判断驾驶员是否处于疲劳状态；
92.步骤s5：根据判断结果采取相应的措施。
93.具体地，基于驾驶员面部特征的疲劳检测方法容易受到外界因素干扰，例如：驾驶员进行移动无法判断人眼开闭、光线不足难以准确识别面部特征等。因此，本方案采取了基于驾驶员面部特征和基于驾驶员生理特征相结合的方法来检测疲劳驾驶。避免了受外界因素干扰，采集不到清晰的驾驶员脸部图像时，无法准确地判断疲劳状态的情况。
94.进一步地，所述步骤s2包括：
95.步骤s2.1：对图像数据集中的脸部图像进行清晰度判断，若清晰度低于预定阈值进行步骤s2.2，否则进行步骤s2.3；
96.步骤s2.2：对脸部图像进行图像降噪和低光增强；
97.步骤s2.3：根据脸部图像的清晰度获取第一权重；
98.步骤s2.4：对图像数据集中的脸部图像进行人脸检测；
99.所述人脸检测采用adaboost算法的层叠分类器进行；
100.步骤s2.5：对完成人脸检测的脸部图像进行人眼定位；
101.所述人眼定位采用灰度投影法；
102.步骤s2.6：从人眼定位后的脸部图像中提第一取疲劳特征；
103.所述第一疲劳特征为以下至少一项：perclos值、瞳孔直径、眨眼频率和嘴巴张合频率；
104.步骤s2.7：根据第一权重和第一疲劳特征计算出第一疲劳值。
105.具体地，对采集到的脸部图像进行预处理，使其更为清晰，并且根据脸部图像的清晰度获取第一权重；脸部图像越清晰，第一权重的越高，反之越低。然后，采用adaboost算法的层叠分类器进行人脸检测；adaboost算法是一种迭代方法，其核心思想是针对不同的训练集训练同一个弱分类器，然后把在不同训练集上得到的弱分类器集合起来，构成一个最终的强分类器。该分类器能快速的检测出人脸，并且具有良好的鲁棒性。之后，再使用灰度投影法对脸部图像进行人眼定位；灰度投影法计算量小，因此能快速对人眼进行定位。最后，对第一取疲劳特征提取，根据第一权重和第一取疲劳特征获取到判断疲劳状态的依据之一——第一疲劳值。
106.进一步地，所述步骤s2.6包括：
107.步骤s2.61：采用canny算法对脸部图像的人眼区域进行边缘检测，获取人眼边缘；
108.步骤s2.62：根据人眼边缘的上边缘和下边缘是否重合判断人眼的开闭状态；
109.步骤s2.63：比较人眼边缘内的像素点数量与预设阈值，以此再次判断人眼的开闭状态；
110.所述像素点为肤色像素的像素点；所述预设阈值为动态函数，随脸部图像的变化而变化；
111.步骤s2.64：根据开闭状态获取perclos值和眨眼频率。
112.具体地，现有的人眼定位技术普遍存在不少缺点，使后续难以判断人眼的开闭状态，导致了无法得到准确的perclos值和眨眼频率。难以判断人眼开闭状态的原因一般为：驾驶员动作幅度大或进行转动造成的。上述的灰度投影法虽然对人眼定位的速度快，但相应的定位不够精准，属于粗略定位。因此，本方案还采用了canny算法推导出更准确的人眼的开闭状态。首先，使用canny算法对脸部图像的人眼区域进行边缘检测，获取人眼边缘。之后根据人眼边缘的上边缘和下边缘是否重合判断人眼的开闭状态；若重合表明人眼处于闭合状态，若不重合则属于张开状态；此外，人眼还有处于半开闭状态的时候，为了更准确地获取人眼的开闭状态以计算疲劳值，本方案以人眼边缘内的像素值判断人眼的开闭状态。首先，预设一个阈值，当肤色像素的像素点数量大于阈值时，则人眼处于闭合状态，否则处于张开状态。当驾驶员动作幅度大或进行转动时，人眼图像的大小会发生变动，肤色像素的像素点数量会随之发生变动；将预设阈值设计为动态函数，当人眼图像的大小会发生变动时，预设阈值也随人眼图像发生变动，使阈值和像素点数量之间的比较能准确地判断获取人眼的开闭状态。
113.进一步地，所述步骤s3包括：
114.步骤s3.1：根据脸部图像的清晰度获取第二权重；
115.步骤s3.2：根据生理数据集提取第二疲劳特征；
116.所述第二疲劳特征包括：心率、血氧饱和度和驾驶时长；
117.所述心率和血氧饱和度由安装在方向盘上的生理信息传感器采集；所述生理信息传感器还采集指纹；所述指纹用于识别驾驶车辆的是否为同一个驾驶员；所述驾驶时长根据指纹和连续驾驶的时间获取；
118.步骤s3.3：根据第二权重和第二疲劳特征计算出第二疲劳值。
119.具体地，根据脸部图像的清晰度获取第二权重；脸部图像越清晰，第二权重的越低，反之越高。基于驾驶员生理特征一般需要佩戴设备才能采集到人体数据，而侵入式的设备往往会妨碍驾驶员的驾驶操作。鉴于此，本方案选择采集的人体数据为：心率、血氧饱和度和指纹，由于采集三者所用的设备简单，因此不会对驾驶员的驾驶操作造成影响。驾驶员把手握在方向盘安装生理信息传感器的区域上，生理信息传感器即可以采集到心率、血氧饱和度和指纹。根据指纹可以识别在限定的时段内车内驾驶的是否为同一个人，若为同一个人，再根据车辆的行驶时间，则可以得出行驶时长。根据心率和血氧饱和度的变化，可以判断车内驾驶员大致的疲劳程度。再根据第二权重和第二疲劳特征计算出第二疲劳值获取到判断疲劳状态的依据之二——第二疲劳值。
120.进一步地，所述步骤s5中的措施为以下至少一项：音响告警、显示器告警、车内警示灯告警、车外警示灯告警、控制车辆减速和发送信息给控制中心。
121.具体地，当上述的检测判断驾驶员处于疲劳驾驶时，车内的音响会发出警示语音，提示驾驶员停止疲劳驾驶；车内的显示器会显示警示文字，提示驾驶员停止疲劳驾驶；车外的警示灯会开启，提示附近车辆，本车内的驾驶员处于疲劳驾驶；若驾驶员对于上述不进行理会，车内系统会判断道路类型，在不违反交通规则的情况下，强制车辆进行减速；若交通规则不允许，则发送信息给控制中心，再由控制中心发送信息给附近的车辆，通知附近的车辆注意通行。
122.一种驾驶行为分析装置，图1为本发明的驾驶行为分析装置结构图，如图所示，包括：
123.采集模块，用于采集驾驶信息；
124.所述驾驶信息包括驾驶员的脸部图像和驾驶员的生理信息；
125.解析模块，用于对采集模块采集的信息进行解析，计算第一疲劳值和第二疲劳值，并且根据第一疲劳值和第二疲劳值判断驾驶员是否处于疲劳状态；
126.响应模块，用于根据解析模块的判断结果采取对应的措施。
127.图2为本发明的解析模块结构图，如图所示，所述解析模块包括：
128.图像预处理单元，用于根据脸部图像的清晰度计算第一权重以及对脸部图像进行图像降噪和低光增强；
129.人脸检测单元，用于对脸部图像进行人脸检测；
130.所述人脸检测采用adaboost算法的层叠分类器进行；
131.人眼定位单元，用于对人脸检测后的脸部图像进行人眼定位；
132.所述人眼定位采用灰度投影法；
133.第一解析单元，用于从人眼定位后的脸部图像中提取第一疲劳特征，并且根据第一权重和第一疲劳特征计算出第一疲劳值；
134.所述第一疲劳特征为以下至少一项：perclos值、瞳孔直径、眨眼频率和嘴巴张合
频率。
135.图3为本发明的第一解析单元结构图，如图所示，所述第一解析单元包括：
136.人眼边缘子单元，用于定位人眼边缘；
137.所述人眼边缘采用canny算法检测获取；
138.第一辨别子单元，用于根据人眼边缘的上边缘和下边缘是否重合判断人眼的开闭状态；
139.第二辨别子单元，用于比较人眼边缘内的像素点数量与预设阈值，以此再次判断人眼的开闭状态；
140.所述像素点为肤色像素的像素点；所述预设阈值为动态函数，随脸部图像的变化而变化；
141.perclos值获取子单元，用于根据开闭状态获取perclos值；
142.眨眼频率获取子单元，用于根据开闭状态变化的次数获取眨眼频率。
143.进一步地，所述解析模块还包括：
144.生理信息预处理单元，用于根据脸部图像的清晰度计算第二权重以及生理数据集提取第二疲劳特征；
145.所述第二疲劳特征包括：心率、血氧饱和度和驾驶时长；
146.所述驾驶时长由指纹和连续驾驶的时间计算所得；所述指纹用于识别驾驶车辆的是否为同一个驾驶员；所述心率、血氧饱和度和指纹通过采集模块中的生理信息传感器采集；所述生理信息传感器安装在方向盘上；
147.第二解析单元，用于根据第二权重和第二疲劳特征计算出第二疲劳值。
148.图4为本发明的响应模块结构图，如图所示，所述响应模块包括：
149.音响告警单元，用于语音提示驾驶员当前处于疲劳状态；
150.显示器告警单元，用于文字提示驾驶员当前处于疲劳状态；
151.车内警示灯告警单元，用于灯光提示驾驶员当前处于疲劳状态；
152.车外警示灯告警单元，用于灯光提示附近车辆，车内的驾驶员当前处于疲劳状态；
153.控制车辆减速单元，用于控制车辆进行减速；
154.通信告警单元，用于发送信息给控制中心，控制中心再发信息给附近其他车辆，以此提示附近车辆，车内的驾驶员当前处于疲劳状态。
155.显然，本发明的上述实施例仅仅是为清楚地说明本发明技术方案所作的举例，而并非是对本发明的具体实施方式的限定。凡在本发明权利要求书的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。