一种高速公路疲劳驾驶行为检测方法、系统及其存储介质与流程

1.本发明属于智能交通技术领域，具体涉及一种高速公路疲劳驾驶行为检测方法、系统及其存储介质。


背景技术：

2.目前检测疲劳驾驶主要有如下几种方案：
3.1、基于车辆连续行驶时长的疲劳驾驶分析
4.通过抽取车辆的行驶轨迹获得车辆的平均通行速度，比较与速度阈值的关系来判断车辆是否处于连续驾驶状态，即没有经过休息或休息时间不足，然后再将连续行驶时长进行累加，如果累加值超过4小时则判断出该车辆存在疲劳驾驶行为。
5.该方式无法区分待测车辆是否在服务区更换驾驶员，如果更换了驾驶员，则待测车辆无疲劳驾驶行为。实际操作过程中此方案误判率较高，无法达到执法效果。
6.2、基于驾驶员面部特征和行为特征的检测方法
7.基于驾驶员面部特征的检测方法是指以通过摄像头等图像传感器获取到的驾驶员面部图像为基础，运用机器视觉中人脸检测、面部特征点定位等算法技术，对驾驶员的脸部变化如眼睛睁闭、嘴巴张合以及头部姿态等特征进行提取和分析，从而实现对驾驶员的疲劳状态的分析判断。
8.该方法需要强制安装额外的车载设备，目前一般用于两客一危、大型货车等营运车辆上。而对于私家车其他小型车辆则无法进行监控。


技术实现要素：

9.本发明的目的就是为了解决上述背景技术存在的不足，提供一种高速公路疲劳驾驶行为检测方法、系统及其存储介质，结合数据分析技术、图像识别技术，能够较准确地检测车辆疲劳驾驶行为。
10.本发明采用的技术方案是：一种高速公路疲劳驾驶行为检测方法，包括以下步骤：
11.通过在高速公路某段通行区间的两端卡口处的抓拍图片，针对待测车辆分别获取其车型、通过时间和驾驶员图像数据；
12.根据待测车辆的车型获取该车辆通过该段通行区间的通行时间阈值；
13.根据待测车辆在两端卡口处的通过时间计算该车辆在该段通行区间的实际通行时间；
14.判断该车辆在该段通行区间的实际通行时间是否大于该车辆的对应车型在该段通行区间的通行时间阈值；若判定为是，则将该车辆的连续行驶时长清零；若判定为否，则根据两端卡口处分别获取的驾驶员图像数据判断该车辆在该段通行区间是否有更换驾驶员；
15.若判定有更换驾驶员，则将该车辆的连续行驶时长清零；若判定为未更换驾驶员，则将该车辆在该段通行区间的实际通行时间累计入该车辆的连续行驶时长中；
16.判断该车辆的连续行驶时长是否大于设定阈值；若判定为是，则输出该车辆为疑似疲劳驾驶的结论；若判定为否，则在高速公路的下一段通行区间继续执行上述步骤。
17.上述技术方案中，统计高速公路每段通行区间不同车型的通行时间阈值，将各车型数据在所有的通行区间对应的通行时间阈值进行关联形成区间通行时间阈值表；
18.根据某车型和某通行区间信息查询区间通行时间阈值表，获取该车型通过该段通行区间的通行时间阈值。本发明通过车型和通行区间信息采用查表的方式获得对应的阈值，保证了程序执行的高效性和准确度。
19.上述技术方案中，任一车型在任一段通行区间的通行时间阈值的计算过程包括：
20.根据历史通行数据获取某车型在高速公路某段区间连续行驶的通行速度的正态分布；求取该正态分布置信区间的界限；
21.根据正态分布置信区间的上限对应的通行速度和该段通行区间的距离计算得到该车型通过该段通行区间的理论最短时长,将其与设定的休息时长相加得到该车型通过该段通行区间的通行时间阈值。
22.本发明通过统计各通行区间各车型通行速度的正态分布，针对各车型分别获取其在各个通行区间的理论最短时长，实现在各个通行区间不同车辆的针对性分析，通过历史数据进行阈值确定，保证确定的阈值更符合该区域的实际通行情况，有效考量了实际车辆本身、交通、环境等因素。
23.上述技术方案中，针对待测车辆分别获取其车型、通过时间和驾驶员图像数据的过程包括：
24.根据卡口处抓拍的图像，识别并采集图像中每辆车辆的车型、通过时间和驾驶员图像数据，图像中的所有车辆均为待测车辆：
25.提取车牌号作为对应车辆的身份信息；根据车牌颜色确定对应车辆的车型；提取车辆中驾驶员的人脸和上半身图像作为对应车辆的驾驶员图像；将图像的抓拍时间作为图像中所有车辆的通过时间；将车辆的身份信息与对应的车辆的车型、通过时间和驾驶员图像相关联并输出。
26.本发明通过锁定车牌号作为唯一的身份识别信息，保证后续判定过程的准确度；同时根据车牌颜色确定车型，对于车型的判定准确度更高。本发明同时提取驾驶员的人脸和衣着信息作为驾驶员数据，提高了驾驶员识别的准确度。
27.上述技术方案中，根据待测车辆在两端卡口处的通过时间计算该车辆在该段通行区间的实际通行时间的过程包括：
28.根据车辆的身份信息获取两端卡口分别采集到的对应车辆的通过时间；计算两个通过时间的时间差作为该车辆在该段通行区间的实际通行时间。
29.本发明根据抓拍时间确定车辆的实际通行时间，有效提高了整体判断流程的便利性和精度。
30.上述技术方案中，根据两端卡口处分别采集的驾驶员图像数据判断该车辆在该段通行区间是否有更换驾驶员的过程包括：
31.根据车辆的身份信息获取两端卡口分别采集到的对应车辆的驾驶员图像，并分别提取两个卡口采集到的驾驶员图像的特征向量；分别针对同一个卡口采集的每个驾驶员图像的特征向量，计算其与另一个卡口处采集的所有驾驶员图像的特征向量之间的余弦距
离；当判定计算得到的每个余弦距离均大于判定阈值时，则判定未更换驾驶员；反之，则判定有更换驾驶员。
32.本发明通过获取驾驶员图像的特征向量，并计算前后两处卡口采集的特征向量的余弦距离，确定两组图像的相似度，进而判断驾驶员是否为同一人，保证识别结果的有效性的同时保证了判定标准的统一性。
33.上述技术方案中，采用卷积神经网络模型提取驾驶员图像的特征向量；所述卷积神经网络模型的训练过程包括：
34.构建样本数据集，单个样本的信息包括作为输入的驾驶员图像，以及作为训练标签的车牌号；每个车牌号对应有多个驾驶员图像且图像中显示的驾驶员均为同一个人；
35.采用样本数据集对卷积神经网络模型进行训练；
36.训练完成后的卷积神经网络模型输入为驾驶员图像，输出为驾驶员图像对应的车牌号和驾驶员图像的特征向量。
37.本发明通过卷积神经网络提取驾驶员图像的特征向量，准确性高且效率高。
38.上述技术方案中，判定阈值的确定过程包括：
39.计算卷积神经网络训练过程中输出的驾驶员图像的特征向量两两之间的余弦距离；
40.在余弦距离的取值范围内设置若干个初始阈值，并设定如果两特征向量之间的余弦距离大于设置的初始阈值则判定为两特征向量对应的驾驶员图像属于同一车牌号；
41.遍历每一个初始阈值，分别计算基于每个初始阈值的设定得到的每两个特征向量对应的驾驶员图像是否属于同一车牌号的判定结果；
42.根据驾驶员图像的特征向量与车牌号的真实对应关系分别计算每个初始阈值对应的判定结果的正确率，选择正确率最高的初始阈值作为判定阈值。
43.本发明通过分析计算卷积神经网络的训练过程输出的特征向量两两之间的余弦距离，确定用于识别驾驶员是否为同一人的判定阈值，有效提高识别精度的同时节约了计算资源。
44.上述技术方案中，输出某车辆为疑似疲劳驾驶的结论的同时将该车辆的的车牌号发送至上级管理系统。
45.本发明还提供了一种高速公路疲劳驾驶行为检测系统，：包括图像获取模型、通行时间阈值计算模块、实际通行时间计算模块、驾驶员识别模块、疲劳驾驶判定模块；
46.图像获取模型用于在高速公路某段通行区间的两端卡口处，针对待测车辆分别获取其车型、通过时间和驾驶员图像数据；
47.通行时间阈值计算模块用于根据待测车辆的车型获取该车辆通过该段通行区间的通行时间阈值；
48.实际通行时间计算模块用于根据待测车辆在两端卡口处的通过时间计算该车辆在该段通行区间的实际通行时间；
49.驾驶员识别模块用于根据两端卡口处分别采集的驾驶员图像数据判断该车辆在该段通行区间是否有更换驾驶员；
50.疲劳驾驶判定模块用于比较该车辆在该段通行区间的实际通行时间与该车辆对应的车型通过该段通行区间的通行时间阈值的大小，根据比较结果和该车辆在该段通行区
间是否有更换驾驶员的判定结论选择性输出该车辆为疑似疲劳驾驶的结论或者将该车辆的连续行驶时长清零。
51.本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有高速公路疲劳驾驶行为检测方法程序，所述高速公路疲劳驾驶行为检测方法程序被处理器执行时实现上述技术方案所述的高速公路疲劳驾驶行为检测方法的步骤。
52.本发明的有益效果是：本发明提出了一种高速公路疲劳驾驶行为检测方法，能够实时地对高速公路上的疲劳驾驶车辆进行研判，结合车辆连续行驶时长和驾驶员图像识别技术，将连续行驶时长超过设定时长且中途未更换驾驶员的车辆判定为疑似疲劳驾驶。本发明采用的判断方式不仅可以提高疲劳驾驶研判准确率，而且做到了实时研判，可以帮助相关部门有效地进行交通安全防控，减少高速公路上因疲劳驾驶导致的交通事故发生，具有较好的应用前景。
53.本发明采用大数据分析技术，统计和分析高速公路上所有区间内不同车型的通行速度规律，计算不同车型在各区间的通行时间阈值，通过分析不同车型在高速公路不同区间的行驶数据得到通行时间阈值，基于该阈值计算实际车辆连续行驶时长，判断是否存在疲劳驾驶的可能，相较直接采用区间限速值作为阈值，本发明的统计方式更准确更符合实际。
54.本发明引入图像识别技术，对驾驶员进行检测，通过训练卷积神经网络，提取驾驶员图像特征，计算同一车辆不同卡口驾驶员图像特征向量的余弦距离，判断车辆行驶中途是否更换过驾驶员。该过程无需进行二次人工审核，提高了疲劳驾驶检测的准确率，同时保证了检测的实时性。
55.由于卡口抓拍图片中驾驶员图像像素点较少，而且是透过前挡玻璃，因此成像质量受环境光影响较大。常用的人脸检测、人脸识别的方法在此条件下准确率不高。本发明将检测的范围扩大到驾驶员的人脸、衣着，提高图像识别的准确率。
附图说明
56.图1为本发明的总体流程示意图；
57.图2为本发明的区间通行时间阈值计算流程图；
58.图3为本发明的驾驶员图像识别过程示意图；
59.图4为本发明的疲劳驾驶检测过程示意图。
具体实施方式
60.下面结合附图和具体实施例对本发明作进一步的详细说明，便于清楚地了解本发明，但它们不对本发明构成限定。
61.本发明提出了一种高速公路疲劳驾驶行为检测方法，包括以下步骤：
62.通过在高速公路某段通行区间的两端卡口处的抓拍图片，针对待测车辆分别获取其车型、通过时间和驾驶员图像数据；
63.根据待测车辆的车型获取该车辆通过该段通行区间的通行时间阈值；
64.根据待测车辆在两端卡口处的通过时间计算该车辆在该段通行区间的实际通行时间；
65.判断该车辆在该段通行区间的实际通行时间是否大于该车辆的对应车型在该段通行区间的通行时间阈值；若判定为是，则将该车辆的连续行驶时长清零；若判定为否，则根据两端卡口处分别获取的驾驶员图像数据判断该车辆在该段通行区间是否有更换驾驶员；
66.若判定有更换驾驶员，则将该车辆的连续行驶时长清零；若判定为未更换驾驶员，则将该车辆在该段通行区间的实际通行时间累计入该车辆的连续行驶时长中；
67.判断该车辆的连续行驶时长是否大于设定阈值；若判定为是，则输出该车辆为疑似疲劳驾驶的结论；若判定为否，则在高速公路的下一段通行区间继续执行上述步骤。
68.本发明结合卡口抓拍的结构化数据(车牌号、车牌颜色、抓拍时间、所属区间)和非结构化数据(抓拍的图片，驾驶员的人像图片)，采用大数据分析方法，统计不同车型在高速公路不同区间的通行时间阈值，结合车辆实际通行时间，计算连续行驶时长，引入图像识别技术识别驾驶人图像，判断车辆行驶中途是否更换驾驶人，最终检测出疑似存在疲劳驾驶行为的车辆。
69.本具体实施例的疲劳驾驶检测总体流程见图1。整个过程分为两个阶段，准备阶段和检测阶段。
70.准备阶段：本阶段有2个目标，计算各个车型在各段通行区间的通行时间阈值和构建驾驶员图像识别模型。
71.(1)计算各段通行区间的通行时间阈值
72.根据历史数据计算每段区间的不同车型的通行时间。现有技术往往采用各个通信区间的限速值作为通行时间阈值，但通常一个区间可能有多个限速值，平均通行时间无法简单的通过限速值来计算。本发明采用基于统计的方式确定每个区间段的通行时间，更加符合实际情况。
73.(2)构建驾驶员图像识别模型
74.卡口抓拍的图片中驾驶员的人像的像素点比较少，采用人脸比对时误差较大。因此本发明检测的范围不仅仅只是驾驶员的人像特征，还包括了驾驶员衣着等。驾驶员图像识别模型用于获取通行区间两端卡口分别采集到的同一车辆上包含人脸和上半身的驾驶员图像，通过训练后的卷积神经网络分别提取两个驾驶员图像的特征向量，计算同一辆车不同卡口处驾驶员图像特征向量的余弦距离，得到不同卡口驾驶员的相似度，根据设定值识别车辆经过不同卡口时是否是同一驾驶员。
75.检测阶段：利用测量出的区间通行时间阈值和实际的车辆通行数据，计算车辆连续行驶时长，结合驾驶员图像识别模型的识别结果判断行驶过程中是否更换驾驶人，最终确定疲劳驾驶嫌疑车辆。
76.本发明的具体步骤如下：
77.步骤一：计算区间通行时间阈值
78.根据历史通行数据计算每段通行区间的不同车型的通行时间阈值，其中，通行区间是指高速公路上两个连续卡口之间的通行路段，限速值在60km/h～120km/h。在此基础上，本发明适用于通行区间最长不超过40km的高速路段，仅考虑在限速范围内的车辆作为研究对象进行区间通行时间阈值计算，不在限速范围的车辆将作为其他违法类型(如超速、异常低速等)处理。通行时间阈值的计算过程见图2。
79.详细步骤如下：
80.1、分别获取客车、货车、小车在高速公路每个区间连续行驶的通行速度作为样本数据。数据样本包含不同天气，不同季节的数据，以消除干扰影响。
81.2、对双车道自由流车速进行分析研究，确定双车道自由流车速服从正态分布。因此可以对收集到的指定类型车辆在指定区间的通行速度进行统计,分别求得均值和标准差。
82.计算均值e(x)
[0083][0084]
其中，xi表示区间内第i个车辆通行速度，pi表示通行速度xi出现的概率，n表示区间内通行速度的样本数。
[0085]
计算方差d(x)
[0086][0087]
3、在样本数足够大的时候，期望可以近似等于平均数，样本方差也接近于总体方差。因此可以用公式(1)和公式(2)带入下面的公式(3)中，求取置信区间的界限。本具体实施例取设置信水平为95％。
[0088]
置信区间下限
ꢀꢀꢀ
(3)
[0089]
置信区间上限
ꢀꢀꢀꢀ
(4)
[0090]
4、假设s1为公式(3)中通行速度置信区间下限，s2为公式(4)中通行速度置信区间上限，表示绝大部分车辆(95％)通行速度会在[s1,s2]之间。这里假设区间距离为d，则在公式(3)(4)置信区间范围内，最短通行时长t2＝d/s2, 最长通行时长t1＝d/s1。
[0091]
按照规定“连续驾驶机动车超过4小时未停车休息或者停车休息时间少于20分钟，即可认定该机动车驾驶员存在疲劳驾驶行为。”可知：
[0092]
如果区间通行时间大于t2+20min，可以判定车辆在此区间段休息过。
[0093]
如果区间通行时间小于t2+20min，可以判定车辆在此区间段没有休息过，属于连续驾驶行为。
[0094]
记t为通行时间阈值，则有
[0095]
t＝t2+20min (5)
[0096]
5、重复上述步骤，统计每个通行区间不同车型的通行时间阈值t，然后将所有的通行区间、车型、通行时间阈值t存入到区间通行时间阈值表中。
[0097]
步骤二：构建驾驶员图像识别模型
[0098]
驾驶员图像识别模型用于对多个卡口中同一辆车的驾驶员身份进行识别，判断是否更换驾驶员，其构建过程的详细步骤如下：
[0099]
1、生成样本数据集：首先采集大量卡口枪机车辆识别图像数据，枪机识别信息包括：车牌号、车辆矩形框，提取车辆矩形框中驾驶员面部和衣着部分的图片。将车牌号作为标签，采用人工的方式清洗掉每个车牌号对应的不是同一驾驶人的样本，利用清洗后的每个车牌号对应的驾驶员图片生成样本数据集。样本数据集中单个样本的信息包括作为输入
的驾驶员图像，以及作为训练标签的车牌号；每个车牌号对应有多个驾驶员图像且图像中显示的驾驶员均为同一个人。
[0100]
2、构建用于驾驶员图像特征提取的神经网络模型：将步骤1中的样本数据集按照8:2划分为训练集和验证集，对cnn卷积神经网络进行训练和验证。cnn卷积神经网络包含特征提取层，全连接层，和输出层。cnn卷积神经网络对输入样本中的驾驶员面部和衣着进行特征提取。训练完成后的卷积神经网络模型输入为步骤1中的驾驶员图片驾驶员图像，输出为驾驶员图像对应的车牌号和驾驶员图片的96维的特征向量。
[0101]
3、确定判定阈值：对步骤2得到的驾驶员图像的特征向量计算两两之间的余弦距离；余弦距离的取值范围是[-1,1],理论上，余弦距离越大，相似度越高；在余弦距离取值范围内均匀设置若干个初始阈值作为两个特征向量相似度的判定标准，即大于该初始阈值，则判定两特征向量相应的驾驶员图像对应同一车牌号，即两驾驶员图像对应驾驶员为同一人；遍历每一个初始阈值，分别计算基于每个初始阈值的设定得到的每两个特征向量对应的驾驶员图像是否属于同一车牌号的判定结果；根据驾驶员图像的特征向量与车牌号的真实对应关系分别计算每个初始阈值对应的判定结果的正确率，将每个判定结果正确率最高的初始阈值作为判定阈值。
[0102]
本实施例中判断阈值设为0.6，两个驾驶员图像的特征向量的余弦距离超过0.6判断为同一驾驶员，低于0.6判断为不同驾驶员。
[0103]
步骤三：疲劳检测
[0104]
利用通行数据结合步骤一中计算出的区间通行时间阈值表和步骤二构建的驾驶员图像识别模型，对车辆通行数据和驾驶员特征图片进行检测，确定是否有疲劳驾驶的行为发生。
[0105]
疲劳驾驶检测过程见图4，详细步骤如下：
[0106]
1、从卡口中获取车辆的通行数据，这些数据包含：通行区间、车型、实际通行时间、车牌号码、抓拍照片等。
[0107]
具体地，根据卡口处抓拍的照片，识别并采集图像中每辆车辆的车型、通过时间和驾驶员图像数据，图像中的所有车辆均为待测车辆：
[0108]
提取车牌号作为对应车辆的身份信息；根据车牌颜色确定对应车辆的车型；提取车辆中驾驶员的人脸和上半身图像作为对应车辆的驾驶员图像；将图像的抓拍时间作为图像中所有车辆的通过时间；将车辆的身份信息与对应的车辆的车型、通过时间和驾驶员图像相关联并输出。
[0109]
根据卡口处相机的地址身份信息确定其所处的通行区间。
[0110]
根据车辆的身份信息获取两端卡口分别采集到的对应车辆的通过时间；计算两个通过时间的时间差作为该车辆在该段通行区间的实际通行时间。
[0111]
2、根据步骤1中获取到的通行数据中任一车辆的车型和通行区间信息查询区间通行时间阈值表，获取该车辆的区间通行时间阈值t。
[0112]
3、判断该车辆在区间内实际通行时间是否大于区间通行时间阈值t，若是，则认为该车辆在区间内已经停止休息了至少20分钟，将其连续行驶时长清零。
[0113]
4、若车辆实际通行时间小于区间通行时间阈值，调用驾驶员图像识别模型，输入上一卡口和当前卡口驾驶员图像，判断是否更换驾驶员，若是，将该车辆连续行驶时长清
零。
[0114]
如图3所示，驾驶员图像识别模型识别驾驶员的过程如下：
[0115]
上一卡口和当前卡口针对同一个车牌号采集到的所有驾驶员图像作为样本输入到模型构建中训练好的卷积神经网络中，得到两处卡口采集到的所有驾驶员图像对应的特征向量；其中每个卡口均抓拍了多个驾驶员图像；分别针对同一个卡口采集的每个驾驶员图像的特征向量计算其与另一个卡口处采集的所有驾驶员图像的特征向量之间的余弦距离，进行驾驶员图像特征比对。当所有的余弦距离计算结果均大于0.6时，判定没有更换驾驶员；反之判定为更换驾驶员。
[0116]
5、若步骤4中没有更换驾驶员，则将实际通行时间累计入连续行驶时长中。
[0117]
6、判断连续行驶时长是否大于4小时，若是，认为该车辆已经连续行驶了4小时，判定为疑似疲劳驾驶，若连续行驶时长小于4小时，返回步骤1重复执行后续步骤。
[0118]
本发明可以同步识别两处抓拍图像中均覆盖的所有车辆是否疑似疲劳驾驶。本发明最终将疑似疲劳驾驶车辆的的车牌号发送至上级管理系统，上级管理系统进行后续执法等相关操作。
[0119]
本说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。