一种公路运行状态的安全监测系统及方法

1.本发明属于交通异常检测领域，特别是涉及一种公路运行状态的安全监测系统及方法。


背景技术：

2.近些年来，保障高速公路道路的畅通和安全是高速公路运营管理的重点工作，但是高速公路车辆异常事件如违法停车、交通拥堵等时常发生，极大程度影响高速公路的安全。现有的高速公路车辆监测方法多停留在基于gps的位置信息监测，以及事故后调取行车记录视频进行取证还原上。这样基于gps的方法由于信息传输延迟，缺乏交通车辆监测的实时性和准确性。
3.随着高速公路视频监控规模的迅速扩大，我国已经基本实现重点路段视频监控全覆盖，因此，利用监控视频实现车辆监测可提升高速公路智能化管理水平，即通过监控摄像头采集视频流数据，并对视频流中的车辆进行检测和跟踪，进行交通车辆监测应用，实现高速公路交通运行态势监测。特别是随着计算机硬件发展和运算力的提高，尤其是图形处理器gpu的广泛应用，研究学者利用深度学习方法对车辆进行检测和跟踪，使得高速公路场景下的车辆监测更准更快更智能化。基于智能视频分析的高速公路车辆检测与跟踪方法存在需要兼顾准确性与实时性的问题，高速公路摄像头中车辆存在多尺度检测问题和高速场景多样的问题。


技术实现要素：

4.针对高速公路车辆检测跟踪存在的问题，本发明基于回环金字塔多尺度融合的轻量级车辆检测跟踪算法，在主干网络上使用轻量级网络efficientnet，利用回环特征金字塔网络进行多尺度特征融合，在保证检测实时性的同时提升检测准确度，并且结合deepsort车辆跟踪模型对车辆进行实时检测和跟踪，实现高速公路相关车辆监测应用。
5.本发明提供了如下方案：一种公路运行状态的安全监测系统,包括：
6.数据采集模块，用于采集车辆的道路行驶数据；
7.车辆检测模块，与所述数据采集模块连接，用于对所述道路行驶数据进行处理，获得车辆检测框信息；
8.车辆跟踪模块，与所述车辆检测模块连接，用于根据所述车辆检测框信息对车辆进行跟踪，获得所述车辆的坐标轨迹信息；
9.检测判断模块，与所述车辆跟踪模块连接，用于根据所述坐标轨迹信息进行道路异常事件的判断，获得判断结果。
10.优选地，所述数据采集模块至少包括数据采集单元、数据处理单元、第一数据传输单元；
11.所述数据采集单元、数据处理单元、数据传输单元依次连接；
12.所述数据采集单元用于实时采集车辆行驶的视频流数据；
13.所述数据处理单元用于将所述视频流数据以连续帧序列的结构进行分解，获得连续帧图像数据；
14.所述第一数据传输单元用于将所述连续帧图像数据传送至所述车辆检测模块。
15.优选地，还包括车辆检测构建模块，所述车辆检测构建模块至少包括第一构建单元、第二构建单元、第三构建单元；
16.所述第一构建单元用于构建轻量化特征提取网络和回环特征金字塔网络；
17.所述第二构建单元用于基于第一车辆检测模块和所述轻量化特征提取网络构建第二车辆检测模块；
18.所述第三构建单元用于基于所述第二车辆检测模块和所述回环特征金字塔网络构建所述车辆检测模块。
19.优选地，所述车辆检测模块至少包括第二数据传输单元、数据检测单元；
20.所述第二数据传输单元用于接收连续帧图像数据；
21.所述数据检测单元用于根据连续帧图像进行车辆信息检测，获得车辆检测框大小和车辆检测框位置信息。
22.优选地，所述车辆跟踪模块基于所述车辆检测框大小和车辆检测框位置信息，通过deepsort多目标跟踪方法获得连续帧内车辆的坐标轨迹信息。
23.一种公路运行状态的安全监测方法，包括，
24.采集车辆的道路行驶数据，对所述道路行驶数据进行处理，获得车辆检测框信息；
25.根据所述车辆检测框信息对车辆进行跟踪，获得所述车辆的坐标轨迹信息；
26.根据所述坐标轨迹信息进行道路异常事件的判断，获得判断结果。
27.优选地，采集车辆的道路行驶数据，对所述道路行驶数据进行处理的过程包括，实时采集车辆行驶的视频流数据，将所述视频流数据以连续帧序列的结构进行分解，获得连续帧图像数据。
28.优选地，获得所述车辆检测框信息的过程包括，构建轻量化特征提取网络和回环特征金字塔网络，基于所述轻量化特征提取网络和回环特征金字塔网络构建轻量化车辆检测模型；将连续帧图像数据输入所述轻量化车辆检测模型进行回环特征金字塔网络多尺度特征融合，获得车辆检测框大小和车辆检测框位置信息。
29.优选地，构建所述轻量化特征提取网络还包括，调节深度卷积神经网络的超参数；
30.所述超参数至少包括学习率、权重衰减系数、批次大小、权重衰减系数。
31.优选地，根据所述车辆检测框信息对车辆进行跟踪包括，基于所述车辆检测框大小和车辆检测框位置信息，通过deepsort多目标跟踪方法获得连续帧内车辆的坐标轨迹信息。
32.本发明公开了以下技术效果：
33.本发明基于efficientnet轻量级网络，实现了检测模型的轻量化和目标检测实时性；同时增加回环特征金字塔网络对原模型多尺度融合模块进行优化，利用跨尺度连接和加权特征融合在参数量更小的情况下实现对多尺度车辆的检测，通过高速公路监控视频的视频事件检测，以车辆检测跟踪为基本算法结合车辆跟踪轨迹判断停车、逆行、拥堵等交通异常事件的检测功能，达到高速公路实时高效的运行状态监测和态势感知，能够解决高速公路车辆监测中的场景多变、多尺度目标检测问题，同时兼顾车辆检测的精度和速度。
34.本发明实现对公路的运行状态进行可靠、高效的监控，发生交通异常事件可高效地确定事件类型，为交通综合管理决策提供参考。
附图说明
35.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
36.图1为本发明实施例的系统结构示意图；
37.图2为本发明实施例的高速公路车辆安全监测系统结构图；
38.图3为本发明实施例的yolov3-effinet网络图；
39.图4为本发明实施例的mbconv网络模型结构图；
40.图5为本发明实施例的不同特征融合方式的结构图。
具体实施方式
41.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
42.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
43.本发明提供了一种公路运行状态的安全监测系统及方法，用以解决车辆实时性检测的问题、车辆尺度变化较大问题和多场景变化问题。
44.如图1所示，本发明提供了一种公路运行状态的安全监测系统,包括：
45.数据采集模块，用于采集车辆的道路行驶数据；
46.车辆检测模块，与数据采集模块连接，用于对道路行驶数据进行处理，获得车辆检测框信息；
47.车辆跟踪模块，与车辆检测模块连接，用于根据车辆检测框信息对车辆进行跟踪，获得车辆的坐标轨迹信息；
48.检测判断模块，与车辆跟踪模块连接，用于根据坐标轨迹信息进行道路异常事件的判断，获得判断结果。
49.数据采集模块至少包括数据采集单元、数据处理单元、第一数据传输单元；
50.数据采集单元、数据处理单元、数据传输单元依次连接；
51.数据采集单元用于实时采集车辆行驶的视频流数据；
52.数据处理单元用于将视频流数据以连续帧序列的结构进行分解，获得连续帧图像数据；
53.第一数据传输单元用于将连续帧图像数据传送至车辆检测模块。
54.还包括车辆检测构建模块，车辆检测构建模块至少包括第一构建单元、第二构建单元、第三构建单元；
55.第一构建单元用于构建轻量化特征提取网络和回环特征金字塔网络；
56.第二构建单元用于基于第一车辆检测模块和轻量化特征提取网络构建第二车辆检测模块；
57.第三构建单元用于基于第二车辆检测模块和回环特征金字塔网络构建车辆检测模块。
58.车辆检测模块至少包括第二数据传输单元、数据检测单元；
59.第二数据传输单元用于接收连续帧图像数据；
60.数据检测单元用于根据连续帧图像进行车辆信息检测，获得车辆检测框大小和车辆检测框位置信息。
61.车辆跟踪模块基于车辆检测框大小和车辆检测框位置信息，通过deepsort多目标跟踪方法获得连续帧内车辆的坐标轨迹信息。
62.一种公路运行状态的安全监测方法，包括，
63.采集车辆的道路行驶数据，对道路行驶数据进行处理，获得车辆检测框信息；
64.根据车辆检测框信息对车辆进行跟踪，获得车辆的坐标轨迹信息；
65.根据坐标轨迹信息进行道路异常事件的判断，获得判断结果。
66.采集车辆的道路行驶数据，对道路行驶数据进行处理的过程包括，实时采集车辆行驶的视频流数据，将视频流数据以连续帧序列的结构进行分解，获得连续帧图像数据。
67.获得车辆检测框信息的过程包括，构建轻量化特征提取网络和回环特征金字塔网络，基于轻量化特征提取网络和回环特征金字塔网络构建轻量化车辆检测模型；将连续帧图像数据输入轻量化车辆检测模型进行回环特征金字塔网络多尺度特征融合，获得车辆检测框大小和车辆检测框位置信息。
68.构建轻量化特征提取网络还包括，调节深度卷积神经网络的超参数；
69.超参数至少包括学习率、权重衰减系数、批次大小、权重衰减系数。
70.根据车辆检测框信息对车辆进行跟踪包括，基于车辆检测框大小和车辆检测框位置信息，通过deepsort多目标跟踪方法获得连续帧内车辆的坐标轨迹信息。
71.实施例一
72.进一步地，本发明提供的一种公路运行状态的安全监测系统及方法，主要步骤如下：
73.步骤1：构建高速公路运行状态监测体系；
74.为实现高速公路路网运行状态监测(或异常事件检测)，本发明首先提出了一套高速公路路网安全运行态势的监测系统，整体框架如附图2所示，本系统主要分为视频数据采集与输入模块、高速公路车辆检测跟踪模块和应用模块，以完成基于车辆检测跟踪技术的高速公路车辆安全态势监测；
75.步骤2：视频数据采集与输入模块；
76.通过高速公路上的监控摄像头采集实时视频流数据，并将视频流数据以连续帧序列的结构输入高速公路车辆检测跟踪模块；将高速公路监控摄像头拍摄的实时视频，按照rtsp协议的方式存储到本地，并将视频流数据以连续帧序列的结构接入高速公路车辆检测跟踪模块，在输入时，将图像进行重新裁剪成416x416像素分辨率的图像。
77.步骤3：构建轻量化车辆检测模块特征提取网络；
78.该步骤提出轻量化车辆检测模块特征提取网络，在车辆检测模块中，本发明中采用yolov3的目标检测框架，并引入efficientnet作为特征提取主网络。对应不同场景的需求，efficientnet系列网络有b0～b7共8种由小到大的网络模型。针对高速公路监控场景车辆检测任务，兼顾检测精度与实际运行速度，故将efficientnet-b2去掉最后的全局平均池化层、dropout层和全连接层后代替yolov3原始的darknet53网络进行特征提取，得到yolov3-effinet网络，如图3所示；
79.将摄像头采集到的视频流通过连续帧序列的方式输入至efficientnet-b2特征提取网络，该网络网络可以平衡缩放网络输入图像分辨率、网络宽度和网络深度，减少了模型参数量，由多个mbconv(mobilenetv2卷积)模块构成的，mbconv中包含深度可分离卷积，swish激活函数以及dropout，mbconv网络模型结构附图4如所示。深度可分离卷积是由逐通道卷积和逐点卷积组合而成。逐通道卷积中每一个通道被一个卷积核独立计算，没有利用不同通道在相同的空间区域上的特征信息。因此使用逐点卷积将逐通道卷积产生的特征图进行融合，逐点卷积的卷积核大小为1
×
1，对逐通道卷积产生的特征图在深度方向进行加权组合，得到最终的输出特征层。
80.步骤4：回环特征金字塔网络多尺度特征融合；
81.针对高速公路监控摄像头拍摄画面中存在的拍摄视角多样、摄像机参数设置导致车辆变形、车辆尺度变化等问题，本发明应用回环金字塔网络多尺度融合方式替代yolov3中fpn堆积融合方式。回环特征金字塔网络利用跨尺度连接和加权特征融合在参数量更小的情况下进行特征融合，yolov3中特征融合、panet特征融合和回环特征金字塔网络多尺度特征融合的结构如附图5。
82.其中，回环特征金字塔网络的跨尺度连接在panet网络基础上优化了特征网络(1)在panet中的部分节点只有一个输入，这意味着这些节点没有进行特征融合。特征网络的目的是融合不同的特征，因此这些节点对特征融合的贡献很小。回环特征金字塔网络移除这些节点简化了网络结构，减少了计算开销；(2)回环特征金字塔网络在相同层的输入和输出之间增加一个连接；(3)将回环特征金字塔网络当作一个基础的特征网络层，并将其重复多次，每一层都会在原有的融合特征上进一步提取到更高层次、更加抽象的融合特征。
83.加权特征融合为每个输入的特征赋予了不同的权重，并让网络自动的学习每个输入特征的权重。加权特征融合的函数表达式为
[0084][0085]
其中，out为输出的融合特征，ini为输入特征，σi≥0是可学习的权重，ν是一个远小于1的数。从式(1)可以看出，特征融合的权值被限制在0～1之间，并且成功避免了使用会使计算时间显著增加的softmax函数。
[0086]
将回环特征金字塔多尺度特征融合与步骤3提出的efficentnet-b2主干网络结合。efficentnet-b2特征提取网络共有23个mbconv模块，取第8个mbconv模块的输出层为低特征层，取第16个mbconv模块的输出层为中特整层，取第23个mbconv模块的输出为高特征层，并在各层之间使用回环特征金字塔网络多尺度特征融合方式重复3次，进行多尺度特征融合，每一次融合在原有的融合特征上进一步提取到更高层次、更加抽象的特征，以提升检测的鲁棒性。
[0087]
经过步骤3和步骤4构建基于回环金字塔多尺度融合的轻量级车辆检测模型，车辆监测主模块包含车辆检测模块和车辆多目标跟踪模块，车辆检测模块采用多尺度融合的轻量级车辆检测方法对输入的连续帧序列进行车辆检测；连续帧图像经过该模块，生成对画面中每辆车的候选框大小和位置信息。
[0088]
步骤5：构建deepsort车辆跟踪模块；
[0089]
将车辆检测模型输出的每辆车候选框大小和位置信息为输入至车辆跟踪模块，采用deepsort多目标跟踪方法进行跟踪，得到连续帧内车辆的坐标、轨迹信息；
[0090]
步骤6：训练网络参数；
[0091]
通过调节车辆检测模块特征提取网络的超参数，以提高网络的学习性能和效果。主要的超参数有学习率、权重衰减系数、批次大小以及权重衰减系数等，主要的超参数以及取值如表1所示。
[0092]
表1
[0093][0094]
步骤7：公路异常事件的判断与检测；
[0095]
结合车辆检测和跟踪的所得到的信息，采用车辆坐标及轨迹变化进行高速公路异常事件的判断。
[0096]
在进行高速公路监控视频的检测和跟踪后，可以得到实时每辆车的坐标信息和轨迹信息。因此本发明所提出的系统根据车辆坐标的变化信息，可以进行简单交通事件的检测，如高速公路车辆违停、交通拥堵、车辆逆行事件的检测。其检测策略如下：(1)车辆违停：根据车辆在连续100帧画面中的坐标位置变化小于阈值20像素，可判断该车辆存在车辆违停事件；(2)交通拥堵：根据该时刻监控画面中车辆id数是否大于该场景下车辆阈值40，可判断该路段存在交通拥堵事件；(3)车辆逆行：首先对高速公路监控画面按照正常的车流方向进行手动分割，而后判断在个方向区域内，根据车辆在连续帧中坐标位置变化与车流方向相反，可判断该路段存在车辆逆行事件。
[0097]
为验证本发明的效果，在操作系统为ubuntu18.04，配套环境为cuda11.2，python3.6.9，pytorch1.7.1的平台上进行实验，为了验证车辆监测系统在高速公路异常事件检测应用的准确性，选取了98段包含异常停车事件的视频、117段包含拥堵事件的视频和57段包含逆行事件的视频，并对每段视频分别标记异常事件标签，以作为异常事件检测数据集。将本发明提出的车辆监测模型结合异常事件检测方法，在包含异常停车事件、拥堵事件和逆行事件的272段视频组成的的异常事件数据集上进行检测，统计结果如表2所示。由检测结果可得，本发明提出的车辆监测模型在高速公路停车、拥堵和逆行事件检测上的准确率均达到90％以上，错检率低于5％，漏检率低于10％，且平均运行速度满足实时性要求。
[0098]
表2
[0099][0100]
本发明的车辆安全监测方法鲁棒性更强，更能适应高速公路场景，能够进行高效的多尺度融合，强化每帧上的识别性能，具有很强的泛化性，同时方法设计考虑了时间性能,可以高效实时地处理在线视频。
[0101]
以上所述的实施例仅是对本发明的优选方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。