基于深度学习的多车道拥堵检测及持续时间预测方法及系统

1.本发明属于智能交通与图像处理技术领域，具体涉及一种基于深度学习的多车道拥堵检测及持续时间预测方法及系统。


背景技术：

2.随着社会经济和出行需求的快速发展，交通拥堵频繁发生，造成巨大的经济损失和环境污染，实时、准确、有效地通报交通拥堵就显得尤为重要，也是智能交通控制和诱导的关键技术之一，基于视频分析的智能交通系统逐渐被推广，与传统方法相比，交通视频的监控范围大、交通信息多、监控成本低，具有一定优势。
3.目前的检测方式基于预先设定区域单特征进行判断，对场景环境以及视频质量有着较高要求，然而实际交通场景复杂多变，针对各种场景设置检测区域繁琐且耗费人力，而且使用单一特征信息无法准确表达交通运行状况，准确率偏低，难以进行分车道的交通拥堵检测，同时无法对拥堵持续时间进行预测，仍需人力来对拥堵时间进行分析。


技术实现要素：

4.为解决现有技术中的不足，本发明提供一种基于深度学习的多车道拥堵检测及持续时间预测方法及系统，能提高多车道拥堵检测的准确率且同时可以对拥堵持续时间进行准确预测。
5.为达到上述目的，本发明所采用的技术方案是：
6.第一方面，提供一种多车道拥堵检测及持续时间预测方法，包括：获取道路交通监控实时视频流，进而获取运动前景图像；利用若干帧运动前景图像计算视频流中的道路行车兴趣区域；基于光流提取神经网络，获取道路行车兴趣区域的光流矩阵，并根据行车兴趣区域的光流矩阵得到车道分割结果；基于车辆密度热图提取网络，获取当前场景的车辆密度热图；将道路行车兴趣区域的光流矩阵与车辆密度热图叠加后输入拥堵判定模型，得到拥堵判定结果；将道路行车兴趣区域的光流矩阵与车辆密度热图叠加后输入循环卷积神经网络，获得设定时间段后的车辆密度热图与拥堵置信度，进而获取拥堵持续时间的预测值。
7.进一步地，所述利用若干帧运动前景图像计算视频流中的道路行车兴趣区域，具体为：s211、获取实时视频流中每一帧的前景图像；s212、基于图像透视原理对各前景图像做自适应膨胀处理；s213、循环完成步骤s211，s212若干次后，获取若干帧前景图像构成前景图像集合m，通过前景图像集合m合成行车道路关注区域；s214、对s213生成的行车道路关注区域进行中值滤波，平滑边界，获得道路行车兴趣区域。
8.进一步地，所述基于光流提取神经网络，获取道路行车兴趣区域的光流矩阵，并根据行车兴趣区域的光流矩阵得到车道分割结果，具体为：s311、利用针对交通监控场景训练的光流提取神经网络对一定间隔的帧图像提取第一光流矩阵；s312、重复s311并对其生成的第一光流矩阵叠加后的第二光流矩阵各像素的光流做单位化处理，获得光流方向矩阵；s313、将光流方向矩阵与道路行车兴趣区域进行叠加，得到仅包含道路行车兴趣区域的光
流矩阵；s314、对行车兴趣区域的光流矩阵中的元素按照矢量角度进行聚类，所获得的聚类结果中，归属同一类的区域即为道路分割结果。
9.进一步地，所述仅包含道路行车兴趣区域的光流矩阵，是以二维向量加车道分割标签形式表示光流方向的矩阵。
10.进一步地，所述基于车辆密度热图提取网络，获取当前场景的车辆密度热图，具体为：s411、对实时视频流的各视频帧中的车辆目标框进行标注，构建车辆检测数据集；s412、利用s411构建的车辆检测数据集对车辆密度热图提取网络进行训练，且车辆密度热图提取网络采用anchor free形式的目标检测网络；s413、将视频帧输入训练好的车辆密度热图提取网络，得到当前场景的车辆密度热图。
11.进一步地，所述将道路行车兴趣区域的光流矩阵与车辆密度热图叠加后输入拥堵判定模型，得到拥堵判定结果，具体为：s511、对视频数据中的拥堵事件进行标注，构建拥堵分类数据集；s512，利用构建的拥堵分类数据集训练基于双流特征的拥堵判定模型；s513，将道路行车兴趣区域的光流矩阵与车辆密度热图叠加后输入基于双流特征的拥堵判定模型，得到拥堵判定结果。
12.进一步地，所述将道路行车兴趣区域的光流矩阵与车辆密度热图叠加后输入循环卷积网络，获得设定时间段后的车辆密度热图与拥堵置信度，进而获取拥堵持续时间的预测值，具体为：s611，利用车辆密度热图与道路行车兴趣区域的光流矩阵构造拥堵持续时间预测数据集；s612，利用所构造的拥堵持续时间预测数据集对循环卷积神经网络进行训练；s613，将道路行车兴趣区域的光流矩阵与车辆密度热图叠加后输入循环卷积神经网络，获得设定时间段后的车辆密度热图与拥堵置信度；循环步骤s613，并根据后续时刻获得的车辆密度热图与拥堵置信度对循环卷积神经网络进行更新修正，得到此时刻拥堵持续时间的预测值。
13.第二方面，提供一种多车道拥堵检测及持续时间预测系统，包括：第一模块，用于获取道路交通监控实时视频流，进而获取运动前景图像；第二模块，用于利用若干帧运动前景图像计算视频流中的道路行车兴趣区域；第三模块，用于基于光流提取神经网络，获取道路行车兴趣区域的光流矩阵；第四模块，用于基于车辆密度热图提取网络，获取当前场景的车辆密度热图；第五模块，用于将道路行车兴趣区域的光流矩阵与车辆密度热图叠加后输入拥堵判定模型，得到拥堵判定结果；第六模块，用于将道路行车兴趣区域的光流矩阵与车辆密度热图叠加后输入循环卷积神经网络，获得设定时间段后的车辆密度热图与拥堵置信度，进而获取拥堵持续时间的预测值。
14.与现有技术相比，本发明所达到的有益效果：本发明通过对道路交通监控摄像头采集的实时视频流进行处理，获取道路行车兴趣区域进而获取道路行车兴趣区域的光流矩阵和车辆密度热图，并基于道路行车兴趣区域的光流矩阵和车辆密度热图进行道路拥堵检测和拥堵持续时间预测，提高了多车道拥堵检测的准确率且同时可以对拥堵持续时间进行准确预测。
附图说明
15.图1是本发明实施例提供的一种多车道拥堵检测及持续时间预测方法的流程示意图；
16.图2是图1中基于车辆密度热图提取网络获取当前场景的车辆密度热图的流程示意图；
17.图3是图1中将道路行车兴趣区域的光流矩阵与车辆密度热图叠加后输入拥堵判定模型得到拥堵判定结果的流程示意图；
18.图4是本发明实施例中获得的包含道路行车兴趣区域的光流矩阵的输出可视化后的效果图；
19.图5是本发明实施例中拥堵判定模型的输出可视化后的效果图。
具体实施方式
20.下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
21.实施例一：
22.如图1所示，一种多车道拥堵检测及持续时间预测方法，包括：获取道路交通监控实时视频流，进而获取运动前景图像；利用若干帧运动前景图像计算视频流中的道路行车兴趣区域；基于光流提取神经网络，获取道路行车兴趣区域的光流矩阵，并根据行车兴趣区域的光流矩阵得到车道分割结果；基于车辆密度热图提取网络，获取当前场景的车辆密度热图；将道路行车兴趣区域的光流矩阵与车辆密度热图叠加后输入拥堵判定模型，得到拥堵判定结果；将道路行车兴趣区域的光流矩阵与车辆密度热图叠加后输入循环卷积神经网络，获得设定时间段后的车辆密度热图与拥堵置信度，进而获取拥堵持续时间的预测值。
23.步骤1、获取道路交通监控实时视频流，进而获取运动前景图像；从道路交通监控摄像机获取实时视频流，利用背景建模获取运动前景图像。
24.步骤2、利用若干帧运动前景图像计算视频流中的道路行车兴趣区域，具体为：
25.s211、获取实时视频流中每一帧的前景图像；
26.s212、基于图像透视原理对各前景图像做自适应膨胀处理；
27.s213、循环完成步骤s211，s212若干次后，获取若干帧前景图像构成前景图像集合m，通过前景图像集合m合成行车道路关注区域；
28.s214、对s213生成的行车道路关注区域进行中值滤波，平滑边界，获得道路行车兴趣区域。
29.步骤3、基于光流提取神经网络，获取道路行车兴趣区域的光流矩阵，并根据行车兴趣区域的光流矩阵得到车道分割结果，具体为：
30.s311、利用针对交通监控场景训练的光流提取神经网络对一定间隔的帧图像提取第一光流矩阵；
31.本实施例中，使用的基于深度学习的光流提取神经网络采用flownet光流提取网络，但不限于该网络；利用训练的基于深度学习的光流提取神经网络对相邻帧图像提取第一光流矩阵o
i1
；
32.s312、重复s311并对其生成的第一光流矩阵叠加后的第二光流矩阵各像素的光流做单位化处理，获得光流方向矩阵；
33.本实施例中，对第一光流矩阵o
i1
做融合处理得到第二光流矩阵o
avg
：
34.o
avg
＝(o
i1
+o
i2
+
……
+o
in
)/n
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
35.并对第二光流矩阵o
avg
中的光流向量做单位化处理，使其仅包含光流矢量的方向信息：
[0036][0037]
其中，为光流矩阵中位于i行j列的光流向量元素，h为图像高度，w为图像宽度；
[0038]
s313、将光流方向矩阵与道路行车兴趣区域进行叠加，得到仅包含道路行车兴趣区域的光流矩阵(仅包含道路行车兴趣区域的光流矩阵，是以二维向量加车道分割标签形式表示光流方向的矩阵)；输出可视化后如图4：
[0039][0040]
s314、对行车兴趣区域的光流矩阵中的元素按照矢量角度进行聚类，所获得的聚类结果中，归属同一类的区域即为道路分割结果。
[0041]
步骤4、基于车辆密度热图提取网络，获取当前场景的车辆密度热图；具体为：
[0042]
s411、对实时视频流的各视频帧中的车辆目标框进行标注，构建车辆检测数据集；
[0043]
s412、利用s411构建的车辆检测数据集对车辆密度热图提取网络进行训练，且车辆密度热图提取网络采用anchor free形式的高分辨率目标检测网络；
[0044]
本实施例中采用hrnet作为高分辨率特征图提取网络，但本实施例并不局限于该网络，对hrnet输出特征经输出卷积层变换后得到车辆车辆密度热图结果，训练过程采取如下损失函数：
[0045]
l＝∑
i
(x
i
‑
y
i
)2ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0046]
其中，y表示样本的特征热图，x为特征热图的gt(ground truth)，i代表特征热图各个像素点。
[0047]
s413、将视频帧输入训练好的针对视频监控场景基于全局特征融合的车辆密度热图提取网络，得到当前场景的高分辨率的车辆密度热图；
[0048]
s414、将特征热图与背景提取中得到的道路区域叠加计算得到当前时刻道路占用率，如图2所示。
[0049]
步骤5、将道路行车兴趣区域的光流矩阵与车辆密度热图叠加后输入拥堵判定模型，得到拥堵判定结果，如图3所示，具体为：
[0050]
s511、对视频数据中的拥堵事件进行标注，构建拥堵分类数据集；
[0051]
s512，利用构建的拥堵分类数据集训练基于双流特征的拥堵判定模型；拥堵判定模型采用全卷积网络结构，经特征提取与维度变换后得到拥堵判定置信度，拥堵判定模型在训练过程中采取如下损失函数：
[0052][0053]
其中，y表示样本标签，p代表分类概率；
[0054]
s513，将道路行车兴趣区域的光流矩阵与车辆密度热图叠加后输入基于双流特征的拥堵判定模型，得到拥堵判定结果：
[0055]
score＝g([m
opt,t
·
f
t
])
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)
[0056]
其中，g为分类模型，m
opt,t
为t时刻光流矩阵，f
t
为t时刻场景分割特征图；当score>thresh时视作正常，反之则视作拥堵事件发生，特征可视化后如图5，并上报。
[0057]
步骤6、将道路行车兴趣区域的光流矩阵与车辆密度热图叠加后输入循环卷积网络，获得设定时间段后的车辆密度热图与拥堵置信度，进而获取拥堵持续时间的预测值，具体为：
[0058]
s611，利用车辆密度热图与道路行车兴趣区域的光流矩阵构造拥堵持续时间预测数据集；预测时间gt值采用相对值，设定相对时间δt，预测持续时间为[0,1]区间，且当真实持续时间大于δt时，值取1；
[0059]
s612，利用所构造的拥堵持续时间预测数据集对循环卷积神经网络进行训练；训练过程采用如下损失函数：
[0060][0061]
其中，y为真实持续时间，为预测值；
[0062]
s613，将道路行车兴趣区域的光流矩阵与车辆密度热图叠加后输入循环卷积神经网络，获得设定时间段后的车辆密度热图与拥堵置信度；循环步骤s613，并根据后续时刻获得的车辆密度热图与拥堵置信度对循环卷积神经网络进行更新修正，得到此时刻拥堵持续时间的预测值。
[0063]
本实施例通过对道路交通监控摄像头采集的实时视频流进行处理，获取道路行车兴趣区域进而获取道路行车兴趣区域的光流矩阵和车辆密度热图，并基于道路行车兴趣区域的光流矩阵和车辆密度热图进行道路拥堵检测和拥堵持续时间预测，提高了多车道拥堵检测的准确率且同时可以对拥堵持续时间进行准确预测。
[0064]
实施例二：
[0065]
基于实施例一所述的一种多车道拥堵检测及持续时间预测方法，本实施例提供一种多车道拥堵检测及持续时间预测系统，包括：
[0066]
第一模块，用于获取道路交通监控实时视频流，进而获取运动前景图像；
[0067]
第二模块，用于利用若干帧运动前景图像计算视频流中的道路行车兴趣区域；
[0068]
第三模块，用于基于光流提取神经网络，获取道路行车兴趣区域的光流矩阵，并根据行车兴趣区域的光流矩阵得到车道分割结果；
[0069]
第四模块，用于基于车辆密度热图提取网络，获取当前场景的车辆密度热图；
[0070]
第五模块，用于将道路行车兴趣区域的光流矩阵与车辆密度热图叠加后输入拥堵判定模型，得到拥堵判定结果；
[0071]
第六模块，用于将道路行车兴趣区域的光流矩阵与车辆密度热图叠加后输入循环卷积神经网络，获得设定时间段后的车辆密度热图与拥堵置信度，进而获取拥堵持续时间的预测值。
[0072]
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。