车流密度分析的方法、系统及计算机存储介质与流程

[0001]
本发明涉及交通领域，特别涉及一种车流密度分析的方法、系统及计算机存储介质。


背景技术：

[0002]
随着我国经济的快速发展，人们的生活质量也有了极大的提高，为满足生活质量的需求，出行的人数也逐渐增多。随着出现人数的增多，许多道路、景区、大型活动、会议等在某些敏感的区域以及道路中，由于车流的急增，并造成种种不可预料的结果以及带来人身财产损失、交通事故等。在安防越来越受到重视的大背景下，对敏感区域车流量的管控也成为新时代一个重要的课题。由于车辆检测技术应用的场景和环境比较复杂，尤其是场景中存在部分小尺寸车辆以及车辆之间存在遮挡时，使得车辆密度分析的准确率较低。


技术实现要素：

[0003]
本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提供了一种车流密度分析的方法、系统及计算机存储介质，可以提升车辆密度分析的准确性。
[0004]
根据本发明第一方面实施例的一种车流密度分析的方法，包括如下步骤：
[0005]
采集待分析路段的车流视频；
[0006]
对所述车流视频进行关键帧提取，得到车流密度图像；
[0007]
将所述车流密度图像输入到已训练好的目标检测网络中，输出通过darknet-53提取得到的三个不同尺度的特征图；
[0008]
通过目标检测算法在三个不同尺度的所述特征图上进行目标预测，输出若干预测框，其中每一所述预测框包括预测框坐标信息以及置信度；
[0009]
根据若干所述预测框、所述待分析路段的道路长度，输出车流密度。
[0010]
根据本发明的上述实施例，至少具有如下有益效果：通过darknet-53建立三个不同尺度的特征图，可以对车流密度图像中不同大小的目标进行精准检测，从而可以根据精准检测出的目标个数得到经过待分析路段的车流数量，以获得车流密度信息。由于可以对目标进行精准检测，因此可以提升车流密度分析的准确性。
[0011]
根据本发明第一方面的一些实施例，所述通过目标检测算法在三个不同尺度的所述特征图上进行目标预测，输出若干预测框，其中每一所述预测框包括预测框坐标信息以及置信度，还包括如下步骤：
[0012]
根据所述特征图的尺寸获取对应的若干先验预选框；
[0013]
分别在每一所述特征图上的像素点上通过对应的所述先验预选框进行滑窗取样，得到预测框集合，其中，所述预测框集合中每一预测框均包括预测框坐标信息以及置信度；
[0014]
输出所述预测框集合中的所有预测框。
[0015]
因此，通过在每一特征图上通过先验预选框进行滑窗采样，可以遍历特征图上每个像素点，并获得被框选的中的像素中包含目标的得分情况(即置信度)以及预测框坐标信
息。
[0016]
根据本发明第一方面的一些实施例，所述通过目标检测算法在三个不同尺度的所述特征图上进行目标预测，输出若干预测框，其中每一所述预测框包括预测框坐标信息以及置信度，包括如下步骤：
[0017]
获取所述预测框集合每一所述预测框的置信度的值，并将所述置信度的值与参考置信度的值进行比较；
[0018]
根据比较结果，删除所述预测框集合中不满足所述参考置信度的值的所述预测框。
[0019]
因此，通过设置参考置信度值，可以剔除一部分无效的先验预选框，从而降低该无效先验预选框对车流密度分析的影响。
[0020]
根据本发明第一方面的一些实施例，所述根据若干所述预测框、所述待分析路段的道路长度，输出车流密度，包括如下步骤：
[0021]
将若干所述预测框通过极大值抑制算法进行融合处理，得到若干目标检测框；
[0022]
根据所述目标检测框的数量、所述待分析路段的道路长度，输出车流密度。
[0023]
因此，通过局部搜索置信度值最大的预测框，可以去除同一目标的冗余预测框，从而提升车流密度预测的转缺陷。
[0024]
根据本发明第一方面的一些实施例，所述将若干所述预测框通过极大值抑制算法进行融合处理，得到若干目标检测框，包括如下步骤：
[0025]
获取每一预测框对应的目标类别；
[0026]
将所有所述预测框根据所述目标类别进行分类，得到每个类别对应的预测框集合；
[0027]
对每一所述预测框集合根据所述预测框集合中预测框的置信度的值进行排序；
[0028]
分别对每一所述预测框集合中预测框进行交并比迭代处理，得到若干目标检测框。
[0029]
因此，通过采用极大值抑制算法的思路，对同一类目标的置信度值以及交并比迭代处理，可以判断出属于同一目标的若干预测框，从而获得目标检测框。
[0030]
根据本发明第一方面的一些实施例，所述先验预选框的尺寸通过如下步骤得到：
[0031]
获取若干车流样本密度图像以及预设的聚类中心点的个数；
[0032]
通过k-means聚类算法对每一所述车流样本密度图像进行迭代处理，得到若干先验预选框，其中，所述k-means聚类算法的目标函数设置为所述先验预选框与对应的真实框之间的不重叠部分与并集的比值。
[0033]
根据本发明第一方面的一些实施例，所述将所述车流密度图像输入到已训练好的目标检测网络中，输出通过darknet-53提取得到的三个不同尺度的特征图，包括如下步骤：
[0034]
将所述车流密度图像进行图像白化处理，得到车流密度白化图像，所述车流密度白化图像的像素的均值为0，且期望值为1；
[0035]
将所述车流密度白化图像输入到已训练好的目标检测网络，输出通过darknet-53进行特征提取得到的三个不同尺度的特征图，其中，所述目标检测网络的每一神经网络层的输入均通过batch normalization算法处理。
[0036]
根据本发明第二方面提供一种车流密度分析的系统，所述车流密度分析的系统包
括：
[0037]
视频图像采集终端，所述视频图像采集终端用于采集待分析路段的车流视频；
[0038]
图像处理模块，所述图像处理模块用于对所述车流视频进行关键帧提取，得到车流密度图像；
[0039]
目标检测网络模块，所述目标检测网络模块用于对输入的车流密度图像进行特征图以及通过目标检测算法对所述特征图进行目标预测得到若干预测框；
[0040]
车流密度处理模块，所述车流密度处理模块用于根据若干所述预测框、所述待分析路段的道路长度，输出车流密度。
[0041]
由于第二方面的车流密度分析的系统应用第一方面任一项的车流密度分析的方法，因此具有本发明第一方面的所有有益效果。
[0042]
根据本发明第二方面的一些实施例，所述视频图像采集终端设置在飞行器上。通过将视频图像采集终端设置在飞行器上，可以获取更广视角的车流视频。
[0043]
根据本发明第三方面提供一种计算机存储介质，包括存储有计算机可执行指令，所述计算机可执行指令用于执行第一方面实施例的车流密度分析的方法。
[0044]
由于第三方面的计算机存储介质应用第一方面任一项的车流密度分析的方法，因此具有本发明第一方面的所有有益效果。
[0045]
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
[0046]
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
[0047]
图1是本发明实施例的车流密度分析的方法的主要步骤图；
[0048]
图2是本发明实施例的目标预测的主要步骤图；
[0049]
图3是本发明实施例的车流密度获取的步骤图；
[0050]
图4是本发明实施例的目标检测框生成的步骤图；
[0051]
图5是本发明实施例的先验预选框获取的步骤图；
[0052]
图6是本发明实施例的车流密度分析的系统结构图。
[0053]
附图标记：
[0054]
视频图像采集终端100、图像处理模块200、目标检测网络模块300、车流密度处理模块400。
具体实施方式
[0055]
本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。
[0056]
根据本发明第一方面实施例的一种车流密度分析的方法，如图1所示，包括如下步骤：
[0057]
步骤s100、采集待分析路段的车流视频。
[0058]
应理解的是，车流视频可以通过飞行器,如无人机等上的摄像头获得，或者通过待分析路段上设置的摄像头获得。
[0059]
步骤s200、对车流视频进行关键帧提取，得到车流密度图像。
[0060]
应理解的是，关键帧表示待分析路段上指定时刻车流密度对应时刻的车流图像。
[0061]
步骤s300、将车流密度图像输入到已训练好的目标检测网络中，输出通过darknet-53提取得到的三个不同尺度的特征图。
[0062]
应理解的是，darknet-53引入了类似resnet的残差结构，将具有低分辨率、高语义信息的高层卷积特征与具有高分辨率、低语义信息的低层卷积特征相结合，使得所有尺度的特征都有丰富的语义信息。其中，三个特征图分别为13*13、26*26以及52*52尺寸的特征图，其中，13*13尺度特征映射表示一个特征点代表32*32像素的目标，负责检测较大尺度目标；26*26表示一个特征点代表16*16像素的目标，负责检测中等尺度目标；52*52表示一个特征点代表8*8像素的目标，负责检测小尺度的目标。
[0063]
步骤s400、通过目标检测算法在三个不同尺度的特征图上进行目标预测，输出若干预测框，其中每一预测框包括预测框坐标信息以及置信度。
[0064]
应理解的是，通过在不同尺度的特征图上进行目标预测，可以对不同尺度的目标进行检测。
[0065]
步骤s500、根据若干预测框、待分析路段的道路长度，输出车流密度。
[0066]
因此，通过darknet-53建立三个不同尺度的特征图，可以对车流密度图像中不同大小的目标进行精准检测，从而可以根据精准检测出的目标个数得到经过待分析路段的车流数量，以获得车流密度信息。由于可以对目标进行精准检测，因此可以提升车流密度分析的准确性。
[0067]
在本发明第一方面的一些实施例中，如图2所示，步骤s400，包括如下步骤：
[0068]
步骤s410、根据特征图的尺寸获取对应的若干先验预选框。
[0069]
应理解的是，采用不同尺寸的先验预选框，可以使得被先验预选框框选中的目标置信度值更可信。
[0070]
应理解的是，对于同一尺寸的特征图，可以采用多种不同尺寸的先验预选框进行目标检测，以提升预测的准确性。
[0071]
步骤s420、分别在每一特征图上的像素点上通过对应的先验预选框进行滑窗取样，得到预测框集合，其中，预测框集合中每一预测框均包括预测框坐标信息以及置信度。
[0072]
应理解的是，当先验预选框框选中特征图上的若干像素点后，可以根据被框选的像素点对应到特征图上的信息，判断出被框选的像素点中中包含目标的情况，从而可以得到先验预选框中目标的置信度。
[0073]
步骤s430、输出预测框集合中的所有预测框。
[0074]
因此，通过在每一特征图上通过先验预选框进行滑窗采样，可以遍历特征图上每个像素点，并获得被框选的中的像素中包含目标的得分情况(即置信度)以及预测框坐标信息。
[0075]
在本发明第一方面的一些实施例中，步骤s420之后，还包括如下步骤：
[0076]
获取预测框集合每一预测框的置信度的值，并将置信度的值与参考置信度的值进
行比较。
[0077]
根据比较结果，删除预测框集合中不满足参考置信度的值的预测框。
[0078]
因此，通过设置参考置信度值，可以剔除一部分无效的先验预选框，从而降低该无效先验预选框对车流密度分析的影响。
[0079]
应理解的是，当先验预选框框选的目标的置信度较低时，表示虽然目标的质心位置在先验预选框内，但是先验预选框覆盖目标的区域较少，此时，可以删除该先验预选框，以使剩下的先验预选框框选的像素与真实的目标更加接近。
[0080]
在本发明第一方面的一些实施例中，如图3所示，步骤s500，包括如下步骤：
[0081]
步骤s510、将若干预测框通过极大值抑制算法进行融合处理，得到若干目标检测框。
[0082]
应理解的是，由于通过先验预选框进行滑窗采样时，对于同一目标存在多个先验预选框，因此需要进行极大值抑制算法处理，以框选目标效果最好的先验预选框。
[0083]
步骤s520、根据目标检测框的数量、待分析路段的道路长度，输出车流密度。
[0084]
因此，通过局部搜索置信度值最大的预测框，可以去除同一目标的冗余预测框，从而提升车流密度预测的转缺陷。
[0085]
在本发明第一方面的一些实施例中，如图4所示，步骤s510，包括如下步骤：
[0086]
步骤s511、获取每一预测框对应的目标类别。
[0087]
应理解的是，特征图上包含预测框框选的目标的类别信息。
[0088]
步骤s512、将所有预测框根据目标类别进行分类，得到每个类别对应的预测框集合。
[0089]
应理解的是，假设目标类别为a类和b类，所有预测框为{a1、a2、a3、a4、b1、b2、b3、b4、b5}，则根据目标类别信息，分为a类预测框集合为：{a1、a2、a3、a4}，其中a类的置信度关系为c4>c1>c3>c2；c4为a4的置信度，c1为a1的置信度；c3为a3的置信度；c2为a2的置信度。b类预测框集合为：{b1、b2、b3、b4、b5}。
[0090]
步骤s513、对每一预测框集合根据预测框集合中预测框的置信度的值进行排序。
[0091]
应理解的是，以a类的预测框集合为例，则a类对应的一排序的预测框集合为：a'＝{a4、a1、a3、a2}。
[0092]
步骤s514、分别对每一预测框集合中预测框进行交并比迭代处理，得到若干目标检测框。
[0093]
应理解的是，交并比迭代处理如下：
[0094]
选取集合a'中预测框的置信度最大的预测框a4作为目标检测框，将集合a'中其他预测框的预测框坐标信息与a4的预测框坐标信息进行交并比处理，得到iou值。当a1与a4的iou大于预设的阈值时，删除集合a'中的a1，此时，a'＝{a3、a2}。此时，从集合a'中再次选取最大的预测框a3，并对a3执行a4相同的操作，直至集合a'中无数据。此时，每次从集合a'中选出的置信度最大的预测框为目标检测框。
[0095]
因此，通过采用极大值抑制算法的思路，对同一类目标的置信度值以及交并比迭代处理，可以判断出属于同一目标的若干预测框，从而获得目标检测框。
[0096]
在本发明第一方面的一些实施例中，如图5所示，步骤s410中先验预选框的尺寸通过如下步骤得到：
[0097]
步骤s411、获取若干车流样本密度图像以及预设的聚类中心点的个数。
[0098]
应理解的是，聚类中心点的个数可以根据经验值进行设置。
[0099]
步骤s412、通过k-means聚类算法对每一车流样本密度图像进行迭代处理，得到若干先验预选框，其中，k-means聚类算法的目标函数设置为先验预选框与对应的真实框之间的不重叠部分与并集的比值。
[0100]
应理解的是，对于车流样本密度图像，可以知道每一目标对应的真实框信息。假设先验预选框与真实框的交并比为iou：
[0101][0102]
其中，bb(gt)表示真实框，bb(dt)表示预测框。
[0103]
则目标函数为：
[0104]
d(box,cnetrd)＝1-iou(box,cnetrd)
[0105]
其中，先验预选框与对应的真实框之间的不重叠部分为bb(gt)∪bb(dt)-bb(gt)∩bb(dt)；先验预选框与对应的真实框之间的并集为bb(gt)∪bb(dt)。
[0106]
在本发明第一方面的一些实施例中，步骤s300，包括如下步骤：
[0107]
将车流密度图像进行图像白化处理，得到车流密度白化图像，车流密度白化图像的像素的均值为0，且期望值为1。
[0108]
将车流密度白化图像输入到已训练好的目标检测网络，输出通过darknet-53进行特征提取得到的三个不同尺度的特征图，其中，目标检测网络的每一神经网络层的输入均通过batch normalization算法处理。
[0109]
应理解的是，batch normalization算法将每层目标检测网络的任意神经元的输入值的分布变成均值为0方差为1的标准正态分布，避免梯度消失问题产生，同时可以加快目标检测网络的学习收敛速度，能大大加快训练速度。
[0110]
根据本发明第二方面提供一种车流密度分析的系统，如图6所示，车流密度分析的系统包括：
[0111]
视频图像采集终端100，视频图像采集终端100用于采集待分析路段的车流视频；
[0112]
图像处理模块200，图像处理模块200用于对车流视频进行关键帧提取，得到车流密度图像；
[0113]
目标检测网络模块300，目标检测网络模块300用于对输入的车流密度图像进行特征图以及通过目标检测算法对特征图进行目标预测得到若干预测框；
[0114]
车流密度处理模块400，车流密度处理模块400用于根据若干预测框、待分析路段的道路长度，输出车流密度。
[0115]
由于第二方面的车流密度分析的系统应用第一方面任一项的车流密度分析的方法，因此具有本发明第一方面的所有有益效果。
[0116]
根据本发明第二方面的一些实施例，视频图像采集终端设置在飞行器上。通过将视频图像采集终端设置在飞行器上，可以获取更广视角的车流视频。
[0117]
应理解的是，上文中系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。终端100不仅
限于pc电脑、手机等通讯设备。
[0118]
根据本发明第三方面提供一种计算机存储介质，包括存储有计算机可执行指令，计算机可执行指令用于执行第一方面实施例的车流密度分析的方法。
[0119]
由于第三方面的计算机存储介质应用第一方面任一项的车流密度分析的方法，因此具有本发明第一方面的所有有益效果。
[0120]
应理解的是，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于ram、rom、eeprom、闪存或其他存储器技术、cd-rom、数字多功能盘(dvd)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。
[0121]
下面参考图1至图6以一个具体的实施例详细描述根据本发明实施例应用车流密度分析的系统。值得理解的是，下述描述仅是示例性说明，而不是对发明的具体限制。
[0122]
如图6所示，视频图像采集终端100设置在飞行器上，图像处理模块200与视频图像采集终端100通信连接；目标检测网络模块300与图像处理模块200电连接；车流密度处理模块400与目标检测网络模块300电连接。
[0123]
如图1所示，车流密度分析的系统执行包括如下步骤：
[0124]
如步骤s100，设置在飞行器上的视频图像采集终端100采集待分析路段的车流视频。并将采集到的车流视频发送给图像处理模块200。
[0125]
进一步，如步骤s200，图像处理模块200对车流视频进行关键帧提取，得到车流密度图像。
[0126]
进一步，如步骤s300、将车流密度图像输入到已训练好的目标检测网络中，输出通过darknet-53提取得到的三个不同尺度的特征图。
[0127]
具体的，三个特征图分别为13*13、26*26以及52*52尺寸的特征图，其中，13*13尺度特征映射表示一个特征点代表32*32像素的目标，负责检测较大尺度目标；26*26表示一个特征点代表16*16像素的目标，负责检测中等尺度目标；52*52表示一个特征点代表8*8像素的目标，负责检测小尺度的目标。
[0128]
具体的，目标检测网络模块300将车流密度图像进行图像白化处理，得到车流密度白化图像，车流密度白化图像的像素的均值为0，且期望值为1。
[0129]
进一步，目标检测网络模块300将车流密度白化图像输入到已训练好的目标检测网络，输出通过darknet-53得到的三个不同尺度的特征图，其中，目标检测网络的每一神经网络层的输入均通过batch normalization算法处理。
[0130]
进一步，如步骤s400，通过目标检测算法在三个不同尺度的特征图上进行目标预测，输出若干预测框，其中每一预测框包括预测框坐标信息以及置信度。
[0131]
具体的，如图2步骤s410，目标检测网络模块300根据特征图的尺寸获取对应的若干先验预选框。
[0132]
具体的，如步骤s420，目标检测网络模块300分别在每一特征图上的像素点上通过对应的先验预选框进行滑窗取样，得到预测框集合，其中，预测框集合中每一预测框均包括预测框坐标信息以及置信度。
[0133]
进一步，目标检测网络模块300获取预测框集合每一预测框的置信度的值，并将置
信度的值与参考置信度的值进行比较。
[0134]
进一步，目标检测网络模块300根据比较结果，删除预测框集合中不满足参考置信度的值的预测框。
[0135]
具体的，如步骤s430，目标检测网络模块300输出预测框集合中的所有预测框至车流密度处理模块400。
[0136]
此时，如步骤s500，车流密度处理模块400根据若干预测框、待分析路段的道路长度，输出车流密度。
[0137]
具体的，如图3步骤s510，车流密度处理模块400将若干预测框通过极大值抑制算法进行融合处理，得到若干目标检测框。具体的，车流密度处理模块400处理如下：
[0138]
如图4步骤s511，获取每一预测框对应的目标类别。
[0139]
如步骤s512，将所有预测框根据目标类别进行分类，得到每个类别对应的预测框集合。
[0140]
假设目标类别为a类和b类，所有预测框为{a1、a2、a3、a4、b1、b2、b3、b4、b5}，则根据目标类别信息，分为a类预测框集合为：{a1、a2、a3、a4}，其中a类的置信度关系为c4>c1>c3>c2；c4为a4的置信度，c1为a1的置信度；c3为a3的置信度；c2为a2的置信度。b类预测框集合为：{b1、b2、b3、b4、b5}。
[0141]
如步骤s513，对每一预测框集合根据预测框集合中预测框的置信度的值进行排序。
[0142]
具体的，以a类的预测框集合为例，则a类对应的一排序的预测框集合为：a'＝{a4、a1、a3、a2}。
[0143]
进一步，如步骤s514，分别对每一预测框集合中预测框进行交并比迭代处理，得到若干目标检测框。
[0144]
则交并比迭代处理如下：
[0145]
选取集合a'中预测框的置信度最大的预测框a4作为目标检测框，将集合a'中其他预测框的预测框坐标信息与a4的预测框坐标信息进行交并比处理，得到iou值。当a1与a4的iou大于预设的阈值时，删除集合a'中的a1，此时，a'＝{a3、a2}。此时，从集合a'中再次选取最大的预测框a3，并对a3执行a4相同的操作，直至集合a'中无数据。此时，每次从集合a'中选出的置信度最大的预测框为目标检测框。
[0146]
此时，对每一分类的预测框均进行步骤s512～步骤s514的处理，得到若干个目标检测框。并将该目标检测框发送至车流密度处理模块400。
[0147]
此时，如图3步骤s520，车流密度处理模块400根据目标检测框的数量、待分析路段的道路长度，输出车流密度。
[0148]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
[0149]
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本
发明的范围由权利要求及其等同物限定。