一种基于多级卷积特征级联的车辆检测方法与流程

1.本发明属于视频安防监控技术领域，具体涉及一种基于多级卷积特征级联的车辆检测方法。


背景技术：

2.安防视频监控的特点(识别率和日过车辆，路数)，这些年来，随着安防科技的不断推广和大规模的应用，视频监控具有实时和真实地监控目标，并且在恶劣的情况下代替人工进行24小时的监控，记录在按，方便相关人员查阅和取证，因而得到广泛的应用；以视频监控为主的安防产品不断推陈出新，人们对该产品的价格，易用性，产品的识别准确率，处理的速度和可用路数提出了更高要求。在交通管控中的卡口和电子警察等应用场景，目标车辆检测是视频监控后续分析中基础，准确的车辆检测技术时候后续车辆属性准确识别的前提条件。
3.车辆检测现有技术常使用传统机器视觉的算法，图片常用的特征有灰度特征提取、纹理特征提取和形状特征提取等，常用图片特征提取算法有方向梯度直方图(histogram of oriented gradient)、haar和尺度不变特征变换(scale
‑
invariant feature tranform,sift)、常用的特征分类算法有支持向量机(support vector machine，svm)和adaboost以及其改进算法，目标检测算法从以上算法中进行组合，例如：特征提取方法hog和特征分类算法svm，因为方向梯度直方图用来计算和统计图像局部区域的梯度方向直方图来构成特征；特征分类算法svm利用内积核函数代替向高维空间的非线性映射，最终决策由少数样本决定，计算的复杂性取决于支持向量的数据，有可以很好地抑制噪声样本；两种组合能够很好对物体进行检测。传统的目标检测方法优点是检测速度快，资源占用少，该算法重点是人工设计出鲁棒的特征，对安防车辆这一类前后景复杂的情况，往往会出现识别准确率低，特征设计鲁棒性不强，难以适应多类别检测和恶劣环境等问题。
4.近几年来随着深度学习和卷积神经网络不断发展，基于深度学习的人工只能技术已经应用在越来越多的产品和领域中，尤其是目标检测技术(object detection)作为计算机视觉重要任务之一得到了极大的提升，不但提升了图像检测技术的应用范围，而且在图像处理领域相较传统经典的算法提升明显，特别是识别准确率，算法在不同城市的安防设备环境具有更高的鲁棒性；车辆检测技术在智能交通，视频监控，自动驾驶中有重要的地位。车流量统计，车辆违章的自动分析等都离不开它，车辆检测的有效实现时候安防视频理解基础。目前基于深度学习的目标检测算法可以分成单阶段检测模型，代表算法有：r
‑
cnn、fast r
‑
cnn、faster r
‑
cnn、rfcn、mask
‑
rcnn和tridentnet等算法；单阶段检测模型，代表算法有：yolo系列，ssd，dssd,dsod，peleenet，retinanet，shufflennet系列等一系列优秀的算法。
5.其中单阶段的ssd(single shot multibox detector)，该算法是一种直接预测目标类别和bounding box的多目标检测算法。ssd算法则利用不同卷积层的feature map进行综合也能达到同样的效果。算法的主网络结构是vgg16，将最后两个全连接层改成卷积层，
并随后增加了4个卷积层来构造网络结构。对其中6种不同的卷积层的输出feature map，feature map的大小分别为{38*38，19*19，10*10，5*5，3*3，1*1}，分别用两个不同的3
×
3的卷积核进行卷积，一个输出分类用的confidence，每个default box生成21个类别confidence；一个输出回归用的localization，每个default box生成4个坐标值(x,y,w,h)。此外，这6个feature map还经过priorbox层生成prior box(生成的是坐标)。上述6个feature map中每一层的default box的数量是给定的，且总共8732个预测框。最后将前面三个计算结果分别合并然后传给loss层，最后使用损失函数计算损失然后逐层求导更新参数。然而，使用ssd算法难以处理大规模变化的目标车辆，算法鲁棒性不强；使用单阶段目标检测算法ssd在检测过程中的两个目标就是分类和定位，两者的损失函数存在不平衡问题，从而影响准确率。


技术实现要素：

6.针对处理大规模变化的目标车辆和检测算法中出现分类损失和定位损失不平衡的问题，本发明提供一种以ssd为基础的基于多级卷积特征级联的车辆检测方法，经实验结果表明，该方法对车辆检测对复杂环境具有更好的检测效果。
7.本发明通过以下技术方案实现：
8.一种基于多级卷积特征级联的车辆检测方法，包括步骤：
9.s1：数据准确阶段：进行车辆目标数据标注；
10.s2：模型训练阶段：进行训练阶段超参数设置，车辆图片特征提取，目标分类预测和定位预测；
11.s3：模型推理阶段：使用训练阶段输出的模型参数，进行算法模型前向计算，得到目标类别和预测框坐标。
12.进一步地，在所述的步骤s1中，将车辆目标分为三个类别，分别是车辆，二三轮车以及背景。
13.进一步地，在所述的步骤s2中，所述的车辆图片特征提取具有为，通过使用反卷积操作扩大图片尺度，并且与横向特征图进行通道维度的合并，然后使用1x1的点卷积操作实现特征融合以及控制输出特征图的通道数量；由6个卷积层分别是{conv4_3,fc7,conv6_2,conv7_2,conv8_2,conv9_2}输出的特征图转换成以{conv4_3_new,fc7_new,conv6_2_new,conv7_2_new,conv8_2_new,conv9_2_new}输出特征图进行目标分类预测和定位预测。
14.进一步地，在所述的步骤s2中，所述的目标分类预测和定位预测具体步骤如下：
15.计算整体的损失函数：
[0016][0017]
其中，l
cls
为目标分类损失函数，l
loc
为目标定位损失函数，p和u分别是预测结果和真实类别，t
u
代表回归结果，v代表真实目标框。
[0018]
进一步地，所述的目标定位损失函数l
loc
使用smooth l1 loss损失函数，smooth l1 loss函数如下公式所示：
[0019]
[0020][0021]
目标定位函数用以下公式表示：
[0022][0023][0024]
使用x表示为每个目标预测框与真实框的差值，那么为了得到一个梯度当样本|x|<1附近产生稍微大点的梯度，可以设计出新的定位损失函数如下公式所示：
[0025][0026]
其中，b＝e
‑
y/a
。
[0027]
进一步地，设置参数a＝0.5，y＝1.5进行模型训练。
[0028]
进一步地，所述的目标分类损失函数l
cls
采用交叉熵损失函数。
[0029]
进一步地，在所述的步骤s2中，所述模型训练使用默认的超参数，学习变化使用warm up进行设置，前期使用较低的学习率，等到迭代一段时间之后，切换到较大的学习率进行模型训练。
[0030]
一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现基于多级卷积特征级联的车辆检测方法的步骤。
[0031]
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中所述处理器执行所述程序时实现基于多级卷积特征级联的车辆检测方法的步骤。
[0032]
本发明提出了一种基于多级卷积特征级联的车辆检测方法，具体以下优点：
[0033]
1.以ssd为基础架构输出的6种不同的卷积层的输出feature map，该特征图通过横向连接和多级级联卷积特征的特征增强方式得到各个预测支路的特征图，每一个支路到得到了更加丰富特征信息表示，以适应更加复杂的视频安防监控车辆检测环境；
[0034]
2.以ssd为基础架构重新设计定位损失函数以解决分类损失和定位损失不平衡问题，提高算法模型的准确率。
附图说明
[0035]
以下将结合附图对本发明做进一步详细说明；
[0036]
图1是车辆类别和二三轮车目标标注图；
[0037]
图2是多层特征融合的特征提取网络；
[0038]
图3是特征图分类预测和目标定位；
[0039]
图4(a)和(b)是车辆检测推理结果。
具体实施方式
[0040]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0041]
本发明的车辆检测方法的具体实施过程包括三个部分：
[0042]
数据准确阶段：车辆目标数据标注；
[0043]
模型训练阶段：训练阶段超参数设置，车辆图片特征提取，模型分类预测和车辆定位预测；
[0044]
模型推理阶段：使用训练阶段输出的模型参数，进行算法模型前向计算，得到目标类别和预测框坐标。
[0045]
一、数据准备阶段：车辆目标数据标注，车辆检测分类三个类别，分别是车辆，二三轮车以及背景；车辆类别和二三轮车标注如图1所示；对于不符合标注要求的车辆和二三轮车采用抹消的方式；类别索引1代表车辆，类别索引2代表二三轮车。
[0046]
二、模型训练阶段：训练阶段超参数设置、车辆图片特征提取、目标分类预测和目标定位预测；
[0047]
1、车辆图片特征提取阶段，如图2所示。通过使用反卷积操作扩大图片尺度，并且与横向特征图进行通道维度的合并，然后使用1x1的点卷积操作实现特征融合以及控制输出特征图的通道数量从而提高模型的整体效率，纵向特征与横向特征的多层特征融合方式进一步增强浅层网络的语义信息以及高层网络的空间信息，实现金字塔中的每一层的特征图都能从深层特征图中获得语义信息，使得特征更具有辨别能力。由6个卷积层分别是{conv4_3,fc7,conv6_2,conv7_2,conv8_2,conv9_2}输出的特征图转换成以{conv4_3_new,fc7_new,conv6_2_new,conv7_2_new,conv8_2_new,conv9_2_new}输出特征图进行分类预测和定位预测，如图3所示。
[0048]
2、目标分类预测和目标定位预测
[0049]
整体的损失函数计算公式如下：
[0050][0051]
其中，目标分类损失函数l
cls
，一般使用交叉熵损失函数；目标定位损失函数l
loc
使用smooth l1 loss损失函数，p和u分别是预测结果和真实类别，t
u
代表回归结果，v代表真实目标框。因为回归的目标是没有边界限制的，直接增加回归损失的权重会让模型对样本损失大于1的样本更加敏感，不利于模型的训练，所以该方案针对样本损失小于1的样本稍微增加位置损失值，来平衡分类损失和定位损失的损失函数。
[0052]
此方案是设计出分类和定位之间更平衡的损失函数，以下是损失函数的推倒过程，此方案的损失函数是由smooth l1 loss函数进行推到得到，smooth l1 loss函数如下公式所示：
[0053]
[0054][0055]
假设新方案的目标位置函数用以下公式表示：
[0056][0057][0058]
使用x表示为每个目标预测框与真实框的差值，那么为了得到一个梯度当样本|x|<1附近产生稍微大点的梯度，可以设计出新的位置损失函数如下公式所示：
[0059][0060]
其中，b＝e
‑
y/a
。
[0061]
通道设置参数a＝0.5，y＝1.5进行模型训练。
[0062]
3、训练过程中的超参数设置
[0063]
以ssd为基础的模型训练使用默认的超参数，特别注意的是学习变化使用warm up进行设置，前期使用较低的学习率，等到迭代一段时间之后，切换到较大的学习率进行模型训练。
[0064]
三、模型推理阶段：使用训练阶段输出的模型参数，进行算法模型前向计算，得到目标类别和预测框坐标，检测结果如下图4(a)和(b)所示，从图中可以看出车辆类别和摩托车类别拥有较高的置信度且检测框精度较高。
[0065]
本发明还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中所述处理器执行所述程序时实现基于多级卷积特征级联的车辆检测方法的步骤。
[0066]
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围。在不脱离本发明之精神和范围内，所做的任何修改、等同替换、改进等，同样属于本发明的保护范围之内。