一种基于GuidedFaster-RCNN的车辆检测系统的制作方法

本发明涉及一种基于guidedfaster-rcnn算法的车辆检测系统，属于计算机视觉领域。

背景技术：

随着大众生活水平的提高，汽车的数量逐渐增多，道路交通压力也日益增大。目前大部分车辆缺乏详细的车型信息，并以此来躲避道路交通的监控，给交通管理部门带来了诸多麻烦。因此，为解决这类问题，人们开始利用各种新技术来解决这类问题，智能交通系统也在这种背景下应运而生。目标检测的目的是从不同复杂程度的背景中辨识出运动目标，并分离背景，从而完成跟踪、识别等后续任务。车辆检测技术作为目标检测技术的一个特定研究领域，多年来一直得到国内外科研工作者的重视，并且不断地有新的研究成果出现。车辆检测作为视频监控中的主要问题，研究相关算法对于提高监控视频的性能具有很重要的意义。

目前常用的视频车辆检测的方法主要有光流法、帧间差法、背景差法和基于机器学习等方法。前面的三种检测方法都是常规的基于图像处理技术的车辆检测方法，然而这些算法具有非常耗时，以及算法要求车辆不能有太大遮挡否则跟踪精度下降，甚至会造成目标丢失等缺点。2012年起，深度学习引起了人们的广泛关注，并在图像识别与检测中取得了良好的识别效果。本发明研究了深度学习在目标检测中的应用，并且将目标检测中的guidedfaster－rcnn算法运用到车辆检测当中。本发明设计的一种基于guidedfaster-rcnn的车辆检测系统，设计与实现了将guidedfaster-rcnn算法运用到车辆检测当中，构建并实现了车辆检测系统，并且通过gpu对车辆检测进行加速以实现实时检测，使得即使在复杂的场景中，本系统的实时性也满足要求，无论在速度还是精度上都具有很大的优势，具备良好的性能。

技术实现要素：

针对上述问题，本法的目的是提供一种基于guidedfaster-rcnn车辆检测系统，解决了传统检测方法中信息计算十分耗时以及由于车辆有太大遮挡而导致跟踪精度下降甚至目标丢失的问题，从实际出发，实时检测车辆，为解决现有道路交通监控所存在的问题提供技术指导，具有检测速度快、检测效率高、回馈方便等特点。

基于guidedfaster-rcnn的车辆检测系统，其结构包括rpn网络、fast-rcnn网络、共享卷积层、难例挖掘策略训练、非极大值抑制。

所述的rpn网络在原始rpn的卷积层后添加了一个自适应池化层,将roi定位到featuremap中对应区域，并下采样为固定大小特征再传入全连接层。训练过程采用反向传播算法和随机梯度下降，整个训练过程是一个end-to-end的过程。训练rpn时，忽略所有跨越图像边界的anchor，防止异常值带来困难的修正误差项，导致训练不能收敛。在rpn的最后一层卷积层conv5输出后，采用随机修正性单元(randomizedleakyrelu,rrelu)进行非线性激活。

所述的fast-rcnn网络利用rpn网络生成的目标推荐框，独立训练一个fast-rcnn检测网络。fast-rcnn中采用rrelu激活函数，激活函数输出接入多尺度感兴趣区域池化层(spatialpyramidroipoolinglayer，spp)，以适应更多的尺度变化和形变。另外在训练时卷积层中使用batchnormalization和selectivedropout技术加快收敛，以避免过拟合。原始的fast-rcnn检测网络采用一个单层的roipooling层，改进的检测网络使用一个多尺度的版本(spp)，可以适应更多的尺度和形变，spp层的初始化采用高斯随机初始化。检测时，卷积层与spp层的共享计算在rpn网络已经完成，避免了重复的计算，并提高了检测性能。

所述的共享卷积层将rpn网络和fast-rcnn检测网络关联起来，并保持网络结构不变。利用训练好的fast-rcnn检测网络来初始化rpn推荐网络，然后重新训练rpn。重新训练时固定rpn全部卷积层用于共享特征，只微调rpn后半部独有的roipooling层、分类层和回归层网络层，得到训练完成的rpn候选区域推荐网络。在fast-rcnn中再次保持全部卷积层和spp层固定，仅微调fast-rcnn后半部分的全连接层，得到训练完成的fast-rcnn目标网络。最终，在两个网络中实现了全部卷积层的共享，可以提取共同的特征，既保证了检测速度的高效，又保证了学习过程和检测过程是完全的end-to-endd的过程。

所述的难例挖掘策略训练采用增补难例负样本的方式，guidedfaster-rcnn的难例挖掘算法见算法1。首先使用初始样本集(包括正样本和部分随机负样本)训练得到的初始深度模型，随后在更多的样本集(包含全部正样本和更多负样本)上挖掘出所有的难例负样本(误检样本)以更新初始模型，最终得到最优的深度模型。

算法1guidedfaster-rcnn的难例挖掘算法：

输入：初始样本集r0，缓存tt，样本集r

输出：y(r)

初始化：tt=r0

1）使用缓存tt训练深度模型yt=y(tt)。

2）若使用yt在更大的样本集r上分类无难例负样本（误检样本），则返回yt。

3）若第2步未返回，扩充缓存。将yt在样本集r上分类出的难例负样本a（yt，r)添加至缓存tt中，新缓存为bt。

4）训练缓存tt+1，得到深度模型yt+1=y(tt+1)。

5）重复2至4步骤n次，得到最优深度模型y（r）=y（tt+n）。

所述的非极大值抑制用来去掉rpn网络中产生的一些重叠比高、置信度低的候选框。cuda技术通过大量可并行执行的线程对算法进行加速，并由gpu动态调度和执行，解决了单纯利用cpu来进行非极大值抑制计算十分耗时的问题，大大减少了运算所需要的时间。

该基于guidedfaster-rcnn的车辆检测系统，设计与实现了将guidedfaster-rcnn算法运用在道路监控车辆检测当中，构建并实现了车辆检测系统，并且通过gpu对车辆检测进行加速以实现实时检测。

本发明具有以下优点：本发明中的guidedfaster-rcnn在faster-rcnn的框架基础上，加入浅层学习引导，最大可能的避免了学习中出现的过拟合现象。同时改进了网络中的部分关键技术，提高了学习能力，是一个完整的end-to-end学习和检测过程。guidedfaster-rcnn采用基于难例挖掘策略的训练方法，可进一步提高性能，绝大部分计算在gpu上完成，大幅减少了检测时间。

附图说明

图1是rpn网络训练过程中的采样流程图；

图2是rpn网络与fast-rcnn网络的训练流程图；

图3是非极大值抑制算法去除rpn网络中置信度低候选框的原理图；

图4是车辆检测系统总流程框图。

具体实施方式

下面结合附图对本发明作进一步说明。

本发明是通过以下技术方案实现的：采样流程图如图1所示，在原始rpn的最后一层卷积层conv5(1)后接入一个自适应池化层(2)，将roi层(3)定位到featuremap(4)中对应区域，并下采样为固定大小特征再传入全连接层(5)，在每个卷积映射位置，输出该位置上不同尺度和不同长度比的n个候选区域的目标分类得分和目标位置回归边界(6)。所述结构中roi层(3)上对于每一个滑动窗口的中心位置，都进行n个不同尺度、不同长宽比的锚点采样，对于一个x×y大小的featuremap，将有x×y×n次采样过程。

训练流程图如图2所示，首先独立训练一个rpn区域推荐网络，用于获取一系列目标候选区域及相应检测得分。在原始rpn的最后一层卷积层conv5后添加了一个自适应池化层，使得不同大小的图像映射为固定大小的featuremap。在rpn的最后一层卷积层conv5输出后，采样随机修正线性单元进行非线性激活。接着利用第一步的rpn生成的目标推荐框，独立训练一个多尺度特性的fast-rcnn检测网络。fast-rcnn中采用rrelu激活函数，激活函数输出接入多尺度感兴趣区域池化层，以适应更多的尺度变化和形变。第三步通过共享卷积层将两个网络关联起来，保持两个网络的网络结构不变。微调rpn时，用第二步训练好的fast-rcnn检测网络来初始化rpn区域推荐网络，重新训练rpn，固定rpn全部卷积层用于共享特征，只微调rpn后半部独有的roi层、分类层和回归层，最终得到训练完成的rpn候选区域推荐网络。微调fast-rcnn时，保持全部卷积层和spp层固定，仅微调fast-rcnn后半部分的全连接层。两个网络交替微调，最终完成所有训练过程，在两个网络中实现全部卷积层共享，可提取共同的特征。

非极大值抑制原理图如图3所示，rpn网络产生的所有推荐框（左）使用非极大值抑制算法后选出的推荐框（右）。rpn网络产生的候选框个数多并且重叠比例高，为了消除多余的框，根据置信度的高低，可利用非极大值抑制算法去掉一些重叠比例高、置信度低的候选框。

系统总流程图如图4所示，从监控视频中获取需求图片，利用guidedfaster-rcnn算法对该图片进行检测。如果得到的结果为没有车辆则返回guidedfaster-rcnn算法对下一张图片进行检测；如果得到的结果为有车辆则将该图片上传到服务器。服务器主线程用于显示视频，服务器子线程用于将图片发送到指定手机。当一个线程对应的用户保存到图片之后，将会给对应的手机app发送一条消息推送，点开推送消息之后就可以在网页上看到上传到服务器的图片，为车辆的实时检测提供优良技术指导。