一种基于优化候选区域的FasterR‑CNN目标检测方法与流程

本发明涉及目标检测技术领域，具体涉及一种基于优化候选区域的fasterr-cnn目标检测方法。

背景技术：

目标检测，就是从视频或者图像中检测出特定目标。目标检测技术属于计算机视觉领域，该技术特指分析处理目标视觉特征信息，然后对目标进行检测的计算机视觉技术，该技术在军事、视频监控、人机交互等领域有着广泛的应用。

由于目标检测技术具有广泛的应用，当前目标检测在计算机视觉领域占据重要地位。fasterr-cnn目标检测算法中，候选区域生成网络(rpn)输出的候选区域质量不高，存在大量无效的候选区域，这将增加后续目标分类回归网络的计算量和计算时间。

技术实现要素：

本发明的目的是为了解决现有技术中的上述缺陷，提供一种基于优化候选区域的fasterr-cnn目标检测方法。

本发明的目的可以通过采取如下技术方案达到：

一种基于优化候选区域的fasterr-cnn目标检测方法，所述检测方法包括下列步骤：

s1、以深度学习caffe框架为实现平台，在原始的fasterr-cnn网络中增加一个候选区域优化网络，通过候选区域优化网络构成一个区域二分类器，候选区域优化网络的输入为候选区域生成网络的第一个卷积层输出的特征图和候选区域生成网络输出的目标候选区域，输出为优化的目标候选区域，其中第一个卷积层即特征映射层；

s2、利用卷积特征提取网络对输入图像进行特征提取，生成共享特征图；

s3、利用候选区域生成网络对生成的共享特征图进行处理，生成多种尺度和长宽比的目标候选区域；

s4、候选区域优化网络根据目标候选区域所包含的特征对目标候选区域进行目标/背景的二分类判别，然后排除被判别为背景的无效候选区域，得到优化后的目标候选区域；

s5、目标分类回归网络根据优化后的目标候选区域，从生成的共享特征图中提取区域特征，进行最终的目标类别判别以及目标边界框回归修正。

进一步地，所述候选区域优化网络的输入层为一个区域池化roipooling层，输出层为一个softmax层，中间为若干隐层，所有层级联连接。

进一步地，所述步骤s4过程如下：

候选区域优化网络的区域池化roipooling层根据候选区域生成网络输出的目标候选区域，对候选区域生成网络的特征映射层输出的特征图进行区域池化，生成固定大小的区域特征，softmax层输出每个目标候选区域是否包含目标或背景的2分类概率，最后只输出概率大于预设阈值的目标候选区域，即可排除大部分无效候选区域，得到优化后的目标候选区域。

进一步地，所述检测方法在步骤s2之前，还包括fasterr-cnn网络的训练步骤，过程如下：

使用原始fasterr-cnn算法的训练方法训练一个fasterr-cnn网络，首先利用imagenet预训练模型参数初始化fasterr-cnn网络的卷积特征提取网络和目标分类回归网络的第1层和第2层网络，对其他层采用零均值，标准差为σ的高斯分布随机初始化，然后对fasterr-cnn网络进行端到端的近似联合训练。

进一步地，所述检测方法在步骤s2之前，还包括候选区域优化网络的训练步骤，过程如下：

候选区域优化网络采用零均值，标准差为σ的高斯分布随机初始化，利用训练好的fasterr-cnn网络生成训练数据，单独训练候选区域优化网络，将训练集中的训练图片输入fasterr-cnn网络，候选区域生成网络输出的目标候选区域作为候选区域优化网络的训练数据，与任一标注框的交并比iou大于thp的目标候选区域，作为正样本，与任一标注框的交并比iou小于thn的目标候选区域，作为负样本。

本发明相对于现有技术具有如下的优点及效果：

本发明利用一个候选区域优化网络对fasterr-cnn算法中的候选区域生成网络(rpn)输出的候选区域进行优化，减少候选区域生成网络(rpn)输出的无效候选区域，在检测准确率基本保持不变的前提下，有效地提高了目标检测的效率。

附图说明

图1是原始的fasterr-cnn算法的网络结构图；

图2是本发明提出的基于优化候选区域的fasterr-cnn目标检测方法的网络结构图；

图3是本发明实施例的特征提取网络的网络结构图；

图4为本发明实施例的候选区域生成网络的网络结构图；

图5为本发明实施例的候选区域优化网络的网络结构图；

图6为本发明实施例的目标分类回归网络的网络结构图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例

如图2所示为本实施例的网络结构图，具体实施步骤如下：

s1、以深度学习caffe框架为实现平台，以图1所示的fasterr-cnn网络为基础，构建本实施例的网络，如图2所示。本实施例的网络实现20类目标的检测。在原始的fasterr-cnn网络中增加一个候选区域优化网络。候选区域优化网络构成一个区域二分类器。候选区域优化网络的输入为候选区域生成网络(rpn)第一个卷积层(特征映射层)输出的特征图和候选区域生成网络(rpn)输出的目标候选区域，输出为优化的目标候选区域。

具体地，以zf-net网络作为卷积特征提取网络，如图3所示为zf-net的网络结构图，其中各层的具体参数如表1所示。

表1.本实施例的zf-net网络参数

如图4所示为本实施例的候选区域生成网络(rpn)的网络结构图，其中各层的具体参数如表2所示。候选区域生成网络(rpn)的第一个卷积层conv6为特征映射层，负责对特征提取网络输出的特征图进行特征映射。

表2.本实施例的rpn网络参数

如图5所示为本实施例的候选区域优化网络结构图，其中各层的具体参数如表3所示。候选区域优化网络包含一个区域池化roipooling层、三个全连接层(隐层)和一个softmax层，所有层级联连接。

表3.本实施例的候选区域优化网络参数

如图6所示为本实施例的目标分类回归网络结构图，其中各层的具体参数如表4所示。

表4.本实施例的目标分类回归网络参数

s2、利用卷积特征提取网络zf-net对输入图像进行特征提取，生成共享特征图；

s3、利用候选区域生成网络(rpn)对步骤s2生成的共享特征图进行处理，生成多种尺度和长宽比的目标候选区域；

候选区域生成网络(rpn)输出300个目标候选区域，以及对应每个目标候选区域包含目标的置信度。

s4、候选区域优化网络根据目标候选区域所包含的特征对目标候选区域进行目标/背景的二分类判别，然后排除被判别为背景的无效候选区域；

候选区域优化网络的区域池化roipooling层根据候选区域生成网络(rpn)输出的目标候选区域，对候选区域生成网络(rpn)的特征映射层输出的特征图进行区域池化，生成固定大小的区域特征，softmax层输出每个目标候选区域是否包含目标或背景的2分类概率。最后只输出概率大于预设阈值的目标候选区域，即可排除大部分无效候选区域，得到优化后的目标候选区域。本实施例中预设阈值取0.5。

s5、目标分类回归网络根据步骤s4输出的优化的目标候选区域，从步骤s2生成的共享特征图中提取区域特征，进行最终的目标类别判别以及目标边界框回归修正。

具体应用中，本发明公开的基于优化候选区域的fasterr-cnn目标检测方法，在所述步骤s2之前，还包括fasterr-cnn网络的训练步骤和候选区域优化网络的训练步骤。

如下所示为本实施例中的fasterr-cnn网络的训练步骤：

使用原始fasterr-cnn算法的训练方法训练一个fasterr-cnn网络，首先利用imagenet预训练的zf-net模型参数初始化fasterr-cnn网络的卷积特征提取网络和目标分类回归网络的第1层和第2层网络，对其他层采用零均值，标准差为σ的高斯分布随机初始化，然后对fasterr-cnn网络进行端到端的近似联合训练；

本实施例中的fasterr-cnn算法设置9个锚点，分别对应面积为128²，256²，512²像素的尺度，以及1∶1，1∶2，2∶1的长宽比。本实施例中，标准差σ取值为0.01，但该取值并不构成对本技术方案的限制。采用pascalvoc2007数据集作为本实施例的训练集，pascalvoc2007数据集包含20种带标签的待测目标，共有5371张训练图片。训练过程中迭代次数为80000次，初始学习率0.001，每五万次减小为上一个值的十分之一，momentum设置为0.9。

如下所示为本实施例中的候选区域优化网络的训练步骤：候选区域优化网络采用零均值，标准差为σ的高斯分布随机初始化。利用训练好的fasterr-cnn网络生成训练数据，单独训练候选区域优化网络。将训练集中的训练图片输入fasterr-cnn网络，候选区域生成网络(rpn)输出的目标候选区域作为候选区域优化网络的训练数据。与任一标注框的交并比iou大于thp的目标候选区域，作为正样本；与任一标注框的交并比iou小于thn的目标候选区域，作为负样本。本实施例中，标准差σ取值为0.01，阈值thn和thn均取值0.5，但该取值并不构成对本技术方案的限制。训练过程中迭代次数为20000次，初始学习率0.001，每五万次减小为上一个值的十分之一，momentum设置为0.9。

综上所述，本发明通过引入一个候选区域优化网络对fasterr-cnn算法中的候选区域生成网络(rpn)输出的候选区域进行优化，减少候选区域生成网络(rpn)输出的无效候选区域，在检测准确率基本保持不变的前提下，有效地提高了目标检测的效率。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应视为等效的置换方式，都包含在本发明的保护范围之内。