一种基于端到端深度网络与对抗学习的目标检测方法与流程

本发明涉及目标检测技术领域，具体涉及一种基于端到端深度网络与对抗学习的目标检测方法。

背景技术：

随着计算机技术的不断发展以及智能视频分析需求的不断增长，目标检测研究已成为计算机视觉领域中重要而富有挑战的研究方向之一。目标检测是大量高级视觉任务的必备前提，包括活动或事件识别、场景内容理解等。而且目标检测也被应用到很多实际任务，例如智能视频监控，基于内容的图像检索，机器人导航和增强现实等。目标检测对计算机视觉领域和实际应用具有重要意义。

目前主流的目标检测算法主要是基于深度学习模型，其可以分成两大类：（1）two-stage检测算法，其将检测问题划分为两个阶段，首先产生候选区域，然后对候选区域分类，这类算法的典型代表是基于regionproposal的r-cnn系算法，如r-cnn，fastr-cnn，fasterr-cnn等；（2）one-stage检测算法，其不需要regionproposal阶段，直接产生物体的类别概率和位置坐标值，比较典型的算法如yolo和ssd算法。

虽然现在主流的目标检测技术对于大中等目标的准确率已经很高，但是对于小目标以及一些被部分遮挡的目标检测始终存在检测效果较差的问题。

技术实现要素：

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于端到端深度网络与对抗学习的目标检测方法。本发明以ssd为基础，利用低卷积层拥有小局部感知野的特点，通过逆卷积结构将低分辨率高语义信息特征图与高分辨率低语义信息特征图相融合，达到提升目标检测算法的平均精准度的目的。此外，通过rpn网络得到粗粒度的候选框信息，在基本特征层生成候选框之后添加一个二分类判别，然后再通过常规的回归支路进行进一步回归从而得到更加精确的检测框信息。同时针对于ssd算法对部分遮挡目标的检测效果不好问题，提出了通过在特征图上添加遮挡掩码(mask)来实现特征的部分遮挡，以达到对抗学习的作用。

一种基于端到端深度网络与对抗学习的目标检测方法，包括下列步骤：

步骤1，在ssd算法中引入逆卷积结构，采用逆卷积将低分辨率高语义信息特征图与高分辨率低语义信息特征图相融合，增加网络中低层的特征提取能力；

步骤2，通过rpn网络得到粗粒度的候选框信息，在基本特征层生成候选框之后添加一个二分类判别，然后再通过常规的回归支路进行进一步回归从而得到更加精确的检测框信息；

步骤3，将步骤2筛选过后的不同尺度上的候选框和步骤1生成的不同尺度的特征融合之后的融合层进行对应，然后经过一个roipooling操作，将候选框对应的特征图区域全部放大或缩小到固定尺寸大小，通过在特征图上添加遮挡掩码来实现特征的部分遮挡，以达到对抗学习的作用；

步骤4、将经过遮挡掩码遮挡的特征图通过两个全连接层和softmax分类器来回归检测框以及类别。

进一步地，所述步骤1具体为：

首先，将图像数据输入到ssd网络中进行图像特征的提取，选取网络结构中的四种不同分辨率的特征图；

然后将ssd中低分辨率高语义信息特征图做逆卷积，将经逆卷积得到的特征图与原特征图进行特征融合，特征融合方式为对特征图进行逆卷积操作，将后一层的特征层经过逆卷积运算将高尺度信息传递到上一层，一层一层的传递，最后能够整个多个尺度信息，最终得到四种不同分辨率的融合层。

进一步地，所述步骤2具体如下：

对于所述步骤1生成的四种不同分辨率的特征图，在这四种特征图上生成不同尺寸的候选框，根据候选框与目标真实框之间的iou来去除部分负样本，基于4层特征最后得到两条支路，一个候选框的坐标回归支路，另一个是候选框的二分类支路。

进一步地，所述步骤3具体为：

首先将步骤1得到的四层不同分辨率的融合层与步骤2得到的不同分辨率特征图上的正负样本候选框进行对应；

然后在四层不同分辨率的融合层上做一个roipooling操作，将候选框对应的特征图尺寸缩放到统一的尺寸；

接着通过全连接层生成掩模，确定特征图的哪些部分应该遮挡，这样生成的困难样本最好要让检测器误判，掩模会自动根据损失函数作出调整。

进一步地，所述步骤4，将经过遮挡掩码遮挡的特征图通过两个全连接层和softmax分类器来回归检测框以及类别，具体地，通过非极大值抑制non-maximumsuppression(nms)和置信度阈值筛选得到最终预测的类别、概率和定位结果。

综上所述，本发明利用逆卷积将高分辨率低语义信息特征图与低分辨率高语义信息特征图相融合，提高ssd算法的小目标检测能力，同时引入对抗学习来增强算法对部分遮挡的目标的检测能力。

附图说明

图1为本发明提出的基于端到端深度网络与对抗学习的目标检测方法网络结构图。

图2为本发明提出的逆卷积特征融合结构图。

图3为本发明经过二值化掩膜遮挡的特征图示例。

具体实施方式

下面结合说明书附图对本发明的技术方案做进一步的详细说明。

一种基于端到端深度网络与对抗学习的目标检测方法，包括下列步骤：

步骤1，在ssd算法中引入逆卷积结构，采用逆卷积将低分辨率高语义信息特征图与高分辨率低语义信息特征图相融合，增加网络中低层的特征提取能力。

所述步骤1具体为：

首先，将图像数据输入到ssd网络中进行图像特征的提取，选取网络结构中的四种不同分辨率的特征图。

然后将ssd中低分辨率高语义信息特征图做逆卷积，将经逆卷积得到的特征图与原特征图进行特征融合，特征融合方式为对特征图进行逆卷积操作，将后一层的特征层经过逆卷积运算将高尺度信息传递到上一层，一层一层的传递，最后能够整个多个尺度信息，最终得到四种不同分辨率的融合层。

步骤2，通过rpn网络得到粗粒度的候选框信息，在基本特征层生成候选框之后添加一个二分类判别，然后再通过常规的回归支路进行进一步回归从而得到更加精确的检测框信息。

所述步骤2具体如下：

对于所述步骤1生成的四种不同分辨率的特征图，在这四种特征图上生成不同尺寸的候选框，根据候选框与目标真实框之间的iou来去除部分负样本，基于4层特征最后得到两条支路，一个候选框的坐标回归支路，另一个是候选框的二分类支路。

步骤3，将步骤2筛选过后的不同尺度上的候选框和步骤1生成的不同尺度的特征融合之后的融合层进行对应，然后经过一个roipooling操作，将候选框对应的特征图区域全部放大或缩小到固定尺寸大小，通过在特征图上添加遮挡掩码来实现特征的部分遮挡，以达到对抗学习的作用。

所述步骤3具体为：

首先将步骤1得到的四层不同分辨率的融合层与步骤2得到的不同分辨率特征图上的正负样本候选框进行对应。

然后在四层不同分辨率的融合层上做一个roipooling操作，将候选框对应的特征图尺寸缩放到统一的尺寸。

接着通过全连接层生成掩模，确定特征图的哪些部分应该遮挡，这样生成的困难样本最好要让检测器误判，掩模会自动根据损失函数作出调整。

步骤4、将经过遮挡掩码遮挡的特征图通过两个全连接层和softmax分类器来回归检测框以及类别。

所述步骤4，将经过遮挡掩码遮挡的特征图通过两个全连接层和softmax分类器来回归检测框以及类别，具体地，通过非极大值抑制non-maximumsuppression(nms)和置信度阈值筛选得到最终预测的类别、概率和定位结果。

以上所述仅为本发明的较佳实施方式，本发明的保护范围并不以上述实施方式为限，但凡本领域普通技术人员根据本发明所揭示内容所作的等效修饰或变化，皆应纳入权利要求书中记载的保护范围内。