一种基于旋转定位网络的光学遥感图像飞机目标检测方法与流程

本发明属于图像检测技术领域，具体涉及一种基于旋转定位网络的光学遥感图像飞机目标检测方法。

背景技术：

飞机目标检测是评估机场功能与重要程度、掌握敌情动态的重要途径。随着遥感影像技术日趋成熟，遥感图像分辨率变高，包含的信息量增多，因此飞机目标检测方法越来越多的使用遥感图像作为检测的基础结构。在这种趋势下，近些年大热的机器学习方法也被广泛运用于这一领域。

虽然技术日益成熟，但是飞机目标检测方法仍然存在许多的困难和挑战：1、机场停机坪上的飞机往往是密集排布的，遥感卫星图像拍摄的图片中，飞机目标距离较近，使用传统的水平检测框会存在检测框重叠的情况，并且在包围框内会存在大量地冗余，在选取前景和背景的筛选过程中，也会将部分正确的目标框误删，导致检测效果不好；2、目前，主流的机器学习方法主要通过复杂的特征提取过程以及具有针对性的参数选取实现飞机目标的检测，这种方法过于依赖人工，在复杂场景下的鲁棒性不强，无法推广应用。即使是鲁棒性较强的深度网络，仅考虑特征提取网络最后一层包含高级语义的featuremap，会失去很多飞机目标位置信息；3、飞机目标检测大部分使用的是网络上的公共数据集，其图片来源是网上爬取的一些飞机图片，并未有针对性地考虑拍摄视角、飞机地点分布、是否具有多样性等特点，由公共数据集训练出来的网络模型性能层次不齐，且普遍检测效果不佳，检测网络不具有普适性。

飞机目标识别是基于所给影像信息进行飞机物体检测，并将目标在影像上框定出来。它不仅仅依赖于所给图像信息的完备与否，还依赖于检测算法的选取、训练方式以及应用的具体场景。飞机目标检测往往存在所给数据信息不足、训练效果不佳和密集场景检测效果不好等问题。

技术实现要素：

本发明所要解决的技术问题是克服现有技术的不足，提供一种基于旋转定位网络的光学遥感图像飞机目标检测方法，利用累积特征金字塔网络进行特征融合，该方法还采用旋转矩形包围框，减少框定目标后的背景冗余，在密集场景下，使检测结果更准确。

本发明提供一种基于旋转定位网络的光学遥感图像飞机目标检测方法，包括如下步骤，

步骤s1、将图片输入resnet特征网络，提取出多维度特征信息，获取用多维数组表示的特征图；

步骤s2、特征图输入累积特征金字塔网络中，将高层语义与底层语义相融合，将高层语义的接收域和上下文信息与底层语义的目标位置信息提炼在一起；

步骤s3、rpn子网络在累积特征金字塔网络输出的特征中产生锚框，并对锚框进行边界回归和前景分类，获取水平提议框；

步骤s4、将水平提议框送入旋转区域定位网络进行旋转和缩放，生成旋转目标框，最终输出飞机目标旋转检测框。

作为本发明的进一步技术方案，步骤s2中，累积特征金字塔网络从最高语义层开始，对本层以上每一个featuremap进行最近邻上采样，获取与本层大小相同的featuremap，再进行拼接合并，拼接合并的featuremap和本层的featuremap分别经过1*1的卷积核处理，处理后的两个featuremap对应元素相加，获取的结果再通过3*3卷积核处理，获取一个单层多维度featuremap。

进一步的，步骤s3中，采用置信度排序的方法减少rpn子网络产生的锚框数量，保留高置信度的水平提议框；水平提议框作为负样本需满足背景与标签框的交并比值在[0.1,0.3]之间或具有高置信度值，并且与标签框无交集。

进一步的，步骤s4中，将水平检测框转换为旋转检测框，使用旋转区域定位网络对检测框进行回归预测，旋转的角度为，并调整矩形框的宽w和高h，旋转边界框参数化坐标回归包括和两个附加变量，参数化坐标定义如下：

；

其中，为包围框中心点坐标，分别为包围矩形框的长边和短边；、和分别代表预测框、锚框和真实的包围框的参数，参数以此类推；为水平框相对于图像坐标轴的x正半轴逆时针旋转的角度，为矩形包围框的对角线长度；

采用损失函数表示旋转框与真实包围框之间的损失，其定义为：

；

其中，为标签中的实际向量，为预测向量。

本发明的有益效果如下：

1、本发明使用旋转矩形框表示飞机目标，在飞机目标密集的场景下，能够无重叠地框出飞机目标位置。旋转矩形框内的冗余背景少，目标更精确，也减少网络训练时，背景特征对目标特征的干扰，使网络的学习效率更高。

2、本发明采用累积特征金字塔网络，能显著提高小目标物体的检测准确率。在大尺寸光学遥感图像中，飞机目标相对较小，累积特征金字塔网络将底层语义的飞机目标位置信息进行了加权融合，提高了飞机目标特征提取中位置信息的比重，定位更精确。

3、本发明使用的数据集更为健全，本发明使用的飞机数据库综合多各方面考虑，具有时空范围广、覆盖的尺度范围多样、飞机种类多和视角多样化的优点。对深度网络训练起到关键性作用，深度网络能够学习到飞机目标更多的特征，从而提高网络最终的检测准确率和召回率。

附图说明

图1为累积特征金字塔网络对featuremap进行处理的示意图；

图2为旋转矩形框及其向量表示方式中的参数含义示意图；

图3为飞机目标检测流程图。

具体实施方式

对本实施例中的使用的数据集进行划分，其中20%划分为测试集，80%为训练集，为了使训练时超参设置得更加准确，故将训练集的20%划分为验证集，保证网络模型的鲁棒性较好。

在做好数据集划分后，如图3所示所示，开始将图片送入网络。

本方法包括如下步骤，

步骤1：先初始化除特征提取网络以外的参数，然后将数据集图片按批次送入特征提取网络resnet，特征提取网络resnet使用官方权重值。图片的三维数组经过resnet网络的残差模块提取，变为一个更深维度的数组，这个数组表示图片中的特征信息，包含了上下文信息、接受域信息和飞机目标位置信息。

步骤2：在步骤1中，resnet网络中每个残差模块的最后一层得到的featuremap具有不同的卷积步长，并且每一层featuremap的大小也不一样，最上层的featuremap尺寸最小，具有高级语义，包含更多的接受域、上下文信息和较少的飞机目标位置信息，最下层的featuremap尺寸最大，包含较少的接受域、上下文信息和更多的飞机目标位置信息。累积特征金字塔网络由这些多层featuremap构成一种塔状结构，金字塔的每层由上往下呈现逐层变化的趋势。将各层的featuremap信息进行融合，得到一个包含丰富的接受域、上下文信息和较多飞机目标位置信息的多维featuremap。

步骤2-1：由图1可知，累积特征金字塔网络信息融合过程如下：对上面的每一个featuremap进行最近邻上采样处理，得到大小相同的featuremap，然后进行拼接合并。拼接合并的featuremap和本层的featuremap分别经过一个的卷积核处理，减小他们的通道维度大小。将两个经过的卷积核处理的featuremap对应元素相加，得到的结果通过一个3的卷积核处理，减少上采样的混叠效应。最终得到一个单层多维度featuremap送入下面的步骤。

步骤3：累积特征金字塔网络的输出送入rpn子网络，通过在累积特征金字塔网络的输出特征中产生锚框anchors，并对锚框进行边界回归和前景背景分类，得到水平提议框，因为本发明是单目标检测问题，仅需检测飞机这一类，所以rpn网络输出的前景框就不用再进行多类别区分。在产生的背景中，选择一些作为负样本进行训练。负样本选择条件如下：

（1）背景与标签框groundtruth的交并比iou值在[0.1,0.3]之间；

（2）作为背景类的置信度值很高，并且与标签框groundtruth无交集。

满足上述任意一个条件，都作为负样本，参与网络的训练。跨越图像边界的锚框可直接忽略。

本发明不采取非极大值抑制方法策略（nms）来减少rpn网络产生的锚框数量，因为nms对于旋转矩形框的选取并无优势。取而代之，本发明采用置信度排序的方法，将高置信度的提议框保留。最后，rpn网络产生了一些列水平检测框和对应的标签，送入下一步处理。

步骤4：步骤3最终得到的飞机目标水平检测框向量，作为输入，送入旋转区域定位网络。旋转区域定位网络对检测框进行回归预测，主要是将水平检测框进行旋转，旋转的角度为，同时还将矩形框的宽和高（）进行微调以适应飞机目标，同时对飞机目标中心点位置微调。旋转边界框参数化坐标回归有两个附加变量和。参数化坐标定义如下：

其中表示包围框中心点坐标，分别表示包围矩形框的长边和短边。、和分别代表预测框、锚框和真实的包围框的参数（参数类推）。表示水平框相对于图像坐标轴的x正半轴逆时针旋转的角度，表示矩形包围框的对角线长度。

在训练过程中，本发明的用损失函数，来表示旋转框与真实包围框之间的损失，定义为：

其中，式子中有上标“”，表示标签中的实际向量，无上标“”，表示预测向量。本发明使用损失函数，使模型的鲁棒性能更好。

通过rrln网络的旋转定位，最终确定矩形包围框的坐标和大小，输出飞机目标在图片中的位置。

以上显示和描述了本发明的基本原理、主要特征和优点。本领域的技术人员应该了解，本发明不受上述具体实施例的限制，上述具体实施例和说明书中的描述只是为了进一步说明本发明的原理，在不脱离本发明精神范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护的范围由权利要求书及其等效物界定。