遥感图像目标检测识别方法、装置、可读存储介质及设备与流程

本发明涉及图像处理与模式识别领域，特别是指一种遥感图像目标检测识别方法、装置、计算机可读存储介质及设备。

背景技术：

随着高分辨率卫星的快速发展，高分辨率遥感影像数据急剧增加，为开发更加智能的遥感影像目标解译系统提供了可能，因此研究基于大数据的高分全色遥感影像目标检测识别算法成为当前的迫切需求。

目前使用广泛的物体检测框架有两种：1、以r-cnn为代表的目标检测框架。2、以yolo为代表的目标检测框架。前者预先提取待测试图像的候选区域(regionproposal)，然后利用cnn网络提取候选区域的特征，最后输入到分类器(如svm)中进行分类和对分好类的候选区域进行回归。后者对于待检测图像，直接在图像的多个位置上回归出这个位置的目标边框以及目标类别。

目前使用广泛的高精度的高分全色遥感图像目标检测和识别方法多为基于传统特征的单目标检测识别方法。

现有技术存在以下缺点：

1、以r-cnn为代表的目标检测框架较以yolo为代表的目标检测框架，检测速度较慢。

2、较以r-cnn为代表的目标检测框架，yolo没有了候选区域机制，导致检测精度并不是很高，并且较fasterr-cnn，对于小物体的检测性能较低。

高分全色遥感图像中，一方面相比日常场景图像，待检目标较小，直接采用日常场景图像的检测方法(r-cnn或yolo)，很难实现高的检测精度；另一方面，基于传统特征的单目标检测识别方法，对于不同场景的泛化能力较弱，同时对于多目标的检测任务，检测效率也较低。

技术实现要素：

为解决上述技术问题，本发明提供一种遥感图像目标检测识别方法、装置、可读存储介质及设备，本发明提高了对于小物体的检测性能，提高了检测精度以及检测效率；对于不同场景的泛化能力强，对于多目标的检测任务，检测效率较高。

本发明提供技术方案如下：

第一方面，本发明提供一种遥感图像目标检测识别方法，所述方法包括：

将预处理后的遥感图像经过基础网络+附加网络模型得到融合特征图，，所述附加网络包括反卷积层和pm模块；

将所述融合特征图通过附加网络的pm模块得到检测识别结果，所述检测识别结果包括检测框位置、检测框类别和检测框类别置信度，所述pm模块包括残差模块；

根据所述检测识别结果对检测框进行筛选，所述筛选包括删除不满足预设条件的检测框；

对筛选后的检测框进行nms操作，得到最终的检测识别结果。

进一步的，所述基础网络包括五个依次连接的卷积神经网络和两层卷积层，每个卷积神经网络包括一个卷积模块和一个池化层，每个卷积模块包括若干个卷积层；

所述附加网络包括四个依次连接的卷积模块，每个卷积模块均包括两个卷积层，每个卷积模块连接有反卷积层；

所述基础网络的第四个卷积模块的第三个卷积层，以及所述附加网络中每个卷积模块的第二个卷积层输出五个不同大小的特征图；

将前后两个不同大小的特征图中尺寸较小的特征图通过反卷积层得到反卷积图，将反卷积图与相同大小的特征图进行融合，得到不同大小的融合特征图。

进一步的，所述删除不满足预设条件的检测框包括：

判断检测框类别置信度是否大于预先设置的该类别检测框的置信阈值，若是，保留该检测框，否则，删除该检测框；

判断两个相交的相同类别检测框的相交区域与这两个检测框中任意一个检测框的面积比例是否大于设定比例，若否，保留这两个检测框，若是，删除这两个检测框中面积较小的一个。

进一步的，所述预处理包括：

若所述遥感图像的大小大于设定阈值，则将所述遥感图像重叠剪裁成若干子图像，否则，不进行预处理；其中，所述子图像的大小不超过设定阈值范围；

所述方法还包括：

将所有子图像的检测识别结果拼合在一起；

所述筛选还包括：

判断拼合后相交的所属类别相同的两个检测框的交并比是否大于合并阈值，若是，将这两个检测框合并。

进一步的，所述nms操作包括：

在检测框集合a＝{a1，a2，...，as}中选择类别置信度最高的检测框ai，若检测框ai的类别置信度大于nmsj，则将检测框ai保存至nms结果中，更新检测框集合为a＝a-ai；其中，j为检测框ai的类别，nmsj为预先设置的该类别检测框的nms阈值；

计算检测框ai与检测框集合a中任意一个检测框at的交并比，若交并比大于nmsj，则更新检测框集合为a＝a-at；

重复上述两个步骤，直至检测框集合a中剩余检测框个数小于等于1；

将nms结果中的所有检测框和检测框集合a中剩余检测框作为最终的检测识别结果。

第二方面，本发明提供一种遥感图像目标检测识别装置，所述遥感图像目标检测识别装置包括：

特征图获取模块，用于将预处理后的遥感图像经过基础网络+附加网络模型得到融合特征图，所述附加网络包括反卷积层和pm模块；

预测模块，用于将所述融合特征图通过附加网络的pm模块得到检测识别结果，所述检测识别结果包括检测框位置、检测框类别和检测框类别置信度，所述pm模块包括残差模块；

筛选模块，用于根据所述检测识别结果对检测框进行筛选，所述筛选包括删除不满足预设条件的检测框；

nms模块，用于对筛选后的检测框进行nms操作，得到最终的检测识别结果。

进一步的，所述基础网络包括五个依次连接的卷积神经网络和两层卷积层，每个卷积神经网络包括一个卷积模块和一个池化层，每个卷积模块包括若干个卷积层；

所述附加网络包括四个依次连接的卷积模块，每个卷积模块均包括两个卷积层，每个卷积模块连接有反卷积层；

所述基础网络的第四个卷积模块的第三个卷积层，以及所述附加网络中每个卷积模块的第二个卷积层输出五个不同大小的特征图；

将前后两个不同大小的特征图中尺寸较小的特征图通过反卷积层得到反卷积图，将反卷积图与相同大小的特征图进行融合，得到不同大小的融合特征图。

进一步的，所述筛选模块包括：

第一判断单元，用于判断检测框类别置信度是否大于预先设置的该类别检测框的置信阈值，若是，保留该检测框，否则，删除该检测框；

第二判断单元，用于判断两个相交的相同类别检测框的相交区域与这两个检测框中任意一个检测框的面积比例是否大于设定比例，若否，保留这两个检测框，若是，删除这两个检测框中面积较小的一个。

第三方面，本发明提供一种用于遥感图像目标检测识别的计算机可读存储介质，包括处理器及用于存储处理器可执行指令的存储器，所述指令被所述处理器执行时实现包括第一方面所述的遥感图像目标检测识别方法的步骤。

第四方面，本发明提供一种用于遥感图像目标检测识别的设备，包括至少一个处理器以及存储计算机可执行指令的存储器，所述处理器执行所述指令时实现第一方面所述的遥感图像目标检测识别方法的步骤。

本发明具有以下有益效果：

本发明通过基础网络+附加网络模型得到遥感图像的融合特征图，通过pm模块得到初步的检测识别结果，然后对检测识别结果进行筛选和nms操作，得到最终的检测框位置以及种类，完成检测识别。本发明提高了对于小物体的检测性能，更适用于高分全色遥感图像中的目标检测，提高了检测精度以及检测效率；对于不同场景的泛化能力强，对于多目标的检测任务，检测效率较高。

附图说明

图1为本发明的遥感图像目标检测识别方法流程图；

图2为框中框筛选示意图；

图3为本发明对于大图和小图的检测流程示意图；

图4为检测框合并示意图；

图5为现有技术的pm模块的示意图；

图6为本发明的基础网络+附加网络模型一个实施例的示意图；

图7为现有技术和本发明的检测结果比较；

图8为本发明的检测识别结果示意图；

图9为本发明的遥感图像目标检测识别装置示意图。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例对本发明的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1：

本发明实施提供了一种遥感图像目标检测识别方法，该方法用于高分全色遥感图像的多目标检测和识别，可以检测和识别出多类目标，检测是指检测出目标的位置(以检测框的方式呈现)，识别是指识别出目标的类型(如飞机、储油罐、码头、桥梁、船只等)。

如图1所示，该方法包括：

步骤s100：将预处理后的遥感图像经过基础网络+附加网络模型得到融合特征图，附加网络包括反卷积层和pm模块。

遥感图像有全色遥感图像和多光谱彩色图像等多种格式，本发明实施例的遥感图像优选是高分辨率全色遥感图像，全色遥感图像是指整个可见光波段范围(为避免大气散射影响常弃用蓝光波段)的黑白影像。如果是多光谱彩色(rgb)图像，需要先转化为灰度图。

本发明使用基础网络+附加网络模型获取遥感图像的融合特征图，在基础网络和附加网络的不同位置输出不同大小的特征图，然后通过反卷积层进行反卷积之后与相同大小的特征图进行融合。反卷积提高了对于小物体的检测性能，更适用于高分全色遥感图像中的目标检测，提高了检测精度；同时本发明实施例的基础网络提高了检测效率；基础网络+附加网络模型对于不同场景的泛化能力强，对于多目标的检测任务，检测效率较高。

步骤s200：将融合特征图通过附加网络的pm模块得到检测识别结果，检测识别结果包括检测框位置、检测框类别和检测框类别置信度，pm模块包括残差模块。

在本发明中，每一种目标类型对应一种检测框类别，通过识别检测框类别能够识别出目标类型。

本发明实施例通过pm模块(predictionmodule，预测模块)初步检测识别出检测框位置、检测框类别和检测框类别置信度。pm模块如图5所示，其中cov为卷积操作，eltw为eltwise操作，cls为检测框类别预测，即为检测框类别和检测框类别置信度，locregress为检测框位置回归，即为检测框位置；pm模块包括残差模块res，残差模块能提升附加网络的性能，消除梯度弥散，提高检测精度。

检测框类别置信度优选以基础网络+附加网络模型经过pm模块产生的目标窗口detectionresult和原来标记窗口groundtruth的交叠率表示，该交叠率即为目标窗口和标记窗口的交并比(iou)。

标记窗口是在遥感图像上人工标记的待检测目标的窗口，即可以认为是准确的检测窗口，经过pm模块产生的目标窗口(检测框)与原来标记窗口的交叠率(交并比，iou)可以作为检测框的准确度得分，即类别置信度。

步骤s300：根据检测识别结果对检测框进行筛选，筛选包括删除不满足预设条件的检测框。

初步确定的检测框并不是都满足要求，比如检测框类别置信度较低，或者检测框有重合等，需要对检测框进行筛选。

步骤s400：对筛选后的检测框进行nms操作，得到最终的检测识别结果。

非极大值抑制(non-maximumsuppression，nms)，顾名思义就是抑制不是极大值的元素，可以理解为局部最大搜索。本发明通过nms提取分数最高的检测框，并且抑制那些分数低的检测框。得到最终的检测识别结果，最终的检测识别结果是在遥感图像上标出的不同大小的检测框以及检测框的种类，检测框中即为待识别的不同种类的目标。

本发明通过基础网络+附加网络模型得到遥感图像的融合特征图，通过pm模块得到初步的检测识别结果，然后对检测识别结果进行筛选和nms操作，得到最终的检测框位置以及种类，完成检测识别。本发明提高了对于小物体的检测性能，更适用于高分全色遥感图像中的目标检测，提高了检测精度以及检测效率；对于不同场景的泛化能力强，对于多目标的检测任务，检测效率较高。

本发明实施例中，如图6所示，基础网络包括五个依次连接的卷积神经网络convnet和两层卷积层fc6’、fc7’，每个卷积神经网络包括一个卷积模块conv和一个池化层pool，每个卷积模块conv包括若干个卷积层。每个卷积层的输出都经过relu激活，缩短了网络训练的时间。

图6中的data为输入图像，卷积模块conv1+池化层pool1为第一个卷积神经网络convnet1，卷积模块conv1包括两个卷积层，第一个卷积层命名为conv1_1，第二个卷积层命名为conv1_2，conv2+pool2为第二个卷积神经网络，conv2包括两个卷积层，第一个卷积层命名为conv2_1，第二个卷积层命名为conv2_2，以此类推。

本发明的附加网络包括四个依次连接的卷积模块conv6、conv7、conv8、conv9，每个卷积模块均包括两个卷积层，conv6的第一个卷积层命名为conv6_1，第二个卷积层命名为conv6_2，以此类推；每个卷积模块均连接有反卷积层dev。

本发明通过基础网络+附加网络模型获取融合特征图的步骤如下：

基础网络的第四个卷积模块conv4的第三个卷积层conv4_3，以及附加网络中每个卷积模块的第二个卷积层conv6_2、conv7_2、conv8_2、conv9_2输出五个不同大小的特征图。

将五个特征图中每相邻的前后两个不同大小的特征图中尺寸较小的特征图通过反卷积层dev得到反卷积图，特征图的前后由输出该特征图的层在基础网络+附加网络模型中的前后位置决定；然后将反卷积图与前述的五个特征图中相同大小的特征图进行融合，得到不同大小的融合特征图，如图6所示，a和b融合得到c，以此类推。然后融合特征图分别经过附加网络的pm模块进行预测。

遥感图像进入网络利用conv4_3、conv6_2、conv7_2、conv8_2、conv9_2输出的不同大小的特征图进行检测。同时在pm模块添加res残差模块，然后将前后两个不同大小的特征图中小的特征图通过反卷积与对应的特征图进行融合，反卷积提高了分辨率使特征图包含了更多的细节，使得检测结果尤其是对小目标检测性能显著提升，同时本发明的基础网络显著的提升了检测效率。

本发明实施例中，步骤s300在删除不满足预设条件的检测框时，预设条件可以根据识别种类以及需求进行设定，一个优选实施方式如下：

步骤s310：判断检测框类别置信度是否大于预先设置的该类别检测框的置信阈值，若是，保留该检测框，否则，删除该检测框。可以根据经验与遥感图像的检测任务定义不同类检测框的置信阈值，如果检测框类别置信度小于置信阈值，表明该检测框的可信度较低，舍去该检测框。

步骤s320：判断两个相交的相同类别检测框的相交区域与这两个检测框中任意一个检测框的面积比例是否大于设定比例，若否，保留这两个检测框，若是，删除这两个检测框中面积较小的一个。

本步骤用于进行框中框筛选，所述的框中框是指对于一个目标产生了多个检测框，多个检测框存在包含或者大部分交叉的情况，此时计算交叉部分与其中任意一个检测框的比例，如果该比例较大，说明重合度比较高，只保留较大的检测框，例如：

进行n类目标检测与识别任务，一张图中的所有s个检测框为a＝{a1，a2，...，as}，框中框筛选操作得到的检测框集合为del_keep，框中框筛选的具体流程如下：

1、定义不同类的框中框筛选阈值{del1，del2，...，deln}(即前述设定比例)；

2、选择检测框a中第一个检测框a1，并获得a1所属类别的框中框筛选阈值delj，其中，j为检测框a1所属类别；

3、计算a1的面积area(a1)，at∈a-a1的面积area(at)，a1与at相交的面积area(a1∩at)；

4、若a1与at所属类别相同，且area(a1∩at)＞delj*area(a1)and(area(a1)＜area(at))，存入at的信息到del_keep，a＝a-at-a1；若a1与at所属类别相同，且area(a1∩at)＞delj*area(at)and(area(a1)＞area(at))，存入a1的信息到del_keep，重置a，a＝a-at-a1；

5、重复2，3，4步骤，直到步骤2遍历完a中所有检测框；

6、若a中仍有检测框，写入del_keep，否则，终止操作，del_keep即为删除框中框后保留的检测框。

如图2所示，检测框a1和检测框a2大部分相交，相交区域的面积与a1和a2中任意一个检测框的面积比例小于设定比例，由于a1的面积大于a2，则a2为框中框，保留a1(写入del_keep)，删除a2。

本发明实施例的预处理方法包括：

步骤s110：若遥感图像的大小大于设定阈值，则将遥感图像重叠剪裁成若干子图像，否则，不进行预处理；其中，子图像的大小不超过设定阈值范围。一个具体的示例为：

首先需要根据基础网络+附加网络模型的输入大小判断遥感图像是否是大图，本实施例的基础网络+附加网络模型的输入大小可以为512像素，待测试遥感图像的大小减去网络输入的大小差值不超过200像素认为遥感图像为小图，否则为大图。此时设定阈值可以为基础网络+附加网络模型的输入大小+200像素。

对于小图，直接输入基础网络+附加网络模型得到检测和识别结果。对大图首先进行裁剪，对裁剪后的小图进行检测，最后拼接成大图获得最终的检测结果。图3表明本发明对于大图和小图的检测流程。

对于大图，为了避免大图缩小到基础网络+附加网络模型输入大小之后，大图中特小尺寸目标检测与识别困难，需要对图像进行裁剪，裁剪的大小不超过基础网络+附加网络模型输入的大小加减50像素。此时设定阈值范围可以为[输入大小-50,输入大小+50]。同时，为了避免因裁剪造成大尺度目标的漏检，裁剪的相邻子图像之间应该有适当尺度的重叠，重叠的尺度根据待检测的物体的最大尺寸为标准进行确定。对所有裁剪后的子图像进行检测与识别，所有子图像的检测与识别结果拼接后构成大图的检测识别结果。

此时，该检测和识别方法还包括：

步骤s210：将所有子图像的检测识别结果拼合在一起。

拼合需要在nms之前进行，可以是在步骤s200得到检测和识别结果后进行，也可以在步骤s320筛选完框中框之后进行。

原始遥感图像上可能存在目标尺寸超过裁剪块大小的超大目标，该超大目标可能被分割到两个子图像上，将子图像拼合后，需要将这类检测框筛选出来合并。筛选方法还包括：

步骤s330：判断拼合后相交的所属类别相同的两个检测框的交并比是否大于合并阈值，若是，将这两个检测框合并。具体操作步骤如下：

对于同一张图中的相交的所属类别相同的两个不同检测框a、b，判断iou值是否大于合并阈值，若是，则将两个不同检测框a、b合并为一个检测框，合并如下：

其中x¹min、x¹max、y¹min、y¹max分别为检测框a的横坐标最小值、横坐标最大值、纵坐标最小值和纵坐标最大值；x²min、x²max、y²min、y²max分别为检测框b的横坐标最小值、横坐标最大值、纵坐标最小值和纵坐标最大值，即合并后的检测框的四个顶点是检测框a,b的最靠外的点，图4为检测框的合并结果，其中超大目标是桥梁，该桥梁较长，被分割到2个子图像中了，两个子图像拼合后将代表桥梁的两个检测框合并成一个大检测框。

本实施例中，nms操作包括：

本发明采用的nms是全局nms，即对于一张遥感图像中的所有检测框进行nms操作，但是不同类的nms阈值是不同的。首先，预先定义不同类的nms阈值{nms1，nms2，...，nmsn}。

步骤s410：在检测框集合a＝{a1，a2，...，as}中选择类别置信度最高的检测框ai，若检测框ai的类别置信度大于nmsj，则将检测框ai保存至nms结果中，更新检测框集合为a＝a-ai；其中，j为检测框ai的类别，nmsj为预先设置的该类别检测框的nms阈值。

步骤s420：计算检测框ai与检测框集合a中任意一个检测框at的交并比，若交并比大于nmsj，则删除at，更新检测框集合为a＝a-at；

步骤s430：重复上述步骤s410、步骤s420，直至检测框集合a中剩余检测框个数小于等于1。

步骤s440：将nms结果中的所有检测框和检测框集合a中剩余检测框作为最终的检测识别结果。

下面以具体的试验示例对本发明的有益效果进行阐述：

本发明从googleearth上截取视觉海拔在3.5公里～7.5公里之间，包含飞机、储油罐、码头、桥梁、船只共5类目标的图像。经过多次数据扩增之后，包含174200左右目标。图7给出的是基于现有技术和本发明两种模型的检测结果比较，其中(a)为现有技术的检测结果，(b)为本发明的检测结果，可以明显的看出，现有技术有一些目标(飞机)没有识别出来，本发明的检测精度高。图8给出的是基于本发明提出的利用基础网络+附加网络进行高分全色图像的检测和识别结果示意图，从左到右，从上到下分别为船只，码头+桥梁，储油罐，飞机，可以明显看出，本发明基本上识别出了全部的目标，具有较高的检测识别精度。

实施例2：

本发明实施例提供了一种遥感图像目标检测识别装置，如图9所示，该装置包括：

特征图获取模块10，用于将预处理后的遥感图像经过基础网络+附加网络模型得到融合特征图，附加网络包括反卷积层和pm模块。

预测模块20，用于将融合特征图通过附加网络的pm模块得到检测识别结果，检测识别结果包括检测框位置、检测框类别和检测框类别置信度，pm模块包括残差模块。

筛选模块30，用于根据检测识别结果对检测框进行筛选，筛选包括删除不满足预设条件的检测框。

nms模块40，用于对筛选后的检测框进行nms操作，得到最终的检测识别结果。

本发明通过基础网络+附加网络模型得到遥感图像的融合特征图，通过pm模块得到初步的检测识别结果，然后对检测识别结果进行筛选和nms操作，得到最终的检测框位置以及种类，完成检测识别。本发明提高了对于小物体的检测性能，更适用于高分全色遥感图像中的目标检测，提高了检测精度以及检测效率；对于不同场景的泛化能力强，对于多目标的检测任务，检测效率较高。

本发明实施例中，如图6所示，基础网络包括五个依次连接的卷积神经网络convnet和两层卷积层fc6’、fc7’，每个卷积神经网络包括一个卷积模块conv和一个池化层pool，每个卷积模块conv包括若干个卷积层。每个卷积层的输出都经过relu激活，缩短了网络训练的时间。

图6中的data为输入图像，卷积模块conv1+池化层pool1为第一个卷积神经网络convnet1，卷积模块conv1包括两个卷积层，第一个卷积层命名为conv1_1，第二个卷积层命名为conv1_2，conv2+pool2为第二个卷积神经网络，conv2包括两个卷积层，第一个卷积层命名为conv2_1，第二个卷积层命名为conv2_2，以此类推。

本发明的附加网络包括四个依次连接的卷积模块conv6、conv7、conv8、conv9，每个卷积模块均包括两个卷积层，conv6的第一个卷积层命名为conv6_1，第二个卷积层命名为conv6_2，以此类推；每个卷积模块均连接有反卷积层dev。

本发明通过基础网络+附加网络模型获取融合特征图的步骤如下：

基础网络的第四个卷积模块conv4的第三个卷积层conv4_3，以及附加网络中每个卷积模块的第二个卷积层conv6_2、conv7_2、conv8_2、conv9_2输出五个不同大小的特征图。

将五个特征图中每相邻的前后两个不同大小的特征图中尺寸较小的特征图通过反卷积层dev得到反卷积图，特征图的前后由输出该特征图的层在基础网络+附加网络模型中的前后位置决定；然后将反卷积图与前述的五个特征图中相同大小的特征图进行融合，得到不同大小的融合特征图，如图6所示，a和b融合得到c，以此类推。然后融合特征图分别经过附加网络的pm模块进行预测。

遥感图像进入网络利用conv4_3、conv6_2、conv7_2、conv8_2、conv9_2输出的不同大小的特征图进行检测。同时在pm模块添加res残差模块，然后将前后两个不同大小的特征图中小的特征图通过反卷积与对应的特征图进行融合，反卷积提高了分辨率使特征图包含了更多的细节，使得检测结果尤其是对小目标检测性能显著提升，同时本发明的基础网络显著的提升了检测效率。

本发明实施例中，筛选模块包括：

第一判断单元，用于判断检测框类别置信度是否大于预先设置的该类别检测框的置信阈值，若是，保留该检测框，否则，删除该检测框。

第二判断单元，用于判断两个相交的相同类别检测框的相交区域与这两个检测框中任意一个检测框的面积比例是否大于设定比例，若否，保留这两个检测框，若是，删除这两个检测框中面积较小的一个。

第二判断单元用于进行框中框筛选，所述的框中框是指对于一个目标产生了多个检测框，多个检测框存在包含或者大部分交叉的情况，此时计算交叉部分与其中任意一个检测框的比例，如果该比例较大，说明重合度比较高，只保留较大的检测框。

本发明的预处理包括：

若遥感图像的大小大于设定阈值，则将遥感图像重叠剪裁成若干子图像，否则，不进行预处理；其中，子图像的大小不超过设定阈值范围。

此时，遥感图像目标检测识别装置还包括：

拼合模块，用于将所有子图像的检测识别结果拼合在一起。

筛选模块还包括：

第三判断单元，用于判断拼合后相交的所属类别相同的两个检测框的交并比是否大于合并阈值，若是，将这两个检测框合并。

本发明的nms模块包括：

第一操作单元，用于在检测框集合a＝{a1，a2，...，as}中选择类别置信度最高的检测框ai，若检测框ai的类别置信度大于nmsj，则将检测框ai保存至nms结果中，更新检测框集合为a＝a-ai；其中，j为检测框ai的类别，nmsj为预先设置的该类别检测框的nms阈值。

第二操作单元，用于计算检测框ai与检测框集合a中任意一个检测框at的交并比，若交并比大于nmsj，则更新检测框集合为a＝a-at。

重复上述第一操作单元和第二操作单元，直至检测框集合a中剩余检测框个数小于等于1。

第三操作单元，用于将nms结果中的所有检测框和检测框集合a中剩余检测框作为最终的检测识别结果。

本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，前述描述的装置和单元的具体工作过程，均可以参考上述方法实施例中的对应过程，在此不再赘述。

实施例3：

本说明书提供的上述实施例所述的方法或装置可以通过计算机程序实现业务逻辑并记录在存储介质上，所述的存储介质可以计算机读取并执行，实现本说明书实施例所描述方案的效果。因此，本发明还提供用于遥感图像目标检测识别的计算机可读存储介质，包括处理器及用于存储处理器可执行指令的存储器，指令被处理器执行时实现包括实施例1的遥感图像目标检测识别方法的步骤。

本发明通过基础网络+附加网络模型得到遥感图像的融合特征图，通过pm模块得到初步的检测识别结果，然后对检测识别结果进行筛选和nms操作，得到最终的检测框位置以及种类，完成检测识别。本发明提高了对于小物体的检测性能，更适用于高分全色遥感图像中的目标检测，提高了检测精度以及检测效率；对于不同场景的泛化能力强，对于多目标的检测任务，检测效率较高。

所述存储介质可以包括用于存储信息的物理装置，通常是将信息数字化后再以利用电、磁或者光学等方式的媒体加以存储。所述存储介质有可以包括：利用电能方式存储信息的装置如，各式存储器，如ram、rom等；利用磁能方式存储信息的装置如，硬盘、软盘、磁带、磁芯存储器、磁泡存储器、u盘；利用光学方式存储信息的装置如，cd或dvd。当然，还有其他方式的可读存储介质，例如量子存储器、石墨烯存储器等等。

上述所述的装置根据方法实施例的描述还可以包括其他的实施方式。具体的实现方式可以参照相关方法实施例的描述，在此不作一一赘述。

实施例4：

本发明还提供一种用于遥感图像目标检测识别的设备，所述的设备可以为单独的计算机，也可以包括使用了本说明书的一个或多个所述方法或一个或多个实施例装置的实际操作装置等。所述用于遥感图像目标检测识别的设备可以包括至少一个处理器以及存储计算机可执行指令的存储器，处理器执行所述指令时实现上述任意一个或者多个实施例中所述遥感图像目标检测识别方法的步骤。

本发明通过基础网络+附加网络模型得到遥感图像的融合特征图，通过pm模块得到初步的检测识别结果，然后对检测识别结果进行筛选和nms操作，得到最终的检测框位置以及种类，完成检测识别。本发明提高了对于小物体的检测性能，更适用于高分全色遥感图像中的目标检测，提高了检测精度以及检测效率；对于不同场景的泛化能力强，对于多目标的检测任务，检测效率较高。

上述所述的设备根据方法或者装置实施例的描述还可以包括其他的实施方式，具体的实现方式可以参照相关方法实施例的描述，在此不作一一赘述。

需要说明的是，本说明书上述所述的装置或者系统根据相关方法实施例的描述还可以包括其他的实施方式，具体的实现方式可以参照方法实施例的描述，在此不作一一赘述。本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于硬件+程序类、存储介质+程序实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、车载人机交互设备、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本说明书一个或多个时可以把各模块的功能在同一个或多个软件和/或硬件中实现，也可以将实现同一功能的模块由多个子模块或子单元的组合实现等。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内部包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法或者设备中还存在另外的相同要素。

本领域技术人员应明白，本说明书一个或多个实施例可提供为方法、系统或计算机程序产品。因此，本说明书一个或多个实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本说明书一个或多个实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本本说明书一个或多个实施例，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本说明书的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述并不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。