本发明属于图像处理技术领域，更进一步涉及目标检测图像处理技术领域中的一种基于集成深度卷积网络的光学遥感图像目标检测方法。本发明可用于从光学遥感图像中检测出飞机、舰船等地物目标。
背景技术：
光学遥感图像在国防和民用方面起着不可替代的作用，由于其成像机制与可见光图像的差异很大，因此研究针对该类图像的特点的处理算法尤为重要。光学遥感图像中的目标检测是计算机视觉和图像处理等技术在遥感领域的重要应用和基本问题之一。随着遥感在成像技术方面的不断发展和进步，光学遥感图像正朝着更高的时间分辨率、更高的空间分辨率和更高的光谱分辨率方向发展，相应的应用范围和需求也在不断增加。现有的航空航天侦察方式多种多样，获取了海量的光学遥感数据。因此，对于光学遥感影像目标检测的研究是非常有价值的。飞机和舰船目标的检测对于国防军事和生活生产实际都有着重要意义，例如对特定区域的机场、港口或空域、海域的监视，对交通运输的管理，以及对某些非法捕鱼、走私等违法犯罪活动的控制等。
中国科学院在其申请的专利文献“一种基于深度学习的鲁棒性舰船目标检测方法”(专利申请号：201710677418.x，公布号：cn107563303a)中提出了一种于深度学习的鲁棒性舰船目标检测方法。该方法首先对训练样本进行处理并训练，得到训练分类器，获得需处理的光学遥感图像，并对其进行预处理；然后对预处理后的光学遥感图像进行海陆分割，得到海陆分割区域，并对不存在舰船的岸上区域进行遮挡，获得特征提取网络，并利用其提取海陆分割区域的旋转不变深度特征，即得到特征图；最后利用分类激活特征图的方法得到舰船这一类别的响应图，对响应图求连通域，得到初步检测框，对舰船的参数进行估计，得到带有检测框的结果图。虽然该方法通过海陆分割进行水域区分，可以降低虚警率，提高目标检测的精度，但是，该方法仍然存在的不足之处是，需要对光学遥感图像进行海陆分割，该分割需要区域分割、特征提取等多个步骤，使得测试过程复杂繁琐。
shaoqingren在其发表的论文“fasterr-cnn:towardsreal-timeobjectdetectionwithregionproposalnetworks”(神经信息处理系统进展大会nips(neuralinformationprocessingsystems蒙特利尔国际会议论文2015年)中提出了快速区域卷积神经网络fasterr-cnn目标检测方法。该方法首先使用区域生成网络(regionproposalnetworks，rpn)来进行目标候选区的提取，然后对这些目标候选区进行分类和边框回归，最后对所有的目标边框进行非极大抑制处理，得到最后的检测结果。虽然该方法对于自然图像目标检测有着很好的效果，但是，该方法仍然存在的不足之处是，由于光学遥感图像背景复杂，干扰信息较多，将该目标检测方法直接应用于光学遥感图像，容易将背景误检为目标，导致目标检测的精度低。
技术实现要素：
本发明的目的在于针对上述现有技术的不足，提出一种基于集成深度卷积网络的光学遥感图像目标检测方法，对飞机和舰船目标进行检测。本发明与其他现有光学遥感图像目标检测方法相比，能够更多地利用光学遥感图像中的信息，测试过程简单，得到较高的光学遥感图像目标检测精度。
实现本发明的思路是，该方法是从光学遥感图像中提取所有无目标区域的目标候选框作为负样本，用该负样本对搭建的集成深度卷积网络进行训练，使用集成深度卷积网络中的两个分类子网络，分别对目标候选框进行分类，第一个分类子网络主要区分目标与周围的背景以及不完整的目标，第二个分类子网络主要区分目标和复杂的背景。
本发明实现的具体步骤包括如下：
(1)搭建集成深度卷积网络：
搭建一个由基础网络、区域生成子网络、两个分类子网络组成的集成深度卷积网络；
(2)生成含有目标区域训练数据集：
(2a)从遥感卫星上实时接收的光学遥感影像中，随机选取含有飞机和舰船目标的7帧不连续的光学遥感图像，作为训练图像；
(2b)标注训练图像中所有飞机和舰船目标的类别和位置坐标，得到标注目标；
(2c)用大小为400×400的矩阵窗口，对每幅训练图像中所有含有目标的区域，进行切块处理，对切块处理后的图像块依次进行旋转、翻转、随机曝光度调整的数据增强，共得到5850个图像块；
(2d)将每个在图像块中的标注目标的位置坐标变换为其在图像块中的位置坐标，将每个图像块中所有标注目标的类别和位置坐标组合得到类标，将所有图像块和对应的类标作为含有目标区域训练数据集；
(3)第一次训练集成深度卷积网络：
将含有目标区域训练数据集，输入到除第二个分类子网络之外的集成深度卷积网络中进行迭代训练，直至网络的损失函数收敛，得到训练后的集成深度卷积网络；
(4)生成所有区域训练数据集：
(4a)利用切割合并方法，生成训练图像所有的目标候选框以及目标候选框的置信度和类别；
(4b)将所有与标注目标有交集的目标候选框指定为有目标区域目标候选框，将所有与标注目标无交集的目标候选框指定为无目标区域目标候选框；
(4c)计算每个目标候选框与每个标注目标的交集面积与并集面积的比值，得到每个有目标区域目标候选框与每个标注目标的交并比，选取所有与任一标注目标的交并比大于0.5的目标候选框，将每个目标候选框的类别依次设为与该目标候选框交并比最大的标注目标的类别，将目标候选框和类别以及目标候选框所在的图像块，组成有目标区域训练数据集；
(4d)对无目标区域的目标候选框设定三个背景类，将类别为背景的目标候选框的类别设为第一类背景类，将类别为飞机的目标候选框的类别设为第二类背景类，将类别为舰船的目标候选框的类别设为第三类背景类，将目标候选框和类别以及目标候选框所在的图像块，组成无目标区域训练数据集；
(5)第二次训练集成深度卷积网络：
将有目标区域训练数据集作为正样本，无目标区域训练数据集作为负样本，将正样本和负样本输入到除第一个分类子网络之外的集成深度卷积网络中进行迭代训练，直至集成深度卷积网络的损失函数收敛，得到训练好的集成深度卷积网络；
(6)生成测试数据集：
从遥感卫星上实时接收的光学遥感影像中，随机选取含有飞机和舰船目标的4帧不连续的光学遥感图像，作为测试图像；
(7)得到检测结果图：
(7a)用切割间隔为100、大小为400×400的矩阵窗口，对每幅测试图像进行切块处理，将切块处理后的图像块依次输入到训练好的集成深度卷积网络中，依次输出每个图像块中每个目标的边框、类别和两个置信度，两个置信度分别为三类置信度和五类置信度，计算每个目标最终的置信度，将目标的边框坐标变换为其在对应测试图像中的坐标；
(7b)对所有的目标边框和与之对应的置信度进行非极大抑制处理，得到最终的检测结果；
(7c)将每个目标的边框绘制到光学遥感图像对应的位置，得到检测结果图。
(8)计算平均精度：
分别计算每个类别的平均精度以及多类别平均精度，对检测结果进行评估；
本发明与现有的技术相比具有以下优点：
第一，本发明由于从光学遥感图像中提取所有无目标区域的目标候选框作为负样本，用该负样本对构建的集成深度卷积网络进行训练，使用集成深度卷积网络中的两个分类子网络，分别对目标候选框进行分类，克服了现有技术中容易将背景误检为目标的问题，使得本发明能够充分利用光学遥感图像的信息，更好地区分光学遥感图像中的目标和复杂的背景，更符合光学遥感图像的特性。
第二，本发明由于搭建一个由基础网络、区域生成子网络、两个分类子网络组成的集成深度卷积网络，将测试数据输入训练好的网络，可以直接输出检测结果，克服了现有技术中由于对光学遥感图像进行海陆分割而导致的测试过程复杂繁琐的问题，使得本发明的测试过程简单，提高了目标检测的效率。
附图说明
图1是本发明的流程图；
图2是使用现有技术的快速区域卷积神经网络目标检测方法得到的部分检测结果图；
图3是用本发明方法得到的部分检测结果图。
具体实施方式
下面结合附图对本发明做进一步的详细描述。
参照附图1，对本发明的步骤做进一步的详细描述。
步骤1.搭建集成深度卷积网络。
搭建一个由基础网络、区域生成子网络、两个分类子网络组成的集成深度卷积网络。
所述的由基础网络、区域生成子网络、两个分类子网络组成的集成深度卷积网络是指，区域生成子网络与两个分类子网络三个子网络并列设置，每个子网络分别与基础网络连接。
基础网络设有18层，其结构依次为：输入层→第一个卷积层→第二个卷积层→第一个池化层→第三个卷积层→第四个卷积层→第二个池化层→第五个卷积层→第六个卷积层→第七个卷积层→第三个池化层→第八个卷积层→第九个卷积层→第十个卷积层→第四个池化层→第十一个卷积层→第十二个卷积层→第十三个卷积层；所述的基础网络各层的参数设置如下：
将输入层的特征映射图的总数设置为3个。
将第一至第十三共十三个卷积层的特征映射图的总数依次设置为64、64、128、128、256、256、512、512、512、512、512、512、512个，卷积核的尺度均设置为3*3个节点。
区域生成子网络设有3层，其结构依次为：输入层→卷积层→分类回归层；所述的区域生成子网络各层的参数设置如下：
将输入层的特征映射图的总数设置为512个。
将卷积层的特征映射图的总数设置为512个，卷积核的尺度设置为3*3个节点。
将分类回归层中分类的特征映射图的总数设置为18个，回归的特征映射图的总数设置为36。
第一个分类子网络设有5层，其结构依次为：输入层→区域池化层→全连接层→全连接层→分类回归层；所述的第一个分类子网络各层的参数设置如下：
将第一至第二个共两个全连接层的特征映射图的总数设置为4096。
将分类回归层中分类的特征映射图的总数设置为3个，回归的特征映射图的总数设置为12。
第二个分类子网络设有5层，其结构依次为：输入层→区域池化层→全连接层→全连接层→softmax分类器层；所述的第二个分类子网络各层的参数设置如下：
将第一至第二个共两个全连接层的特征映射图的总数设置为4096。
将第一个分类回归层中分类的特征映射图的总数设置为3个，回归的特征映射图的总数设置为12。
将softmax分类器层的特征映射图的总数设置为5个。
步骤2.生成含有目标区域训练数据集。
从遥感卫星上实时接收的光学遥感影像中，随机选取含有飞机和舰船目标的7帧不连续的光学遥感图像，作为训练图像。
标注训练图像中所有飞机和舰船目标的类别和位置坐标，得到标注目标。
用大小为400×400的矩阵窗口，对每幅训练图像中所有含有目标的区域，进行切块处理，对切块处理后的图像块依次进行旋转、翻转、随机曝光度调整，共得到5850个图像块。
对切块处理后的图像块依次进行旋转、翻转、随机曝光度调整的步骤如下：
第一步，对切块处理后的每一个图像块先顺时针旋转90度后，再逆时针旋转90度，得到旋转后的图像块。
第二步，对旋转后的每一个图像块先进行水平翻转后，再进行垂直翻转，得到翻转后的图像块。
第三步，按照下式，计算翻转后的每一个图像块中每个像素点随机曝光度调整后的值：
g(i,j)＝a*f(i,j)+b
其中，g(i,j)表示第i个图像块中第j个像素点的随机曝光度调整后的值，a表示在[0.8,1.2]区间的一个随机数，*表示相乘操作，f(i,j)表示第i个图像块中第个j像素点的值，b表示在[-20,20]区间的随机数。
将每个在图像块中的标注目标的位置坐标变换为其在图像块中的位置坐标，将每个图像块中所有标注目标的类别和位置坐标组合得到类标，将所有图像块和对应的类标作为含有目标区域训练数据集。
步骤3.第一次训练集成深度卷积网络。
将含有目标区域训练数据集，输入到除第二个分类子网络之外的集成深度卷积网络中进行迭代训练，直至网络的损失函数收敛，得到第一次训练后的集成深度卷积网络；
步骤4.生成所有区域训练数据集。
利用切割合并方法，生成训练图像所有的目标候选框以及目标候选框的置信度和类别。
所述的切割合并方法的步骤如下：
第一步，用切割间隔为100、大小为400×400的矩阵窗口，对每幅训练图像中所有区域，进行切块处理，得到每幅训练图像切块处理后的图像块。
第二步，将每幅训练图像切块处理后的图像块依次输入到训练后的集成深度卷积网络中，输出每个图像块的目标候选框以及目标候选框的置信度和类别，类别包括飞机、舰船背景三类；
第三步，将每个图像块中的目标候选框坐标变换为其在对应训练图像中的坐标，将每幅训练图像切块处理后的所有图像块的目标候选框以及目标候选框的置信度和类别合并，得到训练图像所有的目标候选框以及目标候选框的置信度和类别。
将所有与标注目标有交集的目标候选框指定为有目标区域目标候选框，将所有与标注目标无交集的目标候选框指定为无目标区域目标候选框。
对所有的有目标区域目标候选框，计算每个目标候选框与每个标注目标的交集面积与并集面积的比值，得到每个目标候选框与每个标注目标的交并比，选取所有与任一标注目标的交并比大于0.5的目标候选框，将每个目标候选框的类别依次设为与该目标候选框交并比最大的标注目标的类别，将目标候选框和类别以及目标候选框所在的图像块，组成有目标区域训练数据集。
对无目标区域目标候选框设定三个背景类，将类别为背景的目标候选框的类别设为第一类背景类，将类别为飞机的目标候选框的类别设为第二类背景类，将类别为舰船的目标候选框的类别设为第三类背景类，将目标候选框和类别以及目标候选框所在的图像块，组成无目标区域训练数据集。
步骤5.第二次训练集成深度卷积网络。
将有目标区域训练数据集作为正样本，无目标区域训练数据集作为负样本，将正样本和负样本输入到除第一个分类子网络之外的集成深度卷积网络中进行迭代训练，直至集成深度卷积网络的损失函数收敛，得到第二次训练后的集成深度卷积网络。
步骤6.生成测试数据集。
从遥感卫星上实时接收的光学遥感影像中，随机选取含有飞机和舰船目标的4帧不连续的光学遥感图像，作为测试图像。
步骤7.得到检测结果图。
用切割间隔为100、大小为400×400的矩阵窗口，对测试图像进行切块处理，将切块处理后的图像块依次输入到训练好的集成深度卷积网络中，依次输出每个图像块中每个目标的边框、类别和两个置信度，两个置信度分别为三类置信度和五类置信度，计算每个目标最终的置信度，将目标的边框坐标变换为其在对应测试图像中的坐标。
所述的计算每个目标最终的置信度的步骤如下：
第一步，去掉三类置信度中背景类的置信度，去掉五类置信度中三个背景类的置信度。
第二步，将每个目标两个对应的置信度相乘，作为每个目标最终的置信度。
对所有的目标边框和与之对应的置信度进行非极大抑制处理，得到最终的检测结果。
将每个目标的边框绘制到光学遥感图像对应的位置，得到检测结果图。
步骤8.计算平均精度。
分别计算每个类别的平均精度以及多类别平均精度，对检测结果进行评估。
所述的分别计算每个类别的平均精度以及多类别平均精度的步骤如下：
第一步，用检测正确飞机目标总数除以检测飞机目标总数，得到飞机类别的精度，用检测正确飞机目标总数除以标注飞机目标总数，得到飞机类别的召回率，以召回率为横坐标，精度为纵坐标绘制一条曲线，该曲线和坐标轴围成的面积为飞机的平均精度。
第二步，用检测正确舰船目标总数除以检测舰船目标总数，得到舰船类别的精度，用检测正确舰船目标总数除以标注舰船目标总数，得到舰船类别的召回率，以召回率为横坐标，精度为纵坐标绘制一条曲线，该曲线和坐标轴围成的面积为舰船的平均精度。
第三步，对飞机和舰船的平均精度取平均值，得到多类别平均精度。
下面结合仿真实验对本发明的效果做进一步的说明：
1.仿真条件：
本发明的仿真实验是在主频2.40ghz*16的intel(r)xeon(r)e5-2630cpu、内存为64gb的硬件环境和caffe的软件环境下进行的。
2.仿真内容与结果分析：
采用本发明的方法和现有技术中的快速区域卷积神经网络目标检测方法，在上述仿真条件下，按照本发明的步骤进行仿真实验，在测试集上对两种方法进行评估，得到两种方法的检测结果图和平均精度。
图2为使用本发明方法得到的第三张测试图像的部分检测结果图，图3为使用现有技术中的快速区域卷积神经网络目标检测方法得到的第三张测试图像的部分检测结果图。两种方法平均精度对比如表1。
比较图2和图3可以看出：本发明与快速区域卷积神经网络目标检测方法相比，误检目标的数量有所减少。
表1本发明方法和现有技术方法平均精度对比表
从表1可见，与快速区域卷积神经网络目标检测方法相比，使用本发明方法得到的每个类别的平均精度均有所提高，尤其是容易出现误检情况的舰船类别。
综上所述，本发明通过集成深度卷积网络对光学遥感图像进行目标检测，依次生成两个数据集对集成深度卷积网络进行训练，不仅可以利用训练图像中有目标区域的信息，而且可以利用无目标区域复杂的背景信息，充分利用了光学遥感图像的信息，利用两个分类子网络实现不同的分类功能，减少了误检目标的数量，从而提高了整体的检测效果。测试过程通过一个网络来实现，简化了测试过程，提高了目标检测的效率。