本发明属于图像处理技术领域，更进一步涉及遥感图像处理技术领域中的一种基于深度孪生残差网络的光学遥感图像场景分类方法。
背景技术
随着深度学习的发展和延伸，深度学习网络在各大领域都取得了一定进展，遥感领域也不例外。而近些年航空和航天遥感技术的快速发展更是如虎添翼。遥感图像分类作为遥感领域的一项重大应用，受到了相关专业人士的重视，越来越多的精力投入其中。遥感图像分类的方法主要分为两类，一类是采用非深度学习的分类方法，另一类是结合了深度学习的分类方法。
传统的图像非深度学习分类方法的基本流程包括：图像预处理、底层特征提取、特征编码、特征汇聚和使用分类器分类四个部分。但是，这种方法对人工提取特征的依赖性较高。人工提取特征既耗时，又需要相关的专业知识。在大数据时代，想要高效且精准地完成图像分类，仅靠人工提取特征是做不到的。此时深度学习网络便大有用武之地。其基本思想就是通过有监督或无监督的方式学习层次化的特征表达，完成对图像从底层到高层的特征描述。深度学习网络，通过逐层训练的方式自主提取图像特征，能够学习到强大的特征表达。因此，基于深度学习网络的分类方法在进行遥感图像场景分类时能够达到较好的效果。现有的深度学习网络主要建立在卷积神经网络的基础上，得到广泛应用的有alexnet、vggnet以及深度残差网络。
遥感图像数据集相比于普通图像数据集存在以下问题：
(1)数据规模小：现有遥感数据集中场景类别较少，并且每个类别包含的图片数量也较少；
(2)数据缺乏多样性：由于数据整体规模较小，数据集所提供的图像信息自然不够丰富。
遥感数据集存在的问题极大地限制了深度学习网络在场景分类应用中的发展。数据规模有限，导致这些网络学习的特征表达不具有鲁棒性，并且网络容易产生过拟合的情况。
技术实现要素：
本发明的目的在于克服上述现有技术的不足，提出了一种基于深度孪生残差网络的光学遥感图像场景分类方法。本发明与现有技术中其他深度网络相比，有助于提升遥感图像场景分类的精度。除此之外，这种基于深度孪生残差网络的分类方法采用了双通道的结构，遥感图像成对输入。图像对包括来自相同类别的图像和不同类别的图像，这样的输入可以大幅度增加数据样本，使深度残差网络学习到多样化且具判别力的特征，从而有效缓解遥感数据集类别少且缺乏多样性问题给带来的影响。
为了实现上述技术目的，本发明采用如下技术方案：
一种基于深度孪生残差网络的光学遥感图像分类方法，在训练阶段，首先通过两个完全相同的深度残差网络，对输入的遥感图像对进行特征提取，分别得到它们的特征表示，然后结合这两个特征表示计算其在特征空间的欧氏距离，以判断输入图像对的相似程度；
在测试阶段，使用训练好的任一个深度残差网络对输入图像进行场景分类，具体包括以下步骤：
s1构建深度孪生残差网络；
s1.1、构造第一深度残差网络，采用迁移学习策略，导入采用imagenet数据集训练好的网络参数，将其作为第一深度残差网络的训练参数；
s1.2、通过复制第一深度残差网络的结构和参数得到第二深度残差网络；
s1.3、计算两个深度残差网络输出的特征向量差值的平方，利用卷积层和softmax分类器进行二分类，以此判断孪生网络输入是否为同一类别的图像；
s1.4、计算两个深度残差网络输出特征向量的欧式距离，对于同类别图像采用其特征之间的欧式距离作为网络的正则损失；
s2构造训练数据集并进行深度孪生残差网络训练；
s2.1、利用已构造好的训练数据集采用批量梯度下降算法对深度孪生残差网络进行参数训练；
s2.2、将训练好的任意一个深度残差网络取出作为遥感图像分类网络；
s3构建测试样本；
s4测试样本分类：将测试样本送入训练好的单个深度残差网络中进行分类，并且在网络输出层得到分类结果；
s5输出分类结果。
步骤s1.1具体如下：
s1.1.1、去除现有的深度残差网络最后的全连接层和概率层，形成第一深度残差网络，输出输入图像的特征向量f1；
s1.1.2、对第一深度残差网络添加卷积层和全连接softmax分类器，设置卷积层的特征映射图数为遥感数据集场场景类别数n,卷积层将f1映射成为n维向量，由全连接分类器输出最终类别预测；
s1.1.3、对于第一深度残差网络的输入和输出,定义损失函数：
loss＝∑x-inputlog(output))
其中，x表示输入的图片，input表示网络的输入，output表示网络的输出。
所述步骤s1.3具体步骤如下：
s1.3.1、设置平方层，将两个深度残差网络输出的特征向量f1、f2取差值平方，得到fs＝(f1-f2)2；
s1.3.2、设置特征映射图数为2的卷积层，将fs映射成为2维向量；
s1.3.3、全连接softmax分类器对步骤s1.3.2的输出产生最终预测，即输入图像对是否来自同一类别；
s1.3.4、对于相同类别或不同类别的输入图像对q,定义损失函数：
其中，i表示2维向量的第i维，q为输入图像对，s为深度残差网络作出的是否属于同一类的预测标签；
s1.3.5、对于输入图像对(xi,xj)，计算两个深度残差网络输出的特征向量f1、f2的欧式距离
所述步骤s2.1具体步骤如下：
s2.1.1、如何构建训练集：打乱训练数据集中图像的顺序，产生训练数据对，控制不同类别的图像对与相同类别的图像对之间的比例由1:1逐渐增加到4:1；
s2.1.2、采用批量下降法对步骤s1.1.3、步骤s1.3.4、步骤s1.3.5的3个损失函数进行最优化；
步骤s2.2具体如下:
s2.2.1、将3个损失函数训练到最优即最小化损失函数；
s2.2.2、取出训练好的深度残差网络作为下一步的分类网络。
本发明进一步公开了一种深度孪生残差网络的光学遥感图像分类装置，所述装置包括：
网络构造模块，用于构建深度孪生残差网络；
网络训练模块，利用已构造好的训练数据集采用批量梯度下降算法对构建好的深度孪生残差网络进行参数训练；并将训练好的任意一个深度残差网络取出作为遥感图像分类网络；
测试样本构造模块，用于构建测试样本；
测试样本分类模块，用于对构建好的测试样本进行分类，将测试样本送入训练好的单个深度残差网络中进行分类，并且在网络输出层得到分类结果；
输出模块，用于输出分类结果。
所述网络构造模块包括：
深度残差网络构造模块，用于构造第一深度残差网络，采用迁移学习策略，导入采用imagenet数据集训练好的网络参数，将其作为第一深度残差网络的训练参数；具体是：
去除现有的深度残差网络最后的全连接层和概率层，形成第一深度残差网络，输出输入图像的特征向量f1；
对第一深度残差网络添加卷积层和全连接softmax分类器，设置卷积层的特征映射图数为遥感数据集场场景类别数n,卷积层将f1映射成为n维向量，由全连接分类器输出最终类别预测；
对于第一深度残差网络的输入和输出,定义损失函数：
loss＝∑x-inputlog(output))
其中，x表示输入的图片，input表示网络的输入，output表示网络的输出；
复制模块，用于复制第一深度残差网络的结构和参数得到第二深度残差网络；
第一计算模块、用于计算两个深度残差网络输出的特征向量差值的平方，利用卷积层和softmax分类器进行二分类，以此判断孪生网络输入是否为同一类别的图像；
第二计算模块、用于计算两个深度残差网络输出特征向量的欧式距离，对于同类别图像采用其特征之间的欧式距离作为网络的正则损失。
所述第一计算模块具体是设置平方层，将两个深度残差网络输出的特征向量f1、f2取差值平方，得到fs＝(f1-f2)2；
设置特征映射图数为2的卷积层，将fs映射成为2维向量输出；
通过全连接softmax分类器对输出的2维向量产生最终预测，即输入图像对是否来自同一类别；
对于相同类别或不同类别的输入图像对q,定义损失函数：
其中，i表示2维向量的第i维，q为输入图像对，s为深度残差网络作出的是否属于同一类的预测标签；
对于输入图像对(xi,xj)，计算两个深度残差网络输出的特征向量f1、f2的欧式距离
所述网络训练模块利用已构造好的训练数据集采用批量梯度下降算法对深度孪生残差网络进行参数训练，并且将训练好的任意一个深度残差网络取出作为遥感图像分类网络。
本发明与现有技术相比具有以下优点：
第一，由于本发明采用了卷积神经网络中识别网络和验证网络，有效结合了这两种网络的优点；识别网络用于提取图像特征，验证网络检测输入图像对的相似度，这两种网络的互补使得整个网络学到了更具有判别力的特征表达，从而有效避免过拟合情况的发生。
第二，由于本发明的输入是来自不同场景类别和相同场景类别的图像对，并且在训练过程中逐渐增加不同场景类别图像的比重，在原有遥感数据集规模不变的基础上增加了可用于网络训练的数据样本，这在一定程度上缓解了遥感数据集类别较少且图像缺乏多样性所带来的影响。
第三，由于本发明在两个深度残差网络提取到的特征映射中增加了正则约束即计算两个特征映射之间的欧氏距离，网络在训练过程中会使来自相同类别的特征间距离越来越小，从而使相同场景类别图像在特征空间中相互聚拢，而不同场景类别的图像尽可能地分散开；这样同样增强了深度残差网络特征表达的鲁棒性。
附图说明
图1是本发明一种深度孪生残差网络的光学遥感图像分类方法的网络结构图；
图2是本发明的一种深度孪生残差网络的光学遥感图像分类方法的步骤图；
图3是本发明一种深度孪生残差网络的光学遥感图像分类装置实施例一的结构框图；
图4为本发明一种深度孪生残差网络的光学遥感图像分类装置实施例二的结构框图。
具体实施方式
下面结合说明书附图对本发明的技术方案做进一步的详细说明。
参照图1，本发明实现的具体步骤如下：
步骤s1，构建深度孪生残差网络：
s1.1.构造深度残差网络，去除深度残差网络中最后两层，即全连接层和概率层，添加丢弃层，卷积层和softmax分类层，得到第一深度残差网络；
s1.2.采用迁移学习策略，导入采用imagenet数据集训练好的网络参数，将其作为深度残差网络的训练参数；
网络深度残差网络s1.3.通过复制第一个深度残差网络的结构和参数得到第二个深度残差网络深度残差网络；
s1.4.计算两个深度残差网络输出的维特征向量差值的平方，利用添加的卷积层和softmax层进行二分类，以此判断孪生网络输入是否为同一类别的图像。
s1.5.计算两个深度残差网络输出特征向量的欧式距离，对于同类别图像采用其特征之间的欧式距离作为网络的正则损失。
步骤s2，构造训练数据集并进行深度孪生残差网络训练：
s2.1、利用以构造好的训练数据集采用批量梯度下降算法对深度孪生残差网络进行参数训练；
s2.2、参数训练好之后，将第一深度残差网络取出作为遥感图像分类网络。
深度孪生残差网络深度孪生残差网络
步骤s3，构建测试样本；
步骤s4，测试样本分类：
将测试样本送入训练好的单个深度残差网络中进行分类，并且在网络输出层得到分类结果。
步骤s5，输出分类结果。
步骤s1中所述的深度残差网络结构参数如下：
对于第一层输入层，设置特征映射图谱数目为3，即图像的三个颜色通道；
对于第二层卷积层，设置特征映射图谱数目为64；
对于第三层第一个残差块9层，设置特征映射图谱数目为64；
对于第四层第二个残差块3层，设置特征映射图谱数目为64；
对于第五层第三个残差块6层，设置特征映射图谱数目为128；
对于第六层第四个残差块3层，设置特征映射图谱数目为256，进行快捷连接；
对于第七层第五个残差块6层，设置特征映射图谱数目为256；
对于第八层归一化层，设置为批量归一化方式；
对于第九层池化层，设置特征映射图谱数目为256；
对于第十层卷积层和第十一层全连接softmax分类器，设置特征映射图谱数目为遥感图像类别数目。
步骤s1.1具体如下：
s1.1.1、去除全连接层和概率层，形成第一深度残差网络，输出输入图像的特征向量f1；
s1.1.2、对第一深度残差网络添加卷积层和全连接softmax分类器，设置卷积层的特征映射图数为遥感数据集场场景类别数n,卷积层将f1映射成为n维向量，由全连接分类器输出最终类别预测；
s1.1.3、对于深度残差网络的输入和输出,定义损失函数：
loss＝∑x-inputlog(output))
其中，x表示输入的图片，input表示网络的输入，output表示网络的输出。
步骤s1.3具体如下：
s1.3.1.设置平方层，将两个深度残差网络输出的特征向量f1、f2取差值平方，得到fs＝(f1-f2)2
s1.3.2.设置特征映射图数为2的卷积层，将fs映射成为2维向量；
s1.3.3.全连接softmax分类器对s1.3.2的输出产生最终预测，即输入图像对是否来自同一类别；
s1.3.4.对于输入图像对q(相同类别/不同类别),定义损失函数：
s1.3.5.对于输入图像对(xi,xj)，计算两个深度残差网络输出的特征向量f1、f2的欧式距离
步骤s2.1具体如下：
s2.1.1.如何构建训练集：打乱训练数据集中图像的顺序，产生训练数据对，控制不同类别的图像对与相同类别的图像对之间的比例由1:1逐渐增加到4:1；
s2.1.2.采用批量下降法对s1.3.3、s1.3.4、s1.3.5的3个损失函数进行最优化；
s2.1.3.设置3个损失函数的权重，分别为λ1，λ2，λ3；
s2.1.4.经过一系列实验进参数调试，确定最优的权重值；
步骤s2.2具体如下:
s2.2.1.将3个损失函数训练到最优即最小化损失函数；
s2.2.2.取出训练好的深度残差网络作为下一步的分类网络；
步骤s3如何构建测试样本如下:
s3.1.将遥感数据集中剩下的图片作为测试样本；
s3.2.将测试样本中的每张图片调整尺寸调整为224×224；
步骤s4具体如下:
s4.1.分类网络是单个深度残差网络,对应的输入为单张图像；
s4.2.分类标准采用总体正确率,即分类正确的图像数占测试样本的百分比。
下面对本发明的效果做进一步的说明：
1、实验条件：
本发明的实验是在双nvidiagtx1080tigpu的硬件环境和matlab2017的软件环境下进行的。
本发明的实验使用了两个遥感数据集nwpu-resisc45和ucmercedland-use。
nwpu-resisc45是一个公开的遥感数据集，2016年发布。这个数据集总共有31500张图片，45个类别且每个类别有700张图片。这45个类别分别是：飞机，飞机场，棒球场，篮球场，海滩，桥，灌木丛，教堂，圆形农田，云，商业区，密集住宅区，沙漠，森林，高速公路，高尔夫球场，田径场，海港，工业区，交叉路口，岛，湖，草地，中型住宅区，活动房，山，立交桥，宫殿，停车场，火车，火车站，方形农田，河，环形路口，跑道，海冰，船只，冰山，稀疏住宅区，体育场，储存罐，网球场，梯田，热力发电站以及湿地。
ucmercedland-use是2010年发布的一个遥感数据集。这个数据集总共有2100张图片，21类别且每个类别包括100张图片。这21个类别分别是：农田，飞机，棒球场，海滩，楼房，灌木丛，密集住宅区，森林，高速公路，海港，高尔夫球场，交叉路口，活动房，中型住宅区，立交桥，停车场，河，跑道，稀疏住宅区，储存罐以及网球场。
2、结果分析：
本发明的仿真实验采用本发明方法与未做改变的深度残差网络对两个数据集进行分类，并将分类效果进行对比分析。
表1是本发明的实验采用三种卷积神经网络和本发明方法对总体正确率进行对比的统计表。
表1中的“dataset”表示采用的遥感数据集类型、“class”表示采用的数据集对应的场景类别、“methods”表示采用的分类方法类型，“accuracy”表示分类的正确率。
表1图像分类结果比较一览表
从表1中可以看出，本发明方法，在两个数据集上分类的正确率都高于未做改变的深度残差网络方法。
本发明进一步公开了一种深度孪生残差网络的光学遥感图像分类装置，所述装置包括：
网络构造模块，用于构建深度孪生残差网络；
网络训练模块，利用已构造好的训练数据集采用批量梯度下降算法对构建好的深度孪生残差网络进行参数训练；并将训练好的任意一个深度残差网络取出作为遥感图像分类网络；
测试样本构造模块，用于构建测试样本；
测试样本分类模块，用于对构建好的测试样本进行分类，将测试样本送入训练好的单个深度残差网络中进行分类，并且在网络输出层得到分类结果；
输出模块，用于输出分类结果。
所述网络构造模块包括：
深度残差网络构造模块，用于构造第一深度残差网络，采用迁移学习策略，导入采用imagenet数据集训练好的网络参数，将其作为第一深度残差网络的训练参数；具体是：
去除现有的深度残差网络最后的全连接层和概率层，形成第一深度残差网络，输出输入图像的特征向量f1；
对第一深度残差网络添加卷积层和全连接softmax分类器，设置卷积层的特征映射图数为遥感数据集场场景类别数n,卷积层将f1映射成为n维向量，由全连接分类器输出最终类别预测；
对于第一深度残差网络的输入和输出,定义损失函数：
loss＝∑x-inputlog(output))
其中，x表示输入的图片，input表示网络的输入，output表示网络的输出；
复制模块，用于复制第一深度残差网络的结构和参数得到第二深度残差网络；
第一计算模块、用于计算两个深度残差网络输出的特征向量差值的平方，利用卷积层和softmax分类器进行二分类，以此判断孪生网络输入是否为同一类别的图像；
第二计算模块、用于计算两个深度残差网络输出特征向量的欧式距离，对于同类别图像采用其特征之间的欧式距离作为网络的正则损失。
所述第一计算模块具体是设置平方层，将两个深度残差网络输出的特征向量f1、f2取差值平方，得到fs＝(f1-f2)2；
设置特征映射图数为2的卷积层，将fs映射成为2维向量输出；
通过全连接softmax分类器对输出的2维向量产生最终预测，即输入图像对是否来自同一类别；
对于相同类别或不同类别的输入图像对q,定义损失函数：
其中，i表示2维向量的第i维，q为输入图像对，s为深度残差网络作出的是否属于同一类的预测标签；
对于输入图像对(xi,xj)，计算两个深度残差网络输出的特征向量f1、f2的欧式距离
所述网络训练模块利用已构造好的训练数据集采用批量梯度下降算法对深度孪生残差网络进行参数训练，并且将训练好的任意一个深度残差网络取出作为遥感图像分类网络。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个......”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。
以上对本申请所提供的一种检索方法、装置及系统进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。