本发明涉及图像处理及计算机视觉领域，特别是一种基于全卷积网络的遥感影像地表覆盖分类方法。
背景技术：
随着卫星遥感图像和航空遥感图像分辨率的不断提高，人们可以从遥感图像中获得更多有用的数据和信息。遥感影像的地表覆盖分类是遥感研究领域的重要内容，在国土、国防、测绘、农业、城市、防灾减灾等各个领域都有很强的应用价值，因此提高遥感影像地表覆盖分类的精度具有非常重要的意义。最先出现的遥感影像地表分类方式是图像目视解译技术，即通过人工方式对影像进行标注，虽然精度较高，需要花费大量时间且灵活性差。随着机器学习技术的发展，基于遥感影像的数字图像分析技术也得到了一定程度的发展。lefeizhang等人引入了块对其框架，以最佳方式线性组合光谱、纹理和形状特征等多种特征,考虑每个特征的特定统计特性以实现物理意义上的多特征的低维统一表示，进而有效的对遥感图像进行分类。佃袁勇等人采用svm分类模型将傅里叶谱分解算法与光谱信息结合并成功应用到像素级别的高分辨率遥感影像的地表覆盖分类中，对针对以农、林为主体的高分辨率遥感影像的分类问题有很大的实用价值。
目前，关于像素级别的遥感影像地表覆盖分类的相关研究还很少，传统的基于机器学习的分类方法，为了对一个像素分类，需要使用该像素周围的一个图像的信息块作为输入用于训练和预测，相邻的像素块基本上是重复的，针对每个像素块逐个计算也有很大程度上的重复，存储开销很大、计算效率低下，需要找到一种更准确、高效的像素级别的遥感卫星地表覆盖分类方法以满足现有的应用的需求。近年来，深度学习在图像分类、目标检测和图像语义分割等领域取得了一系列突破性的进展，相比于传统的机器学习方法具有更强的特征学习和特征表达能力。随着全卷积网络的提出，将图像级别的分类进一步延伸到像素级别的分类，高效的解决了语义级别的图像分割问题。
技术实现要素：
本发明的目的在于提供一种基于全卷积网络的遥感影像地表覆盖分类方法，该方法有利于提高遥感影像地表覆盖分类的性能。
为实现上述目的，本发明采用的技术方案是：一种基于全卷积网络的遥感影像地表覆盖分类方法，包括以下步骤：
步骤s1：对数据数量有限的数据集进行数据增强，生成数据数量和质量达到训练要求的训练集；
步骤s2：融合改进的全卷积网络fcn4s与改进的u型全卷积网络u-netbn，建立遥感影像地表覆盖分类模型；
步骤s3：利用步骤s1生成的训练集和步骤s2建立的模型，通过随机梯度下降来最小化交叉熵损失，学习模型的最优参数，得到训练好的遥感影像地表覆盖分类模型；
步骤s4：利用步骤s3训练好的遥感影像地表覆盖分类模型对待预测的遥感影像进行像素级别的分类预测。
进一步地，所述步骤s1中，首先，对数据集中遥感图像进行多种不同尺度的拉伸和缩放，以增加数据的多样性；然后，将数据集中单张大图的遥感图像有重叠的划分为相同尺寸大小的图块，且每个图块生成对应的镜像图像来进一步增强数据，进而得到在数据数量和质量上满足模型训练要求的数据集。
进一步地，所述步骤s2中，按如下步骤建立所述遥感影像地表覆盖分类模型：
步骤s21：在fcn8s网络的基础上，加入第2层卷积层的输出，以融合更浅层的特征，建立fcn4s网络；
步骤s22：在u型全卷积网络u-net基础上，在每个卷积层和relu层中间增加一个bn层，建立u-netbn网络；
步骤s23：利用步骤s1得到的训练集，分别训练fcn4s与u-netbn两个网络，然后通过对fcn4s和u-netbn两个网络预测概率的加权平均进行模型融合，得到遥感影像地表覆盖分类模型；遥感影像地表覆盖分类模型预测(p,q)位置的像素点为类别c的概率为
其中，x表示输入图像，c是类别标记，c表示总类别数，
进一步地，所述步骤s3中，利用步骤s1生成的训练集和步骤s2建立的模型，通过随机梯度下降来最小化交叉熵损失，学习模型的最优参数，包括以下步骤：
步骤s31：在训练阶段，使用交叉熵作为fcn4s网络和u-netbn网络的损失函数，计算公式分别为：
其中，
步骤s32：fcn4s网络使用动量为0.95的随机梯度下降优化方法，初始学习率设为1×10-10，每隔两个完整训练批次下降到原来的0.7倍；relu6和relu7层后面的dropout层的随机失活概率都设为0.5；u-netbn网络使用动量为0.9的随机梯度下降优化方法，初始学习率设为1×10-4，每隔三个完整训练批次下降到原来的0.3倍；
步骤s32：fcn4s网络使用动量为0.95的随机梯度下降优化方法，初始学习率设为1×10-10，每隔两个完整训练批次下降到原来的0.7倍；u-netbn网络使用动量为0.9的随机梯度下降优化方法，初始学习率设为1×10-4，每隔三个完整训练批次下降到原来的0.3倍；采用步骤s1得到的训练集分别对fcn4s网络和u-netbn网络进行训练，最后得到fcn4s网络和u-netbn网络的最优参数。
进一步地，所述步骤s4中，利用训练好的遥感影像地表覆盖分类模型对待预测的遥感影像进行像素级别的分类预测，包括以下步骤：
步骤s41：将待预测图像输入到步骤s3训练好的遥感影像地表覆盖分类模型进行预测，待预测图像在(p,q)位置的预测概率最大的类别为该位置的最终预测类别，计算公式如下：
其中，p(p,q)表示待预测图像在(p,q)位置的最大预测概率对应的类别为最终预测类别。
相较于现有技术，本发明的有益效果是：该方法综合考虑了fcn和u-net两种不同结构的全卷积网络的特点，对fcn和u-net网络进行改进，并结合两个网络的优点构建融合模型，以适用于遥感影像地表覆盖分类问题，从而显著提高了遥感影像地表覆盖分类的性能。该方法借助于卷积神经网络强大的特征学习能力，适用于数据分布不均衡、多种地表类型等复杂的地表覆盖分类问题，算法计算得到的分类效果接近人工标注的水平，具有很强的实用性和广阔的应用前景。
附图说明
图1是本发明方法的实现流程图。
图2是本发明实施例中改进的fcn4s网络的结构图。
图3是本发明实施例中改进的u-netbn网络的结构图。
图4是本发明实施例中遥感影像地表覆盖分类模型的结构图。
具体实施方式
下面结合附图及具体实施例对本发明作进一步的详细说明。
本发明提供一种基于全卷积网络的遥感影像地表覆盖分类方法，如图1所示，包括以下步骤：
步骤s1：对数据数量有限的数据集进行数据增强，生成数据数量和质量达到训练要求的训练集。
用于训练的遥感影像数据集一般是通过目视解译并人为手动勾画的方式得到的，需要耗费较大的人力，因此有必要使用一定的数据增强的方式进行增强。首先，对数据集中遥感图像进行多种不同尺度的拉伸和缩放，以增加数据的多样性；然后，将数据集中单张大图的遥感图像有重叠的划分为相同尺寸大小的图块，且每个图块生成对应的上下镜像和左右镜像图像来进一步增强数据。通过图像拉伸、图像缩放、有重叠的划分和生成镜像图等数据增强手段，从数量有限的数据集生成数据数量较大、质量较好的训练数据集合，以满足训练深度的卷积神经网络cnn所需要较大的数据量，增强模型的泛化能力和分类效果，得到在数据数量和质量上满足模型训练要求的数据集。
步骤s2：融合改进的全卷积网络fcn4s与改进的u型全卷积网络u-netbn，建立遥感影像地表覆盖分类模型。具体包括以下步骤：
步骤s21：建立改进的全卷积网络fcn4s。全卷积网络fcn将vgg-16中的3个全连接层转化成卷积层，卷积核的大小(通道数，宽，高)分别为(4096,7,7)、(4096,1,1)、(c,1,1),其中c表示类别数量。对于包含建筑、道路、水体和其他四个类别的遥感影像地表覆盖分类问题，c的取值为4。可以发现，经过多次卷积和池化以后，得到的图像越来越小，分辨率越来越低(粗略的图像)，最后通过反卷积(deconvolution)实现上采样将分辨率低的粗略图像恢复到原图的分辨率。经过5层的卷积和池化操作以后，图像的分辨率依次缩小了2，4，8，16，32倍。对于最后一层的输出图像，需要进行32倍的上采样以得到原图一样的大小，但是通过32倍上采样得到的结果还是不够精确，一些细节无法恢复。jonathan提出的fcn8s结构，加入了第4层的输出和第3层的输出，分别需要16倍和8倍上采样以恢复到原图大小。
本发明通过对fcn8s网络结构进行细微调整得到fcn4s网络以改善图像细节丢失的问题。如图2所示，本发明在fcn8s的基础上，加入第2层卷积层的输出，以融合更浅层的特征，建立fcn4s网络。第二层是较浅的卷积层，其感知域较小，加入该层能学习到更多的局部区域的特征，只需4倍的上采样即可恢复到原图大小，能有效改善细节信息丢失的情况，增强遥感影像地表覆盖分类的准确性。
步骤s22：建立改进的u型全卷积网络u-netbn。如图3所示，u-net的左半部分是一个典型的卷积神经网络结构，它由5层的卷积和池化结构组成。首先，每一层结构重复使用了两个步长为1的3x3卷积层，将卷积过程改为有填充的方式进行，使得每一层的输出和输入大小一致。为了使得每一层数据都有稳定的分布，有利于网络的训练和准确率的提升，本发明在u型全卷积网络u-net基础上，在每个卷积层和relu层中间增加一个bn层(batchnormalization)；最后，接一个步长为2的2x2最大池化层进行下采样。u-net的右半部分包含四层类似结构，每一层先将高层中反卷积得到的特征图和低层的特征图连接，然后输入两个步长为1的3x3卷积层，与左半部分类似，本发明的u-netbn网络在每个卷积层和relu层中间增加一个bn层。从而得到u-netbn网络。
因为遥感影像地表覆盖分类并不需要理解很复杂的物体概念，减少特征通道数不仅能防止因网络学习能力太强而引起过拟合，还能显著减少网络训练所需计算量、加快收敛速度，因此，u-netbn网络中把原始的u-net各个层的特征通道数由(64，128，256，512，1024)改为(32，64，128，256，512)。
步骤s23：fcn4s网络对于面积占比大的类别的分类准确率很高，但是网络对一些细节信息的学习分类能力还是不够强大，比如一些细长的区域的分类效果就不太好。u-netbn的网络结构非常适合学习一些细节的信息，对面积占比小的细长区域的识别能力强，能识别出细长的道路和建筑，但是因为预测太精细，在一些大面积区域周围会预测出很多小的分类错的噪点，降低了分类精度。本发明利用步骤s1得到的训练集，分别训练fcn4s与u-netbn两个网络，然后通过对fcn4s和u-netbn两个网络预测概率的加权平均进行模型融合，得到遥感影像地表覆盖分类模型。得到的模型能结合两个网络的各自的优点，显著提高了遥感影像地表覆盖分类的性能。
遥感影像地表覆盖分类模型预测(p,q)位置的像素点为类别c的概率为
其中，x表示输入图像，c是类别标记，c表示总类别数，
步骤s3：利用步骤s1生成的训练集和步骤s2建立的模型，通过随机梯度下降来最小化交叉熵损失，学习模型的最优参数，得到训练好的遥感影像地表覆盖分类模型。具体包括以下步骤：
步骤s31：在训练阶段，使用交叉熵作为fcn4s网络和u-netbn网络的损失函数，计算公式分别为：
其中，
步骤s32：fcn4s网络使用动量为0.95的随机梯度下降优化方法，初始学习率设为1×10-10，每隔两个完整训练批次下降到原来的0.7倍；u-netbn网络使用动量为0.9的随机梯度下降优化方法，初始学习率设为1×10-4，每隔三个完整训练批次下降到原来的0.3倍；采用步骤s1得到的训练集分别对fcn4s网络和u-netbn网络进行训练，最后得到fcn4s网络和u-netbn网络的最优参数。
步骤s4：利用步骤s3训练好的遥感影像地表覆盖分类模型对待预测的遥感影像进行像素级别的分类预测。具体方法为：
如图4所示，将待预测图像在(p,q)位置的预测概率最大的类别为该位置的最终预测类别，计算公式如下：
其中，p(p,q)表示待预测图像在(p,q)位置的最大预测概率对应的类别为最终预测类别。
以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。