基于加权损失融合网络的遥感图像分割方法、装置及介质与流程

[0001]
本发明涉及遥感图像及深度学习领域，具体涉及了一种基于加权损失融合网络的遥感图像分割方法、装置及介质。


背景技术：

[0002]
随着遥感技术的发展，遥感图像数据量越来越大，分辨率也越来越高。遥感图像包含了大量的信息，因此在遥感图像的应用中有很多方面，包括目标检测、场景分类、语义分割等。遥感图像的应用趋于多样化，如城市规划、建筑提取、道路提取、车辆检测、违法建筑提取。然而，在这些领域中，需要较高的分割质量，遥感图像的分割方法虽然较多，但分割效果仍有待提高。
[0003]
遥感图像的语义分割是一个研究热点，随着深度学习的发展，基于全卷积神经网络的语义分割大大提高了分割精度。遥感图像的信息量很大，但各个样本的数据量却极不均匀。因此，虽然是普通网络也能在一定程度上对遥感图像进行分割，但分割精度仍能大大提高。普通的神经网络对网络进行了深化以提高分类精度，但对目标空间特征和尺度特征有很大的损失。


技术实现要素：

[0004]
本发明的目的在于至少解决现有技术中存在的技术问题之一，提供了一种基于加权损失融合网络的遥感图像分割方法、装置及介质，对于高精度的遥感图像，避免了空间特征的丢失，有效的提高了遥感图像的分割效果。
[0005]
本发明的技术方案包括一种基于加权损失融合网络的遥感图像分割方法，其特征在于：s100，对遥感影像进行预处理，得到用于卷积神经网络的训练数据；s200，构建卷积神经网络，所述卷积神经网络包括多通道训练分支的编码器，通过所述编码器对所述训练数据进行上下文提取；s300，构建双金字塔模块，通过所述双金字塔模块的两组不同卷积膨胀率空间金字塔对所述训练数据进行特征图提取，输出对应的第一特征图；s400，对所述s300得到特征图进行上采样处理，得到不同尺寸的第二特征图，将所述第一特征图与所述第二特征图进行融合；s500，构建感知损失网络，通过损失网络对融合的特征图进行损失计算，通过计算得到的损失与损失网络的加权融合进行反向传播，实现参数更新。
[0006]
根据所述基于加权损失融合网络的遥感图像分割方法，其中s100中的预处理包括：对所述遥感影像进行图像裁剪、归一化及数据扩充处理，其中，所述数据扩充所进行的操作分别是从水平和竖直方向进行翻转。
[0007]
根据所述基于加权损失融合网络的遥感图像分割方法，其中s200包括：所述卷积神经网络使用在imagenet数据集上预训练的inceptionv-4作为网络主干，去除所述卷积神经网络的末端的平均池化层，同时在所述网络主干增加网络分支，得到多通道训练分支的编码器，所述网络分支用于保留图像的浅层特征。
[0008]
根据所述基于加权损失融合网络的遥感图像分割方法，其中s200包括：去掉平均
池化层及后续的所有层，将reduction-a层后的输出单独建立一个网络分支，然后经过2*2的最大池化层后，与主干网络末端融合。
[0009]
根据所述基于加权损失融合网络的遥感图像分割方法，其中s300包括：s310，在stem模块后建立第一空间金字塔作为并行训练网络，根据所述第一空间金字塔，提取所述训练数据的第一阶段的多尺度特征，融合aspp1模块五个分支的特征图，形成对应的融合特征图，将融合后的特征图通过一个1*1的卷积；s320，执行4*4的最大池化的卷积操作，将特征图的尺寸进行缩小；s330，在inceptionv-4网络的reduction-a模块构建第二空间金字塔，通过aspp2模块接收的对应的特征图，然后将aspp2模块的四个分支进行融合，通过一个1*1的卷积层，输出特征图，在卷积层后加入2*2的最大池化层，得到的特征图。
[0010]
根据所述的基于加权损失融合网络的遥感图像分割方法，其特征在于，所述第一空间金字塔及第二空间金字塔的膨胀率分别设置为[1、6、12、18]及[1、6、12]。
[0011]
根据所述基于加权损失融合网络的遥感图像分割方法，其中s400包括：通过由四组卷积块采样模块，对图像尺寸的进行恢复，通过softmax得出分类预测结果。
[0012]
根据所述基于加权损失融合网络的遥感图像分割方法，其中s500包括：构建感知损失网络，采用预训练的vgg16网络，将分割网络得出的预测图传入到损失网络中，计算得出损失，然后与分割网络计算的损失加权融合并反向传播，实现参数更新。
[0013]
本发明的技术方案还包括一种基于加权损失融合网络的遥感图像分割装置，该装置包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述任一方法步骤。
[0014]
本发明的技术方案还包括一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述任一方法步骤。
[0015]
本发明的有益效果为：该网络提取了高质量的深层特征和尺度特征，同时极大限度的避免空间特征的丢失，有效的提高了遥感图像的分割效果，并在isprs 2d数据集上取得了很好的结果。
附图说明
[0016]
下面结合附图和实施例对本发明进一步地说明；
[0017]
图1所示为根据本发明实施方式的总体流程图。
[0018]
图2为根据本发明实施方式的整体架构图。
[0019]
图3为根据本发明实施方式的训练网络结构图。
[0020]
图4为根据本发明实施方式的inceptionv-4骨干网络结构图。
[0021]
图5为根据本发明实施方式的空间金字塔结构图。
[0022]
图6为根据本发明实施方式的在vaihingen验证集上的预测结果对比。
[0023]
图7所示为根据本发明实施方式的介质装置图。
具体实施方式
[0024]
本部分将详细描述本发明的具体实施例，本发明之较佳实施例在附图中示出，附图的作用在于用图形补充说明书文字部分的描述，使人能够直观地、形象地理解本发明的每个技术特征和整体技术方案，但其不能理解为对本发明保护范围的限制。
[0025]
在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。
[0026]
在本发明的描述中，对方法步骤的连续标号是为了方便审查和理解，结合本发明的整体技术方案以及各个步骤之间的逻辑关系，调整步骤之间的实施顺序并不会影响本发明技术方案所达到的技术效果。
[0027]
图1所示为根据本发明实施方式的总体流程图。该流程包括：s100，对遥感影进行预处理，得到用于卷积神经网络的训练数据；s200，构建卷积神经网络，所述卷积神经网络包括多通道训练分支的编码器，通过所述编码器对所述训练数据进行上下文提取；s300，构建双金字塔模块，通过所述双金字塔模块的两组不同卷积膨胀率空间金字塔对所述训练数据进行特征图提取，输出对应的第一特征图；s400，对所述s300得到特征图进行上采样处理，得到不同尺寸的第二特征图，将所述第一特征图与所述第二特征图进行融合；s500，构建感知损失网络，通过损失网络对融合的特征图进行损失计算，通过计算得到的损失与损失网络的加权融合进行反向传播，实现参数更新。
[0028]
对于其中的预处理，本发明提供了以下实施方式：
[0029]
使用真实数据验证方法有效性。实验使用isprs 2d semantic labeling contest vaihingen数据集进行训练。
[0030]
其中vaihingen数据集是一个拥有完整语义标记的高分辨率航空影像数据集，包括高分辨率真正射影像(top)和数字地表模型(dsm)。图像文件由不同的通道组成，是irrg(ir-r-g,3通道)图像格式。在本文中，只使用top irrg图像进行训练。数据集包含16个尺寸不一的图斑，数据集标签分为六类，包括impervious surfaces、building、low vegetation、tree、car、background。
[0031]
将有语义标签的16张图像裁剪成299*299大小的图像，考虑到网络的深度，数据量太小，将不能获得足够的特征信息，于是进行数据扩充，分别在水平和竖直方向翻转图像，然后再进行旋转获得14824张299*299大小的图像，随机选取总样本的75％作为训练集，20％作为测试集，其余作为验证集。
[0032]
由于训练数据较为庞大，且计算机算力有限，因此选用adam算法进行训练优化，使得模型可以更快的收敛。
[0033]
图2为根据本发明实施方式的整体架构图，在训练网络进行训练的同时，加入感知损失网络，计算感知损失，然后与训练损失加权融合，反向传播到训练网络。
[0034]
图3为根据本发明实施方式的神经网络结构图。该网络结构的流程如下所示：
[0035]
步骤1：对遥感图像进行预处理，包括图像裁剪、归一化、数据扩充，数据扩充所进行的操作分别是从水平和竖直方向进行翻转。
[0036]
该步骤为网络的训练提供数据，经过数据扩充后，随着网络的深度训练，可以避免出现过拟合现象，也为网络训练提供了大量的信息以更好地提取特征。
[0037]
步骤2：去掉平均池化层及后续的所有层，以适应语义分割任务，然后将reduction-a层后的输出单独建立一个网络分支，然后经过2*2的最大池化层后，与主干网络末端融合。
[0038]
该步骤实现对骨干网络的修改，避免因网络深度过深而导致浅层特征的丢失，从而使得网络能够更好地进行学习图像特征。
[0039]
步骤3：构建了双金字塔模块，采用两组不同膨胀率的空间金字塔，第一组金字塔模块的卷积膨胀率分别为：1、6、12、18，输出的特征图与第二组上采样卷积块的输出融合，第二组金字塔模块的卷积膨胀率分别为1、6、12，输出的特征图与第一组上采样卷积块的输出融合。
[0040]
该步骤通过引入两组空间金字塔，可以更好地提取目标的尺度特征，从而极大提高分类精度。与常见对空间金字塔的运用不同，常见的网络将该模块简单的添加到解码器网络末端，这样在一定意义上加深了网络深度，会造成一定的特征损失。该方法将双金字塔模块连接到骨干网络的不同阶段，然后与上采样模块对应的层相融合，因此兼顾了浅层特征的保留与更多尺度特征的提取。
[0041]
步骤4：设计了上采样模块，由四组卷积块组成，逐步完成图像尺寸的恢复，最后通过softmax得出分类预测结果。
[0042]
步骤5：在训练网络进行提取特征的同时，通过感知损失网络计算感知损失，与训练网络的损失进行加权融合，最后反向传播到训练网络。
[0043]
该步骤通过上采样恢复特征尺寸，并完成了最终的分割预测。
[0044]
作为一个语义分割任务，使用iou和f1作为评价指标，其公式如下：
[0045][0046][0047]
其中p是正样本的数量，n是负样本的数量，tp预测正确的正样本的数量，fp是预测错误的正样本的数量，tn是预测正确的负样本数量，fn是预测错误的负样本数量，样本的数量是每个图片的像素数量。
[0048]
图4为根据本发明实施方式的inceptionv-4骨干网络结构图。该骨干网络结构图主要由下采样和上采样两个模块，其中基于inceptionv-4网络的骨干网络和双金字塔模块组成下采样模块，上采样模块由四组卷积块组成
[0049]
图5为根据本发明实施方式的空间金字塔结构图。基于该空间金字塔结构图和图3的实施例，基于空间金字塔结构的分割流程如下：
[0050]
步骤1：以inceptionv-4网络为主干，舍弃其最后的average pooling,dropout和softmax，然后构建网络的一个分支，将inception-a模块的特征图与inception-c的输出特征图相结合，形成一个具有多通道训练分支的编码器，对网络的上下文信息可以充分提取。
[0051]
步骤2：加入双金字塔模块，然后融合特征，组成编码器模块。在stem模块后建立第一个金字塔模块，构成一个并行的训练网络，在第一个金字塔模块中，传入35
×
35
×
384的特征图，通过采样率分别为1,6,12,18的空洞卷积，充分提取第一阶段的多尺度特征，然后融合aspp1模块五个分支的特征图，形成35
×
35
×
256的特征图，将融合后的特征图通过一个1
×
1的卷积。为匹配要融合特征图的尺寸，在1
×
1的卷积后加入4
×
4的最大池化操作，将特征图的尺寸缩小至32
×
32。在inceptionv-4网络的reduction-a模块后建立第二个金字塔模块，aspp2模块接收的特征图为17
×
17
×
1024，由于要进行特征图尺寸的匹配，将aspp2模块中的卷积采样率分别设置为1,6,8,12,然后将aspp2模块的四个分支融合到一起，通过一个1
×
1的卷积层，输出17
×
17
×
512的特征图，为了匹配融合的特征图尺寸，在卷积层后加入2
×
2的最大池化层，得到16
×
16
×
512的特征图。完成双金字塔模块的训练后，分别于
解码器中相应尺寸的特征图进行融合。
[0052]
步骤3：设计解码器，分为四个卷积模块，每个卷积块都有一个上采样操作，最后通过双线性上采样恢复图像尺寸。解码器参数如下表1所示：
[0053][0054]
表1解码器参数表
[0055]
图6为根据本发明实施方式的在vaihingen验证集上的预测结果对比。结合图5、表2及表3，通过试验实施，与主流分割网络进行对比，这些网络包括：fcn32、segnet、pspnet、u-net。
[0056][0057][0058]
表2vaihingen数据集上的iou得分对比
[0059] imp.s.build.low.v.treecaroverallfcn85.1594.4279.2676.5180.1684.25segnet82.6589.7676.0473.7471.6382.69pspnet71.3975.5865.7145.3240.6163.36u-net83.4990.1478.3675.4173.1083.20our93.9797.7790.0688.2390.9496.43
[0060]
表3vaihingen数据集上的f1得分对比
[0061]
为验证对网络的修改是否起到积极作用，只使用骨干网络不做任何修改作为分割
网络进行试验，然后进行对比，具体参考图6。
[0062]
通过数据对比可以看出，本发明提出的基于加权损失融合网络的高精度遥感图像分割方法在遥感图像分割中能够取得很好的效果。
[0063]
图7所示为根据本发明实施方式的介质装置图。包括存储器100，处理器200。所述存储器100用于存储处理器运行时的各项数据，处理器用于执行：对遥感影像进行预处理，得到用于卷积神经网络的训练数据；构建卷积神经网络，卷积神经网络包括多通道训练分支的编码器，通过编码器对训练数据进行上下文提取；构建双金字塔模块，通过双金字塔模块的两组不同卷积膨胀率空间金字塔对训练数据进行特征图提取，输出对应的第一特征图；对得到特征图进行上采样处理，得到不同尺寸的第二特征图，将第一特征图与第二特征图进行融合；构建感知损失网络，通过损失网络对融合的特征图进行损失计算，通过计算得到的损失与损失网络的加权融合进行反向传播，实现参数更新。
[0064]
上面结合附图对本发明实施例作了详细说明，但是本发明不限于上述实施例，在技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。