一种深度学习的遥感影像水体提取系统的制作方法

本发明涉及河流图像提取领域，具体为一种深度学习的遥感影像水体提取系统。

背景技术：

随着我国遥感卫星技术的发展，高分辨率的遥感影像的获取越来越便捷，对遥感影像的河流提取成为对高分辨率遥感图像的重要应用之一。作为生态系统的重要组成部分，河流对人们的生产生活有着至关重要的作用，高分辨率遥感影像的河流提取在农业灌溉、水利规划以及生态监测都有着重要意义。

近年来深度学习取得重要进展，以全卷积神经网络和编译码器网络为代表的各种网络在遥感影像的语义分割取得了一些成果。例如：将反卷积作为上采样结构，将编码器的特征连接到解码器，将低维信息和高维信息进行融合，恢复更多的空间信息；对每一类地物目标训练一个二分类模型，随后将各预测子图组合生成最终语义分割图像；在网络中加入更丰富的连接，将更多的浅层信息传导至网络深层，避免了参数过多增加；利用编码器网络提取超高分辨率图像的高层语义特征，利用解码器网络将低分辨率编码器特征映射到全输入分辨率特征映射，实现像素级标记。现有的编解码结构语义分割网络均是对图像进行均匀划分，每个像素点均为采样点，使用分割算法进行分类。对于图像的低频区域，相对平滑、颜色变化小，不用采样过多的点。而对于高频区域，变化明显，多为物体边缘，如果采样点太过稀疏，最终会导致分割出的物体边界过于平滑。因此分割网络存在对平滑区域过采样，对边界欠采样。

技术实现要素：

针对河流边缘细节难以提取和有标签数据难获取的问题，本发明提出了一种深度学习的遥感影像水体提取系统，本发明将非均匀采样应用到编解码结构图像语义分割网络，对编码器网络提取到的粗粒度语义图与解码器提取到的细粒度语义图进行非均匀采样，提取到的特殊点进行双线性插值，完成粗细粒度语义特征的融合，能够用于高分辨率影像的河流提取。

为了实现所述目的，本发明采用的具体实施方案如下：

一种深度学习的遥感影像水体提取系统,包括：

s1、对训练图进行数据增强；

s2、对增强数据进行归一化处理；

s3、将处理数据输入到语义分割网络的编码器中，得到粗粒度语义图；

s4、将粗粒度语义图输入语义分割网络的解码器中，得到细粒度语义图；

s5、对粗粒度语义图和细粒度语义图进行非均匀采样；

s6、对粗粒度语义图和细粒度语义图进行特征融合；

s7、使用损失函数对网络进行调参，当损失函数值最小时输出，得到最优语义分割网络否则重复步骤s3～s6。

所述训练图需分割处理，分割大小为512x512，并对与训练图对应的标签图像按照相同的方式分割。

所述数据增强操作方式为：向右旋转90°、180°、270°；左右翻转；上下翻转。

所述数据进行归一化处理。采用最大最小标准化，将数据归一化到[0,1]，计算式为：

式中x为原始图像；x'——归一化之后的图像；min(x)——图像像素最小值；max(x)——图像像素最大值。

所述s3中，语义分割网络使用前需初始化处理，

所述非均匀采样的选择策略为：在均匀分布中随机采样kn个点作为候选，k>1，在kn中选择αn个最不确定的点，α∈[0,1]；剩下的(k-α)n个点从均匀分布中随机采样。

所述s7中损失函数均采用dice系数损失函数，计算式为：

式中|t|为真实语义图像素数量；|p|为预测语义图像素数量。

本发明的有益效果在于：针对现有的编解码结构河流提取网络存在细节丢失过多和有标签数据较少的问题，提出一种非均匀采样的采样方式解决细节丢失问题，将编码器输出的粗粒度语义图与解码器输出的细粒度语义图相融合。通过对高频区域多采样、低频区域少采样，避免过量的计算所有像素。将提取到的特殊点进行双线性插值，完成粗粒度语义特征与细粒度语义特征融合。通过半监督学习训练网络，利用大量易获取的无标签数据提升网络精度。本文提出的方法具有较好的泛化性和有效性。

附图说明

图1是本发明的流程示意图；

图2是本发明网络提取对比结果图；

具体实施方式

实施例1

本发明提出了一种深度学习的遥感影像水体提取系统，将数据共同输入编解码结构的语义分割网络，获得粗粒度与细粒度语义图。通过对高频区域多采样、低频区域少采样的点采样策略进行非均匀采样，只计算那些最可能与周围像素不同的点，避免在高分辨率的输出中过量的计算所有的像素。将提取到的特殊点进行双线性插值，完成具有上下文和全局信息的粗粒度语义特征与细粒度语义特征的融合。通过调整有标签数据与无标签数据的比例进行半监督学习，完成河流提取的最优提取。整体方案图如附图1所示。

本发明数据来自中国60多个不同城市的150景高质量高分二号图像，覆盖区域超过了5万km²，图像大小为6908×7300像素。将其中的20景作为测试集与验证集，其余的作为训练集。同时选取相同大小的20景无标签图像,包含的景物有河流、湖泊、山脉、建筑、农田、公路和铁路等，确保训练好的模型具有较好的泛化能力,能够用于其他高分辨率影像的河流提取。

具体步骤为：

s1、对训练图进行数据增强；

s2、对增强数据进行归一化处理；

s3、将处理数据输入到语义分割网络的编码器中，得到粗粒度语义图；

s4、将粗粒度语义图输入语义分割网络的解码器中，得到细粒度语义图；

s5、对粗粒度语义图和细粒度语义图进行非均匀采样；

s6、对粗粒度语义图和细粒度语义图进行特征融合；

s7、使用损失函数对网络进行调参，当损失函数值最小时输出，得到最优语义分割网络否则重复步骤s3～s6。

1.数据增强

为了提升网络的训练速度，将训练图像分割为512×512大小，对应的标签图像按相同的方式进行分割，同时进行数据增强操作：向右旋转90°、180°、270°；左右翻转；上下翻转。影像图和标签图需同步进行数据增强。数据分割增强后的有标签数据达到118300组，无标签数据18200张。

2.数据归一化

为了加速网络的收敛，对数据进行归一化处理。采用最大最小标准化，将数据归一化到[0,1]，计算式为：

式中x——原始图像

x'——归一化之后的图像

min(x)——图像像素最小值

max(x)——图像像素最大值

3.编码器网络

将resnet50作为网络的encoder，提升网络的性能和收敛速度，同时将elu函数最为激活函数。整个结构共包含2个卷积层,用来融合邻域内像素的信息；1个反卷积层,4个编码层,每个编码层包含6个res-block；4个解码层，每个解码层包含两层卷积和一层反卷积。

在网络训练时，将含有3通道的h*w像素大小的遥感图像首先通过第一个卷积核大小7*7、步长为2、数量为64的卷积层。输出图像大小变为h/2×w/2，通道数变为64。具体计算如式所示：

式中，——第l层输出的第j个特征图

f——激活函数elu

——第l-1层的第i个通道影像

——第l层的卷积核矩阵

“”——卷积运算

bj——卷积后第j个特征图的偏置值

d——卷积核个数。

为了防止网络的过拟合，在每次卷积操作之后增加了池化层，池化方式采用最大池化。窗口大小为3*3，步长为2。图像经池化处理之后大小变为h/4×w/4，通道数不变，仍为64。

在编码层中，4次编码输出图像特征通道数分别为64、128、256、512，扩展到编码之前的8倍。解码层结构含有2个卷积层和1个反卷积层。4次解码输出图像特征通道数分别为512、256、128和64，图像大小和特征通道数变为编码之前的大小。

4.解码器网络

解码层输出的图像进入反卷积层，达到降低计算复杂度的问题，同时保留了影像的位置信息。输出特征通道数变为32，图像大小为h2×w2。图像接着输入一个卷积层，卷积核大小为3*3，步长为1。图像大小还原为h×w，通道数变为1，此时输出河流提取的预测语义图。

5非均匀采样点选择策略

期望输出m×m像素，起始分辨率m0×m0，要求预测点数不超过可以减少计算量。在训练中采用基于随机采样的非迭代策略，在特征图上选择n个点，选择不确定的区域，同时保持一定程度的统一覆盖，遵循如下规则：

(1)在均匀分布中随机采样kn个点作为候选点(k>1)；

重点关注着插值后kn个候选点中不确定的点并且对不确定性进行估计，在kn中选择αn个最不确定的点，α∈[0,1]；

剩下的(k-α)n个点从均匀分布中随机采样。

训练时，预测值与损失函数仅在n个采样点上计算，比分割是全部计算更加高效。

6.损失函数

损失函数均采用dice系数损失函数。最大化预测真实类和基础真值类之间的重叠(即最大化骰子系数)。因此，通常最小化目标，计算式为：

式中|t|——真实语义图像素数量

|p|——预测语义图像素数量

7.网络参数初始化

参数初始化方式均采用均匀方差缩放初始化器。从[-limit，limit]中的均匀分布中抽取样本，其中limit是fan_in是权值张量中的输入单位的数量。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。