基于深度编解码融合网络的SAR遥感图像水域分割方法与流程

基于深度编解码融合网络的sar遥感图像水域分割方法
技术领域
1.本发明属于图像分割技术领域，涉及一种sar遥感图像水域分割方法，特别涉及一种基于深度编解码融合网络的sar遥感图像水域分割方法。


背景技术：

2.内陆地表水资源是人类赖以生存的重要自然资源，在地球的水文和生物化学循环中起着举足轻重的作用。实现快速、准确的水资源调查对环境监测、灾害预警等具有重要意义。合成孔径雷达(synthetic aperture radar，sar)是一种主动式微波成像传感器，不受云、雨、雾以及光照等因素的影响，可以实现全天时、全天候对地观测。星载sar装载于卫星平台，具有不受空域限制、观测范围广、周期性重访等特点，已被广泛应用于地球观测的各个领域。近年来，由于水域在 sar遥感图像中表现出较为显著的鉴别特征，易于从复杂场景中快速分离，基于sar图像的水域检测技术得到了广泛的应用和发展。
3.发展到目前，多种sar图像水域分割方法被相继提出，主要分为以下几类：阈值分割法、主动轮廓模型法(active contour mode，acm)、聚类分割法、深度学习法。(1)阈值分割法通过设置一个或多个阈值，在灰度级上完成对sar图像的分割，该方法由于操作简单、计算效率高，通常被视为最常用的方法之一，其缺点在于难以选择最优阈值以及易受sar图像相干斑噪声的影响；(2)基于 acm的sar图像水域分割方法主要通过粗分割与精细分割两个步骤完成，首先获取大致的水域边界，然后根据梯度信息对轮廓线进行迭代演化，最终获取更准确的水域边界。该方法的优点在于可获取连续、平滑的水域边界，缺点在于运算量大且对初始轮廓的依赖性较强；(3)聚类分割法基于欧式距离，计算像素与聚类中心之间相似度完成对sar图像中相似地物的分类。该方法可无监督的实现 sar图像地物分类，其缺点在于大尺度图像运算效率低，且易受相干斑噪声的干扰；(4)基于深度学习的分割方法通过人工制作大量训练样本以及手动标定标签图，训练网络模型，对输入图像中的水域进行识别。该方法的优点在于鲁棒性强、不易受相干斑噪声影响，缺点是需要事先制作大量样本集，人力成本高。
4.传统水域分割方法一般在图像的像素级尺度上开展，可实现像素级精度的水域分割，其分割精度受到分辨率的限制。对于地物类型简单、水体区域较大、海况较低等情况下遥感sar水域均有较好的分割效果，但遥感应用中待处理场景往往复杂多变，且在星载平台部署对处理算法的时效性和资源占用均有较大限制，以上算法均难以有效保障水域分割准确率和处理效率的双重优化，无法在终端处理平台进行有效装备和部署。因此如何克服现有技术的不足是目前图像分割技术领域亟需解决的问题。


技术实现要素：

5.本发明的目的是为了解决现有技术的不足，提供一种基于深度编解码融合网络的sar遥感图像水域分割方法。首先收集聚束模式下高分三号卫星数据，划分为训练数据集和验证数据集，之后对训练数据集进行标注，获得标签集；并对训练数据集进行扩增处理，获
得增广数据集。然后分别构造深度编码和解码网络，对水域像素进行有效鉴别，从而快速提取水域特征。在此基础上，利用深度分离卷积和扩张卷积等操作提取输入图像在多个分辨率条件下的特征表示，构建了深度编解码融合网络模型。之后进训练和验证，验证数据集数据、待分割图像的 sar图像的分割结果，证明了所提方法的有效性以及工程的可实现性。
6.为实现上述目的，本发明采用的技术方案如下：
7.基于深度编解码融合网络的sar遥感图像水域分割方法，包括如下步骤：
8.步骤(1)，构建数据集：采集sar影像数据共n景，单景尺寸不低于10k
ꢀ×
10k像素，并将数据划分为训练数据集和验证数据集；
9.步骤(2)，训练数据标注：读入训练数据集中sar遥感图像，标注出图像中水域位置信息，获得标签集；
10.步骤(3)，数据增强：对训练数据集中sar遥感图像进行扩增，获得增广数据集；
11.步骤(4)，构建深度编码网络：所述的深度编码网络包括特征提取网络和由空洞卷积构成的特征金字塔网络模块，特征提取网络用于对图像中水域特征进行提取和学习，生成特征图；由空洞卷积构成的特征金字塔网络模块用于对提取特征图进行池化，以增加所提取特征图的上下文信息概括能力；
12.步骤(5)，构建深度解码网络：所述的深度解码网络包括融合模块和解码网络模块，所述的融合模块用于对不同分辨率特征图进行融合，提高模型对不同尺寸目标的检测能力，解码网络模块用于解码输出网络预测的水域位置信息；
13.特征提取网络和由空洞卷积构成的特征金字塔网络模块均与融合模块相连，形成深度编解码融合网络模型；
14.步骤(6)，构建编解码网络损失函数：采用交叉熵损失函数作最小化作为目标函数进行模型训练，并依据水域分割实际任务需求，将损失函数输出节点设置为2类；
15.步骤(7)，模型训练与验证：将训练数据集和标签集输入到搭建好的深度编解码融合网络模型中进行训练，得到训练m代的网络模型架构，之后将训练得到的模型进行加载，并基于验证数据集进行测试，计算分类准确率，保存准确率最优的模型参数；
16.步骤(8)，分割处理：加载最优模型参数，将待分割sar影像输入到深度编解码融合网络模型中，获得标签信息，最后将标签信息对应至待分割sar影像，获得水域图像的分割结果；
17.步骤(9)，根据需求对分割结果进行保存或输出。
18.进一步，优选的是，步骤(1)中，采集搜集聚束模式下高分三号卫星sar 影像数据；训练数据集和验证数据集中的数据比例为8：2。
19.进一步，优选的是，步骤(2)中，利用labelme标注软件框选并沿水域边缘逐点标注出图像中水域位置信息。
20.进一步，优选的是，步骤(3)中，扩增的方法包括旋转、平移、缩放、灰度变换和mosaic数据增强方法。
21.进一步，优选的是，步骤(4)中，
22.(4.1)构建第一阶段深度编码网络：该网络由三个残差网络模块构成，每个残差网络模块的主干支路采用3个深度可分离卷积层，跨层连接支路则采用1 个常规卷积层对输入特征图做尺寸降维、通道升维处理；
23.(4.2)构建第二阶段深度编码网络：该网络由4个相同的分离卷积模块组成，每个分离卷积模块由基于残差连接的3个深度可分离卷积层组成；
24.(4.3)构建第三阶段深度编码网络：该网络包含2个深度分离卷积模块，第1个卷积模块采用3个深度可分离卷积层，跨层连接支路则采用1个常规卷积层；第2个卷积模块采用深度可分离卷积层，并在其后面串联扩张卷积层。
25.进一步，优选的是，步骤(5)中操作步骤为：对特征提取网络构建的第二阶段深度编码网络提取的特征图作为低维特征输入，通过由空洞卷积构成的特征金字塔网络模块对第三阶段深度编码网络提取的特征图进行卷积处理，得到与第二阶段深度编码网络提取的特征图相同尺寸的新特征图，将该特征图作为高维特征输入，将两个维度特征通过融合模块进行通道累加以构建深度解码网络。
26.进一步，优选的是，步骤(6)中，将损失函数输出节点设置为2类，构建二分类交叉熵损失函数。
27.进一步，优选的是，步骤(7)的具体方法为将带有标签信息的sar遥感训练数据输入深度编解码融合网络中，经过深度编码网络获得图像特征提取结果，通过融合模块和解码模块对所提取特征进行逐像素二分类处理，通过损失函数对结果进行反向传输优化，从而获得最优化模型。
28.本发明由空洞卷积构成的特征金字塔网络模块具体是特征金字塔网络模块的卷积采用空洞卷积。
29.本发明通过深度学习编码网络提取sar水域图像的有效特征，提高水域检测准确率；通过深度学习解码网络实现图像分辨率的低损失、有效还原，减少水域提取中存在的虚假目标，同时提升网络分割性能。
30.本发明与现有技术相比，其有益效果为：
31.(1)本发明构建了一种高效、快捷的特征编码网络模型，该模型通过三阶段特征编码和金字塔融合机制，有效解决复杂地物环境下sar水域的有效提取，在提升分割精度的同时，该方法采用密集连接和深度可分离卷积操作，可最大限度提升算法运行效率；
32.(2)本发明搭建了具有强大感知能力和特征分析学习能力的深度编解码融合网络模型，通过引入深度可分离卷积和金字塔融合机制，极大提升了轻量化网络的特征提取能力，所搭建模型构造简单、分割精度高、层级间冗余低，在分割性能和效率之间获得了优秀的平衡。
33.(3)本发明构建了一种较为高效、快速的sar遥感图像水域分割方法，通过深度编码网络强大的特征提取能力，可适应遥感应用中复杂多变的处理场景中水域的准确分割，且整个深度编解码网络模型大小为3mb，可在资源严格限制的终端处理平台进行有效装备和部署，具有较好的实用性。
附图说明
34.图1为本发明基于深度编解码融合网络的sar遥感图像水域分割方法的流程图；
35.图2为所搭建深度编解码融合网络结构图；
36.图3为一景原始高分三号输入图像；
37.图4为另一景原始高分三号输入图像；
38.图5为通过本发明方法对第一景图像处理的结果，白色为水域；
39.图6为通过本发明方法对第二景图像处理的结果，白色为水域；
具体实施方式
40.下面结合实施例对本发明作进一步的详细描述。
41.本领域技术人员将会理解，下列实施例仅用于说明本发明，而不应视为限定本发明的范围。实施例中未注明具体技术或条件者，按照本领域内的文献所描述的技术或条件或者按照产品说明书进行。所用材料或设备未注明生产厂商者，均为可以通过购买获得的常规产品。
42.如图1，基于深度编解码融合网络的sar遥感图像水域分割方法，包括如下步骤：
43.步骤(1)，构建数据集：采集sar影像数据共n景，单景尺寸不低于10k
ꢀ×
10k像素，并将数据划分为训练数据集和验证数据集；
44.步骤(2)，训练数据标注：读入训练数据集中sar遥感图像，标注出图像中水域位置信息，获得标签集；
45.步骤(3)，数据增强：对训练数据集中sar遥感图像进行扩增，获得增广数据集；
46.步骤(4)，构建深度编码网络：所述的深度编码网络包括特征提取网络和由空洞卷积构成的特征金字塔网络模块，特征提取网络用于对图像中水域特征进行提取和学习，生成特征图；由空洞卷积构成的特征金字塔网络模块用于对提取特征图进行池化，以增加所提取特征图的上下文信息概括能力；
47.步骤(5)，构建深度解码网络：所述的深度解码网络包括融合模块和解码网络模块，所述的融合模块用于对不同分辨率特征图进行融合，提高模型对不同尺寸目标的检测能力，解码网络模块用于解码输出网络预测的水域位置信息；
48.特征提取网络和由空洞卷积构成的特征金字塔网络模块均与融合模块相连，形成深度编解码融合网络模型；
49.步骤(6)，构建编解码网络损失函数：采用交叉熵损失函数作最小化作为目标函数进行模型训练，并依据水域分割实际任务需求，将损失函数输出节点设置为2类；
50.步骤(7)，模型训练与验证：将训练数据集和标签集输入到搭建好的深度编解码融合网络模型中进行训练，得到训练m代的网络模型架构，之后将训练得到的模型进行加载，并基于验证数据集进行测试，计算分类准确率，保存准确率最优的模型参数；
51.步骤(8)，分割处理：加载最优模型参数，将待分割sar影像输入到深度编解码融合网络模型中，获得标签信息，最后将标签信息对应至待分割sar影像，获得水域图像的分割结果；
52.步骤(9)，根据需求对分割结果进行保存或输出。
53.优选方案，步骤(1)中，采集搜集聚束模式下高分三号卫星sar影像数据；训练数据集和验证数据集中的数据比例为8：2。
54.优选方案，步骤(2)中，利用labelme标注软件框选并沿水域边缘逐点标注出图像中水域位置信息。
55.优选方案，步骤(3)中，扩增的方法包括旋转、平移、缩放、灰度变换和 mosaic数据增强方法。
56.优选方案，步骤(4)中，
57.(4.1)构建第一阶段深度编码网络：该网络由三个残差网络模块构成，每个残差网络模块的主干支路采用3个深度可分离卷积层，跨层连接支路则采用1 个常规卷积层对输入特征图做尺寸降维、通道升维处理；
58.(4.2)构建第二阶段深度编码网络：该网络由4个相同的分离卷积模块组成，每个分离卷积模块由基于残差连接的3个深度可分离卷积层组成；
59.(4.3)构建第三阶段深度编码网络：该网络包含2个深度分离卷积模块，第1个卷积模块采用3个深度可分离卷积层，跨层连接支路则采用1个常规卷积层；第2个卷积模块采用深度可分离卷积层，并在其后面串联扩张卷积层。
60.优选方案，步骤(5)中操作步骤为：对特征提取网络构建的第二阶段深度编码网络提取的特征图作为低维特征输入，通过由空洞卷积构成的特征金字塔网络模块对第三阶段深度编码网络提取的特征图进行卷积处理，得到与第二阶段深度编码网络提取的特征图相同尺寸的新特征图，将该特征图作为高维特征输入，将两个维度特征通过融合模块进行通道累加以构建深度解码网络。
61.优选方案，步骤(6)中，将损失函数输出节点设置为2类，构建二分类交叉熵损失函数。
62.优选方案，步骤(7)的具体方法为将带有标签信息的sar遥感训练数据输入深度编解码融合网络中，经过深度编码网络获得图像特征提取结果，通过融合模块和解码模块对所提取特征进行逐像素二分类处理，通过损失函数对结果进行反向传输优化，从而获得最优化模型。
63.应用实例
64.参照图1和图2，对本发明实现的具体步骤做进一步的描述。
65.基于深度编解码融合网络的sar遥感图像水域分割方法，包括如下步骤：
66.步骤1，构建数据集：搜集聚束模式下高分三号卫星sar影像数据共100 景，单景尺寸不低于10k
×
10k像素，分辨率优于10米；
67.步骤2，训练数据标注：读入训练数据集中sar遥感图像，标注出图像中水域位置信息，获得标签集；
68.步骤3，数据增强处理：对小批量原始输入图像进行样本增强处理，其中主要涉及的处理方法有：旋转、平移、缩放、灰度变换等常规增强策略以及mosaic 增强策略，经过增强处理后，样本空间从上百景增广至上万景，可满足网络训练需求，其中，mosaic数据增强方法随机将4张输入图像进行缩放拼接，形成1 景增强图像；
69.步骤4，构建深度编码网络：堆叠多组卷积、池化、激活层构建深度编码网络结构，该网络由特征提取网络和由空洞卷积构成的特征金字塔网络模块构成，特征提取网络负责对图像中水域特征进行提取和学习，由空洞卷积构成的特征金字塔网络模块作用为增加所提取高维特征图的上下文信息概括能力，其中，各网络具体构建如下；
70.第1步，构建第一阶段深度编码网络：该网络由三个残差网络模块构成，每个残差网络模块的主干支路采用采用3个深度分离卷积层，卷积层的结构为4 维向量，前两维表示卷积核的尺寸，第三维表示采用卷积核的个数，最后一维表示卷积核的步长，跨层连接支路则采用1个常规卷积层对输入特征图做尺寸降维、通道升维处理，保证卷积后的特征图维度
与主干支路输出特征图维度一致；
71.第2步，构建第二阶段深度编码网络：该网络由4个相同的分离卷积模块组成，每个分离卷积模块由基于残差连接的3个深度可分离卷积层组成，为了提高各分离卷积模块之间的特征映射关系，本发明提出了基于密集连接的分离卷积网络，该网络则将所有前层网络模块的输出特征图做通道并联，并将并联后的特征图作为下层网络输入；
72.第3步，构建第三阶段深度编码网络：该网络包含2个深度分离卷积模块，第1个卷积模块与(3a)中描述的残差模块结构类似，采用3个深度可分离卷积层，跨层连接支路则采用1个常规卷积层；第2个卷积模块联合深度可分离卷积层和扩张卷积层，扩张卷积的扩张率依次为(1,2,4)，另外，第2个分离卷积模块的各层间不采用残差连接，而是直接采用级联方式；
73.步骤5，构建深度解码网络：所述的深度解码网络包括融合模块和解码网络模块，所述的融合模块用于对不同分辨率特征图进行融合，解码网络模块用于解码输出网络预测的水域位置信息；
74.特征提取网络和由空洞卷积构成的特征金字塔网络模块均与融合模块相连，形成深度编解码融合网络模型；
75.步骤(5)中操作步骤为：对特征提取网络构建的第二阶段深度编码网络提取的特征图作为低维特征输入，通过由空洞卷积构成的特征金字塔网络模块对第三阶段深度编码网络提取的特征图进行卷积处理，得到与第二阶段深度编码网络提取的特征图相同尺寸的新特征图，将该特征图作为高维特征输入，将两个维度特征通过融合模块进行通道累加以构建深度解码网络。
76.第1步，利用构建的第二阶段深度编码网络提取低维特征图，并对所提取特征图求卷积以降低特征图的通道个数；
77.第2步：通过第三阶段深度编码网络提取特征图，并采用由空洞卷积构成的特征金字塔网络模块对所提取特征图进行卷积，获得与第二阶段深度编码网络提取的特征图相同尺寸的多组特征图，本实施例设置为3组；
78.第3步：采用通道维度叠加的方式对特征提取网络提取的特征图和特征金字塔网络模块输出的特征图进行并联，并采用卷积对合并后的特征图进行特征提取和通道维度降维，获得最终特征图；
79.第4步：最后利用双线性差值对第3步获取的特征图进行4倍上采样，获得与输入图像尺寸相同的特征图，并通过softmax函数对特征图中每一个像素点进行判断以确认该像素点是否为水域像素(softmax值小于0.5，则为非水域，标记为0；值大于0.5，则为水域像素点，标记为1)，即可获得最终的分割结果；
80.步骤6，构建编解码网络损失函数：采用交叉熵损失函数作为优化的目标函数，并依据水域分割实际任务需求，将损失函数输出节点设置为2类，目标函数如下式所示：(没有公式)
[0081][0082]
其中，m为类别数量，n为样本数量，l为交叉熵损失目标函数， y
ic
为符号函数(0或者1)，p
ic
为观测样本i属于类别c的预测概率。
[0083]
步骤7，模型训练与验证：：将训练数据集和标签集输入到搭建好的深度编解码融合网络模型中，训练该分割网络，得到训练m代的网络模型架构，并保存训练最优的模型参数；
[0084]
步骤8，测试深度编解码融合网络模型：加载最优模型参数，设置网络参数，利用深度编解码融合网络对输入图像进行处理，获得标签信息，最后将标签信息对应至待分割sar影像，获得水域图像的分割结果；
[0085]
步骤9，根据需求，对分割结果进行保存或输出。
[0086]
下面结合仿真实验对本发明的效果做进一步的说明：
[0087]
1.仿真实验条件：
[0088]
本发明的仿真实验的硬件平台为：处理器为intel i7 4710hq cpu，主频为 2.5ghz，内存8gb，显卡为nvidia gtx 2080gpu，内存12gb。
[0089]
本发明的仿真实验的软件平台为：ubuntu 16.04。
[0090]
2.仿真内容及其结果分析：
[0091]
本次仿真实验所有数据为实际遥感数据，以高分三号卫星聚束模式数据为主，分辨率为1米，本发明方法处理1景10000
×
10000像素的图像平均用时5秒，具有较高的时效性，图3和图4为从采集的两景高分三号卫星数据中截取的局部区域，图像尺寸为4096
×
4096像素。
[0092]
从图5和图6可见，本发明sar水域提取方法对于多种复杂场景均具有较好的提取效果，提取精度高、处理效率高，具有较好的实用价值，通过实验对比本发明技术相比目前传统基于canny的边缘分割方法和区域生长法分割方法分割准确率分别提高30％和25％。
[0093]
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。