一种基于语义分割模型的高分遥感影像水体提取方法

1.本发明涉及遥感影像技术领域，特别是涉及一种基于语义分割模型的高分遥感影像水体提取方法。


背景技术：

2.水体信息的遥感提取对城市规划、灾害防控、土地开发、农作物生长等与人类生产生活方面有着十分重要的影响，其中水体信息在水资源调查、洪涝灾害评估、水环境保护和水体动态变化分析等方面发挥着举足轻重的作用。
3.当前水体遥感提取由于受遥感影像空间分辨率的限制、地形地貌或人为因素干扰导致“同物异谱”、“异物同谱”现象发生，水体提取结果出现自动化程度低、精度差等问题，难以及时准确的提取水体信息，对长时间序列观测水体信息提出了巨大挑战。随着我国高分系列遥感卫星组网，遥感影像空间分辨率、光谱分辨率和时间分辨率得到大幅提高，因此应用高分辨率遥感手段进行水体信息提取显得尤为重要，为精确高效地提取水体信息提供了一种可行的技术手段。
4.水体遥感提取算法经历了经典的阈值分割法、水体指数法、基于面向对象法和机器学习算法的发展历程，随着水体提取算法的逐渐深入，经典的水体提取方法难以满足精度上和效率上的要求，亟待寻求一种新技术以求解决快速、高精度的生产要求成为当前研究的一个新方向和难题。
5.随着我国高分辨率遥感技术的进步，遥感数据种类和数量日益丰富，影像质量和分辨率得到了明显的提高，如何在大数据背景下进行有效处理和分析信息是遥感技术应用的关键。基于卷积神经网络的遥感影像语义分割方法能够有效地提取水体信息，在效率和精度上均取得了较为卓越的效果。然而，基于遥感影像的语义分割仍面临着巨大挑战，下采样过程中易造成图像细节信息丢失问题；网络结构的加深以及模型参数的扩大，带来的是计算量非常复杂，对计算机硬件性能要求也越来越高；且现有满足需求条件的公开数据集数量极少等问题。因此如何选取合适的网络结构，减少计算量提高计算性能，探索精度高、泛化性能好的网络模型是当前深度学习语义分割亟待解决的问题。


技术实现要素：

6.本发明实施例提供了一种基于语义分割模型的高分遥感影像水体提取方法，可以解决现有技术中存在的问题。
7.本发明提供一种基于语义分割模型的高分遥感影像水体提取方法，包括以下步骤：
8.获取遥感影像数据；
9.对所述遥感影像数据进行水体光谱特征提取；
10.将所述水体光谱特征与hh和hv双极化模式特征进行特征组合，构建水体样本数据集；
11.将deeplabv3+网络模型中的xception骨干网络替换为改进后的aligned xception骨干网络，构建改进的deeplabv3+网络模型，aligned xception骨干网络具体包括以下改进：
12.增加网络层数，使网络变深，用于提取图像中丰富的语义信息；
13.采用stride＝2的深度可分离卷积替换掉原有xception网络entry flow中所有stride＝2的最大池化层；
14.在3
×
3深度可分离卷积后通过增加bn和relu激活函数，在middle flow中重复16次替换掉原来的8次操作；
15.根据所述水体样本数据集对改进的deeplabv3+网络模型进行语义分割训练，对改进的deeplabv3+网络模型中的参数进行调整，得到最优deeplabv3+网络模型；
16.通过所述最优deeplabv3+网络模型对水体信息进行提取。
17.优选的，所述改进的deeplabv3+网络模型中的参数调整包括设置不同的损失函数和学习率。
18.优选的，所述遥感影像数据为高分六号卫星gf-6遥感影像数据，在水体光谱特征提取之前对所述gf-6遥感影像数据进行预处理；所述gf-6遥感影像预处理包括辐射定标、大气校正、正射校正和影像融合。
19.优选的，对预处理后的所述gf-6遥感影像数据进行重采样，使得gf-6和gf-3的空间分辨率相同。
20.优选的，所述双极化模式为高分三号卫星gf-3的hh和hv双极化模式。
21.优选的，所述水体光谱特征为nir波段。
22.优选的，将所述水体光谱特征与hh和hv双极化模式特征进行特征组合，构建水体样本数据集具体包括以下步骤：
23.对水体光谱特征与hh和hv双极化方式的特征组合进行水体形态特征分析，构建影像数据集；
24.根据所述影像数据集提取粗水体信息；
25.对所述粗水体信息进行精修；
26.根据精修后的所述粗水体信息得到水体和非水体信息的面图层；
27.将所述面图层叠加至影像数据集上，生成栅格标签图像；
28.对所述栅格标签图像进行批量化剪裁得到样本标签子集，根据所述样本标签子集对影像数据集进行剪裁得到水体样本影像集；
29.对剪裁后的所述样本标签子集进行筛选，制作水体样本标签集；
30.对所述水体样本影像集和水体样本标签集进行扩充，最终得到水体样本数据集。
31.优选的，将所述水体样本数据集按照6：2：2的比例来分割样本数据集，并分别赋予训练集、验证集和测试集。
32.与现有技术相比，本发明的有益效果是：
33.本发明首次提出了联合gf-3sar影像和gf-6光学遥感影像，制作水体样本数据集，并通过替换改进的骨干网络、损失函数类型及设置不同的学习率值，寻找不同超参数设置组合下的最佳网络性能，实现deeplabv3+网络的改进及优化，对于复杂背景下水环境问题研究提供了强有力的技术支持和数据支撑。通过从水体提取类型、结果精度和效率等多个
角度与经典遥感水体提取方法阈值分割法、ndwi水体指数法、svm分类法等进行对比，本发明方法能够准确地识别出研究区域内的大型水体(如长江流域)、中型水体(河流、湖泊等)和小型水体(农田沟渠等)信息，且各方面性能均高于经典的水体提取方法，具有显著优势。
附图说明
34.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
35.图1为本发明的整体流程框架图；
36.图2为本发明的deeplabv3+语义分割网络图；
37.图3为本发明的改进后的aligned xception网络结构图；
38.图4(a)为本发明的方法对芜湖市水体提取结果图；
39.图4(b)为阈值分割法对芜湖市水体提取结果图；
40.图4(c)为ndwi水体指数法对芜湖市水体提取结果图；
41.图4(d)为svm分类法对芜湖市水体提取结果图；
42.图5(a)为本发明的方法对长江流域水体提取结果图；
43.图5(b)为阈值分割法对长江流域水体提取结果图；
44.图5(c)为ndwi水体指数法对长江流域水体提取结果图；
45.图5(d)为svm分类法对长江流域水体提取结果图；
46.图6(a)为本发明的方法对河流、湖泊等中型水体提取结果图；
47.图6(b)为阈值分割法对河流、湖泊等中型水体提取结果图；
48.图6(c)为ndwi水体指数法对河流、湖泊等中型水体提取结果图；
49.图6(d)为svm分类法对河流、湖泊等中型水体提取结果图；
50.图7(a)为本发明的方法对农田、沟渠等细小水体提取结果图；
51.图7(b)为阈值分割法对农田、沟渠等细小水体提取结果图；
52.图7(c)为ndwi水体指数法对农田、沟渠等细小水体提取结果图；
53.图7(d)为svm分类法对农田、沟渠等细小水体提取结果图。
具体实施方式
54.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
55.参照图1-7，本发明提供了一种基于语义分割模型的高分遥感影像水体提取方法，包括以下步骤：
56.第一步：获取gf-3遥感影像数据、gf-6遥感影像数据和dem数据。
57.本发明从中国资源卫星应用中心获取2景gf-3精细条带2成像模式fsii数据和5景gf-6pms传感器数据，其中gf-3fsii模式数据采用的是hh和hv双极化方式，影像空间分辨率
达10m，幅宽达100km。gf-6pms数据单波段与多波段数据融合后空间分辨率可达2米，幅宽达90km。gf-3fsii模式数据成像时间为2020年7月24日。gf-6pms影像获取时间集中在2020年9月4日前后，所选影像成像质量较好，含云量基本保持在5％以下，表1为获取遥感影像的产品号、中心经纬度和成像时间。
58.表1遥感影像数据基本信息
[0059][0060][0061]
本发明从地理空间数据云所获取数字高程模型数据(dem)，幅宽1
°×1°
，数据分辨率为30m。
[0062]
对gf-6遥感影像数据进行预处理。高分六号影像预处理流程包括：辐射定标、大气校正、正射校正和图像融合。
[0063]
辐射定标将图像的像元亮度值转换成能够反映大气顶层的表观反射率的一个过程。基于envi中国国产卫星插件打开gf-6数据，可自动读取影像元数据文件中的定标参数，去除遥感影像中因传感器自身造成的误差。
[0064]
大气校正是去除传感器接收到的总辐射亮度中所涵盖的大气吸收、散射、反射等引起的辐射误差，将大气顶层的表观反射率转换成地表真实反射率的过程。本发明采用envi5.3的flaash大气校正模块，可自动从影像元数据文件中获取，传感器类型为unknown-msi，传感器高度设置645km,成像区域平均高度是基于裁剪的dem数据经过统计均值获取，像元大小8m，大气模型是由获取影像的经纬度信息和研究区域选取。
[0065]
正射校正去除因地形、传感器等原因造成的几何畸变影响，生成平面正射影像的过程。本发明对经大气校正后的gf-6全色和多光谱影像，使用30master gdem数据，根据91卫图中空间分辨率达0.5m的天地图无偏移影像，选取13个以上的控制点分别进行正射校正，且保证校准误差控制在1个像元以内。
[0066]
图像融合是指将两幅或多幅涵盖同一目标具有一定冗余或互补特征的影像数据按照特定的规则，进行融合生成一幅新图像，且融合图像能够综合各个单幅图像所提供的信息，提升图像的空间分辨率、光谱分辨率，形成对目标更清晰、完整、准确的信息描述。本发明采用envi5.3中“nndiffuse pan sharpening”的图像融合方法，将gf-6pms传感器2m具有高空间分辨率的全色波段影像和8m的多光谱数据影像，经融合后得到空间分辨率2m且含有四个波段的多光谱影像，融合后的影像不仅能够提高空间分辨率，同时还能够很好的保留多光谱数据的纹理信息和光谱信息，能够达到融合影像的最大优势。
[0067]
由于gf-3fsii成像模式的空间分辨率为10m，gf-6pms影像融合后的数据空间分辨
率为2m，因此需要对gf-6影像数据进行重采样，将空间分辨率为2m的影像数据重采样到10m。本发明利用envi5.3中的“resize data”工具采用三次卷积内插法将空间分辨率为2m的gf-6pms遥感影像数据重采样到空间分辨率为10m的数据。
[0068]
第二步：对预处理后的gf-6遥感影像数据进行水体光谱特征提取。
[0069]
对预处理后的gf-6遥感影像数据进行水体光谱特征提取。数学代数法通常是基于数值运算提取图像中的光谱特征信息，常用算法包括灰度值统计法、水体指数法和阈值法，具体见表2，其中b为蓝光波段的反射率，g为绿光波段的反射率，r为红光波段的反射率，nir为近红外波段的反射率，mir为中红外波段的反射率，sir为短波红外波段的反射率，n为阈值。
[0070]
表2常见水体指数归纳表
[0071][0072]
本发明基于gf-6pms遥感影像数据，利用水体的光谱曲线特征，提取影像的近红外波段(nir)作为本发明的水体光谱特征。
[0073]
第三步：将水体光谱特征与gf-3的两种极化方式进行组合，合成3波段图像，得到特征组合sf+hh+hv，构建水体样本数据集。
[0074]
对组合方案按照水体的不同形态进行水体的空间几何形态特征分析，构建了特征组合的影像集，在图像语义分割网络训练过程中，需要将影像地物要素和对应的标签数据一致。基于arcgis、envi5.3、91卫图和python工具，对sf+hh+hv进行手工标注水体和非水体信息，制作样本标签数据。具体的实施步骤如下：
[0075]
(1)粗水体提取。由于这三种特征组合的影像集地理坐标均一致，各地物要素在影像中所在位置也相对一致，因此本发明以gf-3hv极化模式为底图使用arcgis软件对水体大致范围进行矢量化，矢量化得到水体的大致粗范围。
[0076]
(2)粗水体信息精修。将该矢量化粗水体范围导入91卫图软件中进行粗水体精修，利用历史无偏移天地图影像，选取与本发明影像获取时段一致或相近的时间，由于该影像
的分辨率可达到0.5米，因此可以通过目视解译达到粗水体精修的目的。
[0077]
(3)赋予水体和非水体属性类别信息。将91卫图中经过精修后的水体信息导入arcgis软件中，赋予水体类别的属性字段值为1。利用arcgis工具提取影像的边界信息，将所有的水体面合并为一个面，将边界信息与水体面信息进行裁剪，可得到非水体信息，赋予其属性字段值为0，使用arcgis的更新工具将水体信息更新于非水体信息上，即可得到包含水体和非水体信息的面图层。
[0078]
(4)进一步确认，完成栅格图像的生成。将上一步中得到的矢量面图层导入envi中，使面图层叠加在3种不同特征组合影像上，进一步确认水体标注的正确性，若标注无误，则利用arcgis中的“要素转面”工具将矢量面转换为tif栅格图像。栅格图像中属性字段值为1代表水体信息，0代表非水体信息。
[0079]
(5)批量化裁剪。由于卷积神经网络的输入通常要求是一张正方形影像，且本发明的影像数据集的空间分辨率为10m，因此利用编程语言python将制作的栅格标签图像进行批量化裁剪，裁剪成128
×
128大小的瓦片，同时对不同特征组合的遥感影像数据集进行对应方式裁剪，分别保存为实验一、实验二和实验三水体样本影像集。
[0080]
(6)对步骤(5)中裁剪得到的样本标签子集进行筛选，使得筛选后的每张样本标签子集上均含有水体信息，即属性值为1的标签样本，且包含各种特征形态的水体，从而完成水体样本标签集的制作。基于python编程语言，裁剪获取6119张128
×
128大小的影像样本和标签样本。
[0081]
本发明选择一定的数据扩增手段来扩充水体样本数据集，主要采用旋转和水平垂直翻转两种技术手段，增加样本中的噪声数据以提高模型的鲁棒性。按照6：2：2的比例来分割样本数据集，并分别赋予训练集、验证集和测试集。网络模型首先通过对训练集进行训练学习，从而进行数据拟合，而后通过验证集调整网络中的参数，从而控制网络结构的复杂性，最后利用测试集检验网络模型的性能，评估最终模型的泛化能力。
[0082]
第四步：构建改进的deeplabv3+网络模型。deeplabv3+语义分割网络通过利用上采样结构将输出的特征图尺寸恢复至原图像大小，同时通过将图像的底层特征与获得的高层语义特征进行特征融合来弥补空间位置信息丢失问题，提升语义分割边界信息的准确度。deeplabv3+语义分割网络如图2所示。
[0083]
编码区，即encoder部分，通过深度可分离卷积神经网络(dcnn)提取图像的初始特征，将提取的初始特征传输至带有空洞卷积的金字塔池化模块(atrous spatial pyramid pooling,aspp)，利用不同的膨胀卷积率提取图像的上下文信息，获取图像的多尺度特征图，最后经过1
×
1卷积层。encoder部分的主要目的是减少图像中的特征映射，提取图像中深层语义特征，包括多尺度上下文信息。
[0084]
解码区，即decoder部分，主要是将encoder部分输出的特征图经4倍上采样，与dcnn输出的底层特征图经1
×
1卷积降维后进行堆叠，再通过4倍上采样恢复图像的空间分辨率和空间位置信息。decoder部分的主要目的是通过上采样恢复图像的空间信息，从而能够捕获图像中清晰准确的目标边界信息。
[0085]
本发明对deeplabv3+网络模型中的骨干网络进行改进，xception(extreme inception)网络是deeplabv3+语义分割网络中的其中一种骨干网络，是基于inceptionv3网络结构的改进。inceptionv1采用3个尺寸大小为1
×
1、3
×
3、5
×
5的卷积核进行卷积运
算，经过3
×
3的最大池化操作，最终级联所有运算结果，并传递给下一个inception v1结构，该结构通过加入1
×
1卷积实现图像降维处理，并捕获输入图像中清晰的边界信息。
[0086]
aligned xception是在xception网络基础上进行的改进网络，体改进后的aligned xception网络结构如图3所示。首先增加了网络层数，使网络变深，旨在提取图像中丰富的语义信息；其次采用stride＝2的深度可分离卷积替换掉原有xception网络entry flow中所有stride＝2的最大池化层；最后在3
×
3深度可分离卷积后通过增加bn和relu激活函数，在middle flow中重复16次替换掉原来的8次操作，从而优化网络性能，提高网络分割精度。
[0087]
第五步：根据水体样本数据集对改进的deeplabv3+网络模型进行语义分割训练，对deeplabv3+网络模型中的参数进行调整，得到最优deeplabv3+网络模型。
[0088]
采用精度评价指标来评估网络性能，包括准确率(accuracy)、均交并比(mean intersection over union,miou)和频权交并比(frequency weighted intersection over union,fwiou)。accuracy是指像元被正确预测的数量占总像元数的比例，表示像元正确分类的概率。accuracy值越大表示预测值与真实值逼近的程度越大，即网络精度越高。具体公式为：
[0089][0090]
iou是指真实值与预测值交集与并集的比值,当iou值大于0.5时代表网络的分割性能良好
[77]
。miou是iou中所有类交并比的均值。
[0091][0092]
miou表示模型预测值与真实值的逼近程度，miou取值范围为[0,1]，其中值越大，表示模型预测的结果越准确。
[0093]
fwiou是通过对图像中每一类出现的频率赋予相应的权重，将权重与每一类的iou相乘进而求和。
[0094][0095]
本发明采用改进的骨干网络对特征组合方案的数据集进行实验，比较改进后的aligned xception骨干网络对网络分割精度地影响。对deeplabv3+网络模型中的参数进行调整，发现deeplabv3+网络模型中学习率为0.006，损失函数选择交叉熵损失函数ce时accuracy、miou和fwiou3个指标值均最高，模型分割效果最准确，水体信息分割最好。
[0096]
第六步：通过最优deeplabv3+网络模型对水体信息进行提取。
[0097]
分别对本发明基于改进后的aligned xception骨干网络的deeplabv3+模型、阈值分割法、ndwi水体指数法和svm分类法的水体提取，并在准确率、均交并比、频权交并比3个评估指标以及耗费时长进行比较。
[0098]
如图4为芜湖市水体提取结果对比图，由该图可知，以上四种方法均可提取出芜湖
市水体信息的整体轮廓，但在局部细节水体信息的提取上各有差异，本发明主要从长江流域大型水体、河流湖泊等中型水体、农田沟渠等细小水体三种类型角度进行对比分析。从图5看出，在长江流域大型水体信息的提取上，以上四种方法均可较为准确地提取水体区域。但在该图中有建筑物的干扰，经典的水体提取方法受建筑物的影响导致在提取水体信息时，间或亦会提取部分建筑物等信息，而本发明能够有效避免其干扰，所提取的水体信息更为准确。由图6可以看出，对于中型水体而言，在水体提取的细节上差异明显。在图中央河流弯曲处，阈值分割法和svm分类法虽然能够准确提取水体，但其结果存在大量背景地物信息，而ndwi水体指数法在河流区域存在部分缺失，本发明方法能够相对完整的提取河流水体，但会存在部分空洞现象。对于农田沟渠等细小水体的提取，由图7可看出，图像中存在农田坑塘等细小水体信息以及在图像上部存在建筑群等地物，ndwi水体指数法和svm分类法的提取结果水体缺失现象严重，提取结果中河流出现“断流”，阈值分割法在细小水体信息的提取上受建筑干扰严重，导致提取结果图像中左下角即上部出现大量干扰信息，相对而言，本发明方法能够有效提取农田沟渠等细小水体信息。
[0099]
本发明分别利用准确率accuracy、均交并比miou和频权交并比fwiou3个评估指标对水体提取结果的精度进行对比分析，结果如表3所示。
[0100]
表3 4不同方法精度对比
[0101][0102]
由上表可知，本发明方法在accuracy、miou和fwiou3个评估指标上均具有明显的优势，由于本发明最终建立的3个水体样本数据集均采用10m的空间分辨率，由上述大型、中型和细小型水体提取信息结果对比可知，本发明方法、阈值分割法、ndwi水体指数法和svm分类法对于大型水体提取均具有较好的精度，但对于中小型水体提取的结果各有差异，尤其是农田、沟渠等细小型水体，在影像上仅表示为几个像元，因此在提取该类型水体信息时，常因分辨率的限制导致无法准确提取水体边界轮廓，利用ndwi水体指数法因存在混合像元而无法准确提取水体边界信息，同时由于图像中存在“异物同谱”导致阈值分割法无法准确区分水体和某些背景地物信息。svm分类法由于需要人工选取样本，且由于图像中分辨率较低，人工所选样本并不能保证是纯净像元，因此在利用svm分类法提取水体结果并不理想。
[0103]
在当前大数据时代背景下，精确、高效地提取水体信息已成为当前主流发展趋势。为了检测本发明实验中所采用的四种方法的效率，通过对本发明方法、阈值分割法、ndwi水体指数法和svm分类法在水体信息提取过程中人工记录计算时间，并根据人为参与实验过程的程度，实现本发明的效率评价对比分析，见表4。
[0104]
表4不同方法效率对比
[0105][0106]
由表7可见，本发明方法在测试集上的耗费时长要低于ndwi水体指数法和svm分类法，但要高于阈值分割法。阈值分割法、ndwi水体指数法和svm分类法在提取过程中均需人工参与，其中ndwi水体指数法需要进行图像波段计算，且阈值分割和ndwi水体指数法均需人工不断调试阈值，svm分类法则需要人工选取水体和非水体的样本数据进行训练，提取水体信息。而本发明利用卷积神经网络对大量的样本数据进行学习提取深层特征，整个网络训练过程中无需人工参与，卷积神经网络可自行模拟出最优网络参数，对于测试集数据可自动完成水体信息的提取。
[0107]
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
[0108]
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。