一种基于遥感影像的水体超分辨率提取模型的制作方法

1.本发明涉及地表水体监测技术领域，具体是一种基于遥感影像的水体超分辨率提取模型。


背景技术：

[0002] 遥感以其覆盖面积广、监测频率高、数据获取速度快等优点，已经成为地表水体监测的重要手段。基于遥感影像进行地表水体提取和监测具有高效、快捷的优点。空间分辨率作为衡量遥感影像质量的重要指标，决定了水体提取的精度。在众多遥感数据中，sentinel-2、landsat 8/9等中、低空间分辨率遥感数据，由于数据更新快、获取方式便捷且免费等优点，被广泛应用于地表水体监测研究及生产应用中。然而，由于空间分辨率的限制，这些数据中普遍存在混合像元，混合像元是指像元所覆盖的地表区域内地物类型不唯一的像元，混合像元导致的像元内部地物空间不确定性问题，使得中、低空间分辨率遥感数据在水体信息提取精度上，相较于高空间分辨率遥感数据，存在较大不足。
[0003]
遥感影像超分辨率制图以较低空间分辨率遥感影像作为输入，输出更高空间分辨率的地物分类栅格图，是一种旨在解决混合像元内部地物空间不确定性问题的技术。近年来，随着深度学习的快速发展，并在各个领域得到成功应用，基于深度学习的图像超分辨率重建技术（参见引用文献1）为解决混合像元问题提供了一个新的思路，因此，基于深度学习的超分辨率制图得到学者们的关注和研究。
[0004] ling(2020)基于vdsr网络，以模拟低分辨率水体丰度图作为输入，通过残差学习建模低分辨率水体丰度图与高分辨率水体分类图之间的非线性关系，得到了高分辨率水体分类图（参见引用文献2）。该方法采用模拟数据作为训练数据，以高分辨率水体分类标签图作为基础数据，通过空间退化得到低分辨率水体丰度图，并通过添加噪声的方法模拟由真实遥感影像经过混合像元分解得到的水体丰度图。然而，模拟数据很难精确表达真实影像的细节信息，采用模拟数据训练网络往往无法有效地建模真实低分辨率影像与高分辨率水体分类图之间的非线性关系；与此同时，在推理阶段，该方法会首先利用多端元混合分析法对低分辨率遥感影像进行混合像元分解，得到低分辨率水体丰度图，再输入vdsr网络提取水体，这种two-stage的方法较为繁琐，不够简洁，无法实现端到端的地表水体提取。此外，由于训练样本的标签数据一般是由人工标注得到，在人工标注的过程中，水体像元的漏分、错分等误差不可避免，如图1所示；样本标签存在误差，会使得网络在训练中会学习到错误的信息，降低模型非线性拟合的效果。


技术实现要素：

[0005]
针对上述问题，本发明提出了一种基于遥感影像的水体超分辨率提取模型，该模型包含高分辨率网络hrnet（参见引用文献3）、金字塔池化网络pspnet（参见引用文献4）和超分辨率网络vdsr三个模块，以低分辨率遥感影像作为输入，直接学习低分辨率原始影像与高分辨率水体分类图标签之间的非线性关系，最终输出高空间分辨率水体分类栅格图，
实现端到端的水体超分辨率提取。
[0006]
本发明保护一种基于遥感影像的水体超分辨率提取模型，依次由高分辨率网络hrnet、金字塔池化网络pspnet和超分辨率网络vdsr构成；hrnet用于对输入的低分辨率遥感影像进行特征提取；pspnet用于将hrnet提取到的特征图进行整合，输出多尺度复合特征图，再经由softmax分类器和上采样处理，输出高分辨率水体类别概率图；vdsr用于建模高分辨率水体类别概率图与高分辨率参考残差图之间的非线性关系，输出高分辨率预测残差图，其中高分辨率参考残差图由高分辨率水体分类标签图与高分辨率水体类别概率图作差得到，高分辨率水体分类标签图由google earth数据经过支持向量机分类以及后处理得到，其中水体像元值为255，非水体像元值为0。
[0007]
进一步的，样本数据集由低分辨率遥感影像image和高分辨率水体分类标签label构成；image由sentinel-2数据经过预处理得到，sentinel-2数据包含四个波段，分别是蓝波段、绿波段、红波段和近红外波段，空间分辨率10m，预处理包括辐射校正、投影转换、波段融合；label由google earth数据经过支持向量机分类以及后处理得到，为单波段二值图像，其中水体像元值为255，非水体像元值为0，空间分辨率2m，后处理包括剔除零碎噪声图斑，修正水体提取边界；在构建样本数据集的同时，对sentinel-2数据和google earth数据进行空间配准，然后批量裁剪处理后的两种数据，得到一一对应的影像对，其中低分辨率遥感影像分块大小为64
×
64
×
4，高分辨率水体分类标签分块大小为320
×
320
×
1。
[0008]
进一步的，水体超分辨率提取模型的代价函数为联合代价函数；其中，表示交叉熵损失函数，具体是高分辨率水体类别概率图与高分辨率水体分类标签之间的交叉熵损失，表示加权梯度损失函数，，其中表示由原始低分辨率遥感影像上采样得到的高分辨率遥感影像中第i个像元值，表示均值滤波器，表示高分辨率水体类别概率图中第i个像元值，表示高分辨率水体分类标签图中第i个像元值，n表示图像总像元数，表示sobel算子，表示膨胀运算，表示权重系数，表示的l1范数；表示l2损失函数，具体是预测残差图与参考残差图之间的l2损失函数。
[0009]
本发明还保护一种地表水体超分辨率提取方法，通过上述基于遥感影像的水体超分辨率提取模型进行地表水体超分辨率提取，具体操作为：将低分辨率遥感影像输入训练好的水体超分辨率提取模型，过程中网络暂存高分辨率水体类别概率图，将其与模型输出的高分辨率预测残差图做和，即得到高分辨率水体分类图。
[0010]
本发明的有益效果：
1、采用one-stage方法，将现有技术中two-stage方法中的混合像元分解和vdsr网络超分辨率重建结合起来，直接输入原始低分辨率遥感影像，输出高分辨率水体分类图，实现端到端的高效率重建；2、模型输入为真实的低分辨率遥感影像，没有单独的vdsr网络重建训练，从而避免采用模拟水体丰度数据训练vdsr网络，从而避免了模拟数据带来的重建模块的失真问题；3、模型引入加权梯度损失函数，可以有效减小由于人工标注导致的错误标签的影响，保证输出特征更多地附着于水体边界。
附图说明
[0011]
图1是样本标注错误示例图；图2是模型结构图；图3是数据集构建流程图；图4是模型训练流程图；图5是模型推理流程图。
具体实施方式
[0012]
下面结合附图和具体实施方式对本发明作进一步详细的说明。本发明的实施例是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显而易见的。选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。
[0013]
一种基于遥感影像的水体超分辨率提取模型，如图2所示，依次由高分辨率网络hrnet、金字塔池化网络pspnet和超分辨率网络vdsr构成；hrnet用于对输入的低分辨率遥感影像进行特征提取；pspnet用于将hrnet提取到的特征图进行整合，输出多尺度复合特征图，再经由softmax分类器和上采样处理，输出高分辨率水体类别概率图；vdsr用于建模高分辨率水体类别概率图与高分辨率参考残差图之间的非线性关系，输出高分辨率预测残差图，其中高分辨率参考残差图由高分辨率水体分类标签图与高分辨率水体类别概率图作差得到，高分辨率水体分类标签图由google earth数据经过支持向量机分类以及后处理得到，其中水体像元值为255，非水体像元值为0。
[0014]
一、构建样本数据集（参照图3）样本数据集（即图3中的水体超分辨率提取数据集）由低分辨率遥感影像image和高分辨率水体分类标签label构成。
[0015] image由sentinel-2数据经过预处理得到，sentinel-2数据包含四个波段，分别是蓝波段、绿波段、红波段和近红外波段，空间分辨率10m；预处理包括辐射校正、投影转换、波段融合，可在snap软件中完成。
[0016] label由google earth数据经过支持向量机分类以及后处理得到，为单波段二值图像，其中水体像元值为255，非水体像元值为0，空间分辨率2m，后处理包括剔除零碎噪声
图斑，修正水体提取边界。
[0017] 在构建样本数据集的同时，在envi平台中对sentinel-2数据和google earth数据进行空间配准，使得两种影像上同一地物之间的地理坐标精确匹配，其中envi是一个完整的遥感图像处理平台，应用汇集中的软件处理技术覆盖了图像数据的输入/输出、图像定标、图像增强、纠正、正射校正、镶嵌、数据融合以及各种变换、信息提取、图像分类、基于知识的决策树分类、与gis的整合、dem及地形信息提取、雷达数据处理、三维立体显示分析。
[0018] 最后，批量裁剪处理后的两种数据，根据空间配准得到一一对应的影像对，其中低分辨率遥感影像分块大小为64
×
64
×
4，高分辨率水体分类标签分块大小为320
×
320
×
1。
[0019]
二、模型训练（参照图4）模型训练过程为：1、将低分辨率的sentinel-2遥感影像输入hrnet进行特征提取，再将提取到的特征图输入pspnet模块进行特征整合，输出多尺度复合特征图；然后通过softmax分类器得到低分辨率水体类别概率图，再通过5倍上采样，得到高分辨率水体类别概率图。
[0020] 2、将高分辨率水体分类标签与步骤1得到的高分辨率水体类别概率图作差，得到参考残差图，以此作为vdsr模块的学习目标，然后将高分辨率水体类别概率图输入vdsr模块进行训练，输出预测残差图。
[0021] 3、计算预测残差图与参考残差图之间的l2损失 ，计算高分辨率水体分类标签与高分辨率水体类别概率图之间的交叉熵损失 ；将低分辨率遥感影像5倍上采样后，计算其与高分辨率水体类别概率图之间的加权梯度损失 ，以保证hrnet输出特征能够更好地附着于水体边界，消除错误标签的影响。
[0022] 加权梯度损失 ，其中表示由原始低分辨率遥感影像上采样得到的高分辨率遥感影像中第i个像元值，表示均值滤波器（用于去除图像中的噪声），表示高分辨率水体类别概率图中第i个像元值，表示高分辨率水体分类标签图中第i个像元值，n表示图像总像元数，表示sobel算子（用于求取图像梯度），表示膨胀运算，表示权重系数（通常设置为2），表示的l1范数；表示l2损失函数，具体是预测残差图与参考残差图之间的l2损失函数。
[0023] 4、网络优化：计算联合代价损失 ，采用adam优化器，进行反向传播，更新网络权重；在一个epoch的迭代之后（一个epoch意味着训练集中每一个样本都参与训练了一次），以f1得分、准确率accuracy、召回率recall和精确率precision四个指标作为模型评价指标，对每个epoch训练得到的模型进行评价，得到最优模型，即为训练好的水体超分辨率提取模型。
[0024]
三、模型推理（参照图5）将低分辨率遥感影像输入训练好的水体超分辨率提取模型，过程中网络暂存高分辨率水体类别概率图，将其与模型输出的高分辨率预测残差图做和，即得到高分辨率水体分类图。
[0025]
显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域及相关领域的普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。
[0026]
引用文献列表：引用文献1，kim j, lee j k, lee k m. accurate image super-resolution using very deep convolutional networks[c]//proceedings of the ieee conference on computer vision and pattern recognition. 2016: 1646-1654。
[0027] 引用文献2，ling f, boyd d, ge y, et al. measuring river wetted width from remotely sensed imagery at the subpixel scale with a deep convolutional neural network[j]. water resources research, 2019, 55(7): 5631-5649。
[0028] 引用文献3，wang j, sun k, cheng t, et al. deep high-resolution representation learning for visual recognition[j]. ieee transactions on pattern analysis and machine intelligence, 2020, 43(10): 3349-3364。
[0029] 引用文献4，zhao h, shi j, qi x, et al. pyramid scene parsing network[c]//proceedings of the ieee conference on computer vision and pattern recognition. 2017: 2881-2890。