基于光学遥感影像和SAR影像的图像去云方法及系统

本发明涉及遥感影像，尤其涉及一种基于光学遥感影像和sar影像的图像去云方法及系统。

背景技术：

1、随着现代遥感技术的不断发展，人们可以获取到的遥感影像数据量迅速增长，遥感成像技术因为能够周期性地实时得到地面的物体信息，而成为了人们关心且大力研究的方向。然而，由于天气及气候等因素的影响，特别是大气中的云层的影响，通过遥感卫星拍摄得到的光学遥感影像往往会因为对云层的穿透能力较弱而导致影像被云层干扰，一般会表现为云层对地物的遮挡以及由于云层存在而导致的云阴影区域对地物特征的表达产生的干扰，进而影响遥感影像的加工和使用。因此，去除遥感影像中的云层和云阴影区域以恢复遥感影像中被遮盖的信息，成为了遥感影像处理中的一个热点研究领域。

2、合成孔径雷达(synthetic aperture radar，sar)具备全天时、全气候、穿透云雾等多种特点，但sar影像存在相干斑噪声等问题，影像本身难以解译，将光学影像与sar影像数据融合可以实现不同类型传感器成像之间的信息互补，可以更好地为遥感影像的下游任务提供支持。针对结合sar影像进行遥感影像去云的研究(以下简称为光学sar影像融合去云)，目前的方法主要分为两类，一类是基于机理模型的传统融合方法，另一类是基于深度学习的方法。

3、传统融合方法包括基于空间域的融合和基于变换域的融合。基于空间域的融合是一种简单而快速的融合方法，直接对像素进行操作获取融合结果。主要有his、brovey、pca、gs、加权平均法等方法。而变换域方法作为影像融合领域最流行的算法之一，近年来也发展迅速，主要包含多尺度变换和基于模型方法，多尺度变换包括金字塔变换、小波变换、脊波变换、剪切波变换、曲波变换、nsct、nsst等，模型方法包括脉冲耦合网络(pcnn)、稀疏表示等。空间域方法简单、直观、快速、但简单的叠加运算的融合规则无法保证融合精度。对于变换域算法，由于计算成本的限制和算法实现的困难性，算法难以落地。近年来光学sar影像融合去云的研究逐渐转向了深度学习方向。

4、对于光学sar影像融合去云任务，目前卷积神经网络和生成对抗网络是应用最为广泛的深度学习方法。为了克服传统方法中人工提取特征的困难和sar影像难以彩色化等问题，陈克明等利用cnn实现了光学遥感影像和sar遥感影像的自动融合；zhang等在alexnet网络基础上训练了13层的网络融合提取影像的特征，解决了需要手动提取特征的问题，更好地实现了影像智能化融合。schmitt等利用自动编码器以及混合密度网络，从已配准的sentinel-2影像集中训练样本学习sentinel-1影像进行彩色化，进而进行影像解译。meraner等将sar图像于输入的光学影像串联在一起，然后使用深度残差神经网络来预测目标的无云光学图像。

5、为了进一步提高影像融合的质量，生成对抗网络被广泛应用于光学sar融合去云任务。goodfellow等提出的生成对抗网络(gan)是深度学习领域中最受欢迎的网络之一。grohnfeldt等提出一种sar-opt-cgan条件生成对抗网络结构，专门用于处理sar和多光谱影像的融合，生成对抗式网络的出现为光学和sar影像融合带来了机遇，大量研究也证明了影像翻译进行信息融合的可行性，并展示了深度学习方法在影像融合中的潜力，但生成对抗网络对特殊地物和纹理信息无法进行很好的转换，仍然面临着许多瓶颈。

6、近年来transformer结构的出现，为cnn卷积的局部感知特性提供了一种可行的补充方式，fang等人设计了一种基于全局-局部融合的云去除方法(glf-cr)，引入了自注意力机制以建立全局依赖关系，在sar和多光谱影像的融合去云任务中表现良好，glf-cr的成功证明了遥感云去除任务中全局信息的重要性。但以上方法的实际去云效果仍然具有结果清晰度太低、地物细节纹理丢失严重、云区中心恢复结果失真等关键性的问题。

技术实现思路

1、本发明提供一种基于光学遥感影像和sar影像的图像去云方法及系统，用以解决现有技术中针对遥感融合影像的去云方法存在抗干扰效果不佳，处理结果精度不高的缺陷。

2、第一方面，本发明提供一种基于光学遥感影像和sar影像的图像去云方法，包括：

3、获取sar影像样本数据和多光谱遥感影像样本数据，对所述sar影像样本数据和所述多光谱遥感影像样本数据进行数据集处理得到光学sar影像融合去云数据集；

4、构建光学sar影像深度协同卷积融合遥感影像去云神经网络，将所述光学sar影像融合去云数据集划分为训练数据集和测试数据集，采用所述训练数据集对所述光学sar影像深度协同卷积融合遥感影像去云神经网络进行训练，得到光学sar影像去云模型；

5、将待处理多光谱遥感影像和对应相同位置的sar影像输入所述光学sar影像去云模型，输出影像去云结果，所述影像去云结果包括若干去云结果切片；

6、按照原始切片索引对所述若干去云结果切片进行聚合，得到完整影像去云结果，对所述完整影像去云结果的拼接边缘进行滤波，得到最终影像去云结果。

7、根据本发明提供的一种基于光学遥感影像和sar影像的图像去云方法，获取sar影像样本数据和多光谱遥感影像样本数据，对所述sar影像样本数据和所述多光谱遥感影像样本数据进行数据集处理得到光学sar影像融合去云数据集，包括：

8、在同一地区采集所述多光谱遥感影像样本数据的两景临近时相影像，所述两景临近时相影像包括低于第一预设含云量比例的第一景时相影像，以及高于所述预设含云量比例且低于第二预设含云量比例的第二景时相影像，其中所述第一景时相影像用于制作监督标签，所述第二景时相影像用于制作训练数据；

9、将所述两景临近时相影像进行大气校正得到预设级别预处理遥感影像，根据分辨率最高波段对所述预设级别预处理遥感影像的各个波段进行上采样，得到光学预处理影像；

10、对所述sar影像样本数据依次进行热噪声去除、轨道校正、辐射定标、相干斑滤波、地形校正和分贝化，得到sar预处理影像，所述sar预处理影像与所述光学预处理影像的位置一致，且具有预设时相差异范围；

11、将所述sar预处理影像按照对应的所述光学预处理影像进行重投影，将所述sar预处理影像与所述光学预处理影像映射至相同坐标空间，按照所述光学预处理影像对所述sar预处理影像进行裁剪，使所述sar预处理影像与所述光学预处理影像的位置范围一致，将裁剪后的所述sar预处理影像与所述光学预处理影像裁剪为预设像素大小像素块，得到初始的光学sar影像融合去云数据集；

12、将所述初始的光学sar影像融合去云数据集中光学影像的各波段裁剪至预设波段范围，重分布至预设分布区间，将所述初始的光学sar影像融合去云数据集中sar影像的垂直-垂直极化vv通道和垂直-水平极化vh通道，采用最大最小值归一化至所述预设分布区间，构建所述光学sar影像融合去云数据集。

13、根据本发明提供的一种基于光学遥感影像和sar影像的图像去云方法，构建光学sar影像深度协同卷积融合遥感影像去云神经网络，包括：

14、确定网络结构依次包括云-云阴影注意力模块、特征编码模块、transformer模块和特征解码模块；

15、将所述光学sar影像融合去云数据集输入所述云-云阴影注意力模块，所述云-云阴影注意力模块生成云区和云阴影区的权重图，采用预设激活函数将所述云区和云阴影区的权重图中的权重映射至0至1之间；

16、所述特征编码模块包括4个特征编码层，将所述云区和云阴影区的权重图输入所述特征编码模块，输出编码后的sar影像和有云光学影像特征图；

17、所述transformer模块包括8个transformer编码层，每个transformer编码层包括8个注意力头，每个transformer编码层由自注意力模块和1个全连接前馈网络层组成；

18、所述特征解码模块包括4个特征解码层。

19、根据本发明提供的一种基于光学遥感影像和sar影像的图像去云方法，将所述光学sar影像深度协同卷积融合遥感影像去云神经网络中的conv2d卷积模块替换为协同卷积模块，所述协同卷积模块包括：

20、

21、其中，cld′为输出特征图，cld和sar分别为输入的有云遥感影像和sar影像的特征图，m为输入的注意力图，w为卷积核，b为卷积运算的偏置，sum(1)代表与卷积核大小相同的元素全部为1的矩阵的元素的和，sum(m)代表与卷积核大小相同的元素全部为1的矩阵的元素的和。

22、根据本发明提供的一种基于光学遥感影像和sar影像的图像去云方法，将所述光学sar影像融合去云数据集划分为训练数据集和测试数据集，采用所述训练数据集对所述光学sar影像深度协同卷积融合遥感影像去云神经网络进行训练，得到光学sar影像去云模型，包括：

23、采用所述训练数据集中的sar影像、有云遥感影像和无云遥感影像分别训练所述光学sar影像深度协同卷积融合遥感影像去云神经网络，初始化网络参数；

24、采用相同权重的l1 loss损失函数和学习感知图像块相似度lpips loss损失函数构成组合损失函数：

25、

26、其中，l1loss代表像素级别的差异，lpipsloss代表模型输出与监督标签在高维空间的l2级别loss；

27、

28、其中，x(i,j,k)代表模型输出在通道k的位置(i,j)处的像素值，y(i,j,k)代表监督标签在通道k的位置(i,j)处的像素值，h、w、c分别表示影像切片的高度、宽度和通道数；

29、

30、其中，y和y0分别代表模型输出和真值，h、w代表影像的高度和宽度，h、w代表像素在影像中的位置的索引；

31、利用adam优化器降低梯度进行反向传播，调整网络参数直到模型收敛为止，得到所述光学sar影像去云模型。

32、根据本发明提供的一种基于光学遥感影像和sar影像的图像去云方法，还包括：

33、采用多个预设评价指标对所述光学sar影像去云模型的预测结果进行精度评价。

34、第二方面，本发明还提供一种基于光学遥感影像和sar影像的图像去云系统，包括：

35、数据处理模块，用于获取sar影像样本数据和多光谱遥感影像样本数据，对所述sar影像样本数据和所述多光谱遥感影像样本数据进行数据集处理得到光学sar影像融合去云数据集；

36、训练模块，用于构建光学sar影像深度协同卷积融合遥感影像去云神经网络，将所述光学sar影像融合去云数据集划分为训练数据集和测试数据集，采用所述训练数据集对所述光学sar影像深度协同卷积融合遥感影像去云神经网络进行训练，得到光学sar影像去云模型；

37、切片模块，用于将待处理多光谱遥感影像和对应相同位置的sar影像输入所述光学sar影像去云模型，输出影像去云结果，所述影像去云结果包括若干去云结果切片；

38、处理模块，用于按照原始切片索引对所述若干去云结果切片进行聚合，得到完整影像去云结果，对所述完整影像去云结果的拼接边缘进行滤波，得到最终影像去云结果。

39、第三方面，本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于光学遥感影像和sar影像的图像去云方法。

40、第四方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于光学遥感影像和sar影像的图像去云方法。

41、第五方面，本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述基于光学遥感影像和sar影像的图像去云方法。

42、本发明提供的基于光学遥感影像和sar影像的图像去云方法及系统，通过设计异源特征协同卷积模块，同时考虑不同程度的云雾遮盖和云阴影的影响，通过采用的空间域的云-云阴影自注意力模块，有效地提高了光学sar影像融合去云结果的精度，解决了传统卷积神经网络在光学sar影像融合去云任务中生成结果模糊，云区中心位置恢复结果失真等问题；在网络的高维特征部分，引入了transformer模块学习全局特征和全局信息，为光学sar影像融合去云生成高保真度的光学影像提供了解决方案。