本技术涉及图像处理,尤其涉及自监督深度学习与模型方法相结合的云层去除方法及装置。
背景技术:
1、随着遥感技术和硬件设备的发展,如今我们可以获得具有更高空间、光谱和时间分辨率的光学遥感图像(remote sensing image,简称rsi)。由于其丰富的空间、光谱和时间信息,rsi已被广泛应用于地球观测应用,如土地覆盖分类、目标检测和环境监测等。然而,受到成像设备和外部环境的影响,收集到的rsi不可避免地受到厚云的影响,这严重影响了下游应用,这使得获取高质量的rsi变得具有挑战性。因此,云去除成为光学遥感成像领域的紧迫问题。
2、传统地,在进行云层去除时,通常是采用传统的深度学习方法来学习云层的多尺度特征,并且,只有在具有足够合适的训练数据的情况下,才能够有效地去除云层。因此,现有的云层去除方法存在灵活性较差的问题。
技术实现思路
1、本技术旨在至少解决现有技术中存在的技术问题,为此,本技术第一方面提出一种自监督深度学习与模型方法相结合的云层去除方法,该方法包括:
2、获取待处理的多时相遥感图像;其中,多时相遥感图像中包括无云图像分量及云层分量;
3、将待处理的多时相遥感图像输入至预设低秩正则化自监督网络模型中进行处理,生成与待处理的多时相遥感图像对应的目标多时相遥感图像;其中,目标多时相遥感图像中仅包括无云图像分量,预设低秩正则化自监督网络模型是通过预设低秩结构稀疏分解框架模型及预设引导式深度解码器网络模型得到的,预设低秩结构稀疏分解框架模型是基于无云图像分量的第一物理特性及云层分量的第二物理特性得到的,第一物理特性用于表征无云图像分量呈下降趋势的奇异值特性,第二物理特性用于表征云层分量沿光谱维度的结构稀疏特性。
4、在一种可能的实施方式中,将待处理的多时相遥感图像输入至预设低秩正则化自监督网络模型中进行处理,生成与待处理的多时相遥感图像对应的目标多时相遥感图像,包括:
5、将待处理的多时相遥感图像输入至预设低秩正则化自监督网络模型中进行处理,通过预设辅助变量对预设低秩正则化自监督网络模型进行解耦处理,得到解耦模型;
6、通过半二次分裂算法对解耦模型进行优化处理,生成目标多时相遥感图像。
7、在一种可能的实施方式中,通过半二次分裂算法对解耦模型进行优化处理,生成目标多时相遥感图像,包括:
8、通过半二次分裂算法对解耦模型中的预设辅助变量、云层分量、预设二进制云层掩码及预设引导式深度解码器网络模型的网络参数进行优化处理,生成目标多时相遥感图像。
9、在一种可能的实施方式中,预设低秩正则化自监督网络模型的构建过程,包括:
10、获取预设低秩结构稀疏分解框架模型及预设引导式深度解码器网络模型;
11、将预设引导式深度解码器网络模型的输出结果融合至预设低秩结构稀疏分解框架模型中,生成预设低秩正则化自监督网络模型。
12、在一种可能的实施方式中,该方法还包括:
13、获取预设的云层去除退化模型;
14、采用最大后验概率算法对预设的云层去除退化模型进行转换处理,得到优化函数;其中,优化函数中包括描述第一物理特性的第一正则化器、及描述第二物理特征的第二正则化器;
15、基于优化函数,生成预设低秩结构稀疏分解框架模型。
16、在一种可能的实施方式中,第一正则化器为,其中,表示第一正则化器,表示核范数,表示无云图像分量,表示整形算子,表示的第 i 个奇异值;第二正则化器为,其中,表示第二正则化器,表示云层分量,表示2,1范数,m表示空间分辨率的长度,n表示空间分辨率的宽度,t表示时间节点数,表示2范数。
17、在一种可能的实施方式中,预设引导式深度解码器网络模型的输出结果为,其中,表示无云图像分量,表示预设引导式深度解码器网络模型,表示预设引导式深度解码器网络模型的网络参数,表示输入到预设引导式深度解码器网络模型中的随机张量。
18、本技术第二方面提出一种自监督深度学习与模型方法相结合的云层去除装置,该装置包括:
19、获取模块,用于获取待处理的多时相遥感图像;其中,多时相遥感图像中包括无云图像分量及云层分量;
20、生成模块,用于将待处理的多时相遥感图像输入至预设低秩正则化自监督网络模型中进行处理,生成与待处理的多时相遥感图像对应的目标多时相遥感图像;其中,目标多时相遥感图像中仅包括无云图像分量,预设低秩正则化自监督网络模型是通过预设低秩结构稀疏分解框架模型及预设引导式深度解码器网络模型得到的,预设低秩结构稀疏分解框架模型是基于无云图像分量的第一物理特性及云层分量的第二物理特性得到的,第一物理特性用于表征无云图像分量呈下降趋势的奇异值特性,第二物理特性用于表征云层分量沿光谱维度的结构稀疏特性。
21、在一种可能的实施方式中,上述生成模块具体用于:
22、将待处理的多时相遥感图像输入至预设低秩正则化自监督网络模型中进行处理,通过预设辅助变量对预设低秩正则化自监督网络模型进行解耦处理,得到解耦模型;
23、通过半二次分裂算法对解耦模型进行优化处理,生成目标多时相遥感图像。
24、在一种可能的实施方式中,上述生成模块还用于:
25、通过半二次分裂算法对解耦模型中的预设辅助变量、云层分量、预设二进制云层掩码及预设引导式深度解码器网络模型的网络参数进行优化处理,生成目标多时相遥感图像。
26、在一种可能的实施方式中,上述自监督深度学习与模型方法相结合的云层去除装置还用于:
27、获取预设低秩结构稀疏分解框架模型及预设引导式深度解码器网络模型;
28、将预设引导式深度解码器网络模型的输出结果融合至预设低秩结构稀疏分解框架模型中,生成预设低秩正则化自监督网络模型。
29、在一种可能的实施方式中,上述自监督深度学习与模型方法相结合的云层去除装置还用于:
30、获取预设的云层去除退化模型;
31、采用最大后验概率算法对预设的云层去除退化模型进行转换处理,得到优化函数;其中,优化函数中包括描述第一物理特性的第一正则化器、及描述第二物理特征的第二正则化器;
32、基于优化函数,生成预设低秩结构稀疏分解框架模型。
33、在一种可能的实施方式中,第一正则化器为,其中,表示第一正则化器,表示核范数,表示无云图像分量,表示整形算子,表示的第 i 个奇异值;第二正则化器为,其中,表示第二正则化器,表示云层分量,表示2,1范数,m表示空间分辨率的长度,n表示空间分辨率的宽度,t表示时间节点数,表示2范数。
34、在一种可能的实施方式中,预设引导式深度解码器网络模型的输出结果为,其中,表示无云图像分量,表示预设引导式深度解码器网络模型,表示预设引导式深度解码器网络模型的网络参数,表示输入到预设引导式深度解码器网络模型中的随机张量。
35、本技术第三方面提出一种电子设备,所述电子设备包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如第一方面所述的自监督深度学习与模型方法相结合的云层去除方法。
36、本技术第四方面提出一种计算机可读存储介质,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如第一方面所述的自监督深度学习与模型方法相结合的云层去除方法。
37、本技术实施例具有以下有益效果:
38、本技术实施例提供的自监督深度学习与模型方法相结合的云层去除方法,该方法包括:获取待处理的多时相遥感图像,将待处理的多时相遥感图像输入至预设低秩正则化自监督网络模型中进行处理,生成与待处理的多时相遥感图像对应的目标多时相遥感图像,其中,目标多时相遥感图像中仅包括无云图像分量,预设低秩正则化自监督网络模型是通过预设低秩结构稀疏分解框架模型及预设引导式深度解码器网络模型得到的,预设低秩结构稀疏分解框架模型是基于无云图像分量的第一物理特性及云层分量的第二物理特性得到的,第一物理特性用于表征无云图像分量呈下降趋势的奇异值特性,第二物理特性用于表征云层分量沿光谱维度的结构稀疏特性。本方案通过预设低秩结构稀疏分解框架模型有效地探索了无云图像分量和云层分量的内在物理特性,提高了后续进行云层去除的准确性;另外,通过将基于自监督深度学习的预设引导式深度解码器网络模型捕捉到的深度先验集集成到预设低秩结构稀疏分解框架模型中,由于预设引导式深度解码器网络模型不需要外部训练数据,并采用自监督方法来优化网络参数,提高了进行云层去除的灵活性。