遥感影像云检测方法及装置

1.本发明涉及图像处理技术领域，尤其涉及一种遥感影像云检测方法及装置。


背景技术：

2.随着遥感技术的飞速发展，遥感影像因其成像清晰度高、信息客观丰富、时效性及实用性强等优点，广泛应用于环境保护、国土资源调查、灾害监测等领域。但是，遥感影像中存在的云，会导致遥感影像中的地物信息衰减甚至丢失，并会改变遥感影像的纹理信息和光谱信息，极大地影响了遥感影像的应用。遥感影像云检测已成为遥感领域的热点问题之一。
3.现有的遥感影像云检测方法可以基于深度学习技术进行遥感影像云检测。但是，由于云的形态和厚度复杂多变，导致基于现有的遥感影像云检测方法进行遥感影像云检测的准确率不高。因此，如何提高遥感影像云检测的准确率，是本领域亟待解决的技术问题。


技术实现要素：

4.本发明提供一种遥感影像云检测方法及装置，用以解决现有技术中进行遥感影像云检测的准确率不高的缺陷，实现提高遥感影像云检测准确率的目标。
5.本发明提供一种遥感影像云检测方法，包括：
6.获取待检测遥感影像；
7.基于所述待检测遥感影像，获取第一目标图像和第二目标图像；
8.将所述第一目标图像和所述第二目标图像输入遥感影像云检测模型，获取所述遥感影像云检测模型输出的所述待检测遥感影像的云检测结果；
9.其中，所述第一目标图像为所述待检测遥感影像的雾霾优化转换hot指数特征图像；所述第二目标图像为所述待检测遥感影像目标波段的多光谱图像；所述目标波段包括红色波段、绿色波段、蓝色波段以及近红外波段；
10.所述遥感影像云检测模型是基于第一样本图像、第二样本图像以及样本遥感影像的云检测结果进行训练后得到的；所述第一样本图像为所述样本遥感影像的hot指数特征影像，所述第二样本图像为所述样本遥感影像目标波段的多光谱影像；所述第一样本图像和所述第二样本图像，是基于所述样本遥感影像获取的。
11.根据本发明提供的一种遥感影像云检测方法，所述遥感影像云检测模型，包括：边缘检测模块和云检测模块；
12.相应地，所述将所述第一目标图像和所述第二目标图像输入遥感影像云检测模型，获取所述遥感影像云检测模型输出的所述待检测遥感影像的云检测结果，包括，
13.将所述第一目标图像和所述第二目标图像输入边缘检测模块，由所述边缘检测模块对所述第一目标图像和所述第二目标图像进行边缘检测，进而获取所述边缘检测模块输出的边缘增强特征图像；
14.将所述边缘增强特征图像输入所述云检测模块，获取所述云检测模块输出的所述
待检测遥感影像的云检测结果。
15.根据本发明提供的一种遥感影像云检测方法，所述云检测模块，包括：语义特征提取单元、空洞卷积单元和解码单元；
16.相应地，将所述边缘增强特征图像输入所述云检测模块，获取所述云检测模块输出的所述待检测遥感影像的云检测结果，包括：
17.将所述边缘增强特征图像输入所述语义特征提取单元，获取所述语义特征提取单元输出的第一特征图像、第二特征图像、第三特征图像和第四特征图像；所述第二特征图像是基于所述第一特征图像生成的，所述第三特征图像是基于所述第二特征图像生成的，所述第四特征图像是基于所述第三特征图像生成的；
18.将所述第四特征图像输入所述空洞卷积单元，获取所述空洞卷积单元输出的第五特征图像；
19.将所述第一特征图像、所述第二特征图像、所述第三特征图像和所述第五特征图像输入所述解码单元，获取所述解码单元输出的所述待检测遥感影像的云检测结果。
20.根据本发明提供的一种遥感影像云检测方法，所述语义特征提取单元，包括：第一卷积子单元、第二卷积子单元、第三卷积子单元和第一空洞卷积子单元；
21.相应地，所述将所述边缘增强特征图像输入所述语义特征提取单元，获取所述语义特征提取单元输出的第一特征图像、第二特征图像、第三特征图像和第四特征图像，包括：
22.将所述边缘增强特征图像输入所述第一卷积子单元，由所述第一卷积子单元对所述边缘增强特征图像进行下采样和特征提取，进而获取所述第一卷积子单元输出的所述第一特征图像；
23.将所述第一特征图像输入所述第二卷积子单元，由所述第二卷积子单元对所述第一特征图像进行下采样和特征提取，进而获取所述第二卷积子单元输出的所述第二特征图像；
24.将所述第二特征图像输入所述第三卷积子单元，由所述第三卷积子单元对所述第二特征图像进行下采样和特征提取，进而获取所述第三卷积子单元输出的所述第三特征图像；
25.将所述第三特征图像输入所述第一空洞卷积子单元，由所述第一空洞卷积子单元基于空洞卷积计算对所述第三特征图像进行特征提取，进而获取所述第一空洞卷积子单元输出的第四特征图像。
26.根据本发明提供的一种遥感影像云检测方法，所述解码单元，包括：第一特征融合子单元、第二特征融合子单元、第三特征融合子单元、第四特征融合子单元、第一上采样子单元、第二上采样子单元、第一卷积上采样子单元、第二卷积上采样子单元和第三卷积上采样子单元；
27.相应地，所述将所述第一特征图像、所述第二特征图像、所述第三特征图像和所述第五特征图像输入所述解码单元，获取所述解码单元输出的所述待检测遥感影像的云检测结果，包括：
28.将所述第五特征图像和所述第三特征图像输入所述第一特征融合子单元，获取所述第一特征融合子单元输出的第六特征图像；
29.将所述第六特征图像分别输入所述第一上采样子单元和所述第一卷积上采样单元，由所述第一上采样子单元对所述第六特征图像进行上采样，由所述第一卷积上采样子单元对所述第六特征图像进行卷积计算和上采样，进而获取所述第一上采样子单元输出的第七特征图像，获取所述第一卷积上采样子单元输出的第八特征图像；
30.将所述第七特征图像和所述第二特征图像输入所述第二特征融合子单元，获取所述第二特征融合子单元输出的第九特征图像；
31.将所述第九特征图像分别输入所述第二上采样子单元和所述第二卷积上采样子单元，由所述第二上采样子单元对所述第九特征图像进行上采样，由所述第二卷积上采样子单元对所述第九特征图像进行卷积计算和上采样，进而获取所述第二上采样子单元输出的第十特征图像，获取所述第二卷积上采样子单元输出的第十一特征图像；
32.将所述第十特征图像和所述第一特征图像输入所述第三特征融合子单元，获取所述第三特征融合子单元输出的第十二特征图像；
33.将所述第十二特征图像输入所述第三卷积上采样子单元，由所述第三卷积上采样子单元对所述第十二特征图像进行卷积计算和上采样，进而获取所述第三卷积上采样子单元输出的第十三特征图像；
34.将所述第八特征图像、所述第十一特征图像和所述第十三特征图像输入第四特征融合子单元，获取所述第四特征融合子单元输出的所述待检测遥感影像的云检测结果。
35.根据本发明提供的一种遥感影像云检测方法，所述边缘检测模块，包括：边缘检测单元和特征融合单元；
36.相应地，所述将所述第一目标图像和所述第二目标图像输入边缘检测模块，由所述边缘检测模块对所述第一目标图像和所述第二目标图像进行边缘检测，进而获取所述边缘检测模块输出的边缘增强特征图像，包括：
37.将所述第一目标图像和所述第二目标图像输入所述边缘检测单元，由所述边缘检测单元基于索贝尔算子，分别对所述第一目标图像以及所述第二目标图像进行边缘检测，进而获取所述边缘检测单元输出的第一边缘增强特征子图像和第二边缘增强特征子图像；所述第一边缘增强特征子图像与所述第一目标图像对应，所述第二边缘增强特征子图像与所述第二目标图像对应；
38.将所述第一边缘增强特征子图像和所述第二边缘增强特征子图像输入所述特征融合单元，获取所述特征融合单元输出的所述边缘增强特征图像。
39.根据本发明提供的一种遥感影像云检测方法，所述边缘检测单元，包括：边缘检测子单元、第四卷积子单元、第五卷积子单元、第六卷积子单元、特征差异子单元和第五特征融合子单元；
40.相应地，所述将所述第一目标图像和所述第二目标图像输入所述边缘检测单元，由所述边缘检测单元基于索贝尔算子，分别对所述第一目标图像以及所述第二目标图像进行边缘检测，进而获取所述边缘检测单元输出的所述第一边缘增强特征子图像和所述第二边缘增强特征子图像，包括：
41.将所述第一目标图像以及所述第二目标图像输入所述第四卷积子单元，由所述第四卷积子单元分别对所述第一目标图像以及所述第二目标图像进行卷积计算、归一化处理以及激活函数计算，进而获取所述第四卷积子单元输出的第十四特征图像和第十五特征图
像；所述第十四特征图像与所述第一目标图像对应，所述第十五特征图像与所述第二目标图像对应；
42.将所述第十四特征图像和所述第十五特征图像分别输入所述边缘检测子单元和所述第五卷积子单元，由所述边缘检测子单元基于索贝尔算子，分别对所述第十四特征图像和所述第十五特征图像进行边缘检测，由所述第五卷积子单元分别对所述第十四特征图像和所述第十五特征图像进行卷积计算、归一化处理以及激活函数计算，进而获取所述边缘检测子单元输出的第三边缘增强特征子图像和第四边缘增强特征子图像，获取所述第五卷积子单元输出的第十六特征图像和第十七特征图像；所述第三边缘增强特征子图像和所述第十六特征图像与所述第十四特征图像对应，所述第四边缘增强特征子图像与所述第十七特征图像与所述第十五特征图像对应；
43.将所述第三边缘增强特征子图像和所述第四边缘增强特征子图像输入所述第六卷积子单元，由所述第六卷积子单元分别对所述第三边缘增强特征子图像和所述第四边缘增强特征子图像进行卷积计算、归一化处理以及激活函数计算，进而获取所述第六卷积子单元输出的第十八特征图像和第十九特征图像；所述第十八特征图像与所述第三边缘增强特征子图像对应，所述第十九特征图像与所述第四边缘增强特征子图像对应；
44.将所述第十六特征图像、所述第十七特征图像、所述第十八特征图像和所述第十九特征图像输入所述特征差异子单元，由所述特征差异子单元分别获取所述第十六特征图像与所述第十八特征图像之间的特征差异，以及所述第十七特征图像与所述第十九特征图像之间的特征差异，进而获取所述特征差异子单元输出的第一特征差异图像和第二特征差异图像；所述第一特征差异图像与所述第十六特征图像与所述第十八特征图像对应，所述第二特征差异图像与所述第十七特征图像与所述第十九特征图像对应；
45.将所述第十六特征图像、所述第十七特征图像、所述第一特征差异图像和所述第二特征差异图像输入第五特征融合子单元，由所述第五特征融合子单元对所述第十六特征图像、所述第十七特征图像、所述第一特征差异图像和所述第二特征差异图像进行特征融合，进而获取所述第五特征融合子单元输出的所述第一边缘增强特征子图像和所述第二边缘增强特征子图像。
46.根据本发明提供的一种遥感影像云检测方法，所述空洞卷积单元，包括：第七卷积子单元、多个第二空洞卷积子单元、池化子单元以及第六特征融合子单元；
47.相应地，所述将所述第四特征图像输入所述空洞卷积单元，获取所述空洞卷积单元输出的第五特征图像，包括：
48.将所述第四特征图分别输入所述第七卷积子单元、每一所述第二空洞卷积子单元以及所述池化子单元，获取所述第七卷积子单元输出的第二十特征图像，获取每一所述第二空洞卷积子单元输出的每一空洞卷积特征图像，获取所述池化子单元输出的池化特征图像；
49.将所述第二十特征图像、每一所述空洞卷积特征图像以及所述池化特征图像输入所述第六特征融合子单元，获取所述第六特征融合子单元输出的所述第五特征图像。
50.根据本发明提供的一种遥感影像云检测方法，所述基于所述待检测遥感影像，获取第一目标图像，包括：
51.基于所述待检测遥感影像中的数字量化值，获取所述待检测遥感影像对应的大气
层顶反射率数据；
52.基于所述待检测遥感影像的大气层顶反射率数据，生成所述第一目标图像。
53.本发明还提供一种遥感影像云检测装置，包括：
54.影像获取模块，用于获取待检测遥感影像；
55.数据处理模块，用于基于所述待检测遥感影像，获取第一目标图像和第二目标图像；
56.模型计算模块，用于将所述第一目标图像和所述第二目标图像输入遥感影像云检测模型，获取所述遥感影像云检测模型输出的所述待检测遥感影像的云检测结果；
57.其中，所述第一目标图像为所述待检测遥感影像的雾霾优化转换hot指数特征图像；所述第二目标图像为所述待检测遥感影像目标波段的多光谱图像；所述目标波段包括红色波段、绿色波段、蓝色波段以及近红外波段；
58.所述遥感影像云检测模型是基于第一样本图像、第二样本图像以及样本遥感影像的云检测结果进行训练后得到的；所述第一样本图像为所述样本遥感影像的hot指数特征影像，所述第二样本图像为所述样本遥感影像目标波段的多光谱影像；所述第一样本图像和所述第二样本图像，是基于所述样本遥感影像获取的。
59.本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述遥感影像云检测方法。
60.本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述遥感影像云检测方法。
61.本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述遥感影像云检测方法。
62.本发明提供的遥感影像云检测方法及装置，通过基于待检测遥感影像，获取第一目标图像和第二目标图像之后，将第一目标图像和第二目标图像输入遥感影像云检测模型，获取遥感影像云检测模型输出的待检测遥感影像的云检测结果，第一目标图像为待检测遥感影像的雾霾优化转换hot指数特征图像，第二目标图像为待检测遥感影像目标波段的多光谱图像，目标波段包括红色波段、绿色波段、蓝色波段以及近红外波段，能通过在遥感影像云检测中增加待检测遥感影像目标波段的光谱特征以及hot指数特征，实现更准确的识别待检测遥感影像中的云混淆区域，能提高遥感影像云检测的准确率。
附图说明
63.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
64.图1是本发明提供的遥感影像云检测方法的流程示意图；
65.图2是本发明提供的遥感影像云检测方法中遥感影像云检测模型的结构示意图；
66.图3是本发明提供的遥感影像云检测方法中边缘检测单元的结构示意图；
67.图4是本发明提供的遥感影像云检测方法中卷积块的结构示意图；
68.图5是本发明提供的遥感影像云检测方法中下采样块的结构示意图；
69.图6是本发明提供的遥感影像云检测方法中空洞卷积块的结构示意图；
70.图7是本发明提供的遥感影像云检测装置的结构示意图；
71.图8是本发明提供的电子设备的结构示意图。
72.附图说明：
73.201：边缘检测模块；202：云检测模块；203：边缘检测单元；204：特征融合单元；205：语义特征提取单元；206：空洞卷积单元；207：解码单元；208：第一卷积子单元；209：第二卷积子单元；210：第三卷积子单元；211：第一空洞卷积子单元；212：第一特征融合子单元；213：第一上采样单元；214：第二特征融合子单元；215：第二上采样子单元；216：第三特征融合子单元；217：第一卷积上采样子单元；218：第四特征融合子单元；219：第七卷积子单元；220：第二空洞卷积子单元：221：池化子单元：222：第六特征融合子单元：223：第二卷积上采样子单元；224：第三卷积上采样子单元；301：第四卷积子单元；302：边缘检测子单元；303：第五卷积子单元；304：第六卷积子单元；305：特征差异子单元；306：第五特征融合子单元；401：卷积块；501：下采样块；601：空洞卷积块。
具体实施方式
74.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
75.在发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
76.需要说明的是，根据国际卫星云气候项目的长期观测，地球表面60％以上的面积定期被云层覆盖。一方面，遥感影像极易受到大气和云层的干扰，遥感影像中的地物被云遮挡，严重降低了遥感影像的利用率。另一方面，研究云的分布有助于研究气候变化趋势，对评估全球地表辐射收支也具有重要意义。因此，遥感影像云检测是遥感影像识别、分类和解释的关键，是生产时空无缝遥感产品的前提保障。并且，基于遥感影像云检测还可以及时剔除云覆盖过大的图像，减轻数据存储和传输负担，提高遥感产品的生产效率。高效、准确的遥感影像云检测已成为遥感领域的热点问题之一。
77.传统的遥感影像云检测方法包括光谱阈值法、纹理分析法以及传统机器学习方法等。
78.光谱阈值法可以基于云的光谱特征，设计多个波段的不同组合，进行遥感影像云检测。但是，光谱阈值法中涉及的波段数量较多，光谱阈值的确定过程较复杂且人工参与度较高。并且，光谱阈值法通常针对特定传感器进行设计，导致光谱阈值法的普适性不高。
79.纹理分析法可以基于云的纹理特征进行遥感影像云检测，相较于光谱阈值法，纹理分析法进行遥感影像云检测的准确率更高。但是，提取云的纹理特征的过程计算量较大，
且纹理分析法仍未避免阈值确定过程较复杂且人工参与度的问题。
80.传统机器学习方法可以基于聚类、人工神经网络、支持向量机以及随机森林等算法，进行遥感影像云检测。传统机器学习方法解决了阈值确定过程较复杂且人工参与度的问题，并可以在纹理分析法的基础上进一步提高了遥感影像云检测的准确率，但传统机器学习方法仍需要人工选择特征，难以实现端到端的学习。
81.相较于传统机器学习方法，深度学习技术可以拟合复杂的非线性特征，具有更好的学习性能与可移植性的特征，可以在传统机器学习方法的基础上进一步提高遥感影像云检测的准确率。
82.但是，在自然场景下，云的形态和厚度复杂多变，厚云表现为高反射、低温、存在云影，与大部分下垫面地物较易区分，由于太阳光可穿透薄云，薄云的光谱特征与地物的光谱特征混合，使得二者难以通过单波段阈值得以分离，一些高反射地物类型(如裸露的砂岩、冰雪、高亮建筑物等)，在可见光和红外波段的光谱特征和云的十分相似，导致传统的遥感影像云检测方法在基于深度学习技术进行遥感影像云检测时的准确率不高。
83.对此，本发明提供一种遥感影像云检测方法及装置。本发明提供的遥感影像云检测方法，基于深度学习技术，并结合遥感影像中云的光谱特征，进行遥感影像云检测，可以显著提高遥感影像云检测的准确率。
84.图1是本发明提供的遥感影像云检测方法的流程示意图。下面结合图1描述本发明的遥感影像云检测方法。如图1所示，该方法包括：步骤101、获取待检测遥感影像。
85.具体地，本发明实施例中的待检测遥感影像可以是利用高分辨卫星获取的。上述高分辨率卫星可以是：ikonos卫星、geoeye卫星、quickbird卫星、worldview系列卫星以及我国国产的“高分”系列卫星等。
86.需要说明的是，待检测遥感影像中可以包括任意类型的地表图像。
87.步骤102、基于待检测遥感影像，获取第一目标图像和第二目标图像。
88.其中，第一目标图像为待检测遥感影像的雾霾优化转换hot指数特征图像；第二目标图像为待检测遥感影像目标波段的多光谱图像；目标波段包括红色波段、绿色波段、蓝色波段以及近红外波段。
89.具体地，红色波段(630-690nm)、绿色波段(520-660nm)、蓝色波段(450-520nm)以及近红外波段(760-900nm)是实际场景下最常用的波段，以提高云检测方法的普适性。
90.本发明实施例可以提取待检测遥感影像中红色波段、绿色波段、蓝色波段以及近红外波段的光谱数据，并可以通过合成上述红色波段、绿色波段、蓝色波段以及近红外波段的光谱数据，获得待检测遥感影像目标波段的多光谱图像，作为第二目标图像。
91.雾霾优化转换(haze optimized transformation)指数，可以反映蓝波段和红波段对于云的光谱反射与大部分地物的差异性，适用于分离云和地物下垫面。
92.本发明实施例中还可以通过数值计算等方式，基于待检测遥感影像，获取待检测遥感影像的hot指数特征图像，作为第一目标图像。
93.基于上述各实施例的内容，基于待检测遥感影像，获取第一目标图像，包括：基于待检测遥感影像中的数字量化值，获取待检测遥感影像对应的大气层顶反射率数据。
94.可选地，可以基于待检测遥感影像中的数字量化值，通过数值计算的方式，获取待检测遥感影像中每一像元对应的大气层顶(top of the atmosphere，toa)反射率。
95.对于待检测遥感影像中的任一像元，可以基于如下公式计算上述像元对应的toa反射率。
96.l
λ
＝gain*dn+bais
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0097][0098]
其中，dn表示上述像元的数字量化值；l
λ
表示星上辐射亮度；gain表示辐射定标斜率；bais表示辐射定标截距；ρ
toa
表示上述像元对应的大气层顶反射率；d表示日地天文单位距离；esun表示大气层顶太阳辐照度；θ表示太阳天顶角。
[0099]
获取待检测遥感影像中每一像元对应的toa反射率之后，可以将各像元对应的toa反射率集合，作为待检测遥感影像对应的大气层顶反射率数据。
[0100]
基于待检测遥感影像的大气层顶反射率数据，生成第一目标图像。
[0101]
具体地，获取待检测遥感影像对应的大气层顶反射率数据之后，可以基于待检测遥感影像中任意像元对应的toa反射率，通过数值计算的方式，获取上述像元对应的hot指数。
[0102]
对于待检测遥感影像中的任一像元，可以基于如下公式计算上述像元对应的hot指数。
[0103]
hot＝b-0.5
×
r-0.08
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0104]
其中，hot表示上述像元对应的hot指数；b表示待检测遥感图像中蓝色波段的toa反射率；r表示待检测遥感图像中红色波段的toa反射率。
[0105]
获取待检测遥感影像中每一像元对应的hot指数之后，可以基于各像元对应的hot指数，生成待检测遥感影像的hot指数特征图像，作为第一目标图像。
[0106]
本发明实施例通过基于待检测遥感影像中的数字量化值，获取待检测遥感影像对应的大气层顶反射率数据之后，基于待检测遥感影像的大气层顶反射率数据，获取第一目标图像，能更准确、更高效的获取第一目标图像。
[0107]
步骤103、将第一目标图像和第二目标图像输入遥感影像云检测模型，获取遥感影像云检测模型输出的待检测遥感影像的云检测结果。
[0108]
其中，遥感影像云检测模型是基于第一样本图像、第二样本图像以及样本遥感影像的云检测结果进行训练后得到的；第一样本图像为样本遥感影像的hot指数特征影像，第二样本图像为样本遥感影像目标波段的多光谱影像；第一样本图像和第二样本图像，是基于样本遥感影像获取的。
[0109]
具体地，遥感影像云检测模型可以通过如下方式训练得到：首先，获取样本遥感影像。
[0110]
本发明实施例中的样本遥感影像可以是利用高分辨卫星获取的。其中，样本遥感影像中可以包括任意类型的地表图像。
[0111]
其次，基于样本遥感影像，获取第一样本图像和第二样本图像。
[0112]
本发明实施例中可以提取样本遥感影像中红色波段、绿色波段、蓝色波段以及近红外波段的光谱数据，并可以通过合成上述红色波段、绿色波段、蓝色波段以及近红外波段的光谱数据，获得样本遥感影像目标波段的光谱图像，作为第二样本原始图像。
[0113]
本发明实施例中还可以基于公式(1)至公式(4)，获取样本遥感影像hot指数特征
图像，作为第一样本原始图像。
[0114]
获取第一样本原始图像和第二样本原始图像之后，为了增加获得的第一样本图像和第二样本图像的数量和复杂度，可以对上述第一样本原始图像和第二样本原始图像进行数据处理，并可以将经过数据处理后的第一样本原始图像，按照6:1:3的比例，随机分为第一样本图像、第一验证图像和第一测试图像，可以将经过数据处理后的第二样本原始图像，按照6:1:3的比例，随机分为第二样本图像、第二验证图像和第二测试图像。
[0115]
可选地，上述数据处理可以包括但不限于随机翻转、随机旋转以及图像裁剪等。其中，可以基于预设尺寸对第一样本原始图像和第二样本原始图像进行互不重叠的图像裁剪，上述预设尺寸可以根据实际情况确定，例如：上述预设尺寸可以为512
×
512。
[0116]
再次，基于先验知识对样本遥感影像进行标注，并可以将标注后的样本遥感影像，作为样本遥感影像的云检测结果。
[0117]
可选地，样本遥感影像的云检测结果可以为样本遥感影像的云掩模图像，上述样本遥感影像的云掩模图像还可以标注有云量值。
[0118]
再次，获取第一样本图像、第二样本图像、第一验证图像、第二验证图像、第一测试图像、第二测试图像以及样本遥感影像的云检测结果之后，可以以第一样本图像和第二样本图像为样本，以样本遥感影像的云检测结果为样本标签，对遥感影像云检测模型进行训练，可以基于第一验证图像、第二验证图像和样本遥感影像的云检测结果，对训练中的遥感影像云检测模型的模型参数进行调整，可以基于第一测试图像、第二测试图像以及样本遥感影像的云检测结果对遥感影像云检测模型的性能进行评估，进而可以获得训练好的遥感影像云检测模型。
[0119]
获得训练好的遥感影像云检测模型之后，可以将获得的第一目标图像和第二目标图像输入上述训练好的遥感影像云检测模型。
[0120]
上述训练好的遥感影像云检测模型可以基于第一目标图像和第二目标图像进行遥感影像云检测，进而可以获取并输出待检测遥感影像的云检测结果。
[0121]
可选地，待检测遥感影像的云检测结果可以为待检测遥感影像的云掩模图像，上述样本遥感影像的云掩模图像还可以标注有云量值。
[0122]
本发明实施例通过基于待检测遥感影像，获取第一目标图像和第二目标图像之后，将第一目标图像和第二目标图像输入遥感影像云检测模型，获取遥感影像云检测模型输出的待检测遥感影像的云检测结果，第一目标图像为待检测遥感影像的雾霾优化转换hot指数特征图像，第二目标图像为待检测遥感影像目标波段的多光谱图像，目标波段包括红色波段、绿色波段、蓝色波段以及近红外波段，能通过在遥感影像云检测中增加待检测遥感影像目标波段的hot指数特征，实现更准确的识别待检测遥感影像中的云混淆区域，能提高遥感影像云检测的准确率。
[0123]
图2是本发明提供的遥感影像云检测方法中遥感影像云检测模型的结构示意图。基于上述各实施例的内容，如图2所示，基于上述各实施例的内容，遥感影像云检测模型，包括：边缘检测模块201和云检测模块202。
[0124]
相应地，将第一目标图像和第二目标图像输入遥感影像云检测模型，获取遥感影像云检测模型输出的待检测遥感影像的云检测结果，包括：将第一目标图像和第二目标图像输入边缘检测模块201，由边缘检测模块201对第一目标图像和第二目标图像进行边缘检
测，进而获取边缘检测模块201输出的边缘增强特征图像。
[0125]
需要说明的是，由于云的形态和厚度复杂多变，基于传统的遥感影像云检测方法进行遥感影像云检测时，通常难以准确的获取待检测遥感影像中云的边缘，导致传统的遥感影像云检测方法的检测准确率。
[0126]
本发明实施例中的遥感影像云检测模型，包括边缘检测模块201。基于本发明实施例中边缘检测模块201，可以更准确的获取待检测遥感影像中云的边缘，进而可以进一步提高待检测遥感影像云检测的准确率。
[0127]
具体地，获取第一目标图像和第二目标图像之后，可以将第一目标图像和第二目标图像输入边缘检测模型201。
[0128]
边缘检测模块201可以分别对第一目标图像以及第二目标图像进行边缘检测，从而可以增强第一目标图像中的云以及第二目标图像中的云的边缘特征，并可以对第一目标图像和第二目标图像边缘检测后得到特征图进行特征融合，从而可以获取并输出边缘增强特征图像。
[0129]
需要说明的是，本发明实施例中对边缘检测模块201的具体结构不作限定。
[0130]
基于上述各实施例的内容，边缘检测模块201，包括：边缘检测单元203和特征融合单元204。
[0131]
相应地，将第一目标图像和第二目标图像输入边缘检测模块201，由边缘检测模块201对第一目标图像和第二目标图像进行边缘检测，进而获取边缘检测模块201输出的边缘增强特征图像，包括：将第一目标图像和第二目标图像输入边缘检测单元203，由边缘检测单元203基于索贝尔算子，分别对第一目标图像以及第二目标图像进行边缘检测，进而获取边缘检测单元203输出的第一边缘增强特征子图像和第二边缘增强特征子图像；第一边缘增强特征子图像与第一目标图像对应，第二边缘增强特征子图像与第二目标图像对应。
[0132]
需要说明的是，索贝尔(sobel)算子，是计算机视觉领域的一种重要处理方法，主要用于边缘检测。sobel算子为离散性差分算子，可以用于运算图像亮度函数的梯度之近似值。在图像的任何一点使用此算子，将会产生对应的梯度矢量或是其法矢量，sobel算子对噪声还具有平滑抑制作用。
[0133]
将第一目标图像和第二目标图像输出边缘检测单元203之后，边缘检测单元203可以基于如下公式，分别对第一目标图像进行边缘检测，获得第一边缘增强特征子图像，对第二目标图像进行边缘检测，获得第二边缘增强特征子图像。
[0134]gx
＝[f(x+1,y-1)+2f(x+1,y)+f(x+1,y+1)]-[f(x-1,y-1)+2f(x-1,y)+f(x+1,y+1)]
ꢀꢀꢀꢀꢀ
(5)
[0135]gy
＝[f(x-1,y-1)+2f(x,y-1)+f(x+1,y-1)]-[f(x-1,y+1)+2f(x,y+1)+f(x+1,y+1)]
ꢀꢀꢀꢀꢀꢀꢀ
(6)
[0136]
g＝|g
x
|+|gy|
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)
[0137]
其中，x和y表示像元的坐标值；f(x,y)是坐标值为(x,y)的像元的灰度值；g
x
表示坐标值为(x,y)的像元的灰度值在水平上的偏导数的近似值；gy表示坐标值为(x,y)的像元的灰度值在垂直方向上的偏导数的近似值；g
x
和gy可以通过对图像在两个方向上进行平面卷积得到；g表示边缘检测的结果。
[0138]
需要说明的是，本发明实施例中对边缘检测单元203的具体结构不作限定。
[0139]
图3是本发明提供的遥感影像云检测方法中边缘检测单元的结构示意图。基于上述各实施例的内容，如图3所示，基于上述各实施例的内容，边缘检测单元203，包括：边缘检测子单元302、第四卷积子单元301、第五卷积子单元303、第六卷积子单元304、特征差异子单元305和第五特征融合子单元306。
[0140]
相应地，将第一目标图像和第二目标图像输入边缘检测单元203，由边缘检测单元203基于索贝尔算子，分别对第一目标图像以及第二目标图像进行边缘检测，进而获取边缘检测单元203输出的第一边缘增强特征子图像和第二边缘增强特征子图像，包括：将第一目标图像以及第二目标图像输入第四卷积子单元301，由第四卷积子单元301分别对第一目标图像以及第二目标图像进行卷积计算、归一化处理以及激活函数计算，进而获取第四卷积子单元输出的第十四特征图像和第十五特征图像；第十四特征图像与第一目标图像对应，第十五特征图像与第二目标图像对应。
[0141]
具体地，将第一目标图像和第二目标图像输入第四卷积子单元301之后，第四卷积子单元301可以对第一目标图像依次进行卷积核大小为3
×
3的卷积计算、批归一化处理(batch normalization，bn)以及relu激活函数计算，进而可以获取并输出第十四特征图像；第四卷积子单元301还可以对第二目标图像依次进行卷积核大小为3
×
3的卷积计算、bn处理以及relu激活函数计算，进而可以获取并输出第十五特征图像。
[0142]
将第十四特征图像和第十五特征图像分别输入边缘检测子单元302和第五卷积子单元303，由边缘检测子单元302基于索贝尔算子，分别对第十四特征图像和第十五特征图像进行边缘检测，由第五卷积子单元303分别对第十四特征图像和第十五特征图像进行卷积计算、归一化处理以及激活函数计算，进而获取边缘检测子单元302输出的第三边缘增强特征子图像和第四边缘增强特征子图像，获取第五卷积子单元303输出的第十六特征图像和第十七特征图像；第三边缘增强特征子图像和第十六特征图像与第十四特征图像对应，第四边缘增强特征子图像与第十七特征图像与第十五特征图像对应。
[0143]
具体地，获取第十四特征图像和第十五特征图像之后，可以将第十四特征图像和第十五特征图像分别输入边缘检测子单元302和第五卷积子单元303。
[0144]
边缘检测子单元302可以基于公式(5)至公式(7)，对第十四特征图像进行边缘检测，进而可以获取并输出第三边缘增强特征子图像；边缘检测子单元302可以基于公式(5)至公式(7)，对第十五特征图像进行边缘检测，进而可以获取并输出第四边缘增强特征子图像。
[0145]
第五卷积子单元303可以对第十四特征图像依次进行卷积核大小为3
×
3的卷积计算、bn处理以及relu激活函数计算，进而可以获取并输出第十六特征图像；第五卷积子单元303还可以对第十五特征图像依次进行卷积核大小为3
×
3的卷积计算、bn处理以及relu激活函数计算，进而可以获取并输出第十七特征图像。
[0146]
将第三边缘增强特征子图像和第四边缘增强特征子图像输入第六卷积子单元304，由第六卷积子单元304分别对第三边缘增强特征子图像和第四边缘增强特征子图像进行卷积计算、归一化处理以及激活函数计算，进而获取第六卷积子单元304输出的第十八特征图像和第十九特征图像；第十八特征图像与第三边缘增强特征子图像对应，第十九特征图像与第四边缘增强特征子图像对应。
[0147]
具体地，获取第三边缘增强特征子图像和第四边缘增强特征子图像之后，可以将
第三边缘增强特征子图像和第四边缘增强特征子图像输入第六卷积子单元304。
[0148]
第六卷积子单元304可以对第三边缘增强特征子图像依次进行卷积核大小为3
×
3的卷积计算、bn处理以及relu激活函数计算，进而可以获取并输出第十八特征图像；第六卷积子单元304还可以对第四边缘增强特征子图像依次进行卷积核大小为3
×
3的卷积计算、bn处理以及relu激活函数计算，进而可以获取并输出第十九特征图像。
[0149]
将第十六特征图像、第十七特征图像、第十八特征图像和第十九特征图像输入特征差异子单元305，由特征差异子单元305分别获取第十六特征图像与第十八特征图像之间的特征差异，以及第十七特征图像与第十九特征图像之间的特征差异，进而获取特征差异子单元305输出的第一特征差异图像和第二特征差异图像；第一特征差异图像与第十六特征图像与第十八特征图像对应，第二特征差异图像与第十七特征图像与第十九特征图像对应。
[0150]
具体地，获取第十六特征图像、第十七特征图像、第十八特征图像和第十九特征图像之后，可以将第十六特征图像、第十七特征图像、第十八特征图像和第十九特征图像输入特征差异子单元305。
[0151]
特征差异子单元305可以获取已增强云的边缘特征的第十八特征图像与未增强云的边缘特征的第十六特征图像之间的特征差异，进而可以获取并输出第一特征差异图像；特征差异子单元305可以获取已增强云的边缘特征的第十九特征图像与未增强云的边缘特征的第十七特征图像之间的特征差异，进而可以获取并输出第二特征差异图像。
[0152]
将第十六特征图像、第十七特征图像、第一特征差异图像和第二特征差异图像输入第五特征融合子单元306，由第五特征融合子单元306对第十六特征图像、第十七特征图像、第一特征差异图像和第二特征差异图像进行特征融合，进而获取第五特征融合子单元306输出的第一边缘增强特征子图像和第二边缘增强特征子图像。
[0153]
具体地，获取第一特征差异图像和第二特征差异图像之后，可以将第十六特征图像、第十七特征图像、第一特征差异图像和第二特征差异图像输出第五特征融合子单元306。
[0154]
第五特征融合子单元306可以对第一特征差异图像依次进行卷积核大小为3
×
3的卷积计算、bn处理以及relu激活函数计算，获取第三特征差异图像，并可以对第三特征差异图像和第十六特征图像进行特征融合，并可以对上述特征融合得到的特征图像依次进行卷积核大小为3
×
3的卷积计算、bn处理以及relu激活函数计算，进而可以获取并输出第一边缘增强特征子图像；
[0155]
第五特征融合子单元306可以对第二特征差异图像依次进行卷积核大小为3
×
3的卷积计算、bn处理以及relu激活函数计算，获取第四特征差异图像，并可以对第四特征差异图像和第十七特征图像进行特征融合，并可以对上述特征融合得到的特征图像依次进行卷积核大小为3
×
3的卷积计算、bn处理以及relu激活函数计算，进而可以获取并输出第二边缘增强特征子图像。
[0156]
将第一边缘增强特征子图像和第二边缘增强特征子图像输入特征融合单元204，获取特征融合单元204输出的边缘增强特征图像。
[0157]
具体地，获取第一边缘增强特征子图像和第二边缘增强特征子图像之后，可以将第一边缘增强特征子图像和第二边缘增强特征子图像输入特征融合单元204。
[0158]
特征融合单元204可以通过通道级联的方式拼接第一边缘增强特征子图像和第二边缘增强特征子图像，并可以对拼接后的特征图像依次进行卷积核大小为3
×
3的卷积计算、bn处理以及relu激活函数计算，实现第一边缘增强特征子图像和第二边缘增强特征子图像的特征融合，进而可以获取并输出边缘增强特征图像。
[0159]
本发明实施例中的边缘检测单元包括边缘检测子单元、第四卷积子单元、第五卷积子单元、第六卷积子单元、特征差异子单元和第五特征融合子单元，能基于上述边缘检测单元更准确、更高效的增强第一目标图像中的云以及第二目标图像中的云的边缘特征，能进一步提高待检测遥感影像云检测模型的检测准确率和检测效率。
[0160]
将边缘增强特征图像输入云检测模块202，获取云检测模块202输出的待检测遥感影像的云检测结果。
[0161]
具体地，获取边缘增强特征图像之后，可以将边缘增强特征图像输入云检测模块202。
[0162]
云检测模块202可以基于边缘增强特征图像进行云检测，进而可以获取并输出待检测遥感图像的云检测结果。
[0163]
需要说明的是，本发明实施例中对云检测模块202的具体结构不作限定。
[0164]
本发明实施例中的遥感影像云检测模型包括边缘检测模块和云检测模块，能基于边缘检测模块更准确、更高效的增强第一目标图像中的云以及第二目标图像中的云的边缘特征，能进一步提高待检测遥感影像云检测的准确率和检测效率。
[0165]
基于上述各实施例的内容，云检测模块202，包括：语义特征提取单元205、空洞卷积单元206和解码单元207。
[0166]
相应地，将边缘增强特征图像输入云检测模块202，获取云检测模块202输出的待检测遥感影像的云检测结果，包括：将边缘增强特征图像输入语义特征提取单元205，获取语义特征提取单元205输出的第一特征图像、第二特征图像、第三特征图像和第四特征图像；第二特征图像是基于第一特征图像生成的，第三特征图像是基于第二特征图像生成的，第四特征图像是基于第三特征图像生成的。
[0167]
具体地，获取边缘增强特征图像之后，可以将边缘增强特征图像输入语义特征提取单元205。
[0168]
语义特征提取单元205可以对边缘增强特征图像进行语义特征提取，获取并输出第一特征图像；
[0169]
语义特征提取单元205获取第一特征图像之后，还可以对第一特征图像进行语义特征提取，进而可以获取并输出第二特征图像；
[0170]
语义特征提取单元205获取第二特征图像之后，还可以对第二特征图像进行语义特征提取，进而可以获取并输出第三特征图像；
[0171]
语义特征提取单元205获取第三特征图像之后，还可以对第三特征图像进行语义特征提取，进而可以获取并输出第四特征图像。
[0172]
需要说明的是，本发明实施例中对语义特征提取单元205的具体结构不作限定。
[0173]
基于上述各实施例的内容，如图2所示，语义特征提取单元205，包括：第一卷积子单元208、第二卷积子单元209、第三卷积子单元210和第一空洞卷积子单元211。
[0174]
相应地，将边缘增强特征图像输入语义特征提取单元205，获取语义特征提取单元
205输出的第一特征图像、第二特征图像、第三特征图像和第四特征图像，包括：将边缘增强特征图像输入第一卷积子单元208，由第一卷积子单元208对边缘增强特征图像进行下采样和特征提取，进而获取第一卷积子单元输出的第一特征图像。
[0175]
具体地，获取边缘增强特征图像之后，可以将边缘增强特征图像输入第一卷积子单元208。
[0176]
图4是本发明提供的遥感影像云检测方法中卷积块的结构示意图。如图4所示，卷积块401首先执行卷积核大小为7
×
7、步长为1的深度卷积计算和层归一化处理(layer normalization，ln)处理，以提取输入图像的特征，其次执行卷积核大小为1
×
1、步长为1的卷积计算和gelu激活函数计数，以增加输入图像的维度，再次执行卷积核大小为1
×
1、步长为1的卷积计数，以降低输入图像的维度，最后通过逐像素相加将输入图像与经过上述计算得到的图像进行特征融合，从而可以输出上述特征融合后得到的特征图像。
[0177]
需要说明的是，图4中的h、w、dim分别表示图像的高、宽和通道数。
[0178]
第一卷积子单元208可以将边缘增强特征图像，输入由第一数量的卷积块401级联构成的网络结构中，实现对下采样后的边缘增强特征图像浅层特征的提取，进而可以获取并输出第一特征图像。
[0179]
需要说明的是，上述原始尺寸为待检测遥感影像的尺寸。
[0180]
需要说明的是，上述第一数量可以根据先验知识确定。本发明实施例中对上述第一数量不作具体限定。
[0181]
可选地，上述第一数量可以为3个。
[0182]
将第一特征图像输入第二卷积子单元209，由第二卷积子单元209对第一特征图像进行下采样和特征提取，进而获取第二卷积子单元209输出的第二特征图像。
[0183]
具体地，获取第一特征图像之后，可以将第一特征图像输入第二卷积子单元209。
[0184]
图5是本发明提供的遥感影像云检测方法中下采样块的结构示意图。如图5所示，下采样块501可以首先执行ln处理，再执行卷积核大小为2
×
2、步长为2的卷积计算，实现对输入图像的下采样，输出下采样后的特征图像。
[0185]
需要说明的是，本发明实施例中的第二卷积子单元209，包括由一个下采样块501和第二数量的卷积块401依次级联构成的网络结构。
[0186]
相应地，第一特征图像输入第二卷积子单元209之后，上述网络结构可以对第一特征图像下采样至上述原始尺寸的1/8，并可以通过卷积计算对第一特征图像进行特征提取，进而可以获取并输出第二特征图像。
[0187]
需要说明的是，上述第二数量可以根据先验知识确定。本发明实施例中对上述第二数量不作具体限定。
[0188]
可选地，上述第二数量可以为3个。
[0189]
将第二特征图像输入第三卷积子单元210，由第三卷积子单元210对第二特征图像进行下采样和特征提取，进而获取第三卷积子单元210输出的第三特征图像。
[0190]
具体地，获取第二特征图像之后，可以将第二特征图像输入第三卷积子单元210。
[0191]
需要说明的是，本发明实施例中的第三卷积子单元210，包括由一个下采样块501和第三数量的卷积块401依次级联构成的网络结构。
[0192]
相应地，第二特征图像输入第三卷积子单元210之后，上述网络结构可以对第二特
征图像下采样至上述原始尺寸的1/16，并可以通过卷积计算对第二特征图像进行特征提取，进而可以获取并输出第三特征图像。
[0193]
需要说明的是，上述第三数量可以根据先验知识确定。本发明实施例中对上述第三数量不作具体限定。
[0194]
可选地，上述第三数量可以为9个。
[0195]
将第三特征图像输入第一空洞卷积子单元211，由第一空洞卷积子单元211基于空洞卷积计算对第三特征图像进行特征提取，进而获取第一空洞卷积子单元211输出的第四特征图像。
[0196]
具体地，获取第三特征图像之后，可以将第三特征图像输入第三卷积子单元210。
[0197]
图6是本发明提供的遥感影像云检测方法中空洞卷积块的结构示意图。如图6所示，空洞卷积块601首先执行卷积核大小为7
×
7、步长为1且空洞率为2的深度卷积计算和ln处理，以提取输入图像的特征，其次执行卷积核大小为1
×
1、步长为1的卷积计算和gelu激活函数计数，以增加输入图像的维度，再次执行卷积核大小为1
×
1、步长为1的卷积计数，以降低输入图像的维度，最后通过逐像素相加将输入图像与经过上述计算得到的图像进行特征融合，从而可以输出上述特征融合后得到的特征图像。
[0198]
需要说明的是，为了使得第一空洞卷积子单元211输出的第四特征图像可以拥有更多尺度的特征数据，从而提供遥感影像云检测模型的检测准确率，第三特征图像输入第三卷积子单元210之后，第三卷积子单元210可以首先对第三特征图像进行ln处理以及卷积核大小为3
×
3、步长为1的卷积计算，以减少特征数据的损失，并可以将卷积计算后的第三特征图像输入由第四数量的空洞卷积块601级联构成的网络结构中，实现对卷积计算后的第三特征图像深层特征的提取，进而可以获取并输出第四特征图像。
[0199]
需要说明的是，上述第四数量可以根据先验知识确定。本发明实施例中对上述第四数量不作具体限定。
[0200]
可选地，上述第四数量可以为3个。
[0201]
为了便于本发明实施例中语义特征提取单元205的理解，语义特征提取单元205中各子单元对应的输入、输出、执行的操作以及空洞率如表1所示。
[0202]
表1语义特征提取单元
[0203][0204]
将第四特征图像输入空洞卷积单元206，获取空洞卷积单元206输出的第五特征图像。
[0205]
具体地，获取第四特征图像之后，可以将第四特征图像输入空洞卷积单元206。
[0206]
空洞卷积单元206可以对第四特征图像进行空洞卷积计算，以提取第四特征图像中的深层特征，进而可以获取并输出第五特征图像。
[0207]
需要说明的是，本发明实施例中对空洞卷积单元206的具体结构不作限定。
[0208]
基于上述各实施例的内容，如图2所示，空洞卷积单元206，包括：第七卷积子单元219、多个第二空洞卷积子单元220、池化子单元221以及第六特征融合子单元222。
[0209]
相应地，将第四特征图像输入空洞卷积单元206，获取空洞卷积单元206输出的第五特征图像，包括：将第四特征图分别输入第七卷积子单元219、每一第二空洞卷积子单元220以及池化子单元221，获取第七卷积子单元219输出的第二十特征图像，获取每一第二空洞卷积子单元220输出的每一空洞卷积特征图像，获取池化子单元221输出的池化特征图像。
[0210]
具体地，获取第四特征图像之后，可以将第四特征图像分别输入第七卷积子单元219、第五数量的第二空洞卷积子单元220以及池化子单元221。
[0211]
第七卷积子单元219可以对第四特征图像进行卷积核大小为1
×
1的卷积计算，进而可以获取并输出第二十特征图像。
[0212]
需要说明的是，第五数量可以根据实际情况确定。本发明实施例中对第五数量不作具体限定。
[0213]
可选地，第五数量可以为3个。
[0214]
可选地，本发明实施例中的各第二空洞卷积子单元220可以执行卷积核大小为3
×
3、空洞率分别为6、12和18的空洞卷积，进而可以获取每一第二空洞卷积子单元220输出的每一空洞卷积特征图像。
[0215]
池化子单元221可以对第四特征图像进行池化，进而可以获取池化子单元221输出的池化特征图像。
[0216]
将第二十特征图像、每一空洞卷积特征图像以及池化特征图像输入第六特征融合子单元222，获取第六特征融合子单元222输出的第五特征图像。
[0217]
具体地，获取第二十特征图像、每一空洞卷积特征图像和池化特征图像之后，可以将第二十特征图像、每一空洞卷积特征图像和池化特征图像输入第六特征融合子单元222。
[0218]
第六特征融合子单元222可以通过通道级联的方式拼接第二十特征图像、每一空洞卷积特征图像和池化特征图像，并可以对拼接后的特征图像依次进行卷积核大小为1
×
1的卷积计算、bn处理以及relu激活函数计算，实现第二十特征图像、每一空洞卷积特征图像和池化特征图像的特征融合，进而可以获取并输出第五特征图像。
[0219]
将第一特征图像、第二特征图像、第三特征图像和第五特征图像输入解码单元207，获取解码单元207输出的待检测遥感影像的云检测结果。
[0220]
具体地，获取第一特征图像、第二特征图像、第三特征图像和第五特征图像之后，可以将第一特征图像、第二特征图像、第三特征图像和第五特征图像输入解码单元207。
[0221]
解码单元207可以通过卷积计算和上采样，对第一特征图像、第二特征图像、第三特征图像和第五特征图像进行特征融合，进而可以获取并输出待检测遥感影像的云检测结果。
[0222]
需要说明的是，本发明实施例中的边缘特征提取增强模块201、语义特征提取单元205和空洞卷积单元206，可以共同构成遥感影像云检测模型中的编码器，解码单元207可以作为遥感影像云检测模型中的解码器。
[0223]
本发明实施例中云检测模块包括语义特征提取单元、空洞卷积单元和解码单元，
能利用基于convnext网络结构构建的语义特征提取单元以及空洞卷积单元，更准确、更高效的提取第一目标图像和第二目标图像的深层特征和浅层特征，能进一步提高遥感影像云检测模型的检测准确率。
[0224]
基于上述各实施例的内容，解码单元207，包括：第一特征融合子单元212、第二特征融合子单元214、第三特征融合子单元216、第四特征融合子单元218、第一上采样子单元213、第二上采样子单元215、第一卷积上采样子单元217、第二卷积上采样子单元223和第三卷积上采样子单元224。
[0225]
将第一特征图像、第二特征图像、第三特征图像和第五特征图像输入解码单元207，获取解码单元207输出的待检测遥感影像的云检测结果，包括：将第五特征图像和第三特征图像输入第一特征融合子单元212，获取第一特征融合子单元212输出的第六特征图像。
[0226]
具体地，获取第一特征图像、第二特征图像、第三特征图像和第五特征图像之后，可以将第五特征图像和第三特征图像输入第一特征融合子单元212。
[0227]
第一特征融合子单元212可以对第五特征图像和第三特征图像进行特征融合，进而可以获取并输出第六特征图像。
[0228]
将第六特征图像分别输入第一上采样子单元213和第一卷积上采样单元，由第一上采样子单元213对第六特征图像进行上采样，由第一卷积上采样子单元217对第六特征图像进行卷积计算和上采样，进而获取第一上采样子单元213输出的第七特征图像，获取第一卷积上采样子单元217输出的第八特征图像。
[0229]
具体地，获取第六特征图像之后，可以将第六特征图像分别输入第一上采样子单元213和第一卷积上采样子单元217。
[0230]
第一上采样子单元213可以对第六特征图进行上采样2倍，进而可以获取并输出第七特征图。
[0231]
第一卷积上采样子单元217可以对第六特征图依次进行卷积核大小为3
×
3的卷积计算以及上采样16倍，进而可以获取并输出第八特征图。
[0232]
将第七特征图像和第二特征图像输入第二特征融合子单元214，获取第二特征融合子单元214输出的第九特征图像。
[0233]
具体地，获取第七特征图像之后，可以将第七特征图像和第二特征图像输入第二特征融合子单元214。
[0234]
第二特征融合子单元214可以对第七特征图像和第二特征图像进行特征融合，进而可以获取并输出第九特征图像。
[0235]
将第九特征图像分别输入第二上采样子单元215和第二卷积上采样子单元223，由第二上采样子单元215对第九特征图像进行上采样，由第二卷积上采样子单元223对第九特征图像进行卷积计算和上采样，进而获取第二上采样子单元215输出的第十特征图像，获取第二卷积上采样子单元223输出的第十一特征图像。
[0236]
具体地，获取第九特征图像之后，可以将第九特征图像分别输入第二上采样子单元215和第二卷积上采样子单元223。
[0237]
第二上采样子单元215可以对第九特征图进行上采样2倍，进而可以获取并输出第十特征图像。
[0238]
第二卷积上采样子单元223可以对第九特征图依次进行卷积核大小为3
×
3的卷积计算以及上采样8倍，进而可以获取并输出第十一特征图。
[0239]
将第十特征图像和第一特征图像输入第三特征融合子单元216，获取第三特征融合单元输出的第十二特征图像。
[0240]
具体地，获取第十特征图像之后，可以将第十特征图像和第一特征图像输入第三特征融合子单元216。
[0241]
第三特征融合子单元216可以对第十特征图像和第一特征图像进行特征融合，进而可以获取并输出第十二特征图像。
[0242]
将第十二特征图像输入第三卷积上采样子单元224，由第三卷积上采样子单元224对第十二特征图像进行卷积计算和上采样，进而获取第三卷积上采样子单元224输出的第十三特征图像。
[0243]
具体地，获取第十二特征图像之后，可以将第十二特征图像输入第三卷积上采样子单元224。
[0244]
第三卷积上采样子单元224可以对第十二特征图像依次进行卷积核大小为3
×
3的卷积计算以及上采样4倍，进而可以获取并输出第十三特征图。
[0245]
将第八特征图像、第十一特征图像和第十三特征图像输入第四特征融合子单元218，获取第四特征融合子单元218输入的待检测遥感影像的云检测结果。
[0246]
具体地，获取第八特征图像、第十一特征图像和第十三特征图像之后，可以将第八特征图像、第十一特征图像和第十三特征图像输入第四特征融合子单元218。
[0247]
第四特征融合子单元218可以对第八特征图像、第十一特征图像和第十三特征图像进行卷积核大小为1
×
1的卷积计算，以实现第八特征图像、第十一特征图像和第十三特征图像的特征融合，进而可以获取并输出待检测遥感影像的云检测结果。
[0248]
需要说明的是，第八特征图像、第十一特征图像和第十三特征图像的通道数量为1，尺寸为待检测遥感影像的原始尺寸。
[0249]
本发明实施例中解码单元对深层特征和浅层特征进行特征融合，能基于更丰富的特征数据，进一步提高遥感影像云检测模型的检测准确率。
[0250]
为了验证本发明提供的遥感影像云检测方法的可行性和有效性，以下对本发明提供的遥感影像云检测方法的一个应用实例进行说明。上述应用实例对地表类型丰富的landsat 8生物群落类型云验证(landsat 8biome cloud validation masks，l8 biome)数据集进行训练测试。上述应用实例基于消融实验验证本发明提供的遥感影像云检测模型的有效性。
[0251]
上述应用实例还将本发明提供的遥感影像云检测模型与传统的遥感影像云检测模型进行定性和定量评价。其中，定量评价包括总体精度(overall accuracy，oa)、精确率(precision ratio，pr)、召回率(recall ratio,rr)、f1 score、平均交并比(mean intersection of union，miou)等指标。
[0252]
上述应用实例还选择不同地表类型的其余l8数据和高分数据作为测试数据，用于验证本发明提供的遥感影像云检测模型的泛化性能力。
[0253]
表2.消融实验的性能对比数据表
[0254][0255]
表2为上述消融实验的性能对比数据表。如表2所示，消融实验结果显示，本发明提供的遥感影像云检测模型，可以使得遥感影像云检测的准确率提升。
[0256]
表3.本发明提供的遥感影像云检测模型与传统的遥感影像云检测模型的性能对比数据
[0257][0258]
表3为本发明提供的遥感影像云检测模型与传统的遥感影像云检测模型的性能对比数据。如表3所示，相较于传统的遥感影像云检测模型，本发明提供的遥感影像云检测模型不仅准确率高，并且保持了较低的漏检率和较高的召回率。
[0259]
基于上述应用实例可知，本发明提供的遥感影像云检测方法，基于光学传感器中常用的红、绿、蓝和近红外波段进行云检测，具有较好普适性，将待检测遥感影像的hot指数特征图像与待检测遥感影像目标波段的多光谱图像一起输入训练好的遥感影像云检测模型，增加了云的独特光谱特征信息，有效地消除了薄云周围的混淆的非云像素，提高了云检测精度。利用遥感影像云检测模型中的边缘检测模块增加云的边缘信息，可以有效地检测孤立云、碎片云和拟合云边缘。采用convnext作为骨干网络构建语义特征提取单元，并基于解码器阶段自下而上融合浅层和深层特征，补偿解码器阶段云的边缘和局部信息丢失，可以进一步提高了遥感影像云检测模型的检测准确率和泛化能力，具有较大的实际应用前景。
[0260]
图7是本发明提供的遥感影像云检测装置的结构示意图。下面结合图7对本发明提供的遥感影像云检测装置进行描述，下文描述的遥感影像云检测装置与上文描述的本发明提供的遥感影像云检测方法可相互对应参照。如图7所示，该装置包括：影像获取模块701、数据处理模块702和模型计算模块703。
[0261]
影像获取模块701，用于获取待检测遥感影像。
[0262]
数据处理模块702，用于基于待检测遥感影像，获取第一目标图像和第二目标图像。
[0263]
模型计算模块703，用于将第一目标图像和第二目标图像输入遥感影像云检测模
型，获取遥感影像云检测模型输出的待检测遥感影像的云检测结果。
[0264]
其中，第一目标图像为待检测遥感影像的雾霾优化转换hot指数特征图像；第二目标图像为待检测遥感影像目标波段的多光谱图像；目标波段包括红色波段、绿色波段、蓝色波段以及近红外波段；
[0265]
遥感影像云检测模型是基于第一样本图像、第二样本图像以及样本遥感影像的云检测结果进行训练后得到的；第一样本图像为样本遥感影像的hot指数特征影像，第二样本图像为样本遥感影像目标波段的多光谱影像；第一样本图像和第二样本图像，是基于样本遥感影像获取的。
[0266]
具体地，影像获取模块701、数据处理模块702和模型计算模块703电连接。
[0267]
本发明实施例中的遥感影像云检测装置，通过基于待检测遥感影像，获取第一目标图像和第二目标图像之后，将第一目标图像和第二目标图像输入遥感影像云检测模型，获取遥感影像云检测模型输出的待检测遥感影像的云检测结果，第一目标图像为待检测遥感影像的雾霾优化转换hot指数特征图像，第二目标图像为待检测遥感影像目标波段的多光谱图像，目标波段包括红色波段、绿色波段、蓝色波段以及近红外波段，能通过在遥感影像云检测中增加待检测遥感影像目标波段的hot指数特征，实现更准确的识别待检测遥感影像中的云混淆区域，能提高遥感影像云检测的准确率。
[0268]
图8示例了一种电子设备的实体结构示意图，如图8所示，该电子设备可以包括：处理器(processor)810、通信接口(communications interface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令，以执行遥感影像云检测方法，该方法包括：获取待检测遥感影像；基于待检测遥感影像，获取第一目标图像和第二目标图像；将第一目标图像和第二目标图像输入遥感影像云检测模型，获取遥感影像云检测模型输出的待检测遥感影像的云检测结果；其中，第一目标图像为待检测遥感影像的雾霾优化转换hot指数特征图像；第二目标图像为待检测遥感影像目标波段的多光谱图像；目标波段包括红色波段、绿色波段、蓝色波段以及近红外波段；遥感影像云检测模型是基于第一样本图像、第二样本图像以及样本遥感影像的云检测结果进行训练后得到的；第一样本图像为样本遥感影像的hot指数特征影像，第二样本图像为样本遥感影像目标波段的多光谱影像；第一样本图像和第二样本图像，是基于样本遥感影像获取的。
[0269]
此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0270]
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的遥感影像云检测方法，该方法包括：获取待检测遥
感影像；基于待检测遥感影像，获取第一目标图像和第二目标图像；将第一目标图像和第二目标图像输入遥感影像云检测模型，获取遥感影像云检测模型输出的待检测遥感影像的云检测结果；其中，第一目标图像为待检测遥感影像的雾霾优化转换hot指数特征图像；第二目标图像为待检测遥感影像目标波段的多光谱图像；目标波段包括红色波段、绿色波段、蓝色波段以及近红外波段；遥感影像云检测模型是基于第一样本图像、第二样本图像以及样本遥感影像的云检测结果进行训练后得到的；第一样本图像为样本遥感影像的hot指数特征影像，第二样本图像为样本遥感影像目标波段的多光谱影像；第一样本图像和第二样本图像，是基于样本遥感影像获取的。
[0271]
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的遥感影像云检测方法，该方法包括：获取待检测遥感影像；基于待检测遥感影像，获取第一目标图像和第二目标图像；将第一目标图像和第二目标图像输入遥感影像云检测模型，获取遥感影像云检测模型输出的待检测遥感影像的云检测结果；其中，第一目标图像为待检测遥感影像的雾霾优化转换hot指数特征图像；第二目标图像为待检测遥感影像目标波段的多光谱图像；目标波段包括红色波段、绿色波段、蓝色波段以及近红外波段；遥感影像云检测模型是基于第一样本图像、第二样本图像以及样本遥感影像的云检测结果进行训练后得到的；第一样本图像为样本遥感影像的hot指数特征影像，第二样本图像为样本遥感影像目标波段的多光谱影像；第一样本图像和第二样本图像，是基于样本遥感影像获取的。
[0272]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0273]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0274]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。