一种基于域知识库的多源域泛化的云和云阴影检测方法

本发明涉及光学遥感影像处理，具体来说是一种基于域知识库的多源域泛化的云和云阴影检测方法。

背景技术：

1、云和云阴影检测旨在识别和区分遥感图像中的云像素、云阴影像素以及地面像素。遥感图像的背景往往复杂多变，云的边缘及其阴影也不规则。在传统的方法中，背景的明亮部分容易被误判为云，而黑暗部分则容易被误判为云影。此外，所提取的云及其阴影的边缘信息比较粗糙，很容易忽略对薄云部分和轻云阴影部分的判断。大多数现有的深度模型(尤其是深度神经网络)能够检测大多数具有大规模边界的云，很难处理具有不稳定边界尺度的云，比如往往忽略小尺寸的云。

2、此外，目前大多数基于卷积神经网络(cnn)的云和云阴影检测方法都建立在需要大量像素级标签的监督学习框架上。然而，为海量遥感图像手动注释像素标签既昂贵又耗时。针对此提出的将源卫星标记图像上训练的模型推广到目标卫星的未标记图像的无监督域自适应(uda)方法虽然能解决无大量用于训练的标签问题，但仍存在域自适应中跨卫星图像的域偏移现象，并且待适应的目标域要参与训练，模型的泛化能力没有得到更进一步的提升。

技术实现思路

1、本发明的目的是为了解决现有云和云阴影检测任务中由于数据量局限以及域差异导致的难以将源训练模型推广至目标数据集的问题，提供一种基于域知识库的多源域泛化的云和云阴影检测方法来解决上述问题。

2、为了实现上述目的，本发明的技术方案如下：

3、一种基于域知识库的多源域泛化的云和云阴影检测方法，包括以下步骤：

4、11)基于域知识库的多源域泛化的云和云阴影检测准备工作：对用于进行域泛化的源域遥感卫星影像根据含云量分类，按一定比例挑选各个百分比的影像数据；对用于进行域泛化的源域遥感卫星影像进行波段合并、裁剪预处理；对用于进行域泛化的源域遥感卫星影像标签进行归一化预处理；

5、12)构建与训练基于域知识库的多源域泛化的云和云阴影检测模型：构建基于域知识库的多源域泛化的云和云阴影检测模型，将预处理后的遥感卫星影像以及标签输入基于域知识库的多源域泛化的云和云阴影检测模型中进行训练，得到训练好的基于域知识库的多源域泛化的云和云阴影检测模型；

6、13)对基于域知识库的多源域泛化的云和云阴影检测模型测试和求解：将未被大量标记的目标域遥感卫星影像输入到训练好的基于域知识库的多源域泛化的云和云阴影检测模型中进行测试并得到云和云阴影检测预测分割结果。

7、所述基于域知识库的多源域泛化的云和云阴影检测准备工作包括以下步骤：

8、21)将用于进行多源域泛化的多个源域遥感卫星影像的b4、b3、b2波段合并预处理为rgb三通道影像；

9、22)将用于进行多源域泛化的多个源域遥感卫星影像及标签进行不重叠裁剪，裁剪为321×321的固定大小；

10、23)将用于进行多源域泛化的多个源域遥感卫星影像标签像素值归一化：0、64、128为0,代表干净像素，192、256为1，代表云像素，得到二值单通道标签影像；

11、24)将处理后的用于进行多源域泛化的多个源域遥感卫星影像导出成.tif格式；

12、25)将处理后的用于进行多源域泛化的多个源域遥感卫星影像按照含云量百分比平均挑选训练集影像，以保证正负样本平衡。

13、所述构建与训练基于域知识库的多源域泛化的云和云阴影检测模型包括以下步骤：

14、31)其中构建基于域知识库的多源域泛化的云和云阴影检测模型的具体步骤如下：

15、311)构建用于提取抽象特征的编码器结构，编码器结构为一个普通3x3卷积层，一个批归一化层，一个relu线性激活单元以及resnet34的前四层构成的四个下采样块；

16、312)构建用于从不同尺度的特征中恢复云掩膜的解码器结构，其解码器结构包括四个普通3x3卷积层，一个批归一化层，一个relu线性激活单元构成的上采样块；

17、313)构建用于将不同尺度的浅层空间信息和深层语义信息结合起来的跳跃连接结构，其跳跃连接结构为拼接两个输入为一个输出；

18、314)构建用于存储多个源领域的先验知识的域知识库模块，其域知识库模块结构为将编码器输出的域特征图以向量的形式保存并在训练过程中动态更新库以减少特征冗余。

19、315)构建用于预测每个目标域图像属于每个源域的概率的域预测器模块，其域预测器模块的结构为一个分类器来预测每个目标域图像属于每个源域的概率；

20、316)构建用于增强与源域相似的输入特征，抑制与所有源域不同的特征的特征相似性学习模块，其特征相似性学习模块的结构为将bank中的特征动态集成到不同权值的深度模型中，鼓励将特定领域的特征相互分离；

21、32)其中训练基于域知识库的多源域泛化的云和云阴影检测模型的具体步骤如下：

22、321)将预处理后的多个源域遥感卫星影像以及标签输入云和云阴影检测模型中；

23、322)通过正向传播，得到分割概率；

24、323)使用二元交叉熵bce损失作为网络模型的损失函数对分割概率进行计算得到分割损失；

25、324)反向传播确定梯度向量，更新模型参数；

26、325)重复上述过程直到设定次数或误差损失的平均值不再下降，训练完成，得到多源域泛化的云和云阴影检测模型。

27、所述对基于域知识库的多源域泛化的云和云阴影检测模型测试和求解包括以下步骤：

28、41)读取目标域遥感卫星影像，将其成.tif格式影像；

29、42)将目标域遥感卫星影像的b4、b3、b2波段合并预处理为rgb三通道影像；

30、43)将目标域遥感卫星影像进行不重叠裁剪，裁剪为321×321的固定大小，

31、44)将预处理后的目标域遥感卫星影像输入到由多个源域遥感影像及其标签训练得到的，泛化能力强的，且在该领域性能表现较好的基于域知识库的多源域泛化的云和云阴影检测模型；

32、45)得到分割好的云掩膜图。

33、有益效果

34、本发明涉及一种基于域知识库的多源域泛化的云和云阴影检测方法，与现有技术相比通过构建基于域知识库的多源域泛化网络，其中域知识库模块的结构为将编码器输出的域特征图以向量的形式保存并在训练过程中动态更新库以减少特征冗余，并在分割网络中添加了特征相似性学习模块，将域中的特征动态集成到不同权值的深度模型中，鼓励将特定领域的特征相互分离，使模型的泛化能力提升。在跨卫星图像云和云阴影检测任务中，不同卫星传感器获取的图像存在光谱和分辨率差基于异等域差异，难以将源训练模型推广到其他目标数据集。本发明域知识库的多源域泛化的云和云阴影检测模型鼓励网络在目标域不参与训练的情况下实现领域泛化。

技术特征：

1.一种基于域知识库的多源域泛化的云和云阴影检测方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于域知识库的多源域泛化的云和云阴影检测方法，其特征在于，所述基于域知识库的多源域泛化的云和云阴影检测准备工作包括以下步骤：

3.根据权利要求1所述的一种基于域知识库的多源域泛化的云和云阴影检测方法，其特征在于，所述对基于域知识库的多源域泛化的云和云阴影检测模型测试和求解包括以下步骤：

技术总结
本发明涉及一种基于域知识库的多源域泛化的云和云阴影检测方法，所述方法包括以下步骤：基于域知识库的多源域泛化的云和云阴影检测准备工作、构建与训练基于域知识库的多源域泛化的云和云阴影检测模型、对基于域知识库的多源域泛化的云和云阴影检测模型测试和求解。与现有技术相比，通过基于域知识库的多源域泛化的云和云阴影检测网络，本发明解决了现有云和云阴影检测任务中由于数据量局限以及域差异导致的难以将源训练模型推广至目标数据集的问题，实现了一个可以适应到其他卫星域的较好泛化能力的模型。

技术研发人员：徐凯,王文昕,汪安铃,陈咏夷,张飞翔,贾兆红
受保护的技术使用者：安徽大学
技术研发日：
技术公布日：2024/2/8