面向遥感图像的无源域噪声感知域自适应分割方法

本发明涉及遥感图像分析，尤其是涉及面向遥感图像的无源域噪声感知域自适应分割方法。

背景技术：

1、无监督域自适应分割方法的目标是解决模型在被运用到新的数据域时性能下降的问题，其主要原因是源域与目标域间特征分布存在差异，导致模型无法直接泛化到新域上。随着域自适应分割技术的发展，众多工作被研究者所提出，他们从不同角度出发，如对抗学习，自训练、知识蒸馏和对比学习等，并都取得了较好的结果。该技术同样也被引入到了遥感领域，成功实现将遥感图像源域模型迁移应用到目标域上。

2、然而，在实际场景中，由于遥感图像的隐私性与安全性，源域数据往往无法轻易获得，此外，一些模型的在线部署也要求使用者无法接触到源域数据。这种现实场景中源域数据难以获得的问题，使得目前无监督域自适应分割方法无法被直接运用。

3、目前对遥感领域图像进行分割时，一种方法是假设有标注源域数据可获得，这种方法并没有考虑到实际工业场景下，源域数据出于隐私性和安全性原因难以获得的问题。另一种方法是采用面向自然图像的无源域分割模型，但是该分割模型并不适用于遥感图像，且无源域域自适应方法由于缺乏源域数据与目标域数据间的特征对齐过程，导致模型对目标域的语义分割能力更糟糕，采用这种模型进行遥感领域图像的分割时，模型预测出的目标域伪标签含有更多噪声，分割的结果不够精确。

技术实现思路

1、本发明的目的就是为了解决无源域下的遥感图像分割的伪标签噪声多，分割结果不准确而提供的面向遥感图像的无源域噪声感知域自适应分割方法。

2、本发明的目的可以通过以下技术方案来实现：

3、一种面向遥感图像的无源域噪声感知域自适应分割方法，方法包括：

4、s1、获取预训练好的源域模型中的统计分布，计算该统计分布和目标域图像输入该源域模型后的统计分布的差异，将差异作为模型损失函数，训练源域模型，得到初始目标域模型，所述目标域图像为遥感图像；

5、s2、计算初始目标域模型的对目标域图像预测结果的熵值大小，并计算初始目标域模型分布与目标域图像输入初始目标域模型后的分布的差异，分别基于熵值和初始目标域模型分布与目标域图像输入初始目标域模型后的分布的差异，对所有目标域图像进行排序，基于排序结果确定伪源域、易适应目标域图像与难适应目标域图像；

6、s3、将初始目标域模型作为骨架模块，结合交叉注意力模块和判别器生成对抗学习的初始分类模型，采用课程式学习方法训练初始分类模型，训练初始分类模型的过程中，先执行伪源域到易适应目标域的对抗学习，再执行伪源域与易适应目标域到难适应目标域的对抗学习；

7、s4、将目标域图像输入训练好的初始分类模型，初始分类模型输出的分割类别作为伪标签，基于伪标签对训练好的初始分类模型中的骨架模块进行训练，将训练好的骨架模块作为分割模型；

8、s5、重复s2～s4，直至达到迭代终止条件；

9、s6、将实际的目标域图像输入分割模型，得到遥感图像分割结果。

10、进一步地，s1的具体步骤为：

11、获取预训练好的源域模型中批归一化层中均值与方差数据的统计分布，然后将目标域图像输入预训练好的源域模型中，记录源域模型中批归一化层的变化的均值与方差，变化的均值与方差为目标域图像输入源域模型后的统计分布，计算两个统计分布的差异，将差异作为模型损失函数，训练源域模型，得到初始目标域模型。

12、进一步地，模型损失函数为：

13、

14、其中，l是预训练模型中批归一化层的总数，ul(xt)和分别表示目标域图像中第t张图像xt经过预训练模型的第l个批归一化层后的均值和方差变化，与分别表示源域模型中所有批归一化层中的均值与方差。

15、进一步地，s2的具体步骤为：

16、将目标域图像输入初始目标域模型，初始目标域模型输出目标域图像预测结果，计算目标域图像预测结果的熵值大小，并计算初始目标域模型分布与目标域图像输入初始目标域模型后的分布的差异，分别基于熵值和初始目标域模型分布与目标域图像输入初始目标域模型后的分布的差异，按照从小到大的顺序对所有目标域图像进行排序，得到熵值排序结果和差异排序结果，将两个排序结果中前α百分比的图像中相同的图像作为伪源域，将从两个排序结果中除去伪源域，除去伪源域的两个排序结果中前β百分比的图像中相同的图像作为易适应目标域图像，再从除去伪源域的两个排序结果中除去易适应目标域图像，剩余的图像为难适应目标域图像。

17、进一步地，目标域图像预测结果的熵值大小为预测结果的熵图的平均值，具体为：

18、

19、其中，xi表示目标域图像中第i张图像，h和w分别代表输入的目标域图像的高与宽，c代表输入的目标域图像的分割类别数，p表示预测结果的熵图，h、w和c分别为预测结果的高与宽以及分割类别数。

20、进一步地，图像xt的预测结果的熵图为：

21、p＝-τ(mbn(xt))logτ(mbn(xt))

22、其中，mbn表示初始目标域模型，τ表示softmax激活函数。

23、进一步地，初始目标域模型分布与目标域图像输入初始目标域模型后的分布的差异为：

24、

25、其中，l′是初始目标域模型中批归一化层的总数，ul′(xi)和分别表示目标域图像中第i张图像xi经过初始目标域模型的第l个批归一化层后的均值和方差变化，与分别表示初始目标域模型中所有批归一化层中的均值与方差，xi表示目标域图像中第i张图像xi。

26、进一步地，训练初始分类模型的过程的具体步骤为：

27、a1、将伪源域作为第一源域，将易适应目标域作为第一目标域，将第一源域和第一目标域输入骨架模块，骨架模块输出语义特征图，语义特征图经过上采样后得到分割结果，分割结果经过下采样，输入交叉注意力模块，再输入前馈模块，得到目标域分支的最终噪声感知特征和源域分支的最终噪声感知特征，将最终噪声感知特征输入判别器进行对抗学习，计算损失函数，基于损失函数训练初始分类模型；

28、a2、将伪源域和易适应目标域作为第二源域，难适应目标域作为第二目标域，将第二源域和第二目标域输入骨架模块，重复a2的步骤，训练初始分类模型。

29、进一步地，初始分类模型分为目标域分支和源域分支，a1的具体步骤为：

30、第一源域和第一目标域输入骨架模块，输出对应目标域分支的目标域语义特征图和对应源域分支的源域语义特征图，对目标域语义特征图和源域语义特征图进行上采样，采样得到目标域分割结果和源域分割结果，对目标域分割结果和源域分割结果进行下采样，得到目标域特征和源域特征，目标域特征和源域特征分别输入交叉注意力模块的目标域分支和源域分支，交叉注意力模块中计算源域分支的交叉注意力权重和目标域分支的交叉注意力权重，交叉注意力权重进入前馈模块，得到目标域分支的最终噪声感知特征和源域分支的最终噪声感知特征，将最终噪声感知特征输入判别器进行对抗学习，计算损失函数，基于损失函数训练初始分类模型。

31、进一步地，将实际的目标域图像输入分割模型，得到遥感图像分割结果的具体步骤为：

32、将实际的目标域图像输入分割模型，分割模型输出实际语义特征图，对实际语义特征图进行上采样，得到遥感图像分割结果。

33、与现有技术相比，本发明具有以下有益效果：

34、针对遥感图像数据的隐私性与安全性，以及模型在线部署的需求，遥感源域数据在实际工业环境中难以获得的问题，本发明先计算统计分布和目标域图像输入该源域模型后的统计分布的差异，对源域的模型进行初步的适应目标域，然后基于熵值和分布差异将目标域图像分为伪源域、易适应目标域图像与难适应目标域图像，再由易到难进行对抗训练，得到噪声较少的伪标签，提高分割结果的准确性。