基于域自适应的遥感图像语义分割方法及装置

本发明涉及图像分割，特别涉及一种基于域自适应的遥感图像语义分割方法、一种计算机可读存储介质、一种计算机设备和一种基于域自适应的遥感图像语义分割装置。

背景技术：

1、遥感图像被广泛用于各种应用，如土地覆盖制图、城市规划和环境监测；语义分割是遥感图像分析中的一项基本任务，图像中的每个像素都被分配了一个代表其所属物体或区域的类标签；目前，基于完全监督的深度卷积神经网络方法在遥感图像语义分割任务中已经取得了显著的结果；然而，当一个在大规模标记数据集(源域)上训练的模型被用于分割从不同场景(目标域)收集的图像时，其性能通常会因域间差异性而下降；域差异的形成因素包括成像条件、地理位置、传感器规格等方面；无监督域适应(unsupervised domainadaptation，uda)技术能够缓解这些差异，该技术旨在通过调整源域和目标域的特征分布来学习一个域不变的特征表示，实现在无目标域数据的语义标注情况下，从目标域图像中提取感兴趣的区域。

2、uda语义分割的技术主要包括对抗性学习、自训练和多阶段方法；基于对抗学习的uda方法可以有效地对齐全局边际分布，但是它们很容易出现负迁移(即对齐好的类被错误地对齐)，尤其是在类不平衡的情况下；为了解决这个问题，clan采用了一种协作训练的方法来隐式地确定每个类的对齐程度；但是不同类别特征之间的相似性容易造成误对齐；基于自我训练的uda方法通过利用目标域的伪标签和源域的类原型，显式地执行类的特征对齐；目标样本的伪标签是通过计算其特征和源域的类原型之间的距离来估计的；然而，源域的类原型可能不能有效地反映目标域中每个语义类别的特征中心点；这可能会降低目标样本的伪标签的可靠性，并影响分类器的性能；当在源域和目标域类别分布之间存在不一致的情况下，这个问题在遥感图像的无监督域适应语义分割任务中特别明显；例如，城市场景的遥感图像中，建筑和道路目标的比例高于农村场景；多阶段的uda方法一般包括对抗性学习、自训训练和知识蒸馏；在第一阶段，他们采用基于对抗的uda方法来训练模型，并将其权重作为下一阶段的初始化参数；在第二阶段，预训练的模型被用于计算目标领域的伪标签和特定类别的原型；此外，在训练过程中，原型被用来帮助在线校正伪标签；在最后阶段，知识蒸馏技术被用来将从上一阶段训练的域适应性分割模型学习到的知识转移到自监督的预训练模型中；虽然多阶段训练方法可能比端到端方法产生更好的结果，但它们严重依赖基于对抗的初始化方法的性能，并需要复杂的训练策略。

技术实现思路

1、本发明旨在至少在一定程度上解决上述技术中的技术问题之一。为此，本发明的一个目的在于提出一种基于域自适应的遥感图像语义分割方法，通过构建具有辅助原型分类器的平均教师框架能够解决遥感图像跨域语义分割任务中的域差异问题，能够有效地从目标域数据中提取感兴趣的区域，并实现源域与目标域之间类层次的对齐，从而提高分割性能。

2、本发明的第二个目的在于提出一种计算机可读存储介质。

3、本发明的第三个目的在于提出一种计算机设备。

4、本发明的第四个目的在于提出一种基于域自适应的遥感图像语义分割装置。

5、为达到上述目的，本发明第一个实施例提出了一种基于域自适应的遥感图像语义分割方法，包括以下步骤：获取遥感数据集，其中，所述遥感数据集包括具有标注的源域数据和未标注的目标域数据；构建具有辅助原型分类器的平均教师框架，其中，所述具有辅助原型分类器的平均教师框架包括教师模型和学生模型；采用所述遥感数据集训练及优化所述学生模型的参数，其中，所述教师模型使用指数移动平均更新其参数，辅助原型分类器使用指数移动平均更新其权重；将所述未标注的目标域数据输入到训练好的学生模型进行逐点预测，以得到所述未标注的目标域数据对应的分割结果。

6、根据本发明实施例的基于域自适应的遥感图像语义分割方法，首先，获取遥感数据集，其中，遥感数据集包括具有标注的源域数据和未标注的目标域数据；然后，构建具有辅助原型分类器的平均教师框架，其中，具有辅助原型分类器的平均教师框架包括教师模型和学生模型；接着，采用遥感数据集训练及优化学生模型的参数，其中，教师模型使用指数移动平均更新其参数，辅助原型分类器使用指数移动平均更新其权重；最后，将未标注的目标域数据输入到训练好的学生模型进行逐点预测，以得到未标注的目标域数据对应的分割结果；由此，通过构建具有辅助原型分类器的平均教师框架能够解决遥感图像跨域语义分割任务中的域差异问题，能够有效地从目标域数据中提取感兴趣的区域，并实现源域与目标域之间类层次的对齐，从而提高分割性能。

7、另外，根据本发明上述实施例提出的基于域自适应的遥感图像语义分割方法还可以具有如下附加的技术特征：

8、可选地，构建具有辅助原型分类器的平均教师框架包括：所述学生模型包括特征编码器和参数化分类器，并使用deeplabv2作为所述学生模型的网络结构，resnet-101作为其骨架；所述教师模型的网络结构、骨架和所述学生模型一致；为所述源域数据和目标域数据分别以队列的形式构建对应类别的记忆库，以便在对应的特征编码器输出的特征经过嵌入过滤后，以不同类别的特征向量保存到对应类别的记忆库中；将所述源域和目标域对应类别的记忆库进行拼接，并使用kmeans聚类算法聚类出该类别对应的原型，以便作为辅助原型分类器。

9、可选地，采用所述遥感数据集训练及优化所述学生模型的参数，包括：在训练的第一个epoch内，使用具有标注的源域数据对所述学生模型进行训练与参数优化，并将所述源域数据的不同类的特征向量保存到源域记忆库中；在训练的第一个epoch结束后，所述教师模型使用所述学生模型的参数进行参数初始化，以及使用kmeans算法对源域记忆库进行聚类，得到每个类的初始化原型作为辅助原型分类器；在训练的第二个epoch内，带有辅助原型分类器的学生模型使用具有标注的源域数据进行训练；所述教师模型对目标域数据做出预测，得到目标域的伪标签；带有辅助原型分类器的学生模型使用目标域的伪标签进行训练，以更新参数；同时在训练过程中，将源域数据的不同类的特征向量保存到源域记忆库中，将目标域数据的不同类的特征向量保存到目标域的记忆库中；在训练的第二个epoch结束后，所述教师模型通过所述学生模型的参数的指数移动平均更新其参数；另外，相同类别的源域记忆库和目标域记忆库进行拼接，使用kmeans算法对拼接结果进行聚类，以便得到每个类的原型进行辅助原型分类器更新；在之后的每个epoch训练过程中，所述学生模型和所述教师模型的训练以及优化方式与第二个epoch的区别处在于,辅助原型分类器通过记忆库的聚类结果的指数移动平均方式更新每个类的原型，直至训练完成。

10、为达到上述目的，本发明第二方面实施例提出了一种计算机可读存储介质，其上存储有基于域自适应的遥感图像语义分割程序，该基于域自适应的遥感图像语义分割程序被处理器执行时实现如上述的基于域自适应的遥感图像语义分割方法。

11、为达到上述目的，本发明第三方面实施例提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如上述的基于域自适应的遥感图像语义分割方法。

12、为达到上述目的，本发明第四方面实施例提出了一种基于域自适应的遥感图像语义分割装置，包括：获取模块，所述获取模块用于获取遥感数据集，其中，所述遥感数据集包括具有标注的源域数据和未标注的目标域数据；模型构建模块，所述模型构建模块用于构建具有辅助原型分类器的平均教师框架，其中，所述具有辅助原型分类器的平均教师框架包括教师模型和学生模型；训练模块，所述训练模块用于采用所述遥感数据集训练及优化所述学生模型的参数，其中，所述教师模型使用指数移动平均更新其参数，辅助原型分类器使用指数移动平均更新其权重；语义分割模块，所述语义分割模块用于将所述未标注的目标域数据输入到训练好的学生模型进行逐点预测，以得到所述未标注的目标域数据对应的分割结果。

13、根据本发明实施例的基于域自适应的遥感图像语义分割装置，通过构建具有辅助原型分类器的平均教师框架能够解决遥感图像跨域语义分割任务中的域差异问题，能够有效地从目标域数据中提取感兴趣的区域，并实现源域与目标域之间类层次的对齐，从而提高分割性能。

14、另外，根据本发明上述实施例提出的基于域自适应的遥感图像语义分割装置还可以具有如下附加的技术特征：

15、可选地，构建具有辅助原型分类器的平均教师框架包括：所述学生模型包括特征编码器和参数化分类器，并使用deeplabv2作为所述学生模型的网络结构，resnet-101作为其骨架；所述教师模型的网络结构、骨架和所述学生模型一致；为所述源域数据和目标域数据分别以队列的形式构建对应类别的记忆库，以便在对应的特征编码器输出的特征经过嵌入过滤后，以不同类别的特征向量保存到对应类别的记忆库中；将所述源域和目标域对应类别的记忆库进行拼接，并使用kmeans聚类算法聚类出该类别对应的原型，以便作为辅助原型分类器。

16、可选地，采用所述遥感数据集训练及优化所述学生模型的参数，包括：在训练的第一个epoch内，使用具有标注的源域数据对所述学生模型进行训练与参数优化，并将所述源域数据的不同类的特征向量保存到源域记忆库中；在训练的第一个epoch结束后，所述教师模型使用所述学生模型的参数进行参数初始化，以及使用kmeans算法对源域记忆库进行聚类，得到每个类的初始化原型作为辅助原型分类器；在训练的第二个epoch内，带有辅助原型分类器的学生模型使用具有标注的源域数据进行训练；所述教师模型对目标域数据做出预测，得到目标域的伪标签；带有辅助原型分类器的学生模型使用目标域的伪标签进行训练，以更新参数；同时在训练过程中，将源域数据的不同类的特征向量保存到源域记忆库中，将目标域数据的不同类的特征向量保存到目标域的记忆库中；在训练的第二个epoch结束后，所述教师模型通过所述学生模型的参数的指数移动平均更新其参数；另外，相同类别的源域记忆库和目标域记忆库进行拼接，使用kmeans算法对拼接结果进行聚类，以便得到每个类的原型进行辅助原型分类器更新；在之后的每个epoch训练过程中，所述学生模型和所述教师模型的训练以及优化方式与第二个epoch的区别处在于,辅助原型分类器通过对源域和目标域的记忆库的聚类结果的以指数移动平均方式更新每个类的原型，直至训练完成。