一种半监督遥感图像语义分割方法与系统

本发明涉及遥感图像语义分割相关，尤其是涉及一种半监督遥感图像语义分割方法与系统。

背景技术：

1、在遥感图像的研究中，遥感图像的语义分割针对遥感影像中每一个像素点进行分类，一直是遥感图像中一个重要的研究方向。传统的半监督遥感图像语义分割的方法经常使用机器学习算法，但分类的准确度还需要进一步提高。近些年以来，随着深度学习的发展，卷积神经网络(cnn)具有出色特征提取能力的已经被广泛应用于图像处理的各个领域，如场景分类等。long提出了全卷积网络(fcn)，把cnn网络中的全连接层换成全卷积层。与以往的图像分类方法不同，fcn可以实现任意大小的图像分割。segnet提出了反卷积结构，通过跳过连接来利用中间层的特征。gangfu等提出了一种多尺度的网络结构，取代了传统的卷积，膨胀的卷积增加感受野而不降低空间分辨率。空洞空间金字塔结构(aspp)主要是提出了多个空洞卷积分支，它们有不同空洞率，来提取多尺度特征，对图像中目标的分割精度提升明显。deeplabv3网络经过多次改进，目前已经成为深度学习语义分割领域最为成功的网络模型。其最新的版本deeplabv3+在多个公开数据集上取得了最高精度。多尺度整合可以有效解决目标分割问题。单个神经网络模型具有多个不同大小的感受野来适应多个尺寸的目标分割。鉴于全卷积网络具有相比于传统机器学习的优秀性能，许多学者将cnn应用于半监督遥感图像语义分割，深度卷积网络在遥感图像的很多领域都起着越来越重要的作用。还有的提出两个独立的全卷积网络分支，采用光学遥感的分割图像和高度信息作为两个分支的输入。经过一系列的卷积运算后，两个分支的预测分割结果加以融合。以上这些方法在标注数据充足时能够取得较为理想的效果。

2、然而，现有网络的分割精度在很大程度上依赖于大量高质量的像素级标注的训练数据。而遥感图像具有不同于自然景象的视角、分布和通道等特点，具有复杂的场景和不规则的物体分布，其成像宽度可达数十公里，这大大增加了标注的难度。因此，数据标注需要具备大量的经验和地理遥感知识，只有专业培训过的人员才能参与，想要获取高质量语义标签需要耗费大量的时间和人力成本，又由于标注数据不足和遥感图像的高复杂性会使得产生很多低质量的伪标签，将引入大量噪声数据，使得再训练阶段非常不稳定并且过度拟合到错误的数据，将带来确认偏差问题，主要采用单一置信度阈值方案来解决这一问题。然而，大多数真实世界的语义分割数据集的类别都是长尾分布，这意味着一些类别在数据集中出现的频率非常高，而另外一些类别则非常罕见。若仍采取单一阈值来选择伪标签，则会使得伪标签的数据分布偏向主要类别的预测，而忽略了其它类，自适应性较差。

技术实现思路

1、本发明旨在至少解决现有技术中存在的技术问题。为此，本发明提出一种半监督遥感图像语义分割方法与系统，能够从高质量数据到低质量数据来多阶段利用无标注数据，提升伪标签的可靠性与获取高质量语义标签的效率，降低人力成本。

2、本发明的第一方面，提供了一种半监督遥感图像语义分割方法，包括如下步骤：

3、获取有标签图像数据和无标签图像数据；

4、构建初始教师模型，将所述有标签图像数据输入所述初始教师模型进行训练，得到训练好的教师模型，有标注数据集与训练周期内预设的若干个检查点的教师模型；

5、将所述无标签图像数据输入每个所述训练周期内预设的若干个检查点的教师模型进行预测，得到每个所述训练周期内预设的检查点的教师模型的预测结果；

6、计算每个检查点的教师模型的预测结果的每一种类别的自适应阈值；并根据所述每个检查点的教师模型的预测结果的每一种类别的自适应阈值过滤所述每个所述训练周期内预设的检查点的教师模型的预测结果，得到每个所述训练周期内预设的检查点的教师模型的过滤预测结果；

7、根据所述每个所述训练周期内预设的检查点的教师模型的过滤预测结果计算所述无标签图像数据的稳定性分数；并将所述无标签图像数据按所述稳定性分数的从高到低均分成k份,得到k份无标签图像数据集，其中，k为所述无标签图像数据按所述稳定性分数的从高到低均分的总数；

8、构建第一个学生模型，将所述无标签图像数据集的第一份无标签图像数据集输入所述训练好的教师模型，得到第一份无标签图像预测结果；计算第一份无标签图像预测结果的每一种类别的自适应阈值；并根据所述第一份无标签图像预测结果的每一种类别的自适应阈值过滤所述第一份无标签图像预测结果，得到第一份无标签图像过滤预测结果；并将所述第一份无标签图像过滤预测结果与所述有标签图像数据输入所述第一个学生模型进行训练，得到第二个学生模型；

9、将所述无标签图像数据集的第二份无标签图像数据集输入所述第二个学生模型，得到第二份无标签图像预测结果；计算第二份无标签图像预测结果的每一种类别的自适应阈值；并根据所述第二份无标签图像预测结果的每一种类别的自适应阈值过滤所述第二份无标签图像预测结果，得到第二份无标签图像过滤预测结果；并将所述第二份无标签图像过滤预测结果、所述第一份无标签图像过滤预测结果与所述有标签图像数据输入所述第二个学生模型进行训练，得到第三个学生模型；

10、依次类推，直至将所述无标签图像数据集的第k份无标签图像数据集输入第k个学生模型，得到第k份无标签图像预测结果；计算第k份无标签图像预测结果的每一种类别的自适应阈值；并根据所述第k份无标签图像预测结果的每一种类别的自适应阈值过滤所述第k份无标签图像预测结果，得到第k份无标签图像过滤预测结果；并将每份无标签图像过滤预测结果与所述有标签图像数据输入所述第k个学生模型进行训练，得到最终分割模型与所述无标签图像数据的语义分割结果。

11、根据本发明实施例的控制方法，至少具有如下有益效果：

12、本方法通过获取有标签图像数据和无标签图像数据，将有标签图像数据输入初始教师模型进行训练，将无标签图像数据输入每个训练周期内预设的若干个检查点的教师模型进行预测，计算每个检查点的教师模型的预测结果的每一种类别的自适应阈值，并根据每个检查点的教师模型的预测结果的每一种类别的自适应阈值过滤每个训练周期内预设的检查点的教师模型的预测结果，有效的过滤了不可靠伪标签，解决了伪标签重点类别不平衡问题，根据每个训练周期内预设的检查点的教师模型的过滤预测结果计算无标签图像数据的稳定性分数，构建第一个学生模型，将无标签图像数据集的第一份无标签图像数据集输入训练好的教师模型，得到第一份无标签图像预测结果；计算第一份无标签图像预测结果的每一种类别的自适应阈值；并根据第一份无标签图像预测结果的每一种类别的自适应阈值过滤第一份无标签图像预测结果，依次类推，直至得到最终分割模型与无标签图像数据的语义分割结果，提升了遥感图像语义分割准确度，提升了伪标签的可靠性与获取高质量语义标签的效率，降低了人力成本。

13、根据本发明的一些实施例，所述构建初始教师模型，将所述有标签图像数据输入所述初始教师模型进行训练，得到训练好的教师模型，有标注数据集与训练周期内预设的若干个检查点的教师模型，包括：

14、获取所述初始教师模型的第一训练参数；

15、将所述有标签图像数据输入所述初始教师模型进行训练，得到第一有监督损失与第一个教师模型；

16、判断迭代次数是否达到预先设置的最大迭代次数，若所述迭代次数达到预先设置的最大迭代次数，则所述第一个教师模型为所述训练好的教师模型；若所述迭代次数小于预先设置的最大迭代次数，则根据所述第一有监督损失更新所述第一训练参数，得到第二训练参数，根据所述第二训练参数与所述有标签图像数据训练所述初始教师模型，得到第二有监督损失与第二个教师模型，依次类推，直至所述迭代次数达到预先设置的最大迭代次数，得到所述训练好的教师模型和所述有标注数据集；

17、将整个训练周期均分为若干个时间点，并保存每个时间点的教师模型，得到所述训练周期内预设的若干个检查点的教师模型。

18、根据本发明的一些实施例，所述将所述有标签图像数据输入所述初始教师模型进行训练，得到第一有监督损失的计算公式为：

19、

20、

21、其中，为第一有监督损失，θ为初始教师模型的预设的训练参数，为交叉熵损失值，w为有标签图像的宽度，h为有标签图像的高度，y(w,h,c)为像素级标注在有标签图像的(w,h)位置上的像素属于c类的概率，f(w,h,c)为分割网络在有标签图像的(w,h)位置上的像素属于c类的概率，为有标注数据集，c为类的总数目，为水平翻转、竖直翻转、随机镜像和旋转的弱数据增强，为颜色抖动、灰度和模糊、cutout与classmix的强数据增强，为第i张空间维度为h×w的有标注数据及其对应的像素级标注

22、根据本发明的一些实施例，所述计算每个检查点的教师模型的预测结果的每一种类别的自适应阈值的计算公式为：

23、θi,c＝rankk(sort(pi,x,y,c)),x,y∈h,w

24、c＝argmax pi,x,y

25、

26、其中，θi,c为第c类的自适应阈值，rankk为取序列的第k个位置元素的值，sort为将序列进行降序排列，为第i张无标签图像数据，pi,x,y,c为第i张无标签图像数据的(x,y)处的像素属于第c类的概率，为第i张无标签图像数据的伪标签，pi,x,y为第i张无标签图像数据的(x,y)处的属于各类的概率分布值。

27、根据本发明的一些实施例，所述根据所述每个所述训练周期内预设的检查点的教师模型的过滤预测结果计算所述无标签图像数据的稳定性分数的计算公式为：

28、

29、其中，为第i张无标签图像的稳定性分数，为无标签图像的过滤预测结果，n为预设的检查点的数目，为第n个检查点的教师模型输出的第i张无标签图像的过滤预测结果。

30、根据本发明的一些实施例，所述将所述第一份无标签图像过滤预测结果与所述有标签图像数据输入所述第一个学生模型进行训练，得到第二个学生模型，包括：

31、获取所述第一个学生模型的第一无监督损失权重；

32、将所述第一份无标签图像过滤预测结果与所述有标签图像数据输入所述第一个学生模型进行训练，得到第一学生模型总损失与第一次迭代的第一个学生模型，其中，所述将所述第一份无标签图像过滤预测结果与所述有标签图像数据输入所述第一个学生模型进行训练，得到第一学生模型总损失与第一次迭代的第一个学生模型的计算公式为：

33、

34、

35、

36、其中，为将有标签图像数据输入第一个学生模型的第二有监督损失，为第一学生模型的无监督损失，为第一学生模型总损失，w(t)为第一无监督损失权重，为的像素级过滤预测结果，s为自训练中的第一个学生模型，t为第一个学生模型，φ为预设的训练参数，为第一份无标签图像过滤预测结果；

37、判断迭代次数是否达到预先设置的最大迭代次数，若所述迭代次数达到预先设置的最大迭代次数，则所述第一次迭代的第一个学生模型为所述第二个学生模型；若所述迭代次数小于预先设置的最大迭代次数，则根据所述第一学生模型总损失更新所述第一无监督损失权重，得到第二无监督损失权重，根据所述第二无监督损失权重、所述第一份无标签图像预测结果与所述有标签图像数据训练所述第一次迭代的第一个学生模型，得到第二次迭代的第一个学生模型，依次类推，直至所述迭代次数达到预先设置的最大迭代次数，得到所述第二个学生模型。

38、根据本发明的一些实施例，教师模型与学生模型均使用psca结构与hamburger模块，其中，所述psca结构通过三组并行的带状卷积捕获多尺度上下文信息，并将多尺度特征融合后送入1×1卷积层中以建立不同通道之间的关系；所述1×1卷积的输出将作为所述psca结构的输入的注意力权重。

39、本发明的第二方面，提供一种半监督遥感图像语义分割系统，所述半监督遥感图像语义分割系统包括：

40、数据获取模块，用于获取有标签图像数据和无标签图像数据；

41、教师模型训练模块，用于构建初始教师模型，将所述有标签图像数据输入所述初始教师模型进行训练，得到训练好的教师模型，有标注数据集与训练周期内预设的若干个检查点的教师模型；

42、结果预测模块，用于将所述无标签图像数据输入每个所述训练周期内预设的若干个检查点的教师模型进行预测，得到每个所述训练周期内预设的检查点的教师模型的预测结果；

43、过滤模块，用于计算每个检查点的教师模型的预测结果的每一种类别的自适应阈值；并根据所述每个检查点的教师模型的预测结果的每一种类别的自适应阈值过滤所述每个所述训练周期内预设的检查点的教师模型的预测结果，得到每个所述训练周期内预设的检查点的教师模型的过滤预测结果；

44、稳定性分数计算模块，用于根据所述每个所述训练周期内预设的检查点的教师模型的过滤预测结果计算所述无标签图像数据的稳定性分数；并将所述无标签图像数据按所述稳定性分数的从高到低均分成k份,得到k份无标签图像数据集，其中，k为所述无标签图像数据按所述稳定性分数的从高到低均分的总数；

45、构建第一个学生模型，将所述无标签图像数据集的第一份无标签图像数据集输入所述训练好的教师模型，得到第一份无标签图像预测结果；计算第一份无标签图像预测结果的每一种类别的自适应阈值；并根据所述第一份无标签图像预测结果的每一种类别的自适应阈值过滤所述第一份无标签图像预测结果，得到第一份无标签图像过滤预测结果；并将所述第一份无标签图像过滤预测结果与所述有标签图像数据输入所述第一个学生模型进行训练，得到第二个学生模型；

46、第三学生模型训练模块，用于第二学生模型训练模块，用于将所述无标签图像数据集的第二份无标签图像数据集输入所述第二个学生模型，得到第二份无标签图像预测结果；计算第二份无标签图像预测结果的每一种类别的自适应阈值；并根据所述第二份无标签图像预测结果的每一种类别的自适应阈值过滤所述第二份无标签图像预测结果，得到第二份无标签图像过滤预测结果；并将所述第二份无标签图像过滤预测结果、所述第一份无标签图像过滤预测结果与所述有标签图像数据输入所述第二个学生模型进行训练，得到第三个学生模型；

47、迭代模块，用于依次类推，直至将所述无标签图像数据集的第k份无标签图像数据集输入第k个学生模型，得到第k份无标签图像预测结果；计算第k份无标签图像预测结果的每一种类别的自适应阈值；并根据所述第k份无标签图像预测结果的每一种类别的自适应阈值过滤所述第k份无标签图像预测结果，得到第k份无标签图像过滤预测结果；并将每份无标签图像过滤预测结果与所述有标签图像数据输入所述第k个学生模型进行训练，得到最终分割模型与所述无标签图像数据的语义分割结果。

48、本系统通过获取有标签图像数据和无标签图像数据，将有标签图像数据输入初始教师模型进行训练，将无标签图像数据输入每个训练周期内预设的若干个检查点的教师模型进行预测，计算每个检查点的教师模型的预测结果的每一种类别的自适应阈值，并根据每个检查点的教师模型的预测结果的每一种类别的自适应阈值过滤每个训练周期内预设的检查点的教师模型的预测结果，有效的过滤了不可靠伪标签，解决了伪标签重点类别不平衡问题，根据每个训练周期内预设的检查点的教师模型的过滤预测结果计算无标签图像数据的稳定性分数，构建第一个学生模型，将无标签图像数据集的第一份无标签图像数据集输入训练好的教师模型，得到第一份无标签图像预测结果；计算第一份无标签图像预测结果的每一种类别的自适应阈值；并根据第一份无标签图像预测结果的每一种类别的自适应阈值过滤第一份无标签图像预测结果，依次类推，直至得到最终分割模型与无标签图像数据的语义分割结果，提升了遥感图像语义分割准确度，提升了伪标签的可靠性与获取高质量语义标签的效率，降低了人力成本。

49、本发明的第三方面，提供了一种半监督遥感图像语义分割电子设备，包括至少一个控制处理器和用于与所述至少一个控制处理器通信连接的存储器；所述存储器存储有可被所述至少一个控制处理器执行的指令，所述指令被所述至少一个控制处理器执行，以使所述至少一个控制处理器能够执行上述的半监督遥感图像语义分割方法。

50、本发明的第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行上述的半监督遥感图像语义分割方法。

51、需要注意的是，本发明的第二方面至第四方面与现有技术之间的有益效果与上述的一种半监督遥感图像语义分割系统与现有技术之间的有益效果相同，此处不再细述。

52、本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。