光伏板图像分割方法及其模型的训练方法、装置与流程

本发明涉及图像识别和深度学习，特别涉及一种光伏板图像分割方法及其模型的训练方法、装置。

背景技术：

1、光伏电站在稳定、持续、高效的发电过程中，因为光伏板本身问题或者其他问题导致发电量下降，需要对光伏板进行巡检，实时检测光伏板运行情况并及时排除有可能影响光伏板正常运行的异物，目前主要方式是通过无人机拍摄红外及可见光图像进行巡检，并对图像中光伏板表面是否存在异物以及异物的分布进行判断。其中，光伏板图像分割是光伏板异物检测的必要前置步骤，通过分割出可见光图像中的光伏板，可以排除图像中除光伏板外的其他物体的干扰，因此提高光伏板图像分割的准确率有助于提高异物检测的准确率。

2、现有的光伏板图像分割任务需要依赖于大量的标签数据进行训练，而光伏板图像数据的人工标注成本太高，大量采集的图像数据是没有标签的，使得训练出来的光伏板图像分割模型的准确性不高。目前，通过半监督学习的方式能有效的解决训练的标签数据量不足的问题，半监督学习的关键在于为训练数据集中的无标签图像的各个像素打上伪标签，伪标签的准确性及可靠性越高，则训练得到的模型的精度越高。由于有标签图像的数量要远远大于无标签图像的数量，因此无法保证伪标签的准确度，使用不准确的伪标签标注的数据集进行图像分割任务的模型训练将导致模型朝着错误的方向发展，从而影响光伏板图像分割模型的准确性。

技术实现思路

1、本发明要解决的技术问题是为了克服现有技术中有标签图像数据有限的情况下光伏板图像分割的准确性不高的缺陷，提供一种光伏板图像分割方法及其模型的训练方法、装置。

2、本发明是通过下述技术方案来解决上述技术问题：

3、本发明的第一方面提供一种光伏板图像分割模型的训练方法，所述训练方法包括：

4、获取训练样本集，所述训练样本集包括具有真实标签的多个第一样本图像以及无标签的多个第二样本图像，所述第一样本图像和所述第二样本图像均包含光伏板，所述第一样本图像的数量少于所述第二样本图像的数量；

5、将所述第一样本图像输入第一模型进行光伏板分割处理，输出所述第一样本图像的第一图像分割结果；

6、将所述第二样本图像输入第二模型进行光伏板分割处理，输出所述第二样本图像的置信度和第二图像分割结果，并根据所述第二图像分割结果得到所述第二样本图像的伪标签；

7、根据所述置信度从所述第二样本图像中选择第三样本图像，并从所述伪标签中选择与所述第三样本图像对应的目标伪标签；

8、将所述第三样本图像输入所述第一模型进行光伏板分割处理，输出所述第三样本图像的第三图像分割结果；

9、根据所述真实标签和所述第一图像分割结果计算的第一损失以及所述目标伪标签和所述第三图像分割结果计算的第二损失更新所述第一模型的模型参数，并基于所述第一模型的模型参数更新所述第二模型的模型参数，直至满足收敛条件，将收敛的第一模型作为所述光伏板图像分割模型。

10、较佳地，所述根据所述置信度从所述第二样本图像中选择第三样本图像的步骤包括：

11、选择所述置信度大于置信度阈值的所述第二样本图像作为所述第三样本图像；

12、或，

13、选择所述置信度排序靠前的目标数量的所述第二样本图像作为所述第三样本图像。

14、较佳地，所述根据所述真实标签和所述第一图像分割结果计算的第一损失以及所述目标伪标签和所述第三图像分割结果计算的第二损失更新所述第一模型的模型参数的步骤包括：

15、确定所述第一损失与所述第二损失的加权和，得到目标损失；其中，所述第一损失的权重不小于所述第二损失的权重；

16、根据所述目标损失更新所述第一模型的模型参数。

17、较佳地，所述根据所述真实标签和所述第一图像分割结果计算的第一损失以及所述目标伪标签和所述第三图像分割结果计算的第二损失更新所述第一模型的模型参数的步骤还包括：

18、在训练过程中逐渐增加所述第二损失的权重。

19、较佳地，所述获取第一训练样本集和第二训练样本集的步骤之后还包括：

20、对所述第一样本图像和所述第二样本图像进行增强处理，所述增强处理包括随机裁剪、对比度变换、翻转和/或随机拼接。

21、本发明的第二方面提供一种光伏板图像分割方法，所述光伏板图像分割方法包括：

22、获取待分割图像，所述待分割图像包含光伏板；

23、将所述待分割图像输入光伏板图像分割模型进行光伏板分割处理，得到所述待分割图像的光伏板图像分割结果；

24、其中，所述光伏板图像分割模型通过本发明的光伏板图像分割模型的训练方法得到。

25、本发明的第三方面提供一种光伏板图像分割模型的训练装置，所述训练装置包括第一获取模块、第一分割模块、第二分割模块、选择模块、第三分割模块和训练模块：

26、所述第一获取模块用于获取训练样本集，所述训练样本集包括具有真实标签的多个第一样本图像以及无标签的多个第二样本图像，所述第一样本图像和所述第二样本图像均包含光伏板，所述第一样本图像的数量少于所述第二样本图像的数量；

27、所述第一分割模块用于将所述第一样本图像输入第一模型进行光伏板分割处理，输出所述第一样本图像的第一图像分割结果；

28、所述第二分割模块模块用于将所述第二样本图像输入第二模型进行光伏板分割处理，输出所述第二样本图像的置信度和第二图像分割结果，并根据所述第二图像分割结果得到所述第二样本图像的伪标签；

29、所述选择模块用于根据所述置信度从所述第二样本图像中选择第三样本图像，并从所述伪标签中选择与所述第三样本图像对应的目标伪标签；

30、所述第三分割模块用于将所述目标伪标签和第三样本图像输入所述第一模型进行所述光伏板信息的分割处理，输出所述第三样本图像的第三图像分割结果；

31、所述训练模块用于根据所述真实标签和所述第一图像分割结果计算的第一损失以及所述目标伪标签和所述第三图像分割结果计算的第二损失更新所述第一模型的模型参数，并基于所述第一模型的模型参数更新所述第二模型的模型参数，直至满足收敛条件，将收敛的第一模型作为所述光伏板图像分割模型。

32、本发明的第四方面提供一种光伏板图像分割装置，所述光伏板图像分割装置包括第二获取模块和分割处理模块：

33、所述第二获取模块用于获取待分割图像，所述待分割图像包含光伏板；

34、所述分割处理模块用于将所述待分割图像输入光伏板图像分割模型进行光伏板分割处理，得到所述待分割图像的光伏板图像分割结果；

35、其中，所述光伏板图像分割模型通过本发明的光伏板图像分割模型的训练装置得到。

36、本发明的第五方面提供一种电子设备，包括存储器、处理器及存储在存储器上并用于在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明的光伏板图像分割模型的训练方法或者本发明的光伏板图像分割方法。

37、本发明的第六方面提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本发明的光伏板图像分割模型的训练方法或者本发明的光伏板图像分割方法。

38、在符合本领域常识的基础上，上述各优选条件，可任意组合，即得本发明各较佳实例。

39、本发明的积极进步效果在于：

40、采用两个模型相配合的半监督训练方式训练光伏板图像分割模型，实现了少量的有标签样本图像和大量的无标签样本图像的有效利用，具体地，将真实标签和对应的有标签样本图像输入到第一模型进行训练，同时将无标签样本图像输入到第二模型，用于构建伪标签，再根据置信度对无标签样本图像进行筛选，再将筛选后的无标签样本图像和对应的伪标签输入第一模型进行训练，避免了不准确的伪标签对该模型的负面作用，使得训练出的模型具有更好的性能，能够用更少的训练数据训练出更准确的光伏板图像分割模型，进而提高了光伏板图像中光伏板的分割准确度。