一种半监督工业表面缺陷分割方法、系统及存储介质

本发明属于缺陷分割领域，更具体地，涉及一种半监督工业表面缺陷分割方法、系统及存储介质。

背景技术：

1、由于缺陷图像分割能够精细描述缺陷边界，因此，在工业应用中备受关注。近年来，卷积神经网络的快速发展使其在缺陷分割中得到了广泛的应用。然而，充分发挥卷积神经网络的潜力需要依赖大量人为提供的图像标注，而提供大量人工标注的像素级注释需要依赖领域专家大量的知识、时间。

2、半监督学习提供了一种从未标记的示例中探索潜在模式的方法，旨在利用少量标记数据和大量无标记数据来训练网络，减轻了模型训练对标签的需求量。在自然场景中，半监督学习框架广泛采用一致性正则化或伪标签的训练框架。一致性正则化是基于流形假设，在没有标签的前提下，通过强制模型对同一输入数据施加不同的扰动，保持不同输出的一致性来提取额外的监督信号；现有技术中，有采用多视图扰动共同引导一致性正则化的方式，促进模型学习到不同方面的特征信息，并约束多个流的特征向着相同的方向共同进步；这种方法虽然能够带来多角度特征信息，但是在多个预测特征双向拉扯(也即不同视图对应的预测结果不同)时，简单地平均一致性正则化可能导致特征信息腐蚀，进而产生错误的预测结果，降低模型的预测准确度。

3、伪标签方法利用模型对输入数据的预测结果，为无标签样本引入伪标签，从而构造伪监督损失。现有技术中，一般直接采用一个模型(通常为教师网络)的预测结果作为伪标记来训练另一个模型(通常为学生网络)会导致确认偏差在两个模型之间无衰减的传递，进而产生错误的预测结果，降低模型的预测准确度。

4、另外，现有技术中通过将对比学习引入到半监督学习框架中，在自然场景下，通过构建相同图像的两个增强视图作为正样本对，不同图像作为负样本对的对比学习策略，可以促使相似样本在特征空间中具有相似的表示，而不相似样本彼此远离，以此提升分割的类可分性。然而，在工业场景下，不同于自然图像多样性空间分布和显著背景差异，表面缺陷图像之间通常具有相似的纹理背景和小面积缺陷差异；直接采用现有的对比学习策略会导致模型难以准确区分特征的相似性/不相似性，进而降低模型的预测准确度。

技术实现思路

1、针对现有技术的缺陷和改进需求，本发明提供了一种半监督工业表面缺陷分割方法、系统及存储介质，其目的在于提升模型预测的准确度。

2、为实现上述目的，按照本发明的第一方面，提供了一种半监督工业表面缺陷分割方法，包括：

3、训练阶段：采用数据集对工业表面缺陷分割模型进行训练；所述数据集中的训练样本包括标注了缺陷像素位置的工业表面图像和无标注的工业表面图像；所述工业表面缺陷分割模型包括采用相同主干网络的n个分支，n＞1；

4、将所述数据集中的训练样本图像xn以及对所述训练样本图像xn施加了不同扰动得到的扰动图像分别对应输入n个分支中，得到每个分支对应预测的分割结果

5、采用像素的不确定性作为衡量所述预测的分割结果中每个像素的信心程度，并构建正则化方向掩码；其中，若第i个分支预测的分割结果中对应像素的信心程度低于第j个分支对应像素的信心程度，则对应像素点的正则化方向掩码为1，否则为0；j∈[1,2,…,n]，i≠j；

6、根据所述正则化方向掩码构建任意两个分支之间基于信心程度引导的方向一致性正则化损失函数，并用所述方向一致性正则化损失函数对所述工业表面缺陷分割模型进行训练；

7、应用阶段：将待测的工业表面图像输入至训练好的工业表面缺陷分割模型对应的分支中，得到缺陷分割结果。

8、进一步地，构建的所述任意两个分支之间基于信心程度引导的方向一致性正则化损失函数为：

9、

10、其中，表示正则化方向掩码；用于衡量两个分支之间预测的分割结果的相似程度；pi表示第i个分支对应的正则化方向掩码为1的总数。

11、进一步地，所述预测的分割结果中每个像素的信心程度为：

12、

13、

14、其中，表示每个分支预测的分割结果，表示归一化后预测的分割结果，p表示预测的分割结果中第p个像素。

15、进一步地，所述训练过程中还包括：

16、提取每个分支预测的分割结果中信心程度超过设定阈值的像素点对应的前景特征和背景特征

17、采用两个不同分支对应的前景特征或两个不同分支对应的背景特征构成正样本对，采用两个不同分支对应的前景特征和背景特征构成负样本对，构建任意两个分支之间的对比感知损失函数：

18、

19、

20、

21、其中，分别表示第i个分支和第j个分支之间的前景-前景损失、背景-背景损失，表示第i个分支和第j个分支之间的前景-背景损失；为对应的调节系数，用于调节对对应损失的重视程度；||||表示求向量长度算子。

22、进一步地，分别为：

23、

24、

25、

26、其中，τ0是基线系数，rank(·)表示排序函数。

27、进一步地，所述训练过程中还包括：

28、提取每个分支预测的分割结果中信心程度超过设定阈值的像素点集合

29、对所述像素点集合采用众数函数进行共同投票，得到公共的伪标签ypl；

30、用所述公共的伪标签ypl与每个分支预测的分割结果构建伪监督损失。

31、进一步地，所述伪监督损失为所述公共的伪标签ypl与每个分支预测的分割结果之间的交叉熵损失和dice损失。

32、进一步地，所述工业表面缺陷分割模型包括三个分支；

33、所述扰动图像为对所述训练样本图像xn施加颜色扰动得到的扰动图像以及对所述训练样本图像xn施加尺度扰动得到的扰动图像

34、按照本发明的第二方面，提供了一种半监督工业表面缺陷分割系统，包括计算机可读存储介质和处理器；

35、所述计算机可读存储介质用于存储可执行指令；

36、所述处理器用于读取所述计算机可读存储介质中存储的可执行指令执行第一方面任一项所述的半监督工业表面缺陷分割方法。

37、按照本发明的第三方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如第一方面任一项所述的半监督工业表面缺陷分割方法。

38、总体而言，通过本发明所构思的以上技术方案，能够取得以下有益效果：

39、(1)本发明的半监督工业表面缺陷分割方法，考虑到模型对输入图像的预测结果不完全准确可靠，直接使用预测结果进行半监督学习并进行一致性正则化会导致高质量预测向着低质量方向破坏导致的模型预测准确度不高的问题，本发明通过采用分支预测结果中每个像素的不确定性作为衡量各预测结果中的逐像素信心程度，像素的不确定性越大，预测结果中该像素对应的信心程度越小，表明预测结果越不可靠；基于此，将第i个分支中预测结果中信心程度低于第j个分支的像素点作为待更新的像素点，构建基于信心引导的方向一致性正则化损失函数，在模型的训练过程中，强制将预测结果中不可靠的预测结果朝向可靠的预测结果的方向对齐，使得同一输入图像在不同视角下预测的输出朝着更可靠的一致性方向前进，避免了在多流预测具有双向拉扯的预测特征时产生信息消融，导了多分支网络预测的更高质量的一致性正则化，可以提升模型预测的准确度。

40、并且，本发明采用多分支网络框架，能够让模型在训练过程中接受更多不同角度的特征信息，有助于网络进行多角度的特征学习。

41、(2)进一步地，本发明的半监督工业表面缺陷分割方法，通过仅提取信心程度较高的预测像素点集合的前景特征和背景特征，过滤掉不可靠预测结果对特征提取的影响，采用同一张图像的前景和背景构建对比学习策略，将包含缺陷的前景和不包含缺陷的背景在特征空间中进行分离，使模型能够更关注到缺陷区域，相比现有自然场景使用相同/不同图像构成正/负对的方式，采用本发明构建的基于前景/背景对比度感知的对比损失函数对模型进行训练，能够更加适配工业场景缺陷检测问题，有效扩大正常区域与缺陷区域在特征空间的类可分性，进一步提高了模型的预测准确度。

42、(3)进一步地，本发明的半监督工业表面缺陷分割方法，采用信心程度较高的预测像素点集合作为可靠预测集合以生成伪标签，过滤掉不可靠的伪标签，并且用n个分支共同混合生成具有信心感知的高质量伪标签，采用基于该高质量伪标签的伪监督损失进行模型训练，可以避免确认偏差在两个模型之间无衰减的传递，能够更高质量的引导模型参数的更新，从而进一步提高模型的预测准确度。

43、(4)进一步地，为了更加匹配工业场景的图像变换，针对工业图像对颜色和尺度的变化更加敏感的特性，本发明将训练样本图像分别添加颜色扰动和尺度扰动后，构成互补的扰动图像，使用双互补的扰动流和原始图像共同构成三分支网络的输入，引导模型从不同分支流中接受不同特征信息，共同引导模型参数的更新，增强了对颜色和尺度的鲁棒性，进一步提升模型的预测准确度。

44、总而言之，本发明的半监督工业表面缺陷分割方法，提出了基于信心引导的方向一致性正则化替代平均一致性正则化，提升特征对齐质量；同时，设计了信心感知混合伪标签方法生成方法，减轻无标签数据的确认偏差影响；并且，引入了前景-背景对比学习策略提高特征空间的类可分性，鼓励正常区域或缺陷区域在特征空间中具有相似的表示，而正常区域和缺陷区域之间的特征相互远离，引导模型更准确地识别缺陷特征；在数据标签有限的情况下，可以从大量无标签数据中提取额外的监督信号，完成模型的训练过程，并有效提升模型的预测准确度。