缺陷检测元模型构建方法、缺陷检测方法、设备及介质与流程

本发明涉及视觉检测，尤其涉及一种缺陷检测元模型构建方法、缺陷检测方法、设备及介质。

背景技术：

1、工业产品的表面缺陷对产品的性能、美观度和舒适度等带来不良影响，所以生产制造企业需对产品表面缺陷进行检测以便及时发现并加以控制。机器视觉的检测方法克服了人工目检时准确性不高、实时性差、效率低、劳动强度大等弊端，在现代制造业中得到越来越广泛的研究和应用。机器视觉缺陷检测分为监督方式(包括弱监督)和无监督方式，其中无监督方式虽然不需要缺陷样本，但是准确性和鲁棒性不如监督方式。日常工业生产中，准确性和鲁棒性是最为重要的指标，因此当前实际应用的视觉检测模型，大部分都是监督式(包括弱监督)。

2、监督式的视觉缺陷检测相关资料有中国专利cn202310272537.2，中国专利cn202211732514.7，中国专利cn202211456980.7，中国专利cn202010875361.6，中国专利cn202211174874.x，wen-hsuan chu和kris m.kitani于2020年发表在eccv上的《neuralbatch sampling with reinforcement learning for semi-supervised anomalydetection》，qian wan、liang gao和xinyu li于2022年发表在ieee tim上的《logitinducing with abnormality capturing for semi-supervised image anomalydetection》等。

3、但是这些方法和其他现有方法存在如下问题：一是缺乏通用性，针对产品某个面训练的模型，并不适用于其他面，检测其他面时需要再采集数据重新训练；二是缺乏对未知缺陷的泛化能力，也就是难以正确检出训练集中没有出现过的缺陷类型；三是大量标注需要花费许多的人力物力；四是检测性能不佳，表现在难以检出微小缺陷，以及给定漏检率下过检率很大；五是缺乏进化能力，模型训练好之后完全固定，难以适应工况和环境等的变化。

技术实现思路

1、本发明提供了一种缺陷检测元模型构建方法、缺陷检测方法、设备及介质，以解决上述现有技术中的技术问题。

2、本发明采用的技术方案是：

3、第一方面，本发明提供一种缺陷检测元模型构建方法，包括：

4、采集某一行业产品图像数据对基础视觉模型进行自监督训练，得到行业预训练模型；

5、随机选择该行业一部分产品图像进行强标签标注和弱标签标注，所述强标签标注为像素级标注，所述弱标签标注为图像级标注；

6、利用像素级标注的强标签信息和图像级标注的弱标签信息，以分割损失和分类损失的组合为损失函数，对行业预训练模型进行强弱标签联合监督训练；

7、联合监督训练完毕后将分割网络输出结果和分类网络输出结果概率融合，如此得到缺陷检测元模型。

8、进一步的，所述自监督训练完成后，只保留行业预训练模型的编码器部分，并在行业预训练模型的编码器后加上解码器、分割网络与分类网络。

9、进一步的，在真实缺陷图像与正常图像之比少于设定值时，利用人工合成的缺陷图像与产品图像一起进行强标签标注和弱标签标注，对产品图像中无缺陷的正常图像进行的标注为强标签标注。

10、进一步的，所述以分割损失和分类损失的组合为损失函数包括：

11、分割损失和分类损失的组合为其中α∈[0,1]和β∈[0,1]是平衡因子，用于平衡强弱标签信息在最终损失中的贡献。

12、进一步的，所述将分割网络输出结果和分类网络输出结果概率融合包括：

13、将分割网络的输出p(iseg)和分类网络的输出p(icls)进行概率融合，得到输入图像i为缺陷图像的判别概率：p(i)＝pseg·max(p(iseg)*f)+pcls·p(icls)，其中p(iseg)是分割网络输出的图像i各个像素为缺陷的概率矩阵，符号*表示卷积操作，f表示预设的卷积核，p(icls)是分类网络输出的图像i存在缺陷的概率，pseg和pcls分别表示分割网络输出和分类网络输出的先验概率，pseg≥0，pcls≥0，且pseg+pcls＝1。

14、进一步的，所述得到缺陷检测元模型之后，还包括：

15、利用人工对缺陷检测元模型判断为缺陷图像的样本进行复核，并对缺陷检测元模型执行回放式增量学习使其持续进化。

16、进一步的，所述复核的结果有三种情况：一是缺陷检测元模型判断为缺陷图像的样本实际为正常样本，即过检；二是缺陷检测元模型判断为缺陷图像的样本的确存在缺陷，即正检，但是缺陷检测元模型对缺陷区域的分割不准确；三是缺陷检测元模型判断为缺陷图像的样本的确存在缺陷，即正检，且缺陷检测元模型对缺陷区域的分割准确；

17、所述对缺陷检测元模型执行回放式增量学习使其持续进化包括：

18、将所述强标签标注样本组成回放样本集；

19、将人工复核发现的过检样本列为困难样本，将困难样本列为像素级标注样本；将人工复核发现的正检样本中缺陷区域分割不准确的样本列为图像级标注样本；将人工复核发现的正检样本中缺陷区域分割准确的样本列为像素级标注样本；三者合并为增量样本集；

20、使用回放样本集和增量样本集对缺陷检测元模型进行回放式增量训练使其不断优化。

21、第二方面，本发明提供一种缺陷检测方法，包括：

22、将第一方面所述的构建方法得到的缺陷检测元模型部署到自动化检测线上，对所述行业产品进行缺陷检测，通过比较判别概率与预设的整体缺陷判断阈值的大小，输出待检产品图像是否为缺陷图像；如果是缺陷图像，再通过比较分割网络的预测概率矩阵与预设的区域缺陷判断阈值矩阵的逐元素大小，输出缺陷区域的分割结果。

23、第三方面，本发明提供一种快速适配特定领域产品的缺陷检测方法，包括：

24、采集特定领域产品的图像数据并对缺陷进行像素级标注；

25、基于该特定领域的像素级标注数据，使用参数微调算法微调第一方面所述的构建方法得到的缺陷检测元模型，并通过微调后的缺陷检测元模型对该特定领域产品进行缺陷检测。

26、第四方面，本发明提供一种缺陷检测元模型构建装置，包括：

27、预训练模块，用于采集某一行业产品图像数据对基础视觉模型进行自监督训练，得到行业预训练模型；

28、标注模块，用于随机选择该行业一部分产品图像进行强标签标注和弱标签标注，所述强标签标注为像素级标注，所述弱标签标注为图像级标注；

29、强弱标签联合监督训练模块，用于利用像素级标注的强标签信息和图像级标注的弱标签信息，以分割损失和分类损失的组合为损失函数，对行业预训练模型进行强弱标签联合监督训练；

30、概率融合模块，用于联合监督训练完毕后将分割网络输出结果和分类网络输出结果概率融合，如此得到缺陷检测元模型。

31、进一步的，还包括：

32、人工复核模块，用于将缺陷检测元模型判断为缺陷图像的样本发送给人工进行复核，并对缺陷检测元模型执行回放式增量学习使其持续进化。

33、第五方面，本发明提供一种电子设备，所述电子设备包括：

34、一个或多个处理器；

35、存储装置，用于存储一个或多个程序；

36、当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的缺陷检测元模型构建方法，或实现如第二方面或第三方面所述的缺陷检测方法。

37、第六方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面所述的缺陷检测元模型构建方法，或实现如第二方面或第三方面所述的缺陷检测方法。

38、本发明的有益效果是：本发明采集行业数据进行自监督训练，解决了基础模型与实际应用场景的领域差异问题，强化了模型的内在特征学习能力，同时避免了大量的标注工作；本发明采用的强弱标签联合监督算法，减少了对强标签的依赖；本发明对强弱监督结果进行概率融合，充分利用了不同监督信息的互补性，有效提升了模型泛化能力，解决了少样本缺陷、微小缺陷的检测难题；本发明的缺陷检测元模型具有漏检率低、通用性好、能够快速迁移适配的特点。同时本发明的人工复核与增量学习，使得模型能够不断进化，自动适应生产条件和工况的变化。本发明在自有数据集上进行了对比实验，说明了本发明的效果。