一种工业缺陷样本增广方法、系统、电子设备及存储介质与流程

本申请涉及工业检测领域，尤其涉及一种工业缺陷样本增广方法、系统、电子设备及存储介质。

背景技术：

1、目前，大部分工业流水线的质检环节都采用了基于深度学习的目标检测和分类模型来确保产品质量，主要包括以yo lo系列为主的目标检测模型和以resnet、transformer为主的图像分类模型。然而，在实际应用中，由于缺陷或不合格产品样本的数量相对较少，这往往导致传统的检测和分类模型效果不佳，甚至难以应用。为了解决上述问题，现有的方法大多采用图像仿射变换、改变对比度、光照等条件来尝试增加缺陷样本的数据量。然而，上述方法虽然在一定程度上增加了样本数量，但只在图像层级进行了扩充，像素层级的缺陷特征并未发生本质变化，同时不能够实现短时间的批量增长，因此对后续检测/分类算法的精确度提升不高。

技术实现思路

1、本申请提供一种工业缺陷样本增广方法、系统、电子设备及存储介质，以至少解决只在图像层级进行了扩充，像素层级的缺陷特征并未发生本质变化，同时不能够实现短时间的批量增长的技术问题。

2、本申请第一方面实施例提出一种工业缺陷样本增广方法，所述方法包括：

3、获取工业中的无缺陷样本域和有缺陷样本域；

4、基于所述无缺陷样本域和有缺陷样本域构建工业缺陷样本增广模型；

5、获取工业中的多张无缺陷图像；

6、将所述多张无缺陷图像输入到构建好的工业缺陷样本增广模型中，得到所述多张无缺陷图像对应的有缺陷图像；

7、将所述多张无缺陷图像添加到所述有缺陷样本域中得到增广后的缺陷样本。

8、优选的，所述无缺陷样本域包括：多张无缺陷样本图像；

9、所述有缺陷样本域包括：多张有缺陷样本图像。

10、进一步的，所述基于所述无缺陷样本域和有缺陷样本域构建工业缺陷样本增广模型，包括：

11、在所述无缺陷样本域中随机抽取预设个数的无缺陷样本图像，并对所述抽取的无缺陷样本图像和有缺陷样本域中的各有缺陷样本图像进行增强处理；

12、将增强处理后的所述无缺陷样本图像和增强处理后的所述有缺陷样本图像输入到初始的cyclegan模型中进行模型训练，得到训练好的cyclegan模型，然后将所述训练好的cyclegan模型作为工业缺陷样本增广模型。

13、进一步的，所述cyclegan模型的训练过程包括：

14、将增强处理后的所述无缺陷样本图像输入到所述初始的cyclegan模型的第一生成器中，生成与之对应的第一有缺陷样本；

15、将所述第一有缺陷样本输入到所述初始的cyclegan模型的第一判别器中，得到所述第一有缺陷样本对应的概率分布，同时将所述第一有缺陷样本输入到初始的cyclegan模型的第二生成器中，生成新的无缺陷样本，并确定第一损失函数值；

16、基于所述新的无缺陷样本和增强处理后的所述无缺陷样本图像确定第一循环一致性损失；

17、将增强处理后的所述有缺陷样本图像输入到所述初始的cyclegan模型的第二生成器中，生成与之对应的第二有缺陷样本；

18、将所述第二有缺陷样本输入到所述初始的cyclegan模型的第二判别器中，得到所述第二有缺陷样本对应的概率分布，同时将所述第二有缺陷样本输入到初始的cyclegan模型的第一生成器中，生成新的有缺陷样本，并确定第二损失函数值；

19、基于所述新的有缺陷样本和增强处理后的所述有缺陷样本图像确定第二循环一致性损失；

20、基于所述第一损失函数值、第二损失函数值、第一循环一致性损失、第二循环一致性损失确定当前训练下的总损失函数及预设的总损失函数阈值对所述cyclegan模型进行迭代训练，得到训练好的cyclegan模型。

21、进一步的，所述总损失函数的计算式如下所述：

22、ltotal＝0.3(lossgan1+losscyc1)+0.7(lossgan2+losscyc2)

23、式中，ltotal为总损失函数值，lossgan1为第一损失函数值，losscyc1为第二循环一致性损失，lossgan2为第一损失函数值，losscyc2为第二循环一致性损失。

24、本申请第二方面实施例提出一种工业缺陷样本增广系统，包括：

25、第一获取模块，用于获取工业中的无缺陷样本域和有缺陷样本域；

26、构建模块，用于基于所述无缺陷样本域和有缺陷样本域构建工业缺陷样本增广模型；

27、第二获取模块，用于获取工业中的多张无缺陷图像；

28、生成模块，用于将所述多张无缺陷图像输入到构建好的工业缺陷样本增广模型中，得到所述多张无缺陷图像对应的有缺陷图像；

29、增广模块，用于将所述多张无缺陷图像添加到所述有缺陷样本域中得到增广后的缺陷样本。

30、优选的，所述无缺陷样本域包括：多张无缺陷样本图像；

31、所述有缺陷样本域包括：多张有缺陷样本图像。

32、进一步的，所述构建模块，包括：

33、增强单元，用于在所述无缺陷样本域中随机抽取预设个数的无缺陷样本图像，并对所述抽取的无缺陷样本图像和有缺陷样本域中的各有缺陷样本图像进行增强处理；

34、训练单元，用于将增强处理后的所述无缺陷样本图像和增强处理后的所述有缺陷样本图像输入到初始的cyc legan模型中进行模型训练，得到训练好的cyc legan模型，然后将所述训练好的cyc legan模型作为工业缺陷样本增广模型。

35、本申请第三方面实施例提出一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如第一方面实施例所述的方法。

36、本申请第四方面实施例提出一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面实施例所述的方法。

37、本申请的实施例提供的技术方案至少带来以下有益效果：

38、本申请提出了一种工业缺陷样本增广方法、系统、电子设备及存储介质，所述方法包括：获取工业中的无缺陷样本域和有缺陷样本域；基于所述无缺陷样本域和有缺陷样本域构建工业缺陷样本增广模型；获取工业中的多张无缺陷图像；将所述多张无缺陷图像输入到构建好的工业缺陷样本增广模型中，得到所述多张无缺陷图像对应的有缺陷图像；将所述多张无缺陷图像添加到所述有缺陷样本域中得到增广后的缺陷样本。本申请提出的技术方案，具有较高的鲁棒性，对于纹理型缺陷和结构型缺陷均适用，增加像素层级的缺陷样本，同时可实现在较短时间内的批量增广，为后续检测/分类模型提供高质量数据集。

39、本申请附加的方面以及优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

技术特征：

1.一种工业缺陷样本增广方法，其特征在于，所述方法包括：

2.如权利要求1所述的方法，其特征在于，所述无缺陷样本域包括：多张无缺陷样本图像；

3.如权利要求2所述的方法，其特征在于，所述基于所述无缺陷样本域和有缺陷样本域构建工业缺陷样本增广模型，包括：

4.如权利要求3所述的方法，其特征在于，所述cyclegan模型的训练过程包括：

5.如权利要求4所述的方法，其特征在于，所述总损失函数的计算式如下所述：

6.一种工业缺陷样本增广系统，其特征在于，所述系统包括：

7.如权利要求6所述的系统，其特征在于，所述无缺陷样本域包括：多张无缺陷样本图像；

8.如权利要求7所述的系统，其特征在于，所述构建模块，包括：

9.一种电子设备，其特征在于，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如权利要求1-5任一所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5任一所述的方法。

技术总结
本申请提出一种工业缺陷样本增广方法、系统、电子设备及存储介质，所述方法包括：获取工业中的无缺陷样本域和有缺陷样本域；基于所述无缺陷样本域和有缺陷样本域构建工业缺陷样本增广模型；获取工业中的多张无缺陷图像；将所述多张无缺陷图像输入到构建好的工业缺陷样本增广模型中，得到所述多张无缺陷图像对应的有缺陷图像；将所述多张无缺陷图像添加到所述有缺陷样本域中得到增广后的缺陷样本。本申请提出的技术方案，具有较高的鲁棒性，对于纹理型缺陷和结构型缺陷均适用，增加像素层级的缺陷样本，同时，可实现在较短时间内的批量增广，为后续检测/分类模型提供高质量数据集。

技术研发人员：王龙,肖成涛,张虎,康中山,冯裕堂,高恺,李世林,王子越,郭吉昌,何宗科
受保护的技术使用者：陕西陕煤曹家滩矿业有限公司
技术研发日：
技术公布日：2024/2/29