瑕疵样本生成方法、装置、存储介质及电子设备与流程

本公开涉及样本扩增，具体地，涉及一种瑕疵样本生成方法、装置、存储介质及电子设备。

背景技术：

1、在工业生产制造中，生产过程中的任何异常都会导致产品缺陷产生，及时识别产品缺陷模式是提高生产质量和生产效率的有效途径，所以缺陷检测具有十分重要的研究意义。

2、相关技术中，产品缺陷模式识别主要是通过机器学习方法进行的，如支持向量机、反向传播网络等。这些方法与用肉眼直接对产品缺陷进行识别相比，大大降低了工作量。但是这些早期方法存在以下不足：识别准确率低且需要大量的标签数据对模型进行训练。近年来随着深度学习的发展，利用卷积神经网络的特征提取能力，卷积神经网络在产品缺陷检测任务中得到了广泛的应用。

技术实现思路

1、本公开的目的是提供一种瑕疵样本生成方法、装置、存储介质及电子设备，以解决相关技术中扩增样本多样性低的技术问题。

2、为了实现上述目的，本公开实施例的第一方面提供一种瑕疵样本生成方法，所述方法包括：

3、对原始缺陷样本进行变形处理，以生成原始瑕疵图像；

4、提取所述原始瑕疵图像中的瑕疵区域，生成原始瑕疵数据集；

5、基于渐进增长对抗生成pggan网络训练所述原始瑕疵数据集，以生成瑕疵块样本；

6、将所述瑕疵块样本与原始无瑕疵样本进行区域及预定位的图像融合，生成目标瑕疵样本。

7、可选地，所述pggan网络包括生成网络和判别网络，所述基于渐进增长对抗生成pggan网络训练所述原始瑕疵数据集，以生成瑕疵块样本，包括：

8、将所述生成网络作为第一网络，基于随机取样数据，通过所述第一网络生成初始瑕疵块数据，其中所述随机取样数据为潜在空间中的随机样本；

9、将所述判别网络作为第二网络，根据所述原始瑕疵数据集对所述第二网络进行训练；

10、通过训练后的所述第二网络对所述初始瑕疵块数据进行判别，以生成返回数值；

11、在所述返回数值大于或等于设定阈值的情况下，根据所述初始瑕疵块数据和所述原始瑕疵数据集，生成所述瑕疵块样本。

12、可选地，所述方法还包括：

13、在所述返回数值小于所述设定阈值的情况下，基于所述原始瑕疵数据集对所述生成网络进行训练；

14、将训练后的所述生成网络作为所述第一网络，将训练后的所述判别网络作为第二网络，重复上述基于随机取样数据至生成返回数值的步骤，直至所述返回数值大于或等于所述设定阈值。

15、可选地，所述基于渐进增长对抗生成pggan网络训练所述原始瑕疵数据集，以生成瑕疵块样本，包括：

16、在所述原始瑕疵数据集对应的第一像素值小于设定像素阈值的情况下，通过邻近卷积网络对所述原始瑕疵数据集的图像分辨率进行加倍；

17、将加倍后的所述原始瑕疵数据集投射到rgb颜色空间中，以生成初始rgb值；

18、对所述初始rgb值进行平均池化生成目标rgb值；

19、根据所述目标rgb值，生成所述原始瑕疵数据集的第二像素值；

20、根据所述第一像素值和所述第二像素值，生成所述瑕疵块样本。

21、可选地，所述根据所述第一像素值和所述第二像素值，生成所述瑕疵块样本，包括：

22、获取所述pggan网络的训练次数；

23、根据所述训练次数，确定像素转换的线性权重值；

24、基于所述线性权重值对所述第一像素值和所述第二像素值进行结合，以生成所述瑕疵块样本。

25、可选地，所述将所述瑕疵块样本与原始无瑕疵样本进行区域及预定位的图像融合，生成目标瑕疵样本，包括：

26、获取所述原始无瑕疵样本的第一像素梯度场；

27、根据所述第一像素梯度场对所述瑕疵块样本的第二像素梯度场进行调整，生成目标瑕疵块样本；

28、基于所述瑕疵块样本在图像中的区域定位，通过泊松融合算法将所述目标瑕疵块样本融入所述原始无瑕疵样本中，以生成所述目标瑕疵样本。

29、可选地，所述变形处理包括：镜像处理、旋转处理、平移处理、扭曲处理、滤波处理、对比度调整处理中的至少一种。

30、根据本公开实施例的第二方面提供一种瑕疵样本生成装置，所述装置包括：

31、第一生成模块，用于对原始缺陷样本进行变形处理，以生成原始瑕疵图像；

32、第二生成模块，用于提取所述原始瑕疵图像中的瑕疵区域，生成原始瑕疵数据集；

33、第三生成模块，用于基于渐进增长对抗生成pggan网络训练所述原始瑕疵数据集，以生成瑕疵块样本；

34、第四生成模块，用于将所述瑕疵块样本与原始无瑕疵样本进行区域及预定位的图像融合，生成目标瑕疵样本。

35、根据本公开实施例的第三方面提供一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本公开第一方面中任一项所述方法的步骤。

36、根据本公开实施例的第四方面提供一种电子设备，包括：

37、存储器，其上存储有计算机程序；

38、处理器，用于执行所述存储器中的所述计算机程序，以实现本公开第一方面中任一项所述方法的步骤。

39、通过上述技术方案，对原始缺陷样本进行变形处理，以生成原始瑕疵图像，提取原始瑕疵图像中的瑕疵区域，生成原始瑕疵数据集，基于渐进增长对抗生成pggan网络训练原始瑕疵数据集，以生成瑕疵块样本，将瑕疵块样本与原始无瑕疵样本进行区域及预定位的图像融合，生成目标瑕疵样本。从而采用pggan网络对原始瑕疵数据集进行训练学习，生成多样的瑕疵样本块，再将瑕疵样本块与原始无瑕疵样本进行融合，提高了扩增样本的多样性。

40、本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。

技术特征：

1.一种瑕疵样本生成方法，其特征在于，所述方法包括：

2.根据权利要求1所述的生成方法，其特征在于，所述pggan网络包括生成网络和判别网络，所述基于渐进增长对抗生成pggan网络训练所述原始瑕疵数据集，以生成瑕疵块样本，包括：

3.根据权利要求2所述的生成方法，其特征在于，所述方法还包括：

4.根据权利要求1所述的生成方法，其特征在于，所述基于渐进增长对抗生成pggan网络训练所述原始瑕疵数据集，以生成瑕疵块样本，包括：

5.根据权利要求4所述的生成方法，其特征在于，所述根据所述第一像素值和所述第二像素值，生成所述瑕疵块样本，包括：

6.根据权利要求1-5中任一项所述的生成方法，其特征在于，所述将所述瑕疵块样本与原始无瑕疵样本进行区域及预定位的图像融合，生成目标瑕疵样本，包括：

7.根据权利要求1-5中任一项所述的生成方法，其特征在于，所述变形处理包括：镜像处理、旋转处理、平移处理、扭曲处理、滤波处理、对比度调整处理中的至少一种。

8.一种瑕疵样本生成装置，其特征在于，所述装置包括：

9.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-7中任一项所述方法的步骤。

10.一种电子设备，其特征在于，包括：

技术总结
本公开涉及一种瑕疵样本生成方法、装置、存储介质及电子设备，该方法包括：对原始缺陷样本进行变形处理，以生成原始瑕疵图像，提取原始瑕疵图像中的瑕疵区域，生成原始瑕疵数据集，基于渐进增长对抗生成PGGAN网络训练原始瑕疵数据集，以生成瑕疵块样本，将瑕疵块样本与原始无瑕疵样本进行区域及预定位的图像融合，生成目标瑕疵样本。从而采用PGGAN网络对原始瑕疵数据集进行训练学习，生成多样的瑕疵样本块，再将瑕疵样本块与原始无瑕疵样本进行融合，提高了扩增样本的多样性。

技术研发人员：李大钧,刘长磊,刘小奇,王广群,王承凯,祁伟,孙金龙,史明亮,刘海龙,刘乐,朱建成
受保护的技术使用者：国华能源投资有限公司
技术研发日：
技术公布日：2024/1/14