缺陷图像生成方法、装置、电子设备及存储介质与流程

本技术涉及图像处理，尤其涉及一种缺陷图像生成方法、装置、电子设备及存储介质。

背景技术：

1、屏幕异常缺陷在电子设备中是出现频率较多的一类异常，屏幕异常缺陷对于产品质量的影响较大，严重影响客户对于产品的体验感。在相关技术中，通常采用深度学习算法进行模型训练，通过训练好的模型可以针对不同图像内容中的屏幕异常缺陷进行检测，并且能够达到较好的检测效果。而深度学习算法通常需要提供大量的屏幕缺陷样本图像进行模型训练，拥有更多屏幕缺陷样本图像，越能的提高训练好的模型的检测精度。

2、当前，屏幕缺陷样本图像主要在实际生产中进行收集，通过长时间的协调配合，才能收集到足够多的屏幕缺陷样本图像。但随着电子设备的生产工艺水平的不断提高，出现屏幕缺陷样本图像的概率越来越小，屏幕缺陷样本图像收集难度大，收集周期长，导致深度学习算法的训练周期延长，项目整体成本增加。

技术实现思路

1、本技术实施例公开了一种缺陷图像生成方法、装置、电子设备及存储介质，能够自动生成屏幕缺陷样本图像，并提高了屏幕缺陷样本图像的准确性。

2、本技术实施例公开了一种缺陷图像生成方法，所述方法包括：

3、获取屏幕正常图像，从所述屏幕正常图像中确定至少一个目标区域；

4、随机从多个缺陷种类中，确定所述屏幕正常图像对应的目标缺陷种类；

5、根据所述目标缺陷种类，生成与各个所述目标区域对应的缺陷区域，所述缺陷区域的区域内容与所述目标缺陷种类匹配；

6、将各个所述缺陷区域与对应的目标区域进行特征比对；

7、若第一缺陷区域与对应的第一目标区域不同，则将所述第一目标区域替换成所述第一缺陷区域，以得到屏幕缺陷样本图像；其中，所述第一缺陷区域为任一所述缺陷区域。

8、在一个实施例中，所述多个缺陷种类包括白屏缺陷、黑屏缺陷、彩屏缺陷以及花屏缺陷中的至少两种，所述彩屏缺陷为非黑白的其它单一颜色的缺陷样式，所述花屏缺陷为多种颜色的缺陷样式；

9、所述根据所述目标缺陷种类，生成与各个所述目标区域对应的缺陷区域，包括：

10、若所述目标缺陷种类为所述白屏缺陷、所述黑屏缺陷以及所述彩屏缺陷中的任一种，则确定与所述目标缺陷种类对应的像素值取值范围；

11、随机从像素值取值范围中，确定各个所述目标区域对应的目标像素值；

12、根据各个所述目标区域对应的目标像素值，生成与各个所述目标区域对应的缺陷区域；

13、若所述目标缺陷种类为所述花屏缺陷，则通过所述花屏缺陷生成模型，生成与各个目标区域对应的缺陷区域。

14、在一个实施例中，所述花屏生成对抗模型是基于生成对抗网络ganomaly模型建立的，所述花屏生成对抗模型包括第一编码器、解码器、判别器以及第二编码器，所述通过所述花屏缺陷生成模型，生成与各个目标区域对应的缺陷区域，包括：

15、获取与第二目标区域大小相同的花屏样本图像；所述第二目标区域为所述至少一个目标区域中的任一目标区域；

16、通过所述第一编码器对所述花屏样本图像进行卷积特征提取以及特征压缩，得到所述花屏样本图像对应的第一向量；

17、通过所述解码器对所述第一向量进行解码，得到所述花屏样本图像对应的重构图像；

18、通过所述第二解码器对所述重构图像进行卷积特征提提取以及特征压缩，得到所述重构图像对应的第二向量；

19、根据所述第一向量以及第二向量，确定所述花屏样本图像与所述重构图像的相似程度；

20、若所述判别器基于所述相似程度确定所述重构图像为真，则将所述重构图像作为所述第一目标区域对应的缺陷图像。

21、在一个实施例中，所述从所述屏幕正常图像中确定至少一个目标区域，包括：

22、从预设数量范围内随机选取区域数量；

23、从所述屏幕正常图像中确定与所述区域数量匹配的目标区域。

24、在一个实施例中，所述根据所述区域数量，从所述屏幕正常图像中确定至少一个目标区域，包括：

25、根据所述区域数量，对所述屏幕正常图像进行区域等分，得到与所述区域数量匹配的等分区域；

26、在每个所述等分区域中随机确定一个目标区域，所述目标区域的区域尺寸小于所述等分区域的区域尺寸。

27、在一个实施例中，所述目标区域为矩形，在每个所述等分区域中随机确定一个目标区域，包括：

28、随机生成目标等分区域对应的目标区域的第二区域长度及第二区域宽度；其中，所述目标等分区域为任一等分区域，所述第二区域长度小于或等于所述目标等分区域的第一区域长度，所述第二区域宽度小于或等于所述目标等分区域的第一区域宽度；

29、根据所述第一区域长度及所述第二区域长度，确定第一坐标取值范围；

30、根据所述第一区域宽度及所述第二区域宽度，确定第二坐标取值范围；

31、在所述第一坐标取值范围及所述第二坐标取值范围中，随机确定目标顶点的顶点坐标；

32、根据所述顶点坐标、所述第二区域长度及所述第二区域宽度，确定所述目标等分区域对应的目标区域。

33、在一个实施例中，所述将各个所述缺陷区域与对应的目标区域进行特征比对，包括：

34、确定所述第一缺陷区域的第一平均像素值；

35、确定所述第一缺陷区域对应的第一目标区域的第二平均像素值；

36、计算所述第一平均像素值与所述第二平均像素值之间的目标差值；

37、若所述目标差值小于预设阈值，则确定所述第一缺陷区域与所述第一目标区域相同；

38、若所述目标差值不小于所述预设阈值，则确定所述第一缺陷区域与所述第一目标区域不同。

39、本技术实施例公开了一种缺陷图像生成装置，其特征在于，所述装置包括：

40、区域确定模块，用于获取屏幕正常图像，从所述屏幕正常图像中确定至少一个目标区域；

41、种类确定模块，用于随机从多个缺陷种类中，确定所述屏幕正常图像对应的目标缺陷种类；

42、区域生成模块，用于根据所述目标缺陷种类，生成与各个所述目标区域对应的缺陷区域，所述缺陷区域的区域内容与所述目标缺陷种类匹配；

43、特征比对模块，用于将各个所述缺陷区域与对应的目标区域进行特征比对；

44、区域替换模块，用于若第一缺陷区域与对应的第一目标区域不同，则将所述第一目标区域替换成所述第一缺陷区域，以得到屏幕缺陷样本图像；其中，所述第一缺陷区域为任一所述缺陷区域。

45、在一个实施例中，所述多个缺陷种类包括白屏缺陷、黑屏缺陷、彩屏缺陷以及花屏缺陷中的至少两种，所述彩屏缺陷为非黑白的其它单一颜色的缺陷样式，所述花屏缺陷为多种颜色的缺陷样式；所述区域生成模块，还用于若所述目标缺陷种类为所述白屏缺陷、所述黑屏缺陷以及所述彩屏缺陷中的任一种，则确定与所述目标缺陷种类对应的像素值取值范围；随机从像素值取值范围中，确定各个所述目标区域对应的目标像素值；根据各个所述目标区域对应的目标像素值，生成与各个所述目标区域对应的缺陷区域；若所述目标缺陷种类为所述花屏缺陷，则通过所述花屏缺陷生成模型，生成与各个目标区域对应的缺陷区域。

46、在一个实施例中，所述花屏生成对抗模型是基于生成对抗网络ganomaly模型建立的，所述花屏生成对抗模型包括第一编码器、解码器、判别器以及第二编码器，所述区域生成模块，还用于通过所述第一编码器对所述花屏样本图像进行卷积特征提取以及特征压缩，得到所述花屏样本图像对应的第一向量；通过所述解码器对所述第一向量进行解码，得到所述花屏样本图像对应的重构图像；通过所述第二解码器对所述重构图像进行卷积特征提提取以及特征压缩，得到所述重构图像对应的第二向量；根据所述第一向量以及第二向量，确定所述花屏样本图像与所述重构图像的相似程度；若所述判别器基于所述相似程度确定所述重构图像为真，则将所述重构图像作为所述第一目标区域对应的缺陷图像。

47、在一个实施例中，所述区域确定模块，还用于从预设数量范围内随机选取区域数量；从所述屏幕正常图像中确定与所述区域数量匹配的目标区域。

48、在一个实施例中，所述区域确定模块，还用于根据所述区域数量，对所述屏幕正常图像进行区域等分，得到与所述区域数量匹配的等分区域；在每个所述等分区域中随机确定一个目标区域，所述目标区域的区域尺寸小于所述等分区域的区域尺寸。

49、在一个实施例中，所述目标区域为矩形，所述区域确定模块，还用于随机生成目标等分区域对应的目标区域的第二区域长度及第二区域宽度；其中，所述目标等分区域为任一等分区域，所述第二区域长度小于或等于所述目标等分区域的第一区域长度，所述第二区域宽度小于或等于所述目标等分区域的第一区域宽度；根据所述第一区域长度及所述第二区域长度，确定第一坐标取值范围；根据所述第一区域宽度及所述第二区域宽度，确定第二坐标取值范围；在所述第一坐标取值范围及所述第二坐标取值范围中，随机确定目标顶点的顶点坐标；根据所述顶点坐标、所述第二区域长度及所述第二区域宽度，确定所述目标等分区域对应的目标区域。

50、在一个实施例中，所述特征比对模块，还用于确定所述第一缺陷区域的第一平均像素值；确定所述第一缺陷区域对应的第一目标区域的第二平均像素值；计算所述第一平均像素值与所述第二平均像素值之间的目标差值；若所述目标差值小于预设阈值，则确定所述第一缺陷区域与所述第一目标区域相同；若所述目标差值不小于所述预设阈值，则确定所述第一缺陷区域与所述第一目标区域不同。

51、本技术实施例公开了一种电子设备，包括：

52、存储有可执行程序代码的存储器；

53、与所述存储器耦合的处理器；

54、所述处理器调用所述存储器中存储的所述可执行程序代码，执行上述任一实施例所述的方法。

55、本技术实施例公开了一种计算机可读存储介质，所述计算机可读存储介质存储计算机程序，其中，所述计算机程序在被处理器执行时，使得所述处理器执行上述任一实施例所述的方法。

56、通过本技术实施例公开的缺陷图像生成方法、装置、电子设备及存储介质，电子设备可以获取屏幕正常图像，并从屏幕正常图像中确定至少一个目标区域，再随机从多个缺陷种类中，确定屏幕正常图像对应的目标缺陷种类，电子设备根据该目标缺陷种类，可以生成与各个目标区域对应的缺陷区域，该缺陷区域的区域内容与目标缺陷种类匹配，将各个缺陷区域与对应的目标区域进行特征比对，若第一缺陷区域与对应的第一目标区域不同，则将第一目标区域替换成第一缺陷区域，第一目标缺陷区域为任一缺陷区域，电子设备完成所有满足要求的替换后，得到屏幕缺陷样本图像。实施该实施例，电子设备通过屏幕正常图像自动生成了屏幕缺陷样本图像，提高屏幕缺陷样本图像的收集效率，并且该屏幕缺陷样本图像的缺陷种类可以是随机从多个缺陷种类中选取的，避免了收集到的多个屏幕缺陷样本图像中的屏幕缺陷样式单一，且保证屏幕缺陷样本图像中的缺陷区域与原始的目标区域不同，从而提高屏幕缺陷样本图像的准确性。