图像处理方法、装置、设备、存储介质及计算机程序产品与流程

本技术涉及人工智能，特别涉及一种图像处理方法、装置、设备、存储介质及计算机程序产品。

背景技术：

1、图像异常检测是指检测图像中是否存在异常或缺陷的像素的技术。图像异常检测可以通过人工智能来实现。

2、在相关技术中，图像异常检测可以通过人工智能来实现，具体比如，预先通过正常图像，使用无监督学习的方式训练机器学习模型，期望该机器学习模型在异常图像上具有较大的重构误差，从而实现检测异常。

3、然而，在上述相关技术中，基于无监督学习的机器学习模型对图像异常检测的准确性不高。

技术实现思路

1、本技术实施例提供了一种图像处理方法、装置、设备、存储介质及计算机程序产品，能够提高图像的异常检测的准确度。所述技术方案如下：

2、一方面，提供了一种图像处理方法，所述方法包括：

3、对目标图像进行特征提取，获得所述目标图像的图像提取特征；

4、对所述图像提取特征进行编码和解码处理，获得图像重建特征；

5、将所述图像重建特征与所述图像提取特征之间的差值输入判别器，获得所述判别器输出的第一识别信息，所述第一识别信息中包含与所述目标图像中的各个像素分别对应的第一信息元素，所述第一信息元素用于指示对应的像素存在异常的概率；所述判别器是基于合成图像样本进行训练得到的机器学习模型，所述合成图像样本是基于不存在异常的图像合成的有异常的图像；

6、基于所述图像提取特征、所述图像重建特征以及所述第一识别信息，获取对所述目标图像进行异常识别的识别结果。

7、一方面，提供了一种图像处理方法，所述方法包括：

8、基于第一图像样本，获取第一掩膜信息、第二掩膜信息以及第二图像样本；所述第一掩膜信息用于指示所述第一图像样本中不存在异常的像素，所述第二掩膜信息用于指示图像样本中存在异常的像素，所述第二图像样本是基于所述第一图像样本和所述第二掩膜信息合成的图像；

9、将所述第一图像样本输入图像异常检测模型中的特征提取器，获得所述特征提取器输出的第一图像提取特征样本；

10、将所述第一图像提取特征样本输入所述图像异常检测模型中的编解码器，获得所述编解码器输出的第一图像重建特征样本；

11、将所述第一图像重建特征样本与所述第一图像提取特征样本之间的差值输入所述图像异常检测模型中的判别器，获得所述判别器输出第一识别信息样本；

12、将所述第二图像样本输入所述特征提取器，获得所述特征提取器输出的第二图像提取特征样本；

13、将所述第二图像提取特征样本输入所述编解码器，获得所述编解码器输出的第二图像重建特征样本；

14、将所述第二图像重建特征样本与所述第二图像提取特征样本之间的差值输入所述判别器，获得所述判别器输出第二识别信息样本；

15、基于所述第一图像提取特征样本、所述第一图像重建特征样本、所述第一识别信息样本、所述第二图像提取特征样本、所述第二图像重建特征样本、以及所述第二识别信息样本获取损失函数值；

16、通过所述损失函数值，对所述图像异常检测模型的参数进行更新；

17、其中，所述图像异常检测模型，用于对目标图像进行特征提取，获得所述目标图像的图像提取特征，对所述图像提取特征进行编码和解码处理，获得图像重建特征，基于所述图像重建特征与所述图像提取特征之间的差值进行判别处理，获得第一识别信息，所述第一识别信息中包含与所述目标图像中的各个像素分别对应的第一信息元素，所述第一信息元素用于指示对应的像素存在异常的概率；所述图像提取特征、所述图像重建特征以及所述第一识别信息用于获取对所述目标图像进行异常识别的识别结果。

18、另一方面，提供了一种图像处理装置，所述装置包括：

19、特征提取模块，用于对目标图像进行特征提取，获得所述目标图像的图像提取特征；

20、编解码模块，用于对所述图像提取特征进行编码和解码处理，获得图像重建特征；

21、重构模块，用于将所述图像重建特征与所述图像提取特征之间的差值输入判别器，获得所述判别器输出的第一识别信息，所述第一识别信息中包含与所述目标图像中的各个像素分别对应的第一信息元素，所述第一信息元素用于指示对应的像素存在异常的概率；所述判别器是基于合成图像样本进行训练得到的机器学习模型，所述合成图像样本是基于不存在异常的图像合成的有异常的图像；

22、识别模块，用于基于所述图像提取特征、所述图像重建特征以及所述第一识别信息，获取对所述目标图像进行异常识别的识别结果。

23、在一种可能的实现方式中，所述识别模块，用于：

24、基于所述图像提取特征和所述图像重建特征之间的差值，获取第二识别信息；所述第二识别信息中包含与所述目标图像中的各个像素分别对应的第二信息元素，所述第二信息元素用于指示对应的像素存在异常的概率；

25、基于所述第一识别信息以及所述第二识别信息，获取所述识别结果中的分割信息；所述分割信息中包含与所述目标图像中的各个像素分别对应的第三信息元素，所述第三信息元素用于指示对应的像素存在异常的概率。

26、在一种可能的实现方式中，所述图像提取特征和所述图像重建特征之间的差值的维度小于所述目标图像的像素的数量；所述识别模块，用于对所述图像提取特征和所述图像重建特征之间的差值取l2范数，并对所述l2范数进行上采样获得所述第二识别信息。

27、在一种可能的实现方式中，所述识别模块，用于对所述第一识别信息以及所述第二识别信息进行加权求和或者加权平均，获得所述分割信息。

28、在一种可能的实现方式中，所述识别模块，还用于基于所述分割信息，获取所述识别结果中的图像分类结果，所述图像分类结果用于指示所述目标图像属于异常图像的概率。

29、在一种可能的实现方式中，所述识别模块，用于对所述分割信息中各个第三信息元素取最大值或者标准差，获得所述图像分类结果。

30、在一种可能的实现方式中，所述特征提取模块，用于将所述目标图像输入图像异常检测模型中的特征提取器，获得所述特征提取器输出的所述图像提取特征；

31、所述编解码模块，用于将所述图像提取特征输入所述图像异常检测模型中的编解码器，获得所述编解码器输出的所述图像重建特征，所述图像重建特征的尺寸与所述图像提取特征的尺寸相同；

32、所述重构模块，用于将所述图像重建特征与所述图像提取特征之间的差值输入所述图像异常检测模型中的所述判别器，获得所述判别器输出的所述第一识别信息；

33、其中，所述图像异常检测模型是基于第一图像样本进行无监督训练得到的机器学习模型；所述第一图像样本是不存在异常的图像。

34、在一种可能的实现方式中，所述装置还包括：

35、样本处理模块，用于在特征提取模块对目标图像进行特征提取，获得所述目标图像的图像提取特征之前，基于所述第一图像样本，获取第一掩膜信息、第二掩膜信息以及第二图像样本；所述第一掩膜信息用于指示所述第一图像样本中不存在异常的像素，所述第二掩膜信息用于指示图像样本中存在异常的像素，所述第二图像样本是基于所述第一图像样本和所述第二掩膜信息合成的图像；

36、模型处理模块，用于将所述第一图像样本输入所述特征提取器，获得所述特征提取器输出的第一图像提取特征样本；将所述第一图像提取特征样本输入所述编解码器，获得所述编解码器输出的第一图像重建特征样本；将所述第一图像重建特征样本与所述第一图像提取特征样本之间的差值输入所述判别器，获得所述判别器输出第一识别信息样本；将所述第二图像样本输入所述特征提取器，获得所述特征提取器输出的第二图像提取特征样本；将所述第二图像提取特征样本输入所述编解码器，获得所述编解码器输出的第二图像重建特征样本；将所述第二图像重建特征样本与所述第二图像提取特征样本之间的差值输入所述判别器，获得所述判别器输出第二识别信息样本；

37、损失获取模块，用于基于所述第一图像提取特征样本、所述第一图像重建特征样本、所述第一识别信息样本、所述第二图像提取特征样本、所述第二图像重建特征样本、以及所述第二识别信息样本获取损失函数值；

38、参数更新模块，用于通过所述损失函数值，对所述图像异常检测模型的参数进行更新。

39、在一种可能的实现方式中，所述损失获取模块，用于：

40、基于所述第一图像提取特征样本与所述第一图像重建特征样本之间的差异，获取第一损失函数值；

41、基于所述第一识别信息样本与所述第一掩膜信息之间的差异，获取第二损失函数值；

42、基于所述第二图像提取特征样本与所述第二图像重建特征样本之间的差异，获取第三损失函数值；

43、基于所述第二识别信息样本与所述第二掩膜信息之间的差异，获取第四损失函数值。

44、另一方面，提供了一种图像处理装置，所述装置包括：

45、样本处理模块，用于基于第一图像样本，获取第一掩膜信息、第二掩膜信息以及第二图像样本；所述第一掩膜信息用于指示所述第一图像样本中不存在异常的像素，所述第二掩膜信息用于指示图像样本中存在异常的像素，所述第二图像样本是基于所述第一图像样本和所述第二掩膜信息合成的图像；

46、模型处理模块，用于将所述第一图像样本输入图像异常检测模型中的特征提取器，获得所述特征提取器输出的第一图像提取特征样本；将所述第一图像提取特征样本输入所述图像异常检测模型中的编解码器，获得所述编解码器输出的第一图像重建特征样本；将所述第一图像重建特征样本与所述第一图像提取特征样本之间的差值输入所述图像异常检测模型中的判别器，获得所述判别器输出第一识别信息样本；将所述第二图像样本输入所述特征提取器，获得所述特征提取器输出的第二图像提取特征样本；将所述第二图像提取特征样本输入所述编解码器，获得所述编解码器输出的第二图像重建特征样本；将所述第二图像重建特征样本与所述第二图像提取特征样本之间的差值输入所述判别器，获得所述判别器输出第二识别信息样本；

47、损失获取模块，用于基于所述第一图像提取特征样本、所述第一图像重建特征样本、所述第一识别信息样本、所述第二图像提取特征样本、所述第二图像重建特征样本、以及所述第二识别信息样本获取损失函数值；

48、参数更新模块，用于通过所述损失函数值，对所述图像异常检测模型的参数进行更新；

49、其中，所述图像异常检测模型，用于对目标图像进行特征提取，获得所述目标图像的图像提取特征，对所述图像提取特征进行编码和解码处理，获得图像重建特征，基于所述图像重建特征与所述图像提取特征之间的差值进行判别处理，获得第一识别信息，所述第一识别信息中包含与所述目标图像中的各个像素分别对应的第一信息元素，所述第一信息元素用于指示对应的像素存在异常的概率；所述图像提取特征、所述图像重建特征以及所述第一识别信息用于获取对所述目标图像进行异常识别的识别结果。

50、在一种可能的实现方式中，所述损失获取模块，用于：

51、基于所述第一图像提取特征样本与所述第一图像重建特征样本之间的差异，获取第一损失函数值；

52、基于所述第一识别信息样本与所述第一掩膜信息之间的差异，获取第二损失函数值；

53、基于所述第二图像提取特征样本与所述第二图像重建特征样本之间的差异，获取第三损失函数值；

54、基于所述第二识别信息样本与所述第二掩膜信息之间的差异，获取第四损失函数值。

55、另一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述本技术实施例所述的图像处理方法。

56、另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上述本技术实施例所述的图像处理方法。

57、另一方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例所述的图像处理方法。

58、本技术实施例提供的技术方案带来的有益效果至少包括：

59、本技术实施例所示的方案，从目标图像中提取出图像提取特征后，通过编解码的方式对图像提取特征进行特征重建，得到图像重建特征，进一步通过判别器对图像重建特征与图像提取特征之间的差异进行异常判别，以得到指示目标图像中各个像素是否存在异常的概率的第一识别信息，最后，结合重建前后的图像特征，以及第一识别信息，综合得到对目标图像进行异常识别的识别结果，上述方案除了利用重建前后的图像特征来识别目标图像中的像素的异常情况之外，还通过判别器对重建前后的图像特征之间的差异对目标图像中的像素的异常情况进行判别，一方面，结合重构前后的图像特征，以及对重构前后的图像特征之间的差异的判别结果，综合确定目标图像中各个像素的异常情况，从而能够在保证图像异常检测的准确性的同时，实现像素级别的图像异常检测，另一方面，上述判别器是通过正常图像合成得到的合成图像样本进行训练得到的，因此，判别器的训练过程不需要人工收集和标注异常图像，其可以通过无监督学习的方式进行训练，从而能够扩大判别器训练时可用的样本数量，弥补通过合成图像样本对判别器进行训练的效果与通过真实异常图像对判别器进行训练的效果之间的差异，保证判别器的准确性，继而保证通过判别器对图像中的异常像素进行检测的准确性。