缺陷检测方法和装置、电子设备以及存储介质与流程

本发明涉及图像处理，更具体地涉及一种缺陷检测方法、一种缺陷检测装置、一种电子设备和一种存储介质。

背景技术：

1、工业领域常用的异常检测算法通常属于无监督算法，即无需收集标注数据集就可以实现异常检测。现有的异常检测方法，例如patchcore算法，通过经训练的图像分割网络模型，提取待测图像中的中层特征，并基于所提取的中层特征特征确定特征库。在对图像分割网络模型进行推理时，通过将当前图像的图像特征以及特征库，生成异常分数，进而实现异常缺陷的检测。但是，由于patchcore算法进行的是全局特征匹配，因此当待测图像的图像背景比较复杂，或者变化较大时，patchcore算法往往无法有效工作。

技术实现思路

1、考虑到上述问题而提出了本发明。本发明提供了一种缺陷检测方法、一种缺陷检测装置、一种电子设备和一种存储介质。

2、根据本发明一个方面，提供一种缺陷检测方法，方法包括：获取待测图像；将待测图像输入经训练的图像分割网络，以确定第一位置信息，第一位置信息用于指示待测图像中至少一个第一分割区域的位置，至少一个第一分割区域与至少一个目标图像位置一一对应；基于第一位置信息，利用特征提取网络提取至少一个第一分割区域中每个第一分割区域所对应的待测区域特征图；对于至少一个第一分割区域中的每个第一分割区域，将该第一分割区域所对应的待测区域特征图与参考特征库中的与特定目标图像位置对应的参考区域特征图进行比较，以确定该第一分割区域内是否存在缺陷，特定目标图像位置为与该第一分割区域对应的目标图像位置。

3、示例性地，图像分割网络包括特征提取模块和分割头，特征提取模块用于提取待测图像的图像特征，分割头用于基于特征提取模块输出的图像特征确定第一位置信息，特征提取网络为经训练的图像分割网络中的特征提取模块。

4、示例性地，基于第一位置信息，利用特征提取网络提取至少一个第一分割区域中每个第一分割区域所对应的待测区域特征图，包括：对于至少一个第一分割区域中的每个第一分割区域，基于第一位置信息所指示的该第一分割区域的位置，从待测图像中删除除该第一分割区域以外的图像区域的像素信息，以获得该第一分割区域所对应的区域图像，并将区域图像输入特征提取网络中，以获得该第一分割区域所对应的待测区域特征图；或者，将第一位置信息以及待测图像输入特征提取网络中，以获得该第一分割区域所对应的待测区域特征图。

5、示例性地，图像分割网络通过以下方式进行训练：获取样本数据集，其中，样本数据集包括多个样本图像和多个样本图像各自对应的标注位置信息，标注位置信息用于指示对应样本图像中至少一个样本分割区域的位置，至少一个样本分割区域与至少一个目标图像位置一一对应；将多个样本图像输入待训练的图像分割网络，以获得多个样本图像各自对应的预测位置信息，预测位置信息用于指示对应样本图像中至少一个样本分割区域的位置；基于预测位置信息和标注位置信息之间的误差，计算预测损失值；基于预测损失值对待训练的图像分割网络中的参数进行优化，以获得经训练的图像分割网络。

6、示例性地，获取样本数据集，包括：获取初始模板图像以及初始模板图像对应的分区标注信息，其中，分区标注信息用于指示初始模板图像上的至少一个标注分区中每个标注分区的位置，至少一个标注分区与至少一个目标图像位置一一对应；基于初始模板图像以及分区标注信息，生成与至少一个标注分区一一对应的至少一个分区模板图像，其中，每个分区模板图像包含对应标注分区内的像素信息且不包含其他标注分区内的像素信息；获取多个样本图像；对于多个样本图像中的每个样本图像，将该样本图像与至少一个分区模板图像分别进行匹配，以获取该样本图像所对应的标注位置信息，其中，至少一个样本分割区域为与至少一个标注分区一一匹配的图像区域。

7、示例性地，在基于第一位置信息，利用特征提取网络提取至少一个第一分割区域中每个第一分割区域所对应的待测区域特征图之后，方法还包括：对于至少一个第一分割区域中每个第一分割区域，执行以下特征编码操作：将该第一分割区域所对应的待测区域特征图按照预设大小进行分割，以获得与分割出的多个编码区域一一对应的多个子区域特征图；确定多个子区域特征图各自对应的区域特征值；基于多个子区域特征图各自对应的区域特征值，获得该第一分割区域所对应的新的待测区域特征图，新的待测区域特征图包括与多个子区域特征图一一对应的多个编码特征图，每个编码特征图的像素值与对应子区域特征图像的区域特征值一致；其中，在执行将该第一分割区域所对应的待测区域特征图与参考特征库中的与特定目标图像位置对应的参考区域特征图进行比较的操作时，将该第一分割区域所对应的新的待测区域特征图与参考特征库中的与特定目标图像位置对应的参考区域特征图进行比较。

8、示例性地，确定多个子区域特征图各自对应的区域特征值，包括：对于多个子区域特征图中的每个子区域特征图中的每个像素点，将该像素点作为目标特征点，将目标特征点邻域内第一数量的像素点各自对应的像素值依次与目标特征点对应的像素值进行比较；在任一像素点对应的像素值小于或等于目标特征点对应的像素值时，将该像素点对应的编码值确定为第一数值；在任一像素点对应的像素值大于目标特征点对应的像素值时，将该像素点对应的编码值确定为第二数值；将目标特征点邻域内第一数量的像素点各自对应的编码值进行求和，并将求和结果作为目标特征点对应的像素特征值，以获得该子区域特征图所对应的区域特征值，区域特征值包括该子区域特征图中的各像素点所对应的像素特征值。

9、示例性地，基于多个子区域特征图各自对应的区域特征值，获得该第一分割区域所对应的新的待测区域特征图，包括：将多个子区域特征图各自对应的区域特征值进行合并，以获得该第一分割区域所对应的新的待测区域特征图。

10、示例性地，在对于至少一个第一分割区域中的每个第一分割区域，将该第一分割区域所对应的待测区域特征图与参考特征库中的与特定目标图像位置对应的参考区域特征图进行比较，以确定该第一分割区域内是否存在缺陷之前，方法还包括：获取参考图像；将参考图像输入经训练的图像分割网络，以确定第二位置信息，第二位置信息用于指示参考图像中至少一个第二分割区域的位置，至少一个第二分割区域与至少一个目标图像位置一一对应；基于第二位置信息，利用特征提取网络提取至少一个第二分割区域中每个第二分割区域所对应的参考区域特征图；基于至少一个第二分割区域中每个第二分割区域所对应的参考区域特征图获取参考特征库。

11、示例性地，基于至少一个第二分割区域中每个第二分割区域所对应的参考区域特征图获取参考特征库，包括：对于至少一个第二分割区域中每个第二分割区域执行特征编码操作，以获得每个第二分割区域所对应的新的参考区域特征图；基于至少一个第二分割区域各自对应的新的参考区域特征图获取参考特征库。

12、示例性地，参考特征库包括与多个位置区域组一一对应的参考特征描述库，多个位置区域组为至少一个目标图像位置和多个编码区域通过组合方式形成的组，不同位置区域组所对应的目标图像位置和编码区域中的至少一者不同，参考图像的数量为多个，其中，基于至少一个第二分割区域各自对应的新的参考区域特征图获取参考特征库，包括：将多个参考图像的与每个位置区域组对应的子区域特征图存储至与该位置区域组对应的参考特征描述库中。

13、示例性地，基于至少一个第二分割区域各自对应的新的参考区域特征图获取参考特征库，还包括：对于多个位置区域组中的任一位置区域组，若对应的参考特征描述库中存在彼此相同的子区域特征图，则在对应的参考特征描述库中保留彼此相同的子区域特征图中的任一子区域特征图并删除其他子区域特征图。

14、示例性地，将该第一分割区域所对应的待测区域特征图与参考特征库中的与特定目标图像位置对应的参考区域特征图进行比较，以确定该第一分割区域内是否存在缺陷，包括：对于多个编码区域中的每个编码区域，从与特定位置区域组对应的参考特征描述库中的各编码特征图中选择最大异常值所对应的编码特征图，特定位置区域组为特定目标图像位置与该编码区域组合形成的组；确定待测图像的与该编码区域对应的编码特征图的像素值与最大异常值所对应的编码特征图的像素值之间的差值，并将差值确定为该编码区域所对应的子异常特征图的像素值；将第一异常特征图或对第一异常特征图上采样获得的第二异常特征图中的每个像素的像素值与异常阈值进行对比，确定像素值大于异常阈值的像素为缺陷像素，其中，第一异常特征图包括多个编码区域一一对应的子异常特征图；将第一异常特征图或第二异常特征图中的缺陷像素映射至待测图像，以确定该第一分割区域内的缺陷区域。

15、示例性地，将该第一分割区域所对应的待测区域特征图与参考特征库中的与特定目标图像位置对应的参考区域特征图进行比较，以确定该第一分割区域内是否存在缺陷，包括：将该第一分割区域所对应的待测区域特征图与参考特征库中的与特定目标图像位置对应的参考区域特征图进行比较，以确定该第一分割区域所对应的待测区域特征图中的每个像素点是否属于缺陷区域；将待测区域特征图中的属于缺陷区域的像素点映射至待测图像上，以确定待测图像上位于该第一分割区域内的缺陷区域；在对于至少一个第一分割区域中的每个第一分割区域，将该第一分割区域所对应的待测区域特征图与参考特征库中的与特定目标图像位置对应的参考区域特征图进行比较，以确定该第一分割区域内是否存在缺陷之后，方法还包括：综合至少一个第一分割区域各自对应的缺陷区域，确定待测图像中的缺陷区域。

16、示例性地，在对于至少一个第一分割区域中的每个第一分割区域，将该第一分割区域所对应的待测区域特征图与参考特征库中的与特定目标图像位置对应的参考区域特征图进行比较，以确定该第一分割区域内是否存在缺陷之前，方法还包括：获取参考图像；将参考图像输入经训练的图像分割网络，以确定第二位置信息，第二位置信息用于指示参考图像中至少一个第二分割区域的位置，至少一个第二分割区域与至少一个目标图像位置一一对应；基于第二位置信息，利用特征提取网络提取至少一个第二分割区域中每个第二分割区域所对应的参考区域特征图；基于至少一个第二分割区域中每个第二分割区域所对应的参考区域特征图获取参考特征库。

17、根据本发明又一方面，还提供一种缺陷检测装置，装置包括：获取模块，用于获取待测图像；输入模块，用于将待测图像输入经训练的图像分割网络，以确定第一位置信息，第一位置信息用于指示待测图像中至少一个第一分割区域的位置，至少一个第一分割区域与至少一个目标图像位置一一对应；提取模块，用于基于第一位置信息，利用特征提取网络提取至少一个第一分割区域中每个第一分割区域所对应的待测区域特征图；比较模块，用于对于至少一个第一分割区域中的每个第一分割区域，将该第一分割区域所对应的待测区域特征图与参考特征库中的与特定目标图像位置对应的参考区域特征图进行比较，以确定该第一分割区域内是否存在缺陷，特定目标图像位置为与该第一分割区域对应的目标图像位置。

18、根据本发明又一方面，还提供一种电子设备，包括处理器和存储器，存储器中存储有计算机程序指令，计算机程序指令被处理器运行时用于执行上述的缺陷检测方法。

19、根据本发明再一方面，还提供一种存储介质，存储有计算机程序/指令，计算机程序/指令在运行时用于执行上述的缺陷检测方法。

20、根据本发明实施例的缺陷检测方法、缺陷检测装置、电子设备和存储介质，将待测图像输入经训练的图像分割网络，可以确定第一位置信息。基于第一位置信息，可以利用特征提取网络提取每个第一分割区域所对应的待测区域特征图。进而将每个第一分割区域所对应的待测区域特征图与参考特征库中的与特定目标图像位置对应的参考区域特征图进行比较，以确定该第一分割区域内是否存在缺陷。该方案利用图像分割网络对待测图像进行分割，可以实现对每个区域图像进行缺陷检测。这样无需考虑待测图像整体的图像信息，例如待测图像的背景等，避免出现检测结果不准确或者无法检测的情况。该方法应用范围较大，且准确率较高。