缺陷检测方法、系统、电子设备及存储介质与流程

1.本发明涉及计算机视觉技术领域，更具体地涉及一种缺陷检测方法、缺陷检测系统、电子设备及存储介质。


背景技术：

2.近年来，计算机视觉被广泛应用于多种领域。例如，应用计算机视觉技术对一些电子器件的关键部件的缺陷进行检测，以便于及时察觉或修复。但是，利用现有的计算机视觉技术进行缺陷检测，大多因为目标对象的复杂性而导致检测结果不准确。
3.具体例如，可以采用计算机视觉技术对晶圆的缺陷进行检测，例如可以采用目标检测技术对包括晶圆的图像进行检测，以识别晶圆的缺陷。
4.然而，由于不同型号的晶圆上可能存在类型不同或者数量不同的元器件，这会导致获取的不同晶圆图像中的背景复杂多变。因此，无法采用一个通用的算法模型对晶圆的缺陷进行检测以分类识别，需要根据晶圆的不同创建不同的缺陷检测算法流程。为了解决上述问题，现有技术通常采用优化缺陷检测模型的网络结构的方式，但这种方式研发周期长、研发难度大、通用性也不强，最重要的是，其检测准确度难以满足实际要求。


技术实现要素：

5.考虑到上述问题而提出了本发明。根据本发明的一个方面，提供了一种缺陷检测方法，该方法包括：获取待识别图像；将待识别图像输入经训练的第一模型进行缺陷检测，以输出至少一种缺陷的缺陷区域；将待识别图像输入经训练的第二模型进行目标区域检测，以输出为至少一种特定缺陷配置的目标区域；根据缺陷区域、目标区域以及缺陷区域与目标区域之间的配置关系，确定待识别图像的缺陷检测结果。
6.示例性地，目标区域包括缺陷的误识别区域和缺陷所在的特定区域中的至少一个。
7.示例性地，根据缺陷区域和目标区域以及配置关系，确定待识别图像的缺陷检测结果，包括：对于任意一种特定缺陷的缺陷区域，若存在为之配置的该种缺陷的误识别区域，则从该缺陷区域中过滤掉该误识别区域，得到过滤后的缺陷区域，其中，待识别图像的缺陷检测结果包括过滤后的缺陷区域；和/或若存在为之配置的该种缺陷所在的特定区域，则仅保留该特定区域内的缺陷区域，得到保留后的缺陷区域，其中，待识别图像的缺陷检测结果包括保留后的缺陷区域。
8.示例性地，第一模型和第二模型至少一个的数量为多个。
9.示例性地，第一模型和第二模型中至少一个的种类包括目标检测模型和语义分割模型，其中，目标检测模型用于识别待识别图像中具有第一形态特征的缺陷区域和/或目标区域，语义分割模型用于识别待识别图像中具有第二形态特征的缺陷区域和/或目标区域。
10.示例性地，在获取待识别图像之后，方法还包括：将待识别图像输入经训练的第三模型进行异常检测，以输出图像异常判定结果信息，在至少根据缺陷区域和目标区域以及
配置关系，确定待识别图像的缺陷检测结果之后，所述方法还包括以下至少一个步骤：在图像异常判定结果信息表示待识别图像异常，且待识别图像的缺陷检测结果为存在缺陷区域的情况下，确定待识别图像的缺陷检测结果为待识别图像上的缺陷区域；在图像异常判定结果信息表示待识别图像异常，且待识别图像的缺陷检测结果为未存在缺陷区域的情况下，确定待识别图像的缺陷检测结果为待识别图像上存在新类型的缺陷区域；在图像异常判定结果信息表示待识别图像正常，且待识别图像的缺陷检测结果为存在缺陷区域的情况下，确定待识别图像的缺陷检测结果为当前检测有误。
11.示例性地，第三模型包括异常检测模型和二分类模型中的至少一个，其中异常检测模型利用正常图像训练而获得，二分类模型利用经标注的正常图像和经标注的异常图像训练而获得。
12.示例性地，在至少根据缺陷区域和目标区域以及配置关系，确定待识别图像的缺陷检测结果之前，方法还包括：接收每种特定缺陷的目标区域与该种缺陷的缺陷区域之间的配置关系。
13.示例性地，待识别图像为晶圆图像。
14.根据本发明的第二方面，还提供一种缺陷检测系统，包括：获取模块，用于获取待识别图像；第一检测模块，用于将待识别图像输入经训练的第一模型进行缺陷检测，以输出至少一种缺陷的缺陷区域；第二检测模块，用于将待识别图像输入经训练的第二模型进行目标区域检测，以输出为至少一种特定种类缺陷配置的目标区域；确定模块，用于至少根据缺陷区域、目标区域以及缺陷区域与目标区域之间的配置关系，确定待识别图像的缺陷检测结果。
15.根据本发明的第三方面，还提供一种电子设备，包括处理器和存储器，其中，存储器中存储有计算机程序指令，计算机程序指令被处理器运行时用于执行上述缺陷检测方法。
16.根据本发明的第四方面，还提供一种存储介质，在存储介质上存储了程序指令，程序指令在运行时用于执行上述缺陷检测方法。
17.在本发明的技术方案中，在将待识别图像输入第一模型来检测不同种类的缺陷的基础上，还通过第二模型对待识别图像中的为特定种类缺陷配置的目标区域进行检测，最终综合第一模型和第二模型的检测结果以及检测结果间的配置关系确定待识别图像的缺陷检测结果。这种方案中，因为各个模型的检测针对性较强，所以研发难度低。并且，最终的缺陷检测结果是综合了缺陷检测结果、为缺陷配置的目标区域检测结果以及二者之间的配置关系而确定的，所以缺陷检测的准确率更高。
18.上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
19.通过结合附图对本发明实施例进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与本发明实施例一起用于解释本发明，并不构成对本发明的限制。在附图中，
相同的参考标号通常代表相同部件或步骤。
20.图1示出了根据本发明一个实施例的缺陷检测方法的示意性流程图；
21.图2示出了根据本发明另一个实施例的缺陷检测方法的示意图；
22.图3示出了根据本发明一个实施例的缺陷检测系统的示意性框图；以及
23.图4示出了根据本发明一个实施例的电子设备的示意性框图。
具体实施方式
24.为了使得本发明的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本发明的示例实施例。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是本发明的全部实施例，应理解，本发明不受这里描述的示例实施例的限制。基于本发明中描述的本发明实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内。
25.图1示出了根据本发明一个实施例的缺陷检测方法100的示意性流程图。如图1所示，缺陷检测方法100可以包括以下步骤s110、步骤s130、步骤s150和步骤s170。
26.步骤s110，获取待识别图像。
27.根据本发明实施例的待识别图像可以是任何待缺陷检测对象的图像。换言之，在待识别图像中可以包括待缺陷检测的目标对象。待缺陷检测的目标对象可以是任何合适的物体，包括但不限于金属、玻璃、纸张、电子元器件等对外观有严格要求又有明确指标的物体等，本发明不对其进行限制。
28.示例性地，待识别图像可以是黑白图像，也可以是彩色图像。示例性地，待识别图像可以是任意尺寸或分辨率大小的图像。替代地，待识别图像也可以是满足预设分辨率要求的图像。在一个示例中，待识别图像可以是具有512*512像素大小的黑白图像。对于待识别图像的要求可以基于实际的检测需求、图像采集装置的硬件条件以及模型对输入图像的要求等进行设置，本发明不对其进行限制。
29.示例性地，待识别图像可以是通过图像采集装置采集到的原始图像。根据本发明实施例，可以采用任何现有的或者未来的图像采集方式获取待识别图像。示例性地，可以采用机器视觉检测系统中的图像采集装置获取待识别图像，如采用与检测环境和待检测对象匹配的照明装置、镜头、高速相机和图像采集卡获取待识别图像。
30.在另一示例中，待识别图像可以是对原始图像进行预处理操作后的图像。
31.示例性地，该预处理操作可以是任何可以满足缺陷检测模型检测需要的预处理操作，可以包括为了改善图像的视觉效果，提高图像的清晰度，或是突出图像中的某些特征等便于对待识别图像进行缺陷检测的所有操作。可选地，预处理操作可以包括滤波等去噪操作，也可以包括图像参数的调整如图像增强灰度、对比度、亮度的调整。替代地，预处理操作可以包括对待识别图像的像素归一化处理。例如，可以将待识别图像的每个像素均除以255，以使预处理后的待识别图像的像素处于0-1范围内。这有助于提高后续缺陷检测的效率。
32.示例性地，预处理操作还可以包括裁剪图像、删除图像等操作。例如，可以将原始图像裁剪为模型需求的大小，还可以删除不满足图像质量要求的原始图像，以获得满足图像质量要求的待识别图像等。
33.示例性地，待识别图像的数目可以是1张也可以是多张。可选地，待识别图像的数目为1张，例如每次仅获取一张待识别图像。替代地，待识别图像的数目可以为多张，例如10张、500张，可以一次性获取多张待识别图像，然后将其一次性输入后续的模型中进行缺陷检测。
34.步骤s130，将待识别图像输入经训练的第一模型进行缺陷检测，以输出至少一种缺陷的缺陷区域。
35.示例性地，缺陷区域是待识别图像中的目标对象具有缺陷的区域，其可以是待识别图像中的部分区域。容易理解，待识别图像中的目标对象的正常区域与缺陷区域可以具有不同的形态，可以基于其不同的形态，例如灰度、纹理等检测缺陷区域。例如，对于待识别图像是某种金属图像的示例，缺陷区域可以是示出该金属物体上的划痕的区域。对于待识别图像是玻璃图像的示例，缺陷区域可以是示出该玻璃中的气泡、杂质和裂纹等的区域。
36.示例性地，每个第一模型可以用于识别待识别图像中的至少一种缺陷的缺陷区域。可选地，每个模型可以用于识别一种缺陷的缺陷区域。替代地，每个模型可以用于识别多种类似缺陷的缺陷区域。例如，可以通过一个第一模型同时检测玻璃图像上的小气泡缺陷区域和砂砾缺陷区域。示例性地，每个第一模型所用于识别的缺陷种类的数量也可以根据实际的检测需求进行设置。例如，可以根据模型的检测能力、缺陷的形态特征以及检测速度的需求进行设置。
37.示例性地，第一模型的数目可以是任何合适的正整数，例如，第一模型的数目可以是3个、5个或10个。可以根据实际检测需求设置第一模型的数量。例如，当待识别图像的缺陷形态较为单一，其中可能包括的缺陷的种类较少时，可以采用较少数目的第一模型；反之，当待识别图像的缺陷形态较为复杂多变，则可以采用较多数量的第一模型进行检测。当然，还可以根据检测的精度和速度的要求设置第一模型的数量。
38.示例性地，第一模型可以是任何合适的神经网络模型，只要其可以用于识别待识别图像中的缺陷区域即可，本发明不对其进行限制。可选地，第一模型可以是基于深度学习的目标检测模型、语义分割模型。当然，第一模型也可以是其他类型的模型。
39.示例性地，任意两个第一模型的模型类型可以完全相同，也可以不完全相同。示例性地，同一类型的第一模型的网络结构可以完全相同，也可以不完全相同，本发明不对其进行限制。可选地，同一类型的第一模型的网络结构可以完全相同，例如均由5个卷积层和2个全连接层构成。将同一类型的第一模型设置为相同的网络结构可以减少模型维护的成本。
40.示例性地，第一模型输出的至少一种缺陷的缺陷区域可以是每种缺陷在待识别图像中的位置信息。示例性而非限制性地，该位置信息可以用识别出的缺陷区域在图像中的位置坐标表示，也可以用待识别图像上每个像素存在某种缺陷的概率的概率矩阵表示。
41.步骤s150，将待识别图像输入经训练的第二模型进行目标区域检测，以输出为至少一种特定缺陷配置的目标区域。
42.示例性地，与缺陷区域类似地，目标区域可以是待识别图像中的部分区域。示例性地，待识别图像的目标区域可以是与待检测的缺陷相关的区域。根据本发明实施例，目标区域可以是为一种或多种特定缺陷配置的目标区域。换言之，对于一种特定缺陷来说，不仅可以存在对应的缺陷区域，还可以为其配置对应的目标区域。为某种特定缺陷配置的目标区域，与其他缺陷无关。例如，第一模型的数目可以为4个，分别用来检测待识别图像中的缺陷
a、缺陷b、缺陷c和缺陷d，则该4种缺陷中的至少一者属于特定缺陷。例如，缺陷b和缺陷c均为特定缺陷。示例性地，第2模型的数目可以是2个，可以分别用来识别缺陷b的目标区域和缺陷c的目标区域。
43.根据本发明实施例，为某种特定缺陷配置的目标区域可以是对第一模型所识别的该特定缺陷的缺陷区域的进一步修正或补充，其可以是待识别图像中的缺陷区域，可以是非缺陷区域。示例性而非限制性地，为某种特定缺陷配置的目标区域可以是用于补充第一模型所识别的缺陷区域的补充区域，也可以是用于指定该特定缺陷的缺陷区域的定位区域，还可以是用于排除该特定缺陷的非缺陷区域的排除区域。当然，目标区域也可以是其他类型的区域，本发明不对其进行限制。
44.示例性地，第二模型用于识别上述为特定缺陷配置的目标区域。示例性地，每个第二模型所识别的特定缺陷的目标区域可以仅包括一个目标区域，也可以包括多个目标区域，该多个目标区域可以是针对一种特定缺陷的不同类型的目标区域，也可以是针对多种特定缺陷的目标区域，本发明不对其进行限制。例如，前述示例中可以通过第二模型识别缺陷b的第一目标区域和缺陷b所在的第二目标区域，第一目标区域和第二目标区域可以是一种类型的目标区域，也可以是不同类型的目标区域。
45.示例性地，第二模型的数目可以是任何合适的正整数。示例性而非限制性地，第二模型的数目不大于第一模型的数目。例如，第一模型的数目为5个，第二模型的数目为3个。与第一模型类似的，可以根据实际检测需求设置第二模型的数目，本发明不对其进行限制。
46.示例性地，与第一模型类似地，第二模型也可以是任何现有的或者未来的可以识别待识别图像中的目标区域的模型，本发明不对其进行限制。示例性地，第二模型可以是各种基于深度学习的端到端的神经网络模型。
47.示例性地，与第一模型类似的，每个第二模型的模型类型可以完全相同，也可以不完全相同。
48.示例性地，第二模型的模型类型与第一模型的模型类型可以相同，也可以不同。可选地，第一模型与第二模型的模型类型完全相同。替代地，多个第一模型和多个第二模型中的模型类型仅部分数量相同，且第一模型中可以包括第二模型的全部模型类型。例如，第二模型包括目标检测模型，第一模型可以包括目标检测模型和至少一种其他类型的模型。
49.示例性地，多个属于同种类型的第一模型的网络结构可以完全相同，也可以不完全相同。可选地，多个属于同一类型的第二模型的网络结构可以完全相同，且属于同一种模型类型的第一模型和第二模型的也可以具有相同的网络结构，这样可以极大地减少模型维护的成本。
50.示例性地，第二模型输出的至少一种特定缺陷的目标区域可以是位置坐标，也可以是多个像素的概率矩阵等多种输出格式，只要其可以表示出目标区域即可，本发明不对其进行限制。
51.示例性地，步骤s130和步骤s150可以采用同时执行的执行顺序。替代地，步骤s130和步骤s150也可以采用先后执行的执行顺序。例如，先执行步骤s130，在至少一个第一模型输出了至少一个缺陷区域的情况下，再执行步骤s150。否则，在第一模型未输出任何缺陷区域的情况下，则可以选择不执行步骤s150。
52.步骤s170，根据缺陷区域、目标区域以及缺陷区域与目标区域之间的配置关系，确
定待识别图像的缺陷检测结果。步骤s170是对第一模型和第二模型输出的结果进行后处理的过程。
53.示例性地，当第一模型的检测结果中不涉及为之配置有目标区域的特定缺陷的缺陷区域的情况下，可以直接根据该第一模型的检测结果确定待识别图像的缺陷检测结果。换言之，当第一模型的输出结果中仅包括非上述特定缺陷的缺陷区域的情况下，可以直接确定第一模型检测的缺陷区域为待识别图像的缺陷检测结果。当第一模型未输出任何缺陷区域的情况下，可以确定该待识别图像的检测结果为不存在可以识别的缺陷区域。
54.示例性地，当第一模型的输出结果中包括为之配置有目标区域的特定缺陷的缺陷区域的情况下，可以综合根据该缺陷区域和第二模型输出的目标区域及每种特定缺陷的缺陷区域和目标区域之间的配置关系对缺陷区域和目标区域进行后处理，以确定缺陷检测结果。该配置关系可以包括每种特定缺陷的目标区域与该缺陷的缺陷区域之间的对应关系信息，例如缺陷c的缺陷区域与缺陷c的目标区域之间存在配置关系。示例性地，配置关系还可以包括配置方式的信息，对于不同类型的目标区域，其与缺陷区域之间的配置方式不同。配置方式可以表示不同类型的目标区域与缺陷区域之间的对应处理方式。在后处理步骤，可以基于目标区域和缺陷区域之间的配置方式执行相应的后处理操作。对于后处理的具体实施方式将在后文进行阐释，在此不再赘述。
55.示例性地，当第一模型的输出结果中既包括特定缺陷的缺陷区域和其他缺陷区域的情况下，第一，可以采用上述后处理的方式对特定缺陷的缺陷区域和目标区域进行处理，第二，直接确定该其他缺陷区域，最终，综合第一和第二各自确定待识别图像的缺陷检测结果作为最终的缺陷检测结果。
56.示例性地，步骤s170可以通过加载相应的逻辑算法实现，也可以通过其他的合适的方法实现，本发明不对其进行限制。
57.在本发明的技术方案中，在将待识别图像输入第一模型来检测不同种类的缺陷的基础上，还通过第二模型对待识别图像中的为特定种类缺陷配置的目标区域进行检测，最终根据第一模型和第二模型的检测结果以及检测结果间的配置关系确定待识别图像的最终的缺陷检测结果。这种方案中，因为各个模型的检测针对性较强，所以研发难度低。并且，最终的缺陷检测结果是综合了缺陷检测结果、为缺陷配置的目标区域检测结果以及二者之间的配置关系而确定的，所以缺陷检测的准确率更高。
58.根据本发明实施例，步骤s110中获取的待识别图像可以是晶圆图像。
59.容易理解，晶圆表面可能存在多种缺陷，例如表面冗余物缺陷、滑移线缺陷、堆垛层错缺陷，划痕缺陷，图案缺陷等。为了防止存在缺陷的晶片流入后道封装工序，可以对晶圆进行缺陷检测。并且，由于不同型号的晶圆上可能存在类型不同或者数量不同的元器件，导致获取的不同图像中晶圆复杂多变，无法采用一个通用的算法模型对晶圆的缺陷进行检测以分类识别，需要根据晶圆的不同创建不同的缺陷检测算法流程。
60.根据本发明实施例，可以通过上述缺陷检测方法100的各个步骤实现晶圆图像的缺陷检测。示例性而非限制性地，可以通过上述步骤s110获取待识别的晶圆图像，然后可以通过步骤s130中的多个第一模型识别不同种类晶圆缺陷的缺陷区域。可以通过步骤s150中的多个第二模型识别特定晶圆缺陷的目标区域例如误识别区域，并获取每个模型输出的检测结果。最后可以通过步骤s170综合第一模型和第二模型的检测结果，确定晶圆图像的缺
陷检测结果。
61.通过缺陷检测方法100的方案对晶圆图像进行检测，可以有效识别多种类型的晶圆缺陷并且避免其他部分的干扰，即使是对于某些缺陷仅存在于特定易识别的器件上或某些缺陷与晶圆上的特定部分形态类似的情况也是如此。结合第一模型和第二模型的检测结果，可以得到晶圆上更准确的缺陷区域，因此可以极大提高晶圆缺陷检测的准确率和检测效率。同时，采用上述方法无需耗费过多的研发资源，用户体验也更好。
62.示例性地，第一模型和/或第二模型的数量为多个。第一模型和第二模型中至少一者的数目可以为多个。每个第一模型可以用于识别一种或多种缺陷的缺陷区域，每个第二模型可以用于识别一种或多种特定缺陷的目标区域。根据前述陈述，可以根据实际检测需求设置第一模型和第二模型的数目。实际的检测需求可以包括检测缺陷种类的需求、模型计算能力的要求、检测精度的需求等等。
63.例如，当待检测的目标对象存在多种类型的缺陷的情况下，可以相应增加第一模型的数量。例如，可以采用5个第一模型检测5种缺陷的缺陷区域。同时，当需要检测的特定缺陷的种类较少时，可以设置第二模型为较少的数量，例如仅通过一个第二模型识别特定缺陷的目标区域。当然，第二模型的数目也可以设置为更多个，例如第二模型的数目也可以设置为5个，每个第二模型检测一种缺陷的目标区域。当然，第一模型的数目也可以设置为1个，例如通过一个第一模型检测2种缺陷的缺陷区域。而第二模型的数目可以设置为多个，例如每个第二模型分别检测一种缺陷的目标区域。即，第一模型和第二模型的数目可以有多种设置方案，只要其满足检测需求即可。与现有技术中仅采用一个模型进行缺陷检测的方案，采用多个第一模型和/或多个第二模型的方案可以更有针对性地识别不用种类缺陷的缺陷区域和目标区域，检测准确度更高，且模型的适用性更强，模型开发的难度也更小。
64.示例性地，第一模型的种类包括目标检测模型和语义分割模型，和/或第二模型的种类包括目标检测模型和语义分割模型，其中，目标检测模型用于识别待识别图像中具有第一形态特征的缺陷区域或目标区域，语义分割模型用于识别待识别图像中具有第二形态特征的缺陷区域或目标区域。
65.示例性地，第一模型与第二模型中的至少一者包括目标检测模型和语义分割模型。可选地，第一模型包括目标检测模型和语义分割模型，第二模型包括其中一种类型；替代地，第一模型和第二模型均包括目标检测模型和语义分割模型。
66.示例性地，目标检测模型可以是任何现有的或未来的可以实现目标检测的神经网络模型。例如faster r-cnn模型、yolo系列模型、单步通用目标检测(single shot multibox detector，简称ssd)模型、一阶全卷积目标检测(fully convolutional one-stage object detection，简称fcos)模型等。示例性地，语义分割模型也可以是多种形式的神经网络模型，例如u-net模型、fcn模型、segnet模型、pspnet模型、deeplab系列模型等。
67.根据本发明实施例的缺陷检测方法100，可以采用目标检测模型识别待识别图像中的具有第一形态特征的缺陷区域或目标区域。示例性地，具有第一形态特征的区域可以不小于第一尺寸。由于目标检测模型更容易且可以相对准确识别较大的目标，因此采用目标检测模型识别待识别图像中的大尺寸的区域，检测的效率和精度更高。
68.根据本发明实施例的缺陷检测方法100，可以采用语义分割模型识别待识别图像中的具有第二形态特征的缺陷区域或目标区域。示例性地，具有第二形态特征的区域可以
小于第一尺寸，例如细长特征或其他语义分割模型容易识别的形态特征。例如，可以采用语义分割模型识别金属图像中的划痕或者裂纹。针对细长的缺陷，语义分割模型检测的误差更小，因此采用语义分割模型检测细长的缺陷也可以提高检测的精度。
69.示例性地，对于模型类型为目标检测模型的第一模型，其输出的检测结果中可以包括其检测的缺陷的缺陷种类，缺陷区域在待识别图像中的位置框以及模型认为该缺陷区域属于该类缺陷的置信度。同样的，对于模型类型为目标检测模型的第二模型，其输出的检测结果中可以包括其要检测的缺陷的缺陷种类、缺陷的目标区域在待识别图像中的位置框以及模型认为该目标区域属于误识别区域或特定区域的置信度。示例性地，根据本发明实施例的缺陷检测方法100的步骤s170可以将每个目标检测模型的检测结果中置信度大于置信度阈值的位置框确定为该种缺陷的缺陷区域或目标区域。
70.示例性地，对于模型类型为语义分割模型的第一模型，其输出的检测结果中可以包括与输入图像的分辨率大小完全一致的概率矩阵，其中，与每个像素对应的概率值越大，则认为该位置属于该种缺陷的缺陷区域的可能性越大。同样的，对于模型类型为语义分割模型的第二模型，其输出的检测结果中可以包括与输入图像的分辨率大小完全一致的概率矩阵，其中，与每个像素对应的概率值越大，则认为该位置属于该种缺陷的误识别区域或特定区域的可能性越大。示例性地，步骤s170可以将每个语义分割模型的检测结果中概率值大于概率阈值的像素所在的区域确定为该种缺陷的缺陷区域或目标区域。
71.根据上述方案，可以采用不同类型的模型分别识别待识别图像中具有不同形态特征的缺陷区域和/或目标区域，模型与检测缺陷的适配度更高，既可以提高缺陷检测的准确率，又可以提高每种模型的检测效率。
72.示例性地，在步骤s130和步骤s150之前，该缺陷检测方法100还可以包括步骤s120：对初始第一模型和初始第二模型进行训练，以获取训练好的第一模型和训练好的第二模型。
73.示例性地，以晶圆图像的缺陷检测为例，步骤s120可以包括：获取多种类型的晶圆样本图像；获取多种类型的晶圆样本图像各自的标注数据，标注数据包括不同类型缺陷的缺陷区域的位置信息和不同特定缺陷的目标区域的位置信息；将已标注不同类型缺陷的缺陷区域的位置信息的晶圆样本图像分别输入对应的第一模型进行训练，以获得训练好的第一模型；将已标注不同类型特定缺陷的目标区域的晶圆样本图像别输入相应的第二模型，以获得训练好的第二模型。
74.示例性地，下面对步骤s120的其中一种实现示例展开阐释。并且，为了简便，下文以第一模型和第二模型均包括目标检测模型和语义分割模型的为例进行阐释。
75.首先，可以先进行样本图像的采集和样本图像的预处理。这个步骤可以通过人工操作的方式执行，也可以机器自动执行。样本图像的预处理可以包括图像裁剪和图片清洗。例如，为了模型检测的需要，可以将尺寸较大的原始样本图像裁剪成适应模型的较小尺寸的样本图像。图像清洗可以包括去除极端的图像如全黑的图像等，以使清洗后的图像均满足模型可以检测的要求。示例性地，样本图像的数量可以是10000张。示例性地，在10000张样本图像中，可以包括存在各种类型晶圆缺陷的各种型号的晶圆的图像。容易理解，在一定程度上，样本图像中所包含的缺陷种类越多，训练好的第一模型可以识别的缺陷种类也越多。
76.其次，可以对上述晶圆的样本图像进行分类，示例性地，可以首先将上述晶圆样本图像进行缺陷种类的数量统计，可以将数量达到预设数量且具有相似形态特征的晶圆样本图像归类为一组。可选地，可以将形态尺寸较大的缺陷区域或目标区域的晶圆图像作为第一组训练样本图像，以对应地用于对模型类型是目标检测模型的第一模型或第二模型进行训练。又可选地，可以将形态为细长型的缺陷区域或目标区域的晶圆图像作为第二组训练样本图像，以对应地用于对模型类型是语义分割模型的第一模型或第二模型进行训练。
77.示例性地，可以采用相应的标注方式(如矩形框)对第一组训练样本图像中的第一类型的缺陷所在的缺陷区域进行标注。标注好的第一组训练样本图像可以作为训练第一目标检测模型m
11
的训练样本。训练好的第一目标检测模型m
11
可以用于识别该第一类型的缺陷的缺陷区域，该第一类型的缺陷的种类数量至少为1个。同样地，还可以采用对应的标注方式对第一组训练样本图像中的第二类型的缺陷的缺陷区域进行标注。标注好的第一组训练样本图像可以作为训练第一目标检测模型m
12
的训练样本。训练好的第一目标检测模型m
12
可以用于识别该第二类型缺陷的缺陷区域，该第二类型的缺陷的种类数量至少为1个。
78.类似地，还可以采用相应的标注方式对第一组训练样本图像中的为第一类型缺陷配置的第一目标区域进行标注，标注好的第一组训练样本图像可以作为训练第二目标检测模型m
21
的训练样本图像。训练好的第二目标检测模型m
21
可以用于识别为该第一类型缺陷配置的第一目标区域。同样的，可以采用对应的标注方式对第一组训练样本图像中的为该第二类型缺陷配置的第二目标区域进行标注。标注好的第一组训练样本图像可以作为第二目标检测模型m
22
的训练样本。训练好的第二目标检测模型m
22
可以用于识别为该第二类型的缺陷配置的第二目标区域。
79.同样地，可以采用对应的标注方式(如不规则闭合图形)对第二组训练样本图像中的第三类型的缺陷的缺陷区域进行标注。标注好的第二组训练样本图像可以作为训练第一语义分割模型m
13
的训练样本。该第一语义分割模型m
13
用于识别该第一类型缺陷的缺陷区域。该第三类型缺陷的种类数量至少为1个。同样地，可以采用对应的标注方式对第二组训练样本图像中的第四类型的缺陷的缺陷区域进行标注。标注好的第二组训练样本图像可以作为第一语义分割模型m
14
的训练样本。训练好的第一语义分割模型m
14
可以用于识别该第四类型的缺陷的缺陷区域，该第四类型的缺陷的种类数量至少为1个。
80.类似地，对第二组训练样本图像中的为第三类型缺陷配置的第三目标区域进行标注，标注好的第二组训练样本图像可以作为训练样本训练第二语义分割模型m
23
。训练好的第二语义分割模型m
23
可以用于识别为该第三类型缺陷配置的第三目标区域。同时，可以对第二组训练样本图像中的为该第四类型缺陷配置的第四目标区域进行标注，标注好的第二组训练样本图像可以作为第二语义分割模型m
24
的样本训练。该第二语义分割模型m
24
可以用于识别为该第四类型缺陷配置的第四目标区域。
81.应理解，上述示例中的第一目标检测模型与第一语义分割模型均为第一模型，第二目标检测模型与第二语义分割模型均为第二模型。通过上述示例的方案，可以实现对4个第一模型和4个第二模型的训练。
82.示例性地，根据前述陈述，每个第一模型可以针对一种类型缺陷，也可以针对多种不同类型的缺陷。例如，上述10000张训练样本图像中共包括n(n≥1)种缺陷。在一个示例中，可以通过n个第一模型来各自识别一种缺陷的缺陷区域。对于该示例的每个第一模型的
训练样本图像可以只包括该种缺陷的缺陷区域的标注数据。在另一个示例中，也可以采用m(m≤n)个第一模型来识别该n种缺陷的缺陷区域，其中，至少一种第一模型可以同时检测多种类别的缺陷。对于这种示例中，同时检测多种类型缺陷的第一模型的训练样本图像包括其要识别的多种类别的缺陷的缺陷区域的标注信息。对应地，每个第二模型可以针对一种类型目标区域，也可以针对多种不同类型的目标区域，其解释与第一模型类似，在此不再赘述。
83.示例性地，可以采用不同的标注方式对不同模型类型的训练样本图像进行标注。示例性而非限制性地，如前所述，可以采用矩形框的方式标注目标检测模型的训练样本图像中的缺陷区域或目标区域，可以采用不规则闭合图形的方式标注语义分割模型的训练样本图像中的缺陷区域或目标区域。然后，可以将分类标注后的包括不同类型的标注信息的训练样本图像分别输入对应的第一模型和第二模型中进行训练，可以得到训练好的每种模型的模型文件，并可以将每个模型文件对应存储在系统指定的存储位置中，以便于后续对待识别图像的缺陷检测。
84.根据本发明实施例，特定缺陷的目标区域可以包括特定缺陷的误识别区域和/或特定缺陷所在的特定区域。
85.示例性地，特定缺陷的误识别区域可以是与特定缺陷的缺陷区域相似度较高的正常区域。容易理解，由于特定缺陷的误识别区域和缺陷区域的相似度较高，因此，第一模型可能将该误识别区域识别为缺陷区域，导致缺陷的过度检测。为了有效避免这种过度检测，可以通过第二模型识别出该误识别区域，这样在后续步骤中可以实现在第一模型存在误识别时将该误识别区域排除掉，从而可以提高缺陷检测的精度。
86.示例性地，特定缺陷所在的特定区域可以是特定缺陷只可能存在的相对固定的区域。例如，晶圆的某些特定缺陷仅存在于特定的器件上，而晶圆的其他部分不可能存在这些特定缺陷。示例性地，某些特定缺陷仅在硅片的管脚连接区域或者用于芯片互连的电极区域上等，第二模型用于识别并输出待识别图像中的上述区域。例如，对于前述特定缺陷包括缺陷b和缺陷c的示例，缺陷b仅存在于特定区域。该方法100可以通过第一模型识别出待识别图像中缺陷b可能存在的缺陷区域，并通过第二模型识别出待识别图像中缺陷b可能存在的特定区域，可以在后续步骤中从第一模型输出的缺陷区域中筛选出仅位于该特定区域的缺陷区域。这样可以减少识别错误的缺陷区域，保证最终获得的缺陷检测结果的准确度，提高缺陷检测的精度。
87.根据本发明实施例，每个第二模型所识别的特定缺陷的目标区域可以仅包括特定缺陷的误识别区域，也可以仅包括特定缺陷所在的特定区域，还可以同时包括两者，可以根据检测需要设定。例如，前述示例中可以通过第二模型识别缺陷b的误识别区域和缺陷b所在的特定区域。
88.根据前述陈述，对于某种特定缺陷，不同类型的目标区域与缺陷区域的配置方式不同，所执行的后处理操作也不同。示例性地，对于目标区域是特定缺陷的误识别区域的，其与该特定缺陷的缺陷区域的配置方式可以是过滤配置。对于该配置方式的缺陷区域和目标区域可以采用过滤的方式进行后处理。示例性地，对于目标区域是特定缺陷所在的特定区域的，其与该特定缺陷的缺陷区域的配置方式可以是保留配置。对于该配置方式的缺陷区域和目标区域可以采用保留的方式进行后处理。
89.根据上述方案，在第一模型识别待识别图像中的至少一种缺陷的缺陷区域的同时，第二模型可以有效识别其中至少一种特定缺陷的误识别区域和/或该缺陷所在的特定区域。由此，可以通过第二模型的复判，排除第一模型存在的过度检测和过多检测情况，进而可以极大地提高缺陷检测的准确性。
90.示例性地，在步骤s170，至少根据缺陷区域、目标区域以及二者的配置关系，确定待识别图像的缺陷检测结果之前，该方法100还包括：步骤s160，接收每种特定缺陷的目标区域与该种缺陷的缺陷区域之间的配置关系。
91.示例性地，根据前述陈述，第一模型和第二模型中至少一者的数目可以为多个。当第一模型和第二模型的数目较多时，可以接收每种特定缺陷的目标区域与该种缺陷的缺陷区域之间的配置关系，由此获得第一模型和第二模型的组合关系。换言之，该组合关系可以表示每个第二模型输出的目标区域和第一模型输出的缺陷区域之间的配置关系。根据前述陈述，该配置关系可以包括第二模型的输出结果与第一模型的输出结果的对应关系，以及输出结果之间是过滤配置或是保留配置的配置方式。在一个示例中，该配置关系可以示出第3个第一模型输出的缺陷区域一定不在第2个第二模型输出的误识别区域上，第2个第一模型输出的缺陷区域一定位于第1个第二模型输出的特定区域上。由此，步骤s170可以根据该配置关系，对存在配置关系的模型结果进行相应的处理，以获取更准确的检测结果。
92.在一个示例中，步骤s160可以基于第一模型和第二模型的名称获取并接收该配置关系。例如，在缺陷检测方法的运行文件中包括每个第一模型和每个第二模型的名称信息，存在配置关系的两个模型的名称中至少一者包括了该配置关系标识。示例性地，在缺陷检测方法的运行文件中，第一模型所在的文件夹可以包括模型类型标识和所检测的缺陷区域标识，如“detect model1.defect1”，其中，“detect model”可以是模型类型标识，“defect1”可以是所检测的特定缺陷的缺陷区域标识。第二模型所在的文件夹的名称可以包括模型类型标识和所检测的特定缺陷的目标区域标识，还可以包括配置关系标识。配置关系例如可以表示为“a in b”或者“a not in b”，其中，a为第一模型输出的缺陷区域，b为第二模型输出的目标区域。其中，“a in b”可以表示第二模型用于检测第一模型所检测的特定缺陷a所在的特定区域b；“a not in b”可以表示第二模型用于检测第一模型所检测的特定缺陷a的误识别区域b。第二模型的名称例如“detect model1.defect1 in cat1”，其中，“detect model”可以是模型类型标识，“defect1”可以是上述第一模型示例中的特定缺陷的缺陷区域标识。“in”可以是配置关系标识。“cat1”可以是第二模型所检测的目标区域。当然，配置关系标识也可以不在第二模型所在的文件夹的名称中体现，而是第一模型所在的文件夹的名称包括该配置关系标识。示例性地，步骤s160可以根据第一模型或第二模型所在的文件夹名称中的该配置关系标识获取并接收该配置关系。
93.在另一示例中，缺陷检测方法的运行文件中可以包括设置有配置关系的配置文件。步骤s160可以直接根据该配置文件获取上述配置关系。
94.可理解，可以由用户创建或修改第一模型和第二模型的名称，以获取该配置关系。替代地，还可以直接获取并接收用户在上位机上已编辑好的该配置文件，或者自其他存储装置或者经由网络获取该配置文件，以获取该配置关系。当然，也可以通过其他合适的方式实现该步骤，本发明不对其进行限制。
95.通过上述方案，可以通过获取特定缺陷的缺陷区域和目标区域之间的配置关系，
并根据该配置关系对第一模型和第二模型的检测结果进行后处理。该方案仅需加载简单的逻辑执行算法即可实现，可以一定程度地节约计算资源，且可以提高结果的处理效率和检测结果的准确率。
96.示例性地，步骤s170根据缺陷区域和目标区域以及配置关系，确定待识别图像的缺陷检测结果，包括：步骤s171，对于任意一种特定缺陷的缺陷区域，若存在为之配置的该种缺陷的误识别区域，则从该缺陷区域中过滤掉该误识别区域，得到过滤后的缺陷区域，其中，待识别图像的缺陷检测结果包括过滤后的缺陷区域；和/或，步骤s172，对于任意一种特定缺陷的缺陷区域，若存在为之配置的该种缺陷所在的特定区域，则仅保留该特定区域内的缺陷区域，得到保留后的缺陷区域，其中，待识别图像的缺陷检测结果包括保留后的缺陷区域。
97.示例性地，根据前述陈述，在第一模型的输出结果中包括特定缺陷的缺陷区域的情况下，可以综合根据该缺陷区域和第二模型输出的目标区域及每种特定缺陷的缺陷区域和目标区域之间的配置关系对缺陷区域和目标区域进行区域后处理，以确定缺陷检测结果。
98.示例性地，对于目标区域是特定缺陷的误识别区域的情况，该目标区域与该特定缺陷的缺陷区域的配置方式可以是过滤配置。在步骤s171，可以对于该配置方式的缺陷区域和目标区域采用过滤的方式进行区域整合。例如，第一模型输出了某一特定缺陷在待识别图像中的某个缺陷区域a的位置信息，第二模型输出了该缺陷在待识别图像中的某个误识别区域b。在这种情况下，可以首先判断该缺陷区域a和该误识别区域b是否存在预设大小范围的重叠区域c。若是，则说明第一模型识别的缺陷区域a存在误识别，因此，可以将该缺陷区域a过滤掉。反之，若缺陷区域a和缺陷区域b不存在重叠区域或者重叠区域小于预设阈值，则说明缺陷区域a不存在误识别的情况，因此，可以保留该缺陷区域a作为该特定缺陷的缺陷检测结果。
99.示例性地，对于目标区域是特定缺陷所在的特定区域的情况，该目标区域与该特定缺陷的缺陷区域的配置方式可以是保留配置。在步骤s172，可以对于该配置方式的缺陷区域和目标区域采用保留的方式进行区域整合。例如，第一模型中输出了某一特定缺陷在待识别图像中某个缺陷区域a的位置信息，第二模型中输出了该缺陷在待识别图像中的特定区域e。可选地，可以首先判断该缺陷区域a和该特定区域e是否存在重叠区域c。若否，则可以说明第一模型输出的该缺陷区域a有误，该第一模型中并不存在该种特定缺陷的缺陷区域；若是，则可以将该缺陷区域a中位于重叠区域c的缺陷区域作为该特定缺陷的缺陷区域。替代地，也可以进一步判断该特定缺陷的缺陷区域和特定区域的重叠区域是否满足预设的范围要求。例如，可以判断上述重叠区域c与特定区域e的面积比值是否达到预设的比值阈值如60％，只有在达到该比值阈值的情况下，才最终确定该缺陷区域a中位于重叠区域c的缺陷区域作为该特定缺陷的缺陷区域。
100.根据上述方案，可以对存在配置关系的第一模型和第二模型的输出结果进行后处理，以获得待识别图像的缺陷检测结果，该方案简单，易于实现，且整合后的缺陷检测结果的检测准确率更高，在一定程度上可以避免过度检测和错误检测，用户体验也更好。
101.示例性地，在步骤s110获取待识别图像之后，该方法100还包括：步骤s140，将待识别图像输入经训练的第三模型进行异常检测，以输出图像异常判定结果信息。在步骤s170
之后，还可以包括：步骤s180，在图像异常判定结果信息表示待识别图像异常，且待识别图像的缺陷检测结果为存在缺陷区域的情况下，确定待识别图像的缺陷检测结果为待识别图像上的缺陷区域；和/或，步骤s181，在图像异常判定结果信息表示待识别图像异常，且待识别图像的缺陷检测结果为未存在缺陷区域的情况下，确定待识别图像的缺陷检测结果为待识别图像上存在新类型的缺陷区域；和/或步骤s182，在图像异常判定结果信息表示待识别图像正常，且待识别图像的缺陷检测结果为存在缺陷区域的情况下，确定待识别图像的缺陷检测结果为当前检测有误。
102.根据本发明实施例的缺陷检测方法100还可以通过第三模型实现对待识别图像的异常检测，第三模型可以输出图像异常判定结果信息。示例性地，异常判断结果信息可以是指示该图像为正常图像的ok信息；异常判断结果信息也可以是指示该图像为异常图像的ng信息。
103.容易理解，通过步骤s140可以实现对待识别图像是否存在异常的进一步判断，若待识别图像中存在异常，则第三模型可以输出异常图像的结果信息，若待识别图像中不存在异常，则第三模型可以输出正常图像的结果信息。
104.该方法100可以在前述步骤s170中对第一模型和第二模型的检测结果进行后处理，得到后处理后的检测结果之后，可以进一步基于第三模型输出的检测结果确定最终的缺陷检测结果。
105.示例性地，在步骤s180中，当第三模型输出的结果为ng信息，且步骤s170中确定的第一模型和第二模型的后处理检测结果指示待识别图像中包括缺陷区域的情况下，确定待识别图像的缺陷检测结果为待识别图像上的缺陷区域。例如，当第三模型输出的结果指示该图像为ng信息，且第一模型和第二模型的后处理检测结果指示待识别图像中包括某一缺陷在待识别图像中的缺陷区域a时，则可以确定待识别图像的最终缺陷检测结果包括该图像中存在该种缺陷的缺陷区域a的信息。在这种方案中，对待识别图像中存在缺陷区域的双重验证，检测结果的准确率更高。
106.示例性地，在步骤s181，当第三模型输出的结果为ng信息，而第一模型和第二模型的后处理缺陷检测结果指示该图像中未存在缺陷区域的情况下，可以确定待识别图像的缺陷检测结果为待识别图像上存在新类型的缺陷区域。容易理解，对于待识别图像中存在新类型的缺陷的情况，样本图像少，无法通过训练第一模型来识别该新类型的缺陷，而第三模型则可以针对这种问题，可以有效检测到突然出现的新类型的缺陷。从而，检测缺陷更全面，检测准确率也更高。
107.示例性地，在步骤s182，当第三模型输出的结果为ok信息，且第一模型和第二模型的后处理检测结果指示待识别图像上包括缺陷区域的情况下，可以认为待识别图像的缺陷检测结果为当前检测有误。这种情况可以由人工进一步核查错误的原因，可以通过查看该图像找到检测出错的模型，并进一步对该模型进行修正。这种方案有助于及时发现模型出现的问题，从而进一步确保检测结果的准确率。
108.示例性地，在步骤s182，当第三模型输出的结果为ok信息，且第一模型和第二模型的后处理检测结果指示待识别图像上不包括缺陷区域的情况下，可以认为最终的缺陷检测结果为待识别图像中的目标对象中不存在缺陷，是完好的。
109.示例性地，第三模型可以是任何合适的模型，只要其可以实现对输入的待识别图
像的异常检测即可，本发明不对其进行限制。
110.可以理解，第三模型是基于通过正常样本训练的异常检测模型对待识别图像进行异常检测，从而能够对第一模型和第二模型的检测结果进行验证，进一步提高了缺陷检测方法100的检测准确率。
111.可选地，第三模型包括异常检测模型和/或二分类模型，其中异常检测模型利用正常图像训练而获得，二分类模型利用经标注的正常图像和经标注的异常图像训练而获得。
112.示例性地，第三模型的数量可以为1个，也可以为两个。示例性地，异常检测模型和二分类模型均可以实现对待识别图像的异常检测，第三模型可以包括该两者中的任一者，也可以同时包括两者。可以根据实际需求进行设置。
113.可选地，当存在缺陷的样本训练图像的数量较少时，第三模型优选仅包括异常检测模型。该方法100还可以包括步骤s121，通过大量的正常样本图像训练异常检测模型，以获得训练好的异常检测模型。异常检测模型可以用于检测图像是否正常，也就是说能够判断该图像中是否存在任何未知或已知类型的缺陷。换言之，只要待识别图像是异常的，则异常检测模型均能够检测出来。本领域普通技术人员可以理解该步骤的实现方式，在此不再赘述。
114.替代地，当存在各种类型缺陷的训练样本图像较多时，例如与正常样本图像的数量相当时，第三模型可以仅包括二分类模型。该方法100还可以包括步骤s122，通过大量标注正常信息的正常样本图像和标注异常信息的缺陷样本图像训练该二分类模型，以获得训练好的二分类模型。二分类模型对待识别图像的检测结果更准确。本领域普通技术人员可以理解该步骤的实现方式，在此不再赘述。
115.又可选地，当存在较多各类型缺陷的训练样本图像时，也可以采用二分类模型和异常检测模型并存的方式实现异常检测。由此，可以在利用多个第一模型和第二模型执行缺陷检测的同时，再通过两个模型进行异常检测，最后可以基于两个异常检测结果和缺陷检测结果进行多重复判，可以得到更准确的检测结果。
116.根据上述方案，可以在第一模型和第二模型进行常见类型缺陷的缺陷检测的基础上，用异常检测模型和/或二分类模型对检测结果进行复判，进而可以进一步提高缺陷检测的准确性。
117.图2示出了根据本发明另一个实施例的缺陷检测方法的示意图。参考图2，首先，可以通过图像采集装置获取原始图像，例如晶圆图像。可以将该晶圆图像输入图像的预处理模块执行图像增强等图像的预处理操作。然后，可以将预处理后的晶圆图像分别输入第一模型210、第二模型220、第三模型230中进行检测。示例性地，第一模型210、第二模型220、第三模型的数目均可以是一个或多个。第一模型210和第二模型220均可以包括目标检测模型和语义分割模型，可以采用目标检测模型识别较大尺寸的晶圆缺陷的缺陷区域和/或目标区域，可以采用语义分割模型识别细长形态的晶圆缺陷的缺陷区域和/或目标区域。
118.示例性地，图2中示出的第一模型210可以包括3个目标检测模型和2个语义分割模型，并通过这5个第一模型识别图像中的8种不同类型缺陷的缺陷区域。示例性地，可以通过目标检测模型1、目标检测模型2和语义分割模型1各自识别一种类型的缺陷；可以通过目标检测模型3识别另外3种类型的缺陷；可以通过语义分割模型2识别其他2种类型的缺陷。
119.示例性地，图2中示出的第二模型220可以包括2个目标检测模型和1个语义分割模
型，并可以通过这3个第二模型识别图像中的4种特定缺陷的目标区域。例如，可以通过目标检测模型4和目标检测模型5各自识别一种特定缺陷的目标区域，可以通过语义分割模型3识别两种特定缺陷的目标区域。可选地，可以通过目标检测模型4识别缺陷1的误识别区域，可以通过目标检测模型5识别缺陷2所在的特定区域，可以通过语义分割模型3识别缺陷7的误识别区域和缺陷8所在的特定区域。
120.示例性地，图2中示出的第三模型230的数目可以为1个，例如可以包括1异常检测模型，可以通过该异常检测模型进行异常检测，以判定图像是正常图像还是异常图像。
121.示例性地，各个模型可以分别输出各自的检测结果。例如，上述5个第一模型分别输出所识别的缺陷区域，上述3个第二模型分别输出所识别的特定缺陷的目标区域，上述1个第三模型输出图像是否为异常。示例性地，可以对每个模型输出的检测结果进行结果整合，以获得最终的缺陷检测结果。
122.示例性地，可以首先对第一模型输出的缺陷区域和第二模型输出的目标区域进行结果整合。再次参考图2，容易理解，图2中的部分第一模型和第二模型所检测的缺陷2、缺陷7和缺陷8属于特定缺陷，因此用于识别该三种特定缺陷的第一模型的检测结果和第二模型的检测结果之间可以存在配置关系。例如，目标检测模型2识别的缺陷2的缺陷区域和目标检测模型5识别的缺陷2所在的特定区域存在配置关系，语义分割模型2所识别的缺陷7的缺陷区域和语义分割模型3所识别的缺陷7的误识别区域存在配置关系，语义分割模型2所识别的缺陷8的缺陷区域和语义分割模型3所识别的缺陷8所在的特定区域存在配置关系。
123.示例性地，可以对存在配置关系的第一模型和第二模型的检测结果进行整合。例如，对于存在配置关系的特定缺陷的缺陷区域和目标区域，可以根据该配置关系对该缺陷区域与目标区域进行区域整合。示例性地，区域整合可以包括区域过滤和/或区域保留。例如，可以从图2中示出的语义分割模型2所识别的缺陷7的缺陷区域中过滤掉语义分割模型3所识别的缺陷7的误识别区域，得到过滤后的缺陷7的缺陷区域。类似地，可以基于同样的方法得到过滤后的缺陷1的缺陷区域。又例如，可以在目标检测模型2识别的缺陷2的缺陷区域中，仅保留目标检测模型5识别的缺陷2所在的特定区域内的缺陷区域，得到保留后的缺陷2的缺陷区域。类似地，可以基于同样的方法得到保留后的缺陷8的缺陷区域。示例性地，对于不存在上述配置关系的第一模型输出的非特定缺陷的缺陷区域，可以直接获取每种缺陷的缺陷区域。例如，直接获取图2中示出的目标检测模型3输出的缺陷3、4、5的缺陷区域和语义分割模型1输出的缺陷6的缺陷区域在图像中的位置信息。
124.容易理解，整合后的第一模型和第二模型的检测结果中可以不包括任何缺陷区域，也可以包括区域整合后的特定缺陷的缺陷区域和第一模型输出的非特定缺陷的缺陷区域。并且，在第一模型未输出任何缺陷区域的情况下，整合后的第一模型和第二模型的检测结果中也不包括任何缺陷区域。
125.最后，还可以基于上述整合后的第一模型和第二模型的检测结果以及第三模型的检测结果确定最终的缺陷检测结果。
126.示例性地，当第三模型的检测结果指示待识别图像为正常图像，且第一模型未输出任何缺陷区域的情况下，可以确定该待识别图像的最终检测结果为正常图像，即该图像中不存在任何缺陷。这可以视作确定待识别图像是正常图像的双重验证方案，检测的准确率更高。
127.示例性地，当第三模型的检测结果指示待识别图像为异常图像，且整合后的第一模型和第二模型的缺陷检测结果包括缺陷区域的情况下，可以确定待识别图像中包括该种缺陷的缺陷区域，并输出该缺陷区域的位置。这也可以视作确定该待识别图像存在缺陷的双重验证方案，检测的准确率更高。
128.示例性地，当第三模型的检测结果指示待识别图像为异常图像，而第一模型未输出任何缺陷区域的情况下，可以确定待识别图像的最终检测结果为包括第一模型和第二模型未能识别的新类型的缺陷。进一步地，还可以通过人工核查并标注该新类型的缺陷，以便于下一步可以较快识别出该类型的缺陷。并且，在该新类型的缺陷样本图像累计达到一定数量时，还可以训练新的模型来识别该类型的缺陷。这种方案，不仅可以有效、准确地识别出新类型的缺陷，还可以持续拓展提高模型的适用性。
129.示例性地，当第三模型的检测结果指示待识别图像为正常图像，而整合后的第一模型和第二模型的检测结果包括缺陷区域的情况下，则可以确定当前检测有误，需进一步核查并修复模型。
130.由此，通过上述缺陷检测方法可以有效实现对待识别图像的缺陷检测，且由于通过多个模型的检测结果综合确定最终的检测结果，检测的准确率更高，模型的可拓展性更强，用户体验更好。
131.根据本发明的第二方面，还提供一种缺陷检测系统300。图3示出了根据本发明实施例的缺陷检测系统的示意性框图。如图所示，该系统300包括：获取模块310、第一检测模块320、第二检测模块330和确定模块340。
132.获取模块310，用于获取待识别图像。
133.第一检测模块320，用于将待识别图像输入经训练的第一模型进行缺陷检测，以输出至少一种缺陷的缺陷区域。
134.第二检测模块330，用于将待识别图像输入经训练的第二模型进行目标区域检测，以输出为至少一种特定种类缺陷配置的目标区域。
135.确定模块340，用于至少根据缺陷区域、目标区域以及缺陷区域与目标区域之间的配置关系，确定待识别图像的缺陷检测结果。
136.根据本发明的第三方面，还提供一种电子设备。图4示出了根据本发明实施例的电子设备的示意性框图。如图所示，该电子设备400包括处理器410和存储器420，其中，存储器420中存储有计算机程序指令，计算机程序指令被处理器410运行时用于执行上述缺陷检测方法100。
137.根据本发明的第四方面，还提供一种存储介质，在存储介质上存储了程序指令，程序指令在运行时用于执行上述缺陷检测方法100。所述存储介质例如可以包括平板电脑的存储部件、个人计算机的硬盘、只读存储器(rom)、可擦除可编程只读存储器(eprom)、便携式只读存储器(cd-rom)、usb存储器、或者上述存储介质的任意组合。所述计算机可读存储介质可以是一个或多个计算机可读存储介质的任意组合。
138.本领域普通技术人员通过阅读上述有关缺陷检测方法的相关描述，可以理解上述缺陷检测系统、电子设备和存储介质的具体实现方案，为了简洁，在此不再赘述。
139.尽管这里已经参考附图描述了示例实施例，应理解上述示例实施例仅仅是示例性的，并且不意图将本发明的范围限制于此。本领域普通技术人员可以在其中进行各种改变
和修改，而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本发明的范围之内。
140.本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
141.在本发明所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个设备，或一些特征可以忽略，或不执行。
142.在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
143.类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该本发明的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如相应的权利要求书所反映的那样，其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
144.本领域的技术人员可以理解，除了特征之间相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
145.此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
146.本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(dsp)来实现根据本发明实施例的缺陷检测系统中的一些模块的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
147.应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未
列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
148.以上所述，仅为本发明的具体实施方式或对具体实施方式的说明，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。本发明的保护范围应以权利要求的保护范围为准。