缺陷检测方法、装置、设备及存储介质与流程

1.本技术实施例涉及工业视觉检测技术领域，特别涉及一种缺陷检测方法、装置、设备及存储介质。


背景技术：

2.在工业生产中，工业物品的质量问题主要表现在生产材料缺陷、安装配置缺陷、各种表面缺陷等问题上，其中表面缺陷是最主要的表现形式。
3.目前的缺陷检测方法，首先构建一个神经网络的模型，然后用大量的标注数据去训练模型，使模型学习到这些标注数据中的特征，拥有缺陷特征的检测能力。
4.通常来说要让模型具有较好的检测能力，需要大量的标注数据。然而，在工业生产中，缺陷物品的数量通常远少于正常物品的数量，这导致出现正样本和负样本不均衡的情况，进而导致检测精度较低。


技术实现要素：

5.本技术实施例提供了一种缺陷检测方法、装置、设备及存储介质，可以提高缺陷检测的精度和效率。技术方案如下：
6.一方面，本技术实施例提供一种缺陷检测方法，所述方法包括：
7.接收图像对；所述图像对包括：正常类别对应的第一图像、以及待检测的第二图像；
8.利用特征提取网络，确定所述第一图像和所述第二图像分别对应的第一特征和第二特征；
9.根据分类网络、所述第一特征和所述第二特征，确定所述第一图像和所述第二图像之间的匹配结果；所述特征提取网络和所述分类网络为根据图像对样本训练得到；
10.在所述匹配结果为匹配的情况下，对所述匹配结果进行输出；或者，在所述匹配结果为不匹配的情况下，确定符合异常条件的第二特征在所述第二图像中对应的目标位置信息，并对所述目标位置信息进行输出。
11.另一方面，本技术实施例提供一种缺陷检测装置，所述装置包括：
12.接收模块，用于接收图像对；所述图像对包括：正常类别对应的第一图像、以及待检测的第二图像；
13.特征提取模块，用于利用特征提取网络，确定所述第一图像和所述第二图像分别对应的第一特征和第二特征；
14.匹配模块，用于根据分类网络、所述第一特征和所述第二特征，确定所述第一图像和所述第二图像之间的匹配结果；所述特征提取网络和所述分类网络为根据图像对样本训练得到；
15.输出模块包括：
16.第一输出模块，用于在所述匹配结果为匹配的情况下，对所述匹配结果进行输出；
或者
17.第二输出模块，用于在所述匹配结果为不匹配的情况下，确定符合异常条件的第二特征在所述第二图像中对应的目标位置信息，并对所述目标位置信息进行输出。
18.再一方面，本技术实施例提供一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述方面所述的方法。
19.又一方面，本技术实施例提供一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述方面所述的方法。
20.又一方面，本技术实施例提供一种计算机程序产品，当该计算机程序产品被执行时，其用于执行上述方面所述的方法。
21.本技术实施例提供的技术方案中，确定图像对中第一图像和第二图像之间的匹配结果。该匹配结果可以表征第一图像和第二图像所属类别的匹配情况。若匹配结果为匹配，则第一图像和第二图像所属类别相同；或者，若匹配结果为不匹配，则第一图像和第二图像所属类别不同。由于第一图像所属的类别为正常类别，故可以根据匹配结果，确定待检测的第二图像所属的类别，由此可以确定第二图像是否存在缺陷。进一步，在匹配结果为不匹配的情况下，本技术实施例还可以对异常特征(符合异常条件的第二特征)在该第二图像中对应的目标位置信息进行输出，由此可以实现缺陷的定位。
22.由于本技术实施例中特征提取网络和分类网络的输入为成对图像，相应的，特征提取网络和分类网络的训练样本为图像对样本。在实际应用中，图像对样本可以包括：正常类别的两幅图像、或者正常类别的图像和异常类别的图像、或者异常类别的两幅图像。因此，本技术实施例确定成对图像之间的匹配结果的思路，可以不要求正样本(正常类别)和负样本(异常类别)在数量方面的均衡，因此，可以在一定程度上克服正样本和负样本不均衡的情况导致检测精度低的问题，进而能够提高缺陷检测的精度。
23.并且，本技术实施例在匹配结果为不匹配的情况下，对异常特征(符合异常条件的第二特征)在该第二图像中对应的目标位置信息进行输出，由此可以实现缺陷的定位。一方面，本技术实施例不仅能够检测到异常图像，还能定位到缺陷在异常图像中的位置。另一方面，由于异常图像在所有图像中的占比通常较小；这样，本技术实施例针对异常图像进行缺陷定位，而可以不对正常图像进行缺陷定位，因此能够提高缺陷检测的效率。
附图说明
24.图1是本技术一个实施例的缺陷检测模型的结构示意图；
25.图2是本技术一个实施例的训练方法的步骤流程示意图；
26.图3示是本技术一个实施例的特征提取网络的结构示意图；
27.图4是本技术一个实施例的缺陷检测方法的流程的示意图；
28.图5是本技术一个实施例的缺陷检测方法的步骤流程示意图；
29.图6a是本技术一个实施例的缺陷检测方法的流程的示意图；
30.图6b是本技术一个实施例的一种反卷积处理的流程的示意图；
31.图7是本技术一个实施例的缺陷检测装置的结构框图；
32.图8是本技术一个实施例提供的计算机设备的结构框图。
具体实施方式
33.下面将结合附图对本技术实施方式作进一步地详细描述。
34.本技术实施例可用于对工业物品进行缺陷检测。工业物品可以涉及钢板、玻璃、印刷、电子、纺织品、工业零件多种行业的物品。常见的缺陷可以包括但不限于：划伤、划痕、辊印、凹坑、粗糙、波纹等表面缺陷。可以理解，本技术实施例对于具体的缺陷不加以限制。
35.在工业生产中，缺陷物品的数量通常远少于正常物品的数量，这导致出现正样本和负样本不均衡的情况，进而导致检测精度较低。
36.针对正样本和负样本不均衡的情况、导致检测精度较低的技术问题，本技术实施例提供了如下技术方案：接收图像对；该图像对可以包括：正常类别对应的第一图像、以及待检测的第二图像；利用特征提取网络，确定该第一图像和该第二图像分别对应的第一特征和第二特征；根据分类网络、该第一特征和该第二特征，确定该第一图像和该第二图像之间的匹配结果；该特征提取网络和该分类网络可以为根据图像对样本训练得到；在该匹配结果为匹配的情况下，对该匹配结果进行输出；或者，在该匹配结果为不匹配的情况下，确定符合异常条件的第二特征在该第二图像中对应的目标位置信息，并对该目标位置信息进行输出。
37.本技术实施例针对图像对，确定该图像对中第一图像和第二图像之间的匹配结果。该匹配结果可以表征第一图像和第二图像所属类别的匹配情况。若匹配结果为匹配，则第一图像和第二图像所属类别相同；或者，若匹配结果为不匹配，则第一图像和第二图像所属类别不同。由于第一图像所属的类别为正常类别，故可以根据匹配结果，确定待检测的第二图像所属的类别，由此可以确定第二图像是否存在缺陷。进一步，在匹配结果为不匹配的情况下，本技术实施例还可以对异常特征(符合异常条件的第二特征)在该第二图像中对应的目标位置信息进行输出，由此可以实现缺陷的定位。
38.由于本技术实施例中特征提取网络和分类网络的输入为成对图像，相应的，特征提取网络和分类网络的训练样本为图像对样本。在实际应用中，图像对样本可以包括：正常类别的两幅图像、或者正常类别的图像和异常类别的图像、或者异常类别的两幅图像。因此，本技术实施例确定成对图像之间的匹配结果的思路，可以不要求正样本(正常类别)和负样本(异常类别)在数量方面的均衡，因此，可以在一定程度上克服正样本和负样本不均衡的情况导致检测精度低的问题，进而能够提高缺陷检测的精度。
39.并且，本技术实施例在匹配结果为不匹配的情况下，对异常特征(符合异常条件的第二特征)在该第二图像中对应的目标位置信息进行输出，由此可以实现缺陷的定位。一方面，本技术实施例不仅能够检测到异常图像，还能定位到缺陷在异常图像中的位置。另一方面，由于异常图像在所有图像中的占比通常较小；这样，本技术实施例针对异常图像进行缺陷定位，而可以不对正常图像进行缺陷定位，因此能够提高缺陷检测的效率。
40.方法实施例一
41.本实施例对特征提取网络和分类网络的训练过程进行说明。在实际应用中，特征提取网络和分类网络可以集成于一个缺陷检测模型中，该缺陷检测模型对图像对样本进行
学习，可以获得缺陷检测能力。
42.参考图1，示出了本技术一个实施例的缺陷检测模型的结构示意图，该缺陷检测模型具体可以包括：特征提取网络101和分类网络102。
43.其中，在该缺陷检测模型的前向传播过程中，特征提取网络101用于根据图像对样本，得到该图像对样本对应的特征对信息；分类网络102用于根据该特征对信息，确定该图像对样本对应的匹配信息。
44.在具体实现中，上述图像对样本具体可以包括：第一图像样本、第二图像样本、以及对应的标签信息；其中，在第一图像样本和第二图像样本对应的类别相同的情况下，标签信息为第一标签；在第一图像样本和第二图像样本对应的类别不同的情况下，标签信息为第二标签。例如，第一标签可以表示为0，第二标签可以表示为1等；或者，第一标签可以表示为1，第二标签可以表示为0等。可以理解，本技术实施例对第一标签和第二标签的具体表征形式不加以限制。
45.在该缺陷检测模型的前向传播过程中，可以根据该匹配信息与该标签信息之间的误差信息，进行特征提取网络和分类网络的反向传播操作。
46.参考图2，示出了本技术一个实施例的训练方法的步骤流程示意图，该方法具体可以包括如下步骤：
47.步骤201、特征提取网络根据图像对样本，得到该图像对样本对应的特征对信息；
48.步骤202、分类网络根据该特征对信息，确定该图像对样本对应的匹配信息；
49.步骤203、根据该匹配信息与该标签信息之间的误差信息，进行特征提取网络和分类网络的反向传播操作。
50.在实际应用中，可以获取图像样本集合，并对图像样本集合中的图像样本进行随机的两两配对，以得到图像对样本。还可以对图像对样本添加对应的标签信息。
51.特征提取网络可用于对图像对样本进行特征提取。
52.在本技术的一种实现方式中，特征提取网络可以包括：孪生网络(siamese network)。孪生网络又名双生神经网络，是基于两个人工神经网络建立的耦合构架。孪生网络是以两个图像样本为输入，输出其嵌入高维度空间的表征，以比较两个图像样本的相似程度。本技术实施例的孪生神经网络可由两个结构相同、且权值共享的神经网络拼接而成。共享权值可以指两个神经网络的权值相同。
53.在一种示例中，孪生网络可以包括：两个卷积网络。其中，一个卷积网络可以包括：n个级别的卷积层；n为大于1的自然数。该卷积网络具体可以包括：第一图像样本对应的第一卷积网络、以及第二图像样本对应的第二卷积网络。第一卷积网络或第二卷积网络均可以包括：n个级别的卷积层。
54.在一种示例中，第一卷积网络或第二卷积网络可以为50层的resnet50(残差网络，residual network)。第一卷积网络或第二卷积网络分别对第一图像样本和第二图像样本进行特征提取，并共享相同的权值和偏置。
55.卷积网络是一种深度前馈人工神经网络，在图像识别中具有较好的性能表现。卷积网络具体可以包括卷积层(convolutional layer)和池化层(pooling layer)。卷积层用于从输入的图像中自动抽取特征，得到特征图(feature map)。池化层用于对特征图进行池化处理，以减少特征图中的特征数量。池化层的池化处理包括最大池化、平均池化、随机池
化等方式，其可根据实际需求选择合适的方式。
56.参照表1，示出了本技术实施例的一种残差网络的参数的示意。该残差网络具体可以包括：5个级别的卷积层，5个级别的卷积层分别为：conv1、conv2_x、conv3_x、conv4_x和conv5_x。
57.其中，conv1的结构比较简单，可以视其为对输入的预处理。后4个级别的卷积层都可以包含瓶颈层(bottleneck)。conv2_x包含3个瓶颈层，conv3_x包含4个瓶颈层，conv4_x包含6个瓶颈层，conv5_x包含3个conv5_x。
58.表1残差网络的参数
[0059][0060]
下面对5个级别的卷积层进行详细描述：
[0061]
conv1:7*7指卷积核大小，64指卷积核的数量(即该卷积核输出的通道数)，2是指卷积核的步长(stride)为2；在conv1后进行最大池化处理；
[0062]
conv2_x:包含3个bottleneck，每个bottleneck包含三个卷积层，三个卷积层的大小分别为：1*1*64，3*3*64，1*1*256；
[0063]
conv3_x：包含4个bottleneck，每个bottleneck包含三个卷积层，三个卷积层的大小分别为：1*1*128，3*3*128，1*1*512；
[0064]
conv4_x：包含6个bottleneck，每个bottleneck包含三个卷积层，三个卷积层的大小分别为：1*1*256，3*3*256，1*1*1024的卷积层构成。
[0065]
conv5_x：包含3个bottleneck，每个bottleneck包含三个卷积层，三个卷积层的大小分别为：1*1*512，3*3*512，1*1*2048的卷积层构成。
[0066]
表1的卷积层具体包括：conv1的1个卷积层、conv2_x的3
×
3个卷积层、conv3_x的4
×
3个卷积层、conv4_x的6
×
3个卷积层、conv5_x的3
×
3个卷积层。
[0067]
在实际应用中，可以按照从低级别到高低别(也即conv1
→
conv2_x
→
conv3_x
→
conv4_x
→
conv5_x)的顺序，对输入的图像样本进行处理。根据表1，按照从低级别到高低别的顺序，卷积层的输出的尺寸呈现为从大到小的顺序。例如，对于低级别的卷积层，其输出中可能包含高分辨率(但是语义弱)的特征；而对于高级别的卷积层，其输出中可能包含低分辨率(但是语义强)的特征。
[0068]
在本技术的另一种实现方式中，特征提取网络具体可以包括：孪生网络和特征金字塔网络；
[0069]
其中，孪生网络的卷积网络可以包括：n个级别的卷积层；n可以为大于1的自然数；卷积网络具体可以包括：所述第一图像对应的第一卷积网络、以及所述第二图像对应的第二卷积网络；
[0070]
特征金字塔网络与至少两个级别的卷积层相连，用于对至少两个级别的卷积层的输出进行融合。
[0071]
特征金字塔网络根据至少两个级别的卷积层输出的不同层次和不同尺度的特征，构建金字塔。由于特征金字塔网络融合了高低不同层次的特征，故其能够将低分辨率但是语义强的特征和高分辨率但语义弱的特征相结合，使得本技术实施例在复杂的工业场景中能够具有极强的鲁棒性。例如，本技术实施例融合了高低不同层次的特征，既能够实现大尺寸缺陷的检测，还能够实现小尺寸缺陷的检测。
[0072]
在实际应用中，特征金字塔网络与n个级别中部分或全部的卷积层相连，且与特征金字塔网络相连的卷积层的级别数量可以为两个或两个以上。
[0073]
参照图3，示出了本技术一个实施例的特征提取网络的结构示意图，其中，卷积网络对输入的图像样本进行自底向上的处理。自底向上可以为卷积网络的前向过程。在前向过程中，特征图的尺寸在经过某些卷积层后会改变，而在经过其他一些卷积层的时候不会改变。将不改变特征图的尺寸的卷积层归为一个级别。因此，可以提取至少一个级别的最后一个卷积层的输出，并根据提取结果，构造特征金字塔。
[0074]
特征金字塔网络在提取特征的过程中，利用卷积网络的层次结构所对应的金字塔形状，对该层次结构进行自顶向下的处理和横向连接，能够将低分辨率但是语义强的特征和高分辨率但语义弱的特征结合。
[0075]
自顶向下的过程中，可以采用上采样(up sampling)。而横向连接则是将上采样结果和自底向上生成的相同大小的特征图进行融合。例如，m4可以是m5的上采样结果与conv4_18的输出的融合。
[0076]
可选地，在融合之后还可以采用例如3*3的卷积核对融合结果进行卷积，目的是消除上采样的混叠效应。假设生成的特征图的处理结果是p2,p3,p4,p5，上述处理结果分别与自底向上的卷积结果conv2_9,conv3_12,conv4_18,conv5_9相对应。
[0077]
图3中示出了孪生网络中一个卷积网络对应的特征金字塔网络，特征金字塔网络的层数为4层。实际上，特征金字塔网络的层数可以小于4。
[0078]
另外，孪生网络中两个卷积网络对应的特征金字塔网络中，一个特征层可以包括：第一卷积网络和第二卷积网络分别对应的特征层。例如，按照尺寸从高到低的顺序，特征金字塔网络的特征层可以依次包括：第一特征层、第二特征层、第三特征层和第四特征层。
[0079]
其中，第一特征层可以包括：两个卷积网络的conv2_9的输出；第二特征层可以包括：两个卷积网络的conv3_12的输出；第三特征层包括：两个卷积层的conv4_18的输出；第
四特征层包括：两个卷积层的conv5_9的输出。
[0080]
因此，本技术实施例的特征对信息可以包括：由两个卷积网络输出的、图像对样本分别对应的特征。
[0081]
分类网络可用于根据该特征对信息，确定该图像对样本对应的匹配信息。在具体实现中，分类网络可以根据特征对信息之间的匹配度，确定该图像对样本对应的匹配信息。匹配信息可以为匹配度对应的具体数值。或者，匹配信息可以为匹配或不匹配。若匹配度大于阈值，则可以认为匹配信息为匹配；或者，若匹配度小于或等于阈值，则可以认为匹配信息为不匹配。
[0082]
匹配度的表征方式可以包括：欧式距离、马氏距离等。可以理解，本技术实施例对于匹配度的具体表征方式不加以限制。通常欧式距离与匹配度呈反比。
[0083]
在实际应用中，可以将特征金字塔网络的所有特征层(一个特征层包括图像对样本分别对应的特征)输入到分类网络中，以获取匹配信息。
[0084]
以图3为例，特征金字塔网络中p2、p3、p4、p5等特征层的尺寸分别为：56*56*2，28*28*2，14*14*2，7*7*2，可以为特征层的特征进行压缩并拼接，最终缩放为8330*2维。此处，8330的计算过程为：56*56+28*28+14*14+7*7＝8330。进一步，可以计算2个8330的特征向量之间的匹配度。
[0085]
在确定匹配信息后，可以利用损失函数，确定匹配信息与标签信息之间的误差信息，并将该误差信息逐层反向传播至缺陷检测模型的输入层。并且，还可以采用随机梯度下降优化算法，调整缺陷检测模型中网络的权值和偏置，以获取最优的误差值，从而完成一次训练。在具体实现中，可以重复上述步骤201至步骤203，直到目损失函数的误差信息收敛于预设值。
[0086]
综上所述，本技术实施例的训练方法，在该缺陷检测模型的前向传播过程中，特征提取网络用于根据图像对样本，得到该图像对样本对应的特征对信息；分类网络用于根据该特征对信息，确定该图像对样本对应的匹配信息；在该缺陷检测模型的前向传播过程中，可以根据该匹配信息与该标签信息之间的误差信息，进行特征提取网络和分类网络的反向传播操作；重复上述训练过程，直到误差信息收敛于预设值。上述训练过程可以使缺陷检测模型具备针对图像对样本所涉及两幅图像样本的区分能力，进而能够使缺陷检测模型具备缺陷检测能力。
[0087]
并且，本技术实施例确定成对图像之间的匹配结果的思路，可以不要求正样本(正常类别)和负样本(异常类别)在数量方面的均衡，因此，可以在一定程度上克服正样本和负样本不均衡的情况导致检测精度低的问题，进而能够提高缺陷检测的精度。
[0088]
此外，本技术实施例利用不同层次和不同尺度的特征，构造特征金字塔网络，能够充分利用多个层次和多个尺度的特征，使得本技术实施例在复杂的工业场景中能够具有极强的鲁棒性。例如，本技术实施例融合了高低不同层次的特征，既能够实现大尺寸缺陷的检测，还能够实现小尺寸缺陷的检测。
[0089]
方法实施例二
[0090]
本实施例对特征提取网络和分类网络的缺陷检测过程进行说明。
[0091]
参考图4，示出了本技术一个实施例的缺陷检测方法的流程的示意图，其中，特征提取网络可以包括：孪生网络和特征金字塔网络，孪生网络可以进一步包括：第一卷积网络
和第二卷积网络。第一卷积网络或第二卷积网络可以分别包括：n个级别的卷积层。
[0092]
在接收到图像对的情况下，第一卷积网络可以对第一图像进行特征提取，以得到对应的第一特征；第二卷积网络可以对第二图像进行特征提取，以得到对应的第二特征。
[0093]
特征金字塔网络可以提取至少一个级别的最后一个卷积层的输出，并根据提取结果，构造特征金字塔网络，因此能够充分利用多个层次和多个尺度的特征。
[0094]
分类网络可以根据特征金字塔输出的融合特征，确定该第一图像和该第二图像之间的匹配结果。
[0095]
参考图5，示出了本技术一个实施例的缺陷检测方法的步骤流程示意图，该方法具体可以包括如下步骤：
[0096]
步骤501、接收图像对；该图像对可以包括：正常类别对应的第一图像、以及待检测的第二图像；
[0097]
步骤502、利用特征提取网络，确定该第一图像和该第二图像分别对应的第一特征和第二特征；
[0098]
步骤503、根据分类网络、该第一特征和该第二特征，确定该第一图像和该第二图像之间的匹配结果；该特征提取网络和该分类网络可以为根据图像对样本训练得到；
[0099]
步骤504、在该匹配结果为匹配的情况下，对该匹配结果进行输出；或者，
[0100]
步骤505、在该匹配结果为不匹配的情况下，确定符合异常条件的第二特征在该第二图像中对应的目标位置信息，并对该目标位置信息进行输出。
[0101]
图5所示方法的至少一个步骤可由客户端或服务端执行，可以理解，本技术实施例对于方法的具体执行主体不加以限制。
[0102]
在实际应用中，图像对可以来源于客户端。例如，客户端可以随机选取正常类别对应的第一图像，并对第一图像与待检测的第二图像进行组合，以得到图像对。可以理解，本技术实施例对于图像对的具体来源不加以限制。
[0103]
在一种实现方式中，特征提取网络可以包括：孪生网络和特征金字塔网络；
[0104]
其中，该孪生网络的卷积网络可以包括：n个级别的卷积层；n为大于1的自然数；该卷积网络包括：该第一图像对应的第一卷积网络、以及该第二图像对应的第二卷积网络；该特征金字塔网络可以与至少两个级别的卷积层相连，用于对至少两个级别的卷积层的输出进行融合。
[0105]
本技术实施例在匹配结果为匹配的情况下，可以直接对该匹配结果进行输出。
[0106]
在匹配结果为不匹配的情况下，对异常特征(符合异常条件的第二特征)在该第二图像中对应的目标位置信息进行输出，由此可以实现缺陷的定位。一方面，本技术实施例不仅能够检测到异常图像，还能定位到缺陷在异常图像中的位置。另一方面，由于异常图像在所有图像中的占比通常较小；这样，本技术实施例针对异常图像进行缺陷定位，而可以不对正常图像进行缺陷定位，因此能够提高缺陷检测的效率。
[0107]
参考图6a，示出了本技术一个实施例的缺陷检测方法的流程的示意，其中，分类网络可以确定根据第一特征与第二特征之间的匹配度。在此基础上，可以对匹配度与阈值进行比较。若匹配度大于阈值，则可以认为匹配信息为匹配；或者，若匹配度小于或等于阈值，则可以认为匹配信息为不匹配。
[0108]
在匹配结果为不匹配的情况下，可以对异常特征所表征的缺陷进行定位，也即，确
定异常特征在该第二图像中对应的目标位置信息。
[0109]
在具体实现中，该符合异常条件的第二特征可以为根据第一特征与第二特征之间的匹配度得到。具体而言，第一特征或第二特征在对应的特征向量中可以对应有编号信息，本技术实施例可以对相同编号信息对应的第一特征和第二特征，确定第一特征与第二特征之间的匹配度。若第一特征与第二特征之间的匹配度超过设定值，则可以认为第二特征为正常特征；否则，若第一特征与第二特征之间的匹配度小于或等于设定值，则可以认为第二特征为异常特征。在实际应用中，异常特征可以为第二特征的全部特征或部分特征。
[0110]
在本技术的一种实现方式中，该第二特征可以包括：第二特征图；该第二特征图可由第二卷积网络确定。
[0111]
则上述确定符合异常条件的第二特征在该第二图像中对应的目标位置信息，具体可以包括：在该匹配结果为不匹配的情况下，根据特征图的可视化方法，确定符合异常条件的第二特征在该第二图像中对应的目标位置信息。
[0112]
特征图的可视化方法，可用于将符合异常条件的第二特征，映射至第二图像中。
[0113]
在实际应用中，可以将特征图映射到0-255的范围，以其变成图像中的像素空间。或者，可以使用一个反卷积网络，将特征图变成图像中的像素空间。
[0114]
反卷积网络的卷积层可以看作卷积网络中对应卷积层的逆过程，他们拥有相同的卷积核和池化索引，因此反卷积网络将特征图逆映射回到了第二图像的像素空间。
[0115]
在具体实现中，可以根据例如resnet50的卷积网络，构造反卷积网络。反卷积网络与卷积网络可以采用相同的权值等参数；两者的一个区别可以在于，反卷积网络的第二滤波器为卷积网络的第一滤波器的转置。例如，可以对第一滤波器的参数矩阵的水平方向和垂直方向进行翻转，以使第一滤波器的参数矩阵的水平方向对应第二滤波器的参数矩阵的垂直方向，以及，使第一滤波器的参数矩阵的垂直方向对应第二滤波器的参数矩阵的水平方向。
[0116]
反卷积网络将特征图变成图像中的像素空间的过程可以包括：对特征图进行反卷积处理(包括：反池化、反激活和反卷积等)，以将特征图还原为图像。
[0117]
参照图6b，示出了本技术一个实施例的一种反卷积处理的流程的示意，其中，反卷积处理的输入可以包括：四个特征层的特征图，反卷积处理的处理过程可以包括：对每个特征层的特征图进行反池化、反激活和反卷积等反卷积处理，反卷积处理的输出可以包括：带有特征图的图像，其中带有特征图的图像中可以包括：存在异常的图像区域，这样，可以将异常对应的缺陷定位在图像上。
[0118]
本技术实施例可以对目标位置信息进行输出，例如，目标位置信息可以为异常特征对应像素点的坐标等。
[0119]
综上所述，本技术实施例提供的技术方案中，确定图像对中第一图像和第二图像之间的匹配结果。该匹配结果可以表征第一图像和第二图像所属类别的匹配情况。若匹配结果为匹配，则第一图像和第二图像所属类别相同；或者，若匹配结果为不匹配，则第一图像和第二图像所属类别不同。由于第一图像所属的类别为正常类别，故可以根据匹配结果，确定待检测的第二图像所属的类别，由此可以确定第二图像是否存在缺陷。进一步，在匹配结果为不匹配的情况下，本技术实施例还可以对异常特征(符合异常条件的第二特征)在该第二图像中对应的目标位置信息进行输出，由此可以实现缺陷的定位。
[0120]
由于本技术实施例中特征提取网络和分类网络的输入为成对图像，相应的，特征提取网络和分类网络的训练样本为图像对样本。在实际应用中，图像对样本可以包括：正常类别的两幅图像、或者正常类别的图像和异常类别的图像、或者异常类别的两幅图像。因此，本技术实施例确定成对图像之间的匹配结果的思路，可以不要求正样本(正常类别)和负样本(异常类别)在数量方面的均衡，因此，可以在一定程度上克服正样本和负样本不均衡的情况导致检测精度低的问题，进而能够提高缺陷检测的精度。
[0121]
并且，本技术实施例在匹配结果为不匹配的情况下，对异常特征(符合异常条件的第二特征)在该第二图像中对应的目标位置信息进行输出，由此可以实现缺陷的定位。一方面，本技术实施例不仅能够检测到异常图像，还能定位到缺陷在异常图像中的位置。另一方面，由于异常图像在所有图像中的占比通常较小；这样，本技术实施例针对异常图像进行缺陷定位，而可以不对正常图像进行缺陷定位，因此能够提高缺陷检测的效率。
[0122]
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本技术实施例并不受所描述的动作顺序的限制，因为依据本技术实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本技术实施例所必须的。
[0123]
在上述实施例的基础上，本技术实施例还提供了一种缺陷检测装置，参照图7，该装置可以包括如下模块：
[0124]
接收模块701，用于接收图像对；所述图像对包括：正常类别对应的第一图像、以及待检测的第二图像；
[0125]
特征提取模块702，用于利用特征提取网络，确定所述第一图像和所述第二图像分别对应的第一特征和第二特征；
[0126]
匹配模块703，用于根据分类网络、所述第一特征和所述第二特征，确定所述第一图像和所述第二图像之间的匹配结果；所述特征提取网络和所述分类网络为根据图像对样本训练得到；
[0127]
输出模块704包括：
[0128]
第一输出模块741，用于在该匹配结果为匹配的情况下，对该匹配结果进行输出；或者
[0129]
第二输出模块742，用于在该匹配结果为不匹配的情况下，确定符合异常条件的第二特征在该第二图像中对应的目标位置信息，并对该目标位置信息进行输出。
[0130]
可选地，该特征提取网络可以包括：孪生网络和特征金字塔网络；
[0131]
其中，该孪生网络的卷积网络可以包括：n个级别的卷积层；n为大于1的自然数；该卷积网络可以包括：该第一图像对应的第一卷积网络、以及该第二图像对应的第二卷积网络；
[0132]
该特征金字塔网络与至少两个级别的卷积层相连，用于对至少两个级别的卷积层的输出进行融合。
[0133]
可选地，该第二特征可以包括：第二特征图；
[0134]
第二输出模块742，具体用于在该匹配结果为不匹配的情况下，根据特征图的可视化方法，确定符合异常条件的第二特征在该第二图像中对应的目标位置信息。
[0135]
可选地，该符合异常条件的第二特征可以为根据第一特征与第二特征之间的匹配度得到。
[0136]
可选地，该图像对样本包括：第一图像样本、第二图像样本、以及对应的标签信息；其中，在第一图像样本和第二图像样本对应的类别相同的情况下，该标签信息为第一标签；在第一图像样本和第二图像样本对应的类别不同的情况下，该标签信息为第二标签。
[0137]
可选地，该特征提取网络和该分类网络的训练过程具体包括：
[0138]
特征提取网络根据该图像对样本，得到该图像对样本对应的特征对信息；
[0139]
分类网络根据该特征对信息，确定该图像对样本对应的匹配信息；
[0140]
根据该匹配信息与该标签信息之间的误差信息，进行该特征提取网络和该分类网络的反向传播操作。
[0141]
需要说明的是，上述实施例提供的装置，在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置与方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
[0142]
请参考图8，其示出了本技术一个实施例提供的计算机设备的结构框图。该计算机设备可用于实施上述实施例中提供的缺陷检测方法。该计算机设备可以是pc或者服务器，或者其它具备数据处理和存储能力的设备。具体来讲：
[0143]
所述计算机设备1000包括中央处理单元(cpu)1001、包括随机存取存储器(ram)1002和只读存储器(rom)1003的系统存储器1004，以及连接系统存储器1004和中央处理单元1001的系统总线1005。所述计算机设备1000还包括帮助计算机内的各个器件之间传输信息的基本输入/输出系统(i/o系统)1006，和用于存储操作系统1013、应用程序1014和其他程序模块1015的大容量存储设备1007。
[0144]
所述基本输入/输出系统1006包括有用于显示信息的显示器1008和用于用户输入信息的诸如鼠标、键盘之类的输入设备1009。其中所述显示器1008和输入设备1009都通过连接到系统总线1005的输入输出控制器1010连接到中央处理单元1001。所述基本输入/输出系统1006还可以包括输入输出控制器1010以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入输出控制器1010还提供输出到显示屏、打印机或其他类型的输出设备。
[0145]
所述大容量存储设备1007通过连接到系统总线1005的大容量存储控制器(未示出)连接到中央处理单元1001。所述大容量存储设备1007及其相关联的计算机可读介质为计算机设备1000提供非易失性存储。也就是说，所述大容量存储设备1007可以包括诸如硬盘或者cd-rom驱动器之类的计算机可读介质(未示出)。
[0146]
不失一般性，所述计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括ram、rom、eprom、eeprom、闪存或其他固态存储其技术，cd-rom、dvd或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知所述计算机存储介质不局限于上述几种。上述的系统存储器1004和大容量存储设备1007可以统称为存储器。
[0147]
根据本技术的各种实施例，所述计算机设备1000还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即计算机设备1000可以通过连接在所述系统总线1005上的网络接口单元1011连接到网络1012，或者说，也可以使用网络接口单元1011来连接到其他类型的网络或远程计算机系统(未示出)。
[0148]
所述存储器还包括一个或者一个以上的程序，所述一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行。上述一个或者一个以上程序包含用于执行上述缺陷检测方法的指令。
[0149]
在示例中实施例中，还提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集。所述至少一条指令、至少一段程序、代码集或指令集经配置以由一个或者一个以上处理器执行，以实现上述缺陷检测方法。
[0150]
在示例性实施例中，还提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或所述指令集在被计算机设备的处理器执行时实现上述缺陷检测方法。
[0151]
可选地，上述计算机可读存储介质可以是rom、ram、cd-rom、磁带、软盘和光数据存储设备等。
[0152]
在示例性实施例中，还提供了一种计算机程序产品，当该计算机程序产品被执行时，其用于实现上述缺陷检测方法。
[0153]
应当理解的是，在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
[0154]
以上所述仅为本技术的示例性实施例，并不用以限制本技术，凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。