产品缺陷检测方法、装置、电子设备及可读存储介质与流程

1.本技术涉及工业检测领域，尤其涉及一种产品缺陷检测方法、装置、电子设备及可读存储介质。


背景技术：

2.随着工业化的不断发展，能进行大批量生产的工业流水线也应运而生，而在工业生产中难免产生一些形态各异的缺陷产品，这些缺陷产品无法达到质检标准，因此对产品的质量把控也至关重要。目前在工业生产中，需要训练得到识别缺陷产品的深度学习模型以对待测产品进行精准的缺陷识别，这需要大量缺陷产品作为训练集，但在生产初期，产量较小，因此缺陷产品量比较少，而在产量稳定的后期，虽然缺陷产品量足够，但缺陷产品的获得需要人工分拣，耗时耗力，仍然无法高效地获得大量的缺陷产品，而通过少量的缺陷产品来训练识别缺陷产品的模型会导致对工业产品的缺陷识别的准确度偏低。


技术实现要素：

3.本技术的主要目的在于提供一种产品缺陷检测方法、装置、电子设备及可读存储介质，旨在解决对缺陷产品的识别准确度低的技术问题。
4.为实现上述目的，本技术提供一种产品缺陷检测方法，所述产品缺陷检测方法包括：
5.采集待测产品的待测产品图像，并提取所述待测产品图像对应的多尺度融合特征图；
6.根据所述多尺度融合特征图与不同关注区域的聚类模型，确定所述待测产品在各所述关注区域的差异度，其中，各所述聚类模型由正常产品在不同关注区域对应的多尺度融合特征图进行聚类得到；
7.通过判断各所述差异度是否大于预设差异阈值，检测所述待测产品在各所述关注区域是否存在缺陷。
8.可选地，在所述采集待测产品的待测产品图像，并提取所述待测产品图像对应的多尺度融合特征图的步骤之前，还包括：
9.对正常产品图像进行多尺度特征提取，得到正常多尺度融合特征图；
10.在不同关注区域对所述正常多尺度融合特征图分别进行聚类，得到各关注区域的聚类模型。
11.可选地，所述根据所述多尺度融合特征图与不同关注区域的聚类模型，确定所述待测产品在各所述关注区域的差异度的步骤包括：
12.计算所述多尺度融合特征图与不同关注区域的聚类模型的特征距离；
13.确定所述多尺度融合特征图与不同关注区域的聚类模型的差异度，其中，所述差异度至少包括特征距离均值、特征距离中值以及特征距离最大值中的一种。
14.可选地，所述通过判断各所述差异度是否大于预设差异阈值，检测所述待测产品
在各所述关注区域是否存在缺陷的步骤包括：
15.判断各所述差异度是否大于所述预设缺陷阈值；
16.若否，则判定所述待测产品在所述差异度对应的关注区域不存在缺陷；
17.若是，则判定所述待测产品在所述差异度对应的关注区域存在缺陷；
18.若所述待测产品存在至少一个缺陷区域，则判定所述缺陷检测结果为缺陷产品。
19.可选地，在所述基于各所述距离与预设缺陷阈值，对所述待测产品进行缺陷检测，得到缺陷检测结果的步骤之后，还包括：
20.判断所述待测产品存在缺陷的关注区域是否属于目标关注区域；
21.若所述待测产品存在缺陷的关注区域均不属于所述目标关注区域，则判定所述待测产品为合格产品；
22.若所述待测产品存在缺陷的关注区域至少有一个属于所述目标关注区域，则判定所述待测产品为不合格产品。
23.可选地，在所述判定所述待测产品为不合格产品的步骤之后，还包括：对所述不合格产品进行特征提取，得到所述不合格产品对应的待分类特征图；
24.通过缺陷分类模型对所述待分类特征图进行分类检测，得到缺陷分类结果，其中，所述缺陷分类模型是通过至少一类缺陷的产品构成的样本集与训练集训练生成。
25.可选地，所述采集待测产品的待测产品图像，并提取所述待测产品图像对应的多尺度融合特征图的步骤包括：
26.采集所述待测产品的待测产品图像，并对所述待测产品图像进行多尺度特征提取，得到各中间特征图；
27.对各所述中间特征图进行特征变换，得到各中间特征对应的权值；
28.将各所述中间特征图对应权值对各所述中间特征图进行特征映射，得到多尺度融合特征图。
29.本技术还提供一种产品缺陷检测装置，所述产品缺陷检测装置应用于产品缺陷检测设备，所述产品缺陷检测装置包括：
30.特征提取模块，用于采集待测产品的待测产品图像，并提取所述待测产品图像对应的多尺度融合特征图；
31.差异确定模块，用于根据所述多尺度融合特征图与不同关注区域的聚类模型，确定所述待测产品在各所述关注区域的差异度，其中，各所述聚类模型由正常产品在不同关注区域对应的多尺度融合特征图进行聚类得到；
32.缺陷检测模块，用于通过判断各所述差异度是否大于预设差异阈值，检测所述待测产品在各所述关注区域是否存在缺陷。
33.可选地，所述特征提取模块还用于：
34.对正常产品图像进行多尺度特征提取，得到正常多尺度融合特征图；
35.在不同关注区域对所述正常多尺度融合特征图分别进行聚类，得到各关注区域的聚类模型。
36.可选地，所述差异确定模块还用于：
37.计算所述多尺度融合特征图与不同关注区域的聚类模型的特征距离；
38.确定所述多尺度融合特征图与不同关注区域的聚类模型的差异度，其中，所述差
异度至少包括特征距离均值、特征距离中值以及特征距离最大值中的一种。
39.可选地，所述缺陷检测模块还用于：
40.判断各所述差异度是否大于所述预设缺陷阈值；
41.若否，则判定所述待测产品在所述差异度对应的关注区域不存在缺陷；
42.若是，则判定所述待测产品在所述差异度对应的关注区域存在缺陷；
43.若所述待测产品存在至少一个缺陷区域，则判定所述缺陷检测结果为缺陷产品。
44.可选地，所述缺陷检测模块还用于：
45.判断所述待测产品存在缺陷的关注区域是否属于目标关注区域；
46.若所述待测产品存在缺陷的关注区域均不属于所述目标关注区域，则判定所述待测产品为合格产品；
47.若所述待测产品存在缺陷的关注区域至少有一个属于所述目标关注区域，则判定所述待测产品为不合格产品。
48.可选地，所述缺陷检测模块还用于：
49.对所述不合格产品进行特征提取，得到所述不合格产品对应的待分类特征图；
50.通过缺陷分类模型对所述待分类特征图进行分类检测，得到缺陷分类结果，其中，所述缺陷分类模型是通过至少一类缺陷的产品构成的样本集与训练集训练生成。
51.可选地，所述特征提取模块还用于：
52.采集所述待测产品的待测产品图像，并对所述待测产品图像进行多尺度特征提取，得到各中间特征图；
53.对各所述中间特征图进行特征变换，得到各中间特征对应的权值；
54.将各所述中间特征图对应权值对各所述中间特征图进行特征映射，得到多尺度融合特征图。
55.本技术还提供一种电子设备，所述电子设备为实体设备，所述电子设备包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的所述产品缺陷检测方法的程序，所述产品缺陷检测方法的程序被处理器执行时可实现如上述的产品缺陷检测方法的步骤。
56.本技术还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有实现产品缺陷检测方法的程序，所述产品缺陷检测方法的程序被处理器执行时实现如上述的产品缺陷检测方法的步骤。
57.本技术还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述的产品缺陷检测方法的步骤。
58.本技术提供了一种产品缺陷检测方法、装置、电子设备及可读存储介质，首先采集待测产品的待测产品图像，并提取所述待测产品图像对应的多尺度融合特征图，根据所述多尺度融合特征图与不同关注区域的聚类模型，确定所述待测产品在各所述关注区域的差异度，其中，各所述聚类模型由正常产品在不同关注区域对应的多尺度融合特征图进行聚类得到，通过判断各所述差异度是否大于预设差异阈值，检测所述待测产品在各所述关注区域是否存在缺陷，本技术通过提取所述待测产品的多尺度融合特征图，并根据正常产品样本分区域聚类得到的各关注区域聚类模型与所述多尺度融合特征图进行对比，检测所述待测产品各关注区域中是否存在缺陷，实现了根据正常产品样本训练聚类模型，从而对待
测产品进行自动化程度较高的缺陷检测，高效地获得了大量具有不同关注区域的缺陷产品，以便于后期进行更精准的深度学习模型的训练，克服了产品生产前期无法高效获得缺陷产品进而无法训练精准的缺陷识别模型的技术缺陷，提高了缺陷产品识别的准确度。
附图说明
59.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本技术的实施例，并与说明书一起用于解释本技术的原理。
60.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
61.图1为本技术产品缺陷检测方法第一实施例的流程示意图；
62.图2为本技术产品缺陷检测方法第一实施例中的用于特征融合的resnet18网络示意图；
63.图3为本技术产品缺陷检测方法第一实施例中的不同尺度特征融合示意图；
64.图4为本技术产品缺陷检测方法第二实施例的流程示意图；
65.图5为本技术产品缺陷检测方法第二实施例中待测产品的热力测试结果图；
66.图6为本技术产品缺陷检测装置组成示意图；
67.图7为本技术实施例中产品缺陷检测方法涉及的硬件运行环境的设备结构示意图。
68.本技术目的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
69.为使本技术的上述目的、特征和优点能够更加明显易懂，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其它实施例，均属于本技术保护的范围。
70.实施例一
71.目前在工业生产中，需要训练得到识别缺陷产品的深度学习模型，这需要大量缺陷产品作为训练集，但在生产初期，产量较小，因此缺陷产品量比较少，无法用来训练识别缺陷产品的模型。而在产量稳定的后期，虽然缺陷产品量足够，但需要人工分拣，耗时耗力，仍然无法高效地获得大量的缺陷产品，因此存在对缺陷产品的识别准确度低。
72.本技术实施例提供一种产品缺陷检测方法，在本技术产品缺陷检测方法的第一实施例中，参照图1，所述产品缺陷检测方法包括：
73.步骤s10，采集待测产品的待测产品图像，并提取所述待测产品图像对应的多尺度融合特征图；
74.步骤s20，根据所述多尺度融合特征图与不同关注区域的聚类模型，确定所述待测产品在各所述关注区域的差异度，其中，各所述聚类模型由正常产品在不同关注区域对应的多尺度融合特征图进行聚类得到；
75.步骤s30，通过判断各所述差异度是否大于预设差异阈值，检测所述待测产品在各所述关注区域是否存在缺陷。
76.在本实施例中，需要说明的是，所述提取所述待测产品图像的特征的工具可以为cnn(convolutional neural network，卷积神经网络)，具体地，可以选取resnet18(residual neural network，残差神经网络)作为特征提取器，resnet18网络是由17个卷积层(conv)+1个全连接层(fc)，其网络结构图见图2所述；所述聚类模型可以为knn(k-nearest neighbor，k邻近算法)聚类模型，预先可以为按不同区域划分的样本产品图像训练生成的knn模型，再创建所述多尺度融合特征图与所述聚类模型中的正常产品样本集的点阵分布图，即knn聚类点阵图，所述knn聚类点阵图用于与所述待测产品对应的融合特征图进行对比，以判断所述待测产品是否为缺陷产品。
77.作为一种示例，所述resnet18网络中可以选用前3个block(块)中最后一层特征作为代表产品的特征，不同卷积层聚合为一个block，比如4个32*32的卷积层为第一个block结构。其中，越深层的卷积层的感受野越大，语义信息表征能力强，但是特征图的分辨率低，集合信息的表征能力就弱，即空间集合特征细节缺乏；而越浅层的感受野越小，几何细节信息表征能力强，虽然分辨率大，但是语义信息表征能力弱，因此提取前3个block的特征可以兼顾感受野、语义表征能力、分辨率以及空间集合特征细节等参数，即可有效提取不同尺度特征，对应不同的感受野，有较好的几何特征和语义特征。
78.作为一种示例，步骤s10至步骤s30包括：通过图像采集设备采集所述待测产品对应的待测产品图像；通过特征提取器提取所述待测产品图像中预设数目个不同尺度的特征图；将各所述特征图进行特征融合，生成多尺度融合特征图；将所述多尺度融合特征图在与不同关注区域的聚类模型中进行处理，得到聚类点阵图；根据所述聚类点图计算所述待测产品的不同关注区域中所述多尺度融合特征图在点阵图中对应的点与正常产品样本集在点阵图对应的点之间的距离，得到各所述特征距离；根据各所述特征距离确定各所述差异度；基于各所述差异度与所述预设差异阈值的大小关系，判断所述待测产品在各所述关注区域是否存在缺陷。
79.作为一种示例，所述特征提取器可以为resnet18网络；所述聚类点阵图可以为knn聚类点阵图。
80.其中，在所述采集待测产品的待测产品图像，并提取所述待测产品图像对应的多尺度融合特征图的步骤之前，还包括：
81.步骤a10，对正常产品图像进行多尺度特征提取，得到正常多尺度融合特征图；
82.步骤a20，在不同关注区域对所述正常多尺度融合特征图分别进行聚类，得到各关注区域的聚类模型。
83.作为一种示例，步骤a10至步骤a20包括：对正常产品样本集中的对应的各正常样本图像进行多尺度特征提取，得到对应的各中间特征图；将各所述中间特征图进行融合，得到各所述正常样本图像对应的正常多尺度融合特征图；将各所述正常多尺度融合特征图根据产品的不同关注区域分别进行聚类，得到各关注区域对应的聚类模型。
84.作为一种示例，所述聚类方式可以为knn聚类，各所述聚类模型可以为knn聚类模型。
85.作为另一种示例，在所述采集待测产品的待测产品图像，并提取所述待测产品图
像对应的多尺度融合特征图的步骤之前，还包括：根据各所述不同关注区域获取所述正常产品的图像，并进行特征提取，得到不同关注区域的正常多尺度融合特征图；根据各所述关注区域将所述正常多尺度融合特征图分别进行聚类，得到各关注区域的聚类模型。
86.其中，所述根据所述多尺度融合特征图与不同关注区域的聚类模型，确定所述待测产品在各所述关注区域的差异度的步骤包括：
87.步骤s21，计算所述多尺度融合特征图与不同关注区域的聚类模型的特征距离；
88.步骤s22，确定所述多尺度融合特征图与不同关注区域的聚类模型的差异度，其中，所述差异度至少包括特征距离均值、特征距离中值以及特征距离最大值中的一种。
89.作为一种示例，步骤s21至步骤s22包括：计算所述多尺度融合特征图与各所述聚类模型中正常产品对应的正常多尺度融合特征图之间的特征距离；根据所述特征距离，从各所述正常多尺度融合特征图在聚类模型的聚类点阵图对应的点中筛选出第一预设值个特征距离最近的点；通过所述聚类点阵图计算所述第一预设值个正常多尺度融合特征图与所述多尺度融合特征图之间特征距离的平均值，得到各所述差异度，其中，所述差异度用于表征所述多尺度融合特征图对应的待测产品相比对正常产品在本区域内的缺陷程度。
90.其中，所述通过判断各所述差异度是否大于预设差异阈值，检测所述待测产品在各所述关注区域是否存在缺陷的步骤包括：
91.步骤s31，判断各所述差异度是否大于所述预设缺陷阈值；
92.步骤s32，若否，则判定所述待测产品在所述差异度对应的关注区域不存在缺陷；
93.步骤s33，若是，则判定所述待测产品在所述差异度对应的关注区域存在缺陷；
94.步骤s34，若所述待测产品存在至少一个缺陷区域，则判定所述缺陷检测结果为缺陷产品。
95.作为一种示例，步骤s31至步骤s34包括：判断各所述差异度是否大于所述预设缺陷阈值；若所述差异度不大于所述预设缺陷阈值，则判定所述待测产品在所述差异度对应的关注区域为正常区域；若所述差异度大于所述预设缺陷阈值，则判定所述待测产品在所述差异度对应的关注区域为缺陷区域；若所述待测产品存在至少一个缺陷区域，则判定所述待测产品为缺陷产品；若所述待测产品不存在缺陷区域，则判定所述待测产品为正常产品。
96.其中，所述采集待测产品的待测产品图像，并提取所述待测产品图像对应的多尺度融合特征图的步骤包括：
97.步骤s11，采集所述待测产品的待测产品图像，并对所述待测产品图像进行多尺度特征提取，得到各中间特征图；
98.步骤s12，对各所述中间特征图进行特征变换，得到各中间特征对应的权值；
99.步骤s13，将各所述中间特征图对应权值对各所述中间特征图进行特征映射，得到多尺度融合特征图。
100.在本实施例中，需要说明的是，作为一种示例，所述多尺度特征提取可以提取3个不同尺度的特征。
101.作为一种示例，参照图2，所述3个不同尺度的特征图可以选取前3个block中最后一层特征作为代表产品的特征图，具体地，各所述特征图的大小分别为32*32、16*16以及8*8。
102.作为一种示例，步骤s11至步骤s11包括：采集所述待测产品的待测产品图像，并对所述待测产品图像进行多尺度特征提取，得到各中间特征图将各所述特征图进行卷积处理，得到具有相同通道维数的各特征图；通过双线性插值将各所述特征图采样到所述特征提取器中各所述特征图对应的各图像大小，得到各采样图像；分别对所述采样图像进行合并与卷积处理，得到第一特征图与各所述采样图像对应的空间权值；根据所述第一特征图和各所述空间权值，确定所述多尺度融合特征图。
103.作为另一种示例，所述对各所述中间特征图进行特征变换，得到各中间特征对应的权值包括：
104.步骤s121，将各所述中间特征图分别进行卷积，获得具有相同通道维数的各特征图；
105.步骤s122，对各所述中间特征图进行双线性插值采样，得到各采样图像；
106.步骤s123，合并各所述采样图像中的各通道，得到第一特征图；
107.步骤s124，根据所述第一特征图，确定各所述采样图像对应的空间权值。
108.在本实施例中，需要说明的是，参照图3，所述将各所述中间特征图分别进行卷积，具体地，进行1
×
1的卷积，以得到相同通道维数的各特征图，作为一种示例，所述通道维数为256；所述双线性插值是用原图像中4(2*2)个点计算新图像中1个点，以将所述特征图调整为目标大小；所述合并各所述采样图像中的各通道的方式是通过concat层将各所述特征图的通道进行合并，其中，所述concat层的作用就是将两个及以上的特征图按照在channel或num维度上进行拼接；所述空间权值用于对各所述通道图像进行聚合，以生成携带各不同尺度特征的融合特征图。
109.作为一种示例，步骤s121至步骤s124包括：将各所述中间特征图分别进行1
×
1的卷积，获得具有相同通道维数的各特征图；依据各所述特征图在所述特征提取器中前三个block中的图像大小，通过双线性插值法对各所述特征图进行采样，获得不同图像大小的各采样图像；基于空间注意力机制将各所述采样图像中的通道进行合并，得到所述第一特征图；将所述第一特征图依次通过1
×
1卷积层、relu激活层、3
×
3卷积层以及sigmoid激活层进行处理，得到各所述采样图像对应的空间权值。
110.其中，所述根据所述第一特征图，确定各所述采样图像对应的空间权值的步骤包括：
111.步骤b10，通过1
×
1卷积层对所述第一特征图进行处理，得到第三特征图；
112.步骤b20，通过relu激活层对所述第三特征图进行处理，得到第四特征图；
113.步骤b30，通过3
×
3卷积层对所述第四特征图进行处理，得到第五特征图；
114.步骤b40，通过sigmoid激活层对所述第五特征图进行处理，得到各所述采样图像对应的空间权值。
115.在本实施例中，需要说明的是，对所述第一特征图进行卷积-激活的过程，是为了获得各所述采样图像对应的空间权值，所述空间权值用于对所述第二特征图的分离图像进行加权聚合的过程，以在所述多尺度融合特征图中尽可能多地反映所述待测产品的表面外形特征，实现产品缺陷的精准识别；其中，所述relu激活层即为relu激活函数，也即修正线性单元，引入relu激活函数是为了增加神经网络模型的非线性，引入非线性因素，神经网络可以任意逼近任何非线性函数；其中sigmoid激活层实质为平滑的阶梯函数，可导，sigmoid
函数可以将任何值转换成0～1概率，用于二分类，即可得到各所述采样图像对应的空间权值。
116.作为一种示例，步骤b10至步骤b40包括：通过所述1
×
1卷积层对所述第一特征图对应的映射矩阵进行卷积，得到第三特征矩阵以及所述第三特征矩阵对应的第三特征图；通过所述relu激活层对所述第三特征图对应的映射矩阵进行处理，得到第四特征矩阵以及所述第四特征矩阵对应的第四特征图；通过3
×
3卷积层对所述第四特征图对应的映射矩阵进行处理，得到第五特征矩阵以及所述第五特征矩阵对应的第五特征图；通过sigmoid激活层对所述第五特征图对应的映射矩阵进行处理，得到融合特征矩阵以及所述融合特征矩阵对应的融合特征图。
117.其中，所述将各所述中间特征图对应权值对各所述中间特征图进行特征映射，得到多尺度融合特征图的步骤包括：
118.步骤s131，根据各所述空间权值的映射矩阵与所述第一特征图的映射矩阵，进行矩阵乘积，得到第二特征图；
119.步骤s132，分离所述第二特征图，得到各通道图像，并将各所述通道图像进行聚合，得到多尺度融合特征图。
120.在本实施例中，需要说明的是，所述矩阵乘积具体可以为hadamard(哈达玛积)乘积。
121.作为一种示例，步骤s131至步骤s132包括：计算所述第一特征图对应的映射矩阵与各所述空间权值对应的映射矩阵，将所述第一特征图对应的映射矩阵与各所述空间权值对应的映射矩阵经过矩阵乘积操作，得到第二特征矩阵以及所述第二特征矩阵对应的第二特征图；基于不同block将所述第二特征图进行分离，得到各分离图像；根据所述空间权值对各所述分离图像进行加权聚合，得到融合特征矩阵以及所述融合特征矩阵对应的多尺度融合特征图。
122.本技术实施例提供了一种产品缺陷检测方法，首先采集待测产品的待测产品图像，并提取所述待测产品图像对应的多尺度融合特征图，根据所述多尺度融合特征图与不同关注区域的聚类模型，确定所述待测产品在各所述关注区域的差异度，其中，各所述聚类模型由正常产品在不同关注区域对应的多尺度融合特征图进行聚类得到，最后通过判断各所述差异度是否大于预设差异阈值，检测所述待测产品在各所述关注区域是否存在缺陷，本技术实施例通过提取所述待测产品的多尺度融合特征图，并根据正常产品样本分区域聚类得到的各关注区域聚类模型与所述多尺度融合特征图进行对比，检测所述待测产品各关注区域中是否存在缺陷，实现了根据正常产品样本训练聚类模型，从而对待测产品进行自动化程度较高的缺陷检测，高效地获得了大量具有不同关注区域的缺陷产品，以便于后期进行更精准的深度学习模型的训练，克服了产品生产前期无法高效获得缺陷产品进而无法训练精准的缺陷识别模型的技术缺陷，提高了缺陷产品识别的准确度。
123.实施例二
124.进一步地，基于本技术第一实施例，在本技术另一实施例中，与上述实施例一相同或相似的内容，可以参考上文介绍，后续不再赘述。在此基础上，参考图4，在所述判断所述差异度是否大于预设缺陷阈值，若是，则判定所述待测产品为缺陷产品的步骤之后，还包括：
125.步骤c10，判断所述待测产品存在缺陷的关注区域是否属于目标关注区域；
126.步骤c20，若所述待测产品存在缺陷的关注区域均不属于所述目标关注区域，则判定所述待测产品为合格产品；
127.步骤c30，若所述待测产品存在缺陷的关注区域至少有一个属于所述目标关注区域，则判定所述待测产品为不合格产品。
128.在本实施例中，需要说明的是，所述目标关注区域为所述待测产品的质检关键区域，即能影响到所述待测产品的性能的区域，用于排除由于工业生产中产生的一些不可避免的不影响产品性能的部分缺陷对产品检测造成的影响，提高正常产品率，降低生产成本；其中，参考图5可以通过所述缺陷产品的热力测试结果图，来检测所述缺陷产品的缺陷区域。
129.作为一种示例，步骤c10至步骤c30包括：对所述缺陷产品进行热力测试，得到热力测试结果图；通过所述热力测试结果图，得到所述缺陷产品的缺陷区域；判断所述缺陷区域是否属于目标关注区域，其中，所述目标关注区域是通过预先设置得到；若所述缺陷产品的各缺陷区域均不属于目标关注区域，则判定所述缺陷产品为合格产品；若所述缺陷产品的存在属于目标关注区域的缺陷区域，则判定所述缺陷产品为不合格产品。
130.在所述判定所述待测产品为不合格产品的步骤之后，还包括：
131.步骤c40，对所述不合格产品进行特征提取，得到所述不合格产品对应的待分类特征图；
132.步骤c50，通过缺陷分类模型对所述待分类特征图进行分类检测，得到缺陷分类结果，其中，所述缺陷分类模型是通过至少一类缺陷的产品构成的样本集与训练集训练生成。
133.在本实施例中，需要说明的是，所述缺陷分类模型可以根据densenet(密集卷积网络)分类网络进行训练，densenet分类网络建立的是前面所有层与后面层的密集连接(dense connection)，简单来说，densex中每一层的输入来自前面所有层的输出。densenet的另一大特色是通过特征在通道级别的拼接来实现特征重用，通过对所述不合格产品进行详细的缺陷种类检测，有利于得到更完善的产品检验结果，以指导对产品生产流程以及设备的优化工作；所述缺陷分类结果可以为一种缺陷分类，也可为包括多种缺陷的分类集合。
134.作为一种示例，步骤c40至步骤c50包括：通过特征提取器对所述不合格产品进行特征提取，得到对应的待分类特征图；利用分类网络的主干网络对所述待分类特征图进行稠密化处理，得到稠密特征图；利用所述分类网络的分类模块和所述稠密特征图确定缺陷分类结果。
135.作为一种示例，所述分类网络可以为densenet分类网络；其所述主干网络包括级联的densex模块、卷积层和平均池化层，其中，所述densex模块包括x个级联的dense模块，x为正整数；所述分类模块包括全连接层和softmax层。
136.其中，在步骤c50之前，通过包含各样本产品图像的训练集和测试集对初始缺陷分类模型进行训练，并进行迭代优化，得到所述缺陷分类模型，其中，所述缺陷分类模型在训练时使用交叉熵和l2正则化项组合形成的损失函数。
137.作为一种示例，所述缺陷分类模型训练中的初始学习率设为0.15，采用分段常数衰减学习率，采用momentum优化器对所述缺陷分类模型进行迭代优化，其中momentum值设为0.9。
138.作为一种示例，所述densenet分类网络的主干部分选用了4个densex(dense3，dense6，dense8和dense12)模块。经过每个densex模块内部的时候特征图的大小保持不变，是为了实现各个dense模块(dense block)内的特征图的尺寸统一(即dense模块内特征图的长、宽保持不变)，方便在densex模块内部进行通道级拼接，实现参数重用。每经过一个2
×
2的平均池化(avg pool),特征图的长度和宽带分别减半；dense模块使用1
×
1的卷积操作，是为了在通道级拼接(concat)之后减少输入的特征图的深度，该操作既能降维减少计算量，又能融合各个通道的特征，因此在每个dense模块内部和每个densex模块直接都会穿插使用1
×
1的卷积。最后一个池化层为全局平均池化(global avg pool)；最后通过全连接层(fc)和softmax层以输出缺陷检测结果。
139.本技术实施例提供了一种产品缺陷检测方法，首先通过所述不正常产品的缺陷区域判断所述不正常产品是否为不合格产品，若所述不正常产品为不合格产品，则通过预先训练的缺陷分类模型对所述不合格产品进行缺陷分类检测，得到缺陷分类结果，实现了对所述待测产品的进一步缺陷检测，得到了所述待测产品更详细的缺陷信息，便于对各类缺陷产品的数目进行统计，以根据所述缺陷产品统计结果指导产品的生产优化工作，提高生产良品率。
140.实施例三
141.本技术实施例还提供一种产品缺陷检测装置，所述产品缺陷检测装置应用于产品缺陷检测设备，参照图6，所述产品缺陷检测装置包括：
142.特征提取模块，用于采集待测产品的待测产品图像，并提取所述待测产品图像对应的多尺度融合特征图；
143.差异确定模块，用于根据所述多尺度融合特征图与不同关注区域的聚类模型，确定所述待测产品在各所述关注区域的差异度，其中，各所述聚类模型由正常产品在不同关注区域对应的多尺度融合特征图进行聚类得到；
144.缺陷检测模块，用于通过判断各所述差异度是否大于预设差异阈值，检测所述待测产品在各所述关注区域是否存在缺陷。
145.可选地，所述特征提取模块还用于：
146.对正常产品图像进行多尺度特征提取，得到正常多尺度融合特征图；
147.在不同关注区域对所述正常多尺度融合特征图分别进行聚类，得到各关注区域的聚类模型。
148.可选地，所述差异确定模块还用于：
149.计算所述多尺度融合特征图与不同关注区域的聚类模型的特征距离；
150.确定所述多尺度融合特征图与不同关注区域的聚类模型的差异度，其中，所述差异度至少包括特征距离均值、特征距离中值以及特征距离最大值中的一种。
151.可选地，所述缺陷检测模块还用于：
152.判断各所述差异度是否大于所述预设缺陷阈值；
153.若否，则判定所述待测产品在所述差异度对应的关注区域不存在缺陷；
154.若是，则判定所述待测产品在所述差异度对应的关注区域存在缺陷；
155.若所述待测产品存在至少一个缺陷区域，则判定所述缺陷检测结果为缺陷产品。
156.可选地，所述缺陷检测模块还用于：
157.判断所述待测产品存在缺陷的关注区域是否属于目标关注区域；
158.若所述待测产品存在缺陷的关注区域均不属于所述目标关注区域，则判定所述待测产品为合格产品；
159.若所述待测产品存在缺陷的关注区域至少有一个属于所述目标关注区域，则判定所述待测产品为不合格产品。
160.可选地，所述缺陷检测模块还用于：
161.对所述不合格产品进行特征提取，得到所述不合格产品对应的待分类特征图；
162.通过缺陷分类模型对所述待分类特征图进行分类检测，得到缺陷分类结果，其中，所述缺陷分类模型是通过至少一类缺陷的产品构成的样本集与训练集训练生成。
163.可选地，所述特征提取模块还用于：
164.采集所述待测产品的待测产品图像，并对所述待测产品图像进行多尺度特征提取，得到各中间特征图；
165.对各所述中间特征图进行特征变换，得到各中间特征对应的权值；
166.将各所述中间特征图对应权值对各所述中间特征图进行特征映射，得到多尺度融合特征图。
167.本技术提供的产品缺陷检测装置，采用上述实施例中的产品缺陷检测方法，解决了对缺陷产品的识别准确度低的技术问题。与现有技术相比，本技术实施例提供的产品缺陷检测装置的有益效果与上述实施例提供的产品缺陷检测方法的有益效果相同，且该产品缺陷检测装置中的其他技术特征与上一实施例方法公开的特征相同，在此不做赘述。
168.实施例四
169.本技术实施例提供一种电子设备，电子设备包括：至少一个处理器；以及，与至少一个处理器通信链接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述实施例一中的产品缺陷检测方法。
170.下面参考图7，其示出了适于用来实现本公开实施例的电子设备的结构示意图。本公开实施例中的电子设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、pda(个人数字助理)、pad(平板电脑)、pmp(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字tv、台式计算机等等的固定终端。图7示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
171.如图7所示，电子设备可以包括处理装置(例如中央处理器、图形处理器等)，其可以根据存储在只读存储器(rom)中的程序或者从存储装置加载到随机访问存储器(ram)中的程序而执行各种适当的动作和处理。在ram中，还存储有电子设备操作所需的各种程序和数据。处理装置、rom以及ram通过总线彼此相连。输入/输出(i/o)接口也链接至总线。
172.通常，以下系统可以链接至i/o接口：包括例如触摸屏、触摸板、键盘、鼠标、图像传感器、麦克风、加速度计、陀螺仪等的输入装置；包括例如液晶显示器(lcd)、扬声器、振动器等的输出装置；包括例如磁带、硬盘等的存储装置；以及通信装置。通信装置可以允许电子设备与其他设备进行无线或有线通信以交换数据。虽然图中示出了具有各种系统的电子设备，但是应理解的是，并不要求实施或具备所有示出的系统。可以替代地实施或具备更多或更少的系统。
173.特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置从网络上被下载和安装，或者从存储装置被安装，或者从rom被安装。在该计算机程序被处理装置执行时，执行本公开实施例的方法中限定的上述功能。
174.本技术提供的电子设备，采用上述实施例中的产品缺陷检测方法，解决了对缺陷产品的识别准确度低的技术问题。与现有技术相比，本技术实施例提供的电子设备的有益效果与上述实施例一提供的产品缺陷检测方法的有益效果相同，且该电子设备中的其他技术特征与上一实施例方法公开的特征相同，在此不做赘述。
175.应当理解，本公开的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式的描述中，具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
176.以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以所述权利要求的保护范围为准。
177.实施例五
178.本实施例提供一种计算机可读存储介质，具有存储在其上的计算机可读程序指令，计算机可读程序指令用于执行上述实施例一中的产品缺陷检测的方法。
179.本技术实施例提供的计算机可读存储介质例如可以是u盘，但不限于电、磁、光、电磁、红外线、或半导体的系统、系统或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电链接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、系统或者器件使用或者与其结合使用。计算机可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、rf(射频)等等，或者上述的任意合适的组合。
180.上述计算机可读存储介质可以是电子设备中所包含的；也可以是单独存在，而未装配入电子设备中。
181.上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被电子设备执行时，使得电子设备：采集待测产品的待测产品图像，并提取所述待测产品图像对应的多尺度融合特征图；根据所述多尺度融合特征图与不同关注区域的聚类模型，确定所述待测产品在各所述关注区域的差异度，其中，各所述聚类模型由正常产品在不同关注区域对应的多尺度融合特征图进行聚类得到；通过判断各所述差异度是否大于预设差异阈值，检测所述待测产品在各所述关注区域是否存在缺陷。
182.可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c++，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可
以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)—链接到用户计算机，或者，可以链接到外部计算机(例如利用因特网服务提供商来通过因特网链接)。
183.附图中的流程图和框图，图示了按照本技术各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
184.描述于本公开实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，模块的名称在某种情况下并不构成对该单元本身的限定。
185.本技术提供的计算机可读存储介质，存储有用于执行上述产品缺陷检测方法的计算机可读程序指令，解决了对缺陷产品的识别准确度低的技术问题。与现有技术相比，本技术实施例提供的计算机可读存储介质的有益效果与上述实施例提供的产品缺陷检测方法的有益效果相同，在此不做赘述。
186.实施例六
187.本技术还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述的产品缺陷检测方法的步骤。
188.本技术提供的计算机程序产品解决了对缺陷产品的识别准确度低的技术问题。与现有技术相比，本技术实施例提供的计算机程序产品的有益效果与上述实施例提供的产品缺陷检测方法的有益效果相同，在此不做赘述。
189.以上仅为本技术的示例实施例，并非因此限制本技术的专利范围，凡是利用本技术说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本技术的专利处理范围内。