一种基于对抗机制的半监督式零件缺陷检测方法

1.本发明属于目标检测技术领域，具体涉及一种基于对抗机制的半监督式零件缺陷检测方法。


背景技术：

2.随着工业的发展，关于工业零件表面的缺陷检测的研究日趋必要，如为多层陶瓷电容器(mlcc)的工业零件，其由带连接集成电路板的金属化端子的堆叠电容器模块组成，会遇到各种制造缺陷，包括裂纹、起泡、碎屑、污染以及端接涂层中的空隙等。且这些电容器可存储大量能量，故障不仅会影响有缺陷的mlcc，还会损坏相邻的组件或集成电路板本身，因此，进行零件缺陷检测十分必要。
3.近年来，深度学习在图像分类任务中取得了显著的进步，并快速应用于工业检测，在零件的缺陷检测中取得较为优越的性能。如基于(cnn)卷积神经网络的vggnet和resnet神经网络模型在大训练集上准确率可以达到85％以上，满足工业需求。且随着transformer模型的提出，缺陷检测的准确度可以稳定在90％以上。
4.然而，这些深度学习方法通常需要足够的数据标注来训练出具有良好表现力的分类器，即需要堆叠大量的带标签数据去训练分类器。但是，很多情况下，mlcc表面缺陷数据集往往并不充分，并且因为对数据集进行人为标注所耗费的资源较多，常常难以得到大量经标注的训练样本，这极大的限制了深度学习方法的泛化能力与鲁棒性。为此，本技术为解决在含有大量未标注标签的小样本数据集情况下，传统深度学习方法性能下降的问题，提出一种基于对抗机制的半监督式零件缺陷检测方法。


技术实现要素：

5.本发明的目的在于针对上述问题，提出一种基于对抗机制的半监督式零件缺陷检测方法，具有高检测精度，且在小批量带标签的数据集上有良好的表现力与鲁棒性。
6.为实现上述目的，本发明所采取的技术方案为：
7.本发明提出的一种基于对抗机制的半监督式零件缺陷检测方法，包括如下步骤：
8.s1、建立对比分类网络，对比分类网络包括初始化参数为θ的分类器c
θ
和初始化参数为的判别器
9.s2、利用带标签零件图片数据集s
l
训练分类器c
θ
；
10.s3、利用带标签零件图片数据集s
l
和无标签零件图片数据集su训练判别器具体如下：
11.s31、从带标签零件图片数据集s
l
中随机采样一个三元组并获得对应的匹配得分c，其中，若与相符，则匹配得分c为1，若与不符，则匹配得分c为0，为图片对的真实相似度，表示图片和图片不相似，表示图片和图片相似，为分类器c
θ
输出的图片对的
预测相似度，表示图片和图片不相似，表示图片和图片相似；
12.s32、从无标签零件图片数据集su中随机采样一个图片对并将图片对输入分类器c
θ
进行正向传播，获得对应的预测相似度再将三元组输入判别器进行正向传播，获得预测匹配得分进行正向传播，获得预测匹配得分
13.s33、根据价值函数计算第一损失函数ld和第二损失函数lc，形成对抗过程，包括：
14.1)建立价值函数：
[0015][0016]
式中，e表示期望，表示三元组服从第一概率分布p
l
，表示图片对服从第二概率分布pu，表示判别器的预测匹配得分；
[0017]
2)将价值函数转换为第一损失函数ld和第二损失函数lc，公式如下：
[0018]
当训练次数达到预设次数时：
[0019][0020][0021]
当训练次数未达到预设次数时：
[0022][0023][0024]
式中，λ为平衡超参数，表示第k批次判别器的预测匹配得分；
[0025]
s34、将第一损失函数ld和第二损失函数lc进行反向传播，并采用adam优化器进行参数优化；
[0026]
s35、判断第一损失函数ld和第二损失函数lc是否收敛，若是，执行步骤s4，否则，返回执行步骤s31；
[0027]
s4、利用训练好的分类器c
θ
对待测试零件图片进行预测，获得待测试零件的最终检测结果。
[0028]
优选地，利用带标签零件图片数据集s
l
训练分类器c
θ
，具体如下：
[0029]
s21、从带标签零件图片数据集s
l
中随机采样一个图片对并获得对应的真实相似度
[0030]
s22、将图片对输入分类器c
θ
进行正向传播，获得对应的预测相似度
[0031]
s23、根据真实相似度和预测相似度计算第一代价函数l
csup
，公式如下：
[0032][0033]
式中，为第k批次中的图片对的预测相似度，k为批尺寸，k＝1,
…
,k；
[0034]
s24、将第一代价函数l
csup
进行反向传播，并采用adam优化器进行参数优化；
[0035]
s25、判断第一代价函数l
csup
是否收敛，若是，执行步骤s3，否则，返回执行步骤s21。
[0036]
优选地，将第一代价函数l
csup
进行反向传播，并采用adam优化器进行参数优化，公式如下：
[0037][0038]
式中，为对θ求取梯度，a为随机梯度下降保持的学习率，β1为第一矩估计的指数衰减率，β2为第二矩估计的指数衰减率。
[0039]
优选地，将第一损失函数ld和第二损失函数lc进行反向传播，并采用adam优化器进行参数优化，公式如下：
[0040][0041][0042]
式中，为对求取梯度，为对θ求取梯度，a为随机梯度下降保持的学习率，β1为第一矩估计的指数衰减率，β2为第二矩估计的指数衰减率。
[0043]
优选地，利用训练好的分类器c
θ
对待测试零件图片进行预测，获得待测试零件的最终检测结果，过程如下：
[0044]
s41、从带标签零件图片数据集s
l
中选取一张正样本图片并将待测试零件图片与正样本图片配对组成图片对
[0045]
s42、将图片对输入训练好的对比分类网络，经过训练好的对比分类网络的
正向传播得到对应的预测相似度
[0046]
s43、判断是否满足条件η为相似度阈值，若是，则和为同一类别，即待测试零件图片为正样本，代表待测试零件无缺陷合格，否则，待测试零件图片为负样本，代表待测试零件有缺陷不合格。
[0047]
优选地，各零件图片数据集包括无缺陷合格零件图片和有缺陷不合格零件图片。
[0048]
与现有技术相比，本发明的有益效果为：
[0049]
该方法以半监督学习的方式，利用对抗机制在小批量带标签零件图片数据集的情况下，训练出具有高精度与高鲁棒性的分类器，在对抗学习中，判别器通过半监督式训练，即利用带标签零件图片数据集和无标签零件图片数据集进行训练，再协同分类器进行分类，摒弃了传统深度学习分类任务中预测单张图片的类别标签的概念，致力于判断两张图片是否相似，以此来间接预测类别标签，在小批量带标签数据集上有良好的表现力与鲁棒性。
附图说明
[0050]
图1为本发明基于对抗机制的半监督式零件缺陷检测方法的流程图；
[0051]
图2为本发明对比分类网络的结构示意图。
具体实施方式
[0052]
下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
[0053]
需要说明的是，除非另有定义，本文所使用的所有的技术和科学术语与属于本技术的技术领域的技术人员通常理解的含义相同。本文中在本技术的说明书中所使用的术语只是为了描述具体的实施例的目的，不是在于限制本技术。
[0054]
对于人类来说，有时尽管无法直接判断某个物体属于哪个具体类别，但是可以通过间接判断两个物体是否相似，以此来把该物体归类。总结来说，即“判别两个物体是否属于同一类别”比“判断某一物体具体属于哪个类别”更加容易。基于以上度量学习，研究了可用于不同类别的具有概括性的“对比知识”，提出了一种“对比分类网络”，进行缺陷数据的小样本学习。因此，分类任务不再以直接预测单张图片的类别标签为目的，而是致力于判断两张图片是否相似，以此来间接预测类别标签。这样可以在少批量带标签样本的情况下而达到同样高效的性能与鲁棒性。
[0055]
综上，本技术提出了一种对比分类网络，该网络由一个分类器和一个判别器组成。对于分类器旨在对两张图像是否属于同一类别进行分类；对于判别器则以对抗机制进行协同工作，以确保分类结果与事实相符。在以上分类器与判别器的不断对抗过程中，其分类与判别的精度将不断得到提高。通过这样半监督的方式，构造的分类器只需在少批量带标签零件图片数据集上即可达到很高的精度与鲁棒性。最后，将待测试零件图片利用最终训练得到的分类器进行预测，即可获得对应的最终检测结果。
[0056]
本技术是关于工业零件表面的缺陷检测的研究，归属于物体分类领域，可应用于包括精细元器件、3c、家电、机械制造、半导体、化工、航天等众多领域的检测。
[0057]
如图1-2所示，一种基于对抗机制的半监督式零件缺陷检测方法，包括如下步骤：
[0058]
s1、建立对比分类网络，对比分类网络包括初始化参数为θ的分类器c
θ
和初始化参数为的判别器
[0059]
如图2所示，对比分类网络包括分类器c
θ
(即对比分类器comparison classifier)和判别器(即匹配判别器matching discriminator)，分类器为双分支结构，每一个分支由多个编码器(encoder)组成，两分支结构完全相同，但不共享权重。分类器以两张图片组成的无序图片对作为输入，分别经过两个分支，生成各自长度为r的表征信息，接着以表征信息的差异作为输入，通过全连接层(fully connected layers)来输出图片对的相似度(similarity score)。在编码器中引入了注意力机制，采用vision transformer架构。首先对输入的图片对分别做自注意力提取特征。让两个相同的vision transformer架构在特征提取的时候能够关注到全局的信息，即能够关注彼此的信息进行对比学习。因此，在进行自注意力后，额外设计了一个交叉注意力机制，使得两个分支中的信息能够更好的融合。这样的设计能够让每张图片既关注了自己，又关注了对方，使对比学习效果更加显著。判别器与分类器除了最后全连接层第一层的神经元个数不同之外，其他部分的结构完全相同。它的输入包含一对图片对和一个真实相似度。图片对在开始端输入，先经过双分支编码结构生成表征信息对，与分类器不同的是，之后它将表征信息差异与相似度向量进行拼接，作为全连接层的输入，最终预测的是图片对与真实相似度是否匹配。每张图片经过编码分支都会生成长度为r的表征信息，先对表征信息对做相减取绝对值的操作，此时的表征信息差长度依然为r，接着将输入的真实相似度p扩展到与表征信息差同样的长度，即[p1,p2,
…
,pr]，再将其与表征信息差拼接成一个长度为2r的向量，输入全连接层，判别器最终会输出图片对之间的相似度得分(即匹配得分)，分数在0～1之间，相似度得分越高说明图片对之间的相似度越匹配。
[0060]
图2中，labeled samples代表带标签零件图片数据集s
l
，unlabeled samples代表无标签零件图片数据集su，image1和image2代表图片对中的两个图片。predicted similarity score和gt similarity score分别代表预测相似度和真实相似度，图中左侧case代表不同图片对经分类器的预测相似度，如设定阈值0.5，大于0.5为1，小于为0；图中右侧case代表不同图片对的匹配得分(true/false)。
[0061]
该对比分类网络利用对抗机制进行学习，对于仅有少批量带标签的数据集来说，单把无标签数据输入分类器，由于没有标签，无法计算代价函数，更无法对模型参数进行更新从而去进一步训练分类器。因此需要判别器与分类器进行协调工作。通过该判别器来判断分类器的输出结果是否精准，以此引导分类器进行参数的更新。同时，判别器自身需要一定的判别能力，所以在训练无标签数据的同时还需要掺入有标签的监督信号，形成半监督式检测。具体如下：
[0062]
s2、利用带标签零件图片数据集s
l
训练分类器c
θ
。
[0063]
在一实施例中，利用带标签零件图片数据集s
l
训练分类器c
θ
，具体如下：
[0064]
s21、从带标签零件图片数据集s
l
中随机采样一个图片对并获得对应的真实
相似度
[0065]
s22、将图片对输入分类器c
θ
进行正向传播，获得对应的预测相似度
[0066]
s23、根据真实相似度和预测相似度计算第一代价函数l
csup
，公式如下：
[0067][0068]
式中，为第k批次中的图片对的预测相似度，k为批尺寸(batch_size)，k＝1,
…
,k；
[0069]
s24、将第一代价函数l
csup
进行反向传播，并采用adam优化器进行参数优化；
[0070]
s25、判断第一代价函数l
csup
是否收敛，若是，执行步骤s3，否则，返回执行步骤s21。
[0071]
在一实施例中，将第一代价函数l
csup
进行反向传播，并采用adam优化器进行参数优化，公式如下：
[0072][0073]
式中，为对θ求取梯度，a为随机梯度下降保持的学习率，β1为第一矩估计的指数衰减率，β2为第二矩估计的指数衰减率。
[0074]
s3、利用带标签零件图片数据集s
l
和无标签零件图片数据集su训练判别器具体如下：
[0075]
s31、从带标签零件图片数据集s
l
中随机采样一个三元组并获得对应的匹配得分c，其中，若与相符，则匹配得分c为1，若与不符，则匹配得分c为0，为图片对的真实相似度，表示图片和图片不相似，表示图片和图片相似，为分类器c
θ
输出的图片对的预测相似度，表示图片和图片不相似，表示图片和图片相似；
[0076]
s32、从无标签零件图片数据集su中随机采样一个图片对并将图片对输入分类器c
θ
进行正向传播，获得对应的预测相似度再将三元组输入判别器进行正向传播，获得预测匹配得分进行正向传播，获得预测匹配得分
[0077]
s33、根据价值函数计算第一损失函数ld和第二损失函数lc，形成对抗过程，包括：
[0078]
1)建立价值函数：
[0079][0080]
式中，e表示期望，表示三元组服从第一概率分布p
l
，表示图片对服从第二概率分布pu，表示判别器的预测匹配得分；
[0081]
2)将价值函数转换为第一损失函数ld和第二损失函数lc，公式如下：
[0082]
当训练次数达到预设次数时：
[0083][0084][0085]
当训练次数未达到预设次数时：
[0086][0087][0088]
式中，λ为平衡超参数，表示第k批次判别器的预测匹配得分；
[0089]
s34、将第一损失函数ld和第二损失函数lc进行反向传播，并采用adam优化器进行参数优化；
[0090]
s35、判断第一损失函数ld和第二损失函数lc是否收敛，若是，执行步骤s4，否则，返回执行步骤s31。
[0091]
在一实施例中，将第一损失函数ld和第二损失函数lc进行反向传播，并采用adam优化器进行参数优化，公式如下：
[0092]
[0093][0094]
式中，为对求取梯度，为对θ求取梯度，a为随机梯度下降保持的学习率，β1为第一矩估计的指数衰减率，β2为第二矩估计的指数衰减率。
[0095]
无标签的数据需要一些先验知识才能够训练，在步骤s2分类器通过少批量的带有标签的数据，已经具备了一定的预测能力。但如果单把无标签数据输入分类器，由于没有标签，无法计算代价函数，更无法对模型参数进行更新从而去进一步训练的分类器。此情况下，通过引入判别器来判断步骤s2中分类器的输出结果是否精准，以此引导分类器进行参数的更新。同时，判别器自身需要一定的判别能力，所以在训练无标签数据的同时还需要掺入有标签的监督信号。
[0096]
若预测相似度与真实相似度相符，则匹配得分c为1(true)，若预测相似度与真实相似度不符，则匹配得分c为0(false)，分类器希望自己预测的图片对相似度能让判别器判而判别器则非常严格，对于分类器的预测都判基于以上，定义出价值函数出价值函数对应有标签数据，对应无标签数据。分类器希望价值函数取到最小值，而判别器则希望价值函数能取到最大值。分类器的预测在判别器这边都成为了负样本，判别器更新参数后分类器的要求变得更加苛刻。分类器每一次更新参数都是为了增加自身的预测能力，试图让下一次的预测结果能够通过判别器的测试，如此循环迭代，二者在对抗中不断提升自己的能力。
[0097]
在学习初期当训练次数未达到预设次数，分类器较差时，判别器可以很有信心地拒绝样本，因为它们与有标签的训练数据明显不同。在这种情况下绝样本，因为它们与有标签的训练数据明显不同。在这种情况下饱和。为了解决这个问题，可以训练分类器c
θ
，使得最小化，改进lc。
[0098]
改进lc会使c
θ
和具有相同的动力学稳定点，在训练初期可以提供更强大的梯度。且对判别器而言，有标签数据和无标签数据训练是同时进行的，而不是先用有标签数据训练，再上无标签数据，因为一个训练好的判别器无法给一个不太强的分类器提供足够的梯度，会造成梯度消失。通过对抗互相给予对方强大的梯度，共同提升双方的性能。
[0099]
s4、利用训练好的分类器c
θ
对待测试零件图片进行预测，获得待测试零件的最终检测结果。
[0100]
在一实施例中，利用训练好的分类器c
θ
对待测试零件图片进行预测，获得待测试零件的最终检测结果，过程如下：
[0101]
s41、从带标签零件图片数据集s
l
中选取一张正样本图片并将待测试零件图片与正样本图片配对组成图片对
[0102]
s42、将图片对输入训练好的对比分类网络，经过训练好的对比分类网络的正向传播得到对应的预测相似度
[0103]
s43、判断是否满足条件η为相似度阈值，若是，则和为同一类别，即待测
试零件图片为正样本，代表待测试零件无缺陷合格，否则，待测试零件图片为负样本，代表待测试零件有缺陷不合格。
[0104]
在一实施例中，各零件图片数据集包括无缺陷合格零件图片和有缺陷不合格零件图片。
[0105]
在测试阶段，仅使用对比分类器。一般提前从每一类别中选出一些代表性地图片，对于一张待测试零件图片，将它与每个类别地代表性图片逐一比较，最后相似度最高地就是它所属的类别。由于mlcc表面缺陷的检测问题属于二分类问题，只有正样本(无缺陷合格品)和负样本(有缺陷不合格品)两个类别，因此只要从正样本或负样本中挑选一张具有代表性的图片进行配对检测，即可获得检测结果。
[0106]
该方法以半监督学习的方式，利用对抗机制在小批量带标签零件图片数据集的情况下，训练出具有高精度与高鲁棒性的分类器，在对抗学习中，判别器通过半监督式训练，即利用带标签零件图片数据集和无标签零件图片数据集进行训练，再协同分类器进行分类，摒弃了传统深度学习分类任务中预测单张图片的类别标签的概念，致力于判断两张图片是否相似，以此来间接预测类别标签，在小批量带标签数据集上有良好的表现力与鲁棒性。
[0107]
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0108]
以上所述实施例仅表达了本技术描述较为具体和详细的实施例，但并不能因此而理解为对申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。