一种用于多点位工业数据缺陷检测的方法及装置与流程

1.本发明涉及人工智能技术领域，尤其涉及一种用于多点位工业数据缺陷检测的方法及装置。


背景技术：

2.质量控制是工业生产中一项十分重要的工序，而实现质量控制的一个重要途径是利用卷积神经网络进行缺陷分类，但卷积神经网络的训练需要大量的带有标签的样本，需要耗费大量人力。因此，对工业数据进行半监督学习是很有必要的，其中，自训练方法是实现半监督学习的一个重要方式。
3.自训练方法的基本思路是先利用少量标签样本进行模型的训练，再对无标签样本进行预测，然后利用预测结果辅助模型训练。自训练方法的两个代表性方法是mixmatch和fixmatch，mixmatch使用mixup来对标签数据和无标签数据进行融合，fixmatch则是取无标签数据的预测概率最大的类别作为伪类别，并通过设置阈值对伪类别进行过滤。
4.目前，对于多点位工业数据，不同点位因为描述的是不同工业元件位置因而数据具有明显的差异性。比如，针对不同生产线的零件或者同一零件的不同位置都可视为不同点位。但是，mixup没有考虑到工业数据的这种特性，使用全部数据进行融合操作，不管这个数据是不是来自不同点位，这样做的后果是融合了不同点位的可能也包含大量信息的背景，这些信息将成为干扰信息，从而导致网络难以学习缺陷特征；而fixmatch方法虽然没有这个问题，但其为了过滤噪声样本而设置了阈值，导致每次迭代都会过滤掉很多无标签样本，为此无标签样本的批量需要设置的很大，以保证有足够的无标签样本量来进行模型训练。


技术实现要素：

5.针对现有技术的不足，本发明提供了一种用于多点位工业数据缺陷检测的方法及装置，利用工业数据的多点位信息，提出基于多点位工业数据缺陷检测的自训练孪生网络方法，从而有效利用无标签数据，节省大量的人力标注，并提高了模型预测准确率。
6.为解决上述技术问题，本发明提供了如下技术方案：一种用于多点位工业数据缺陷检测的方法，包括以下过程：根据点位信息对第一样本数据集进行划分，得到多点位标准样本集、多点位有标签样本集和多点位无标签样本集；将相同点位下的标准样本和无标签样本组成的样本对，输入到孪生网络进行预测并将输出结果作为伪标签；基于所述第一样本数据集所划分的样本和所述伪标签进行点位内的数据融合以获得第二样本数据集，所述数据融合包括有标签数据融合和无标签数据融合，其中，所述有标签数据融合的策略是从有标签样本中分别抽取一批大小不大于有标签样本大小的标准样本集和有标签样本集进行有监督训练得到有标签数据的融合样本；所述无标签数据融合
的策略是抽取与有标签样本相同点位且大小相等的数据作为无标签样本和所述伪标签进行有监督训练得到无标签数据的融合样本；根据所述第二样本数据集构造两个分支的分类损失函数作为所述进行预测的孪生网络的损失函数，其中，所述两个分支的分类损失函数分别是在有标签样本上的损失函数和在无标签样本上的损失函数；基于所述第二样本数据集，根据随机梯度下降法对自训练孪生网络进行训练优化；将待测样本和相同点位下的标准样本输入训练完成的孪生网络，对待测样本进行分类。
7.进一步地，所述随机梯度下降法训练对自训练孪生网络进行训练优化过程中，利用自适应机制动态的获取所述随机梯度下降法的学习率参数。
8.进一步地，所述第一样本数据集是指通过图像采集装置所采集的标准的合格产品图像样本和真实的加工缺陷图像样本，所述真实的加工缺陷图像样本包括未标注的无标签样本和采用人工进行标注的有标签样本。
9.进一步地，对待测样本进行分类之后还包括，输出所述待测样本的分类结果。
10.一种用于多点位工业数据缺陷检测的装置，包括：数据划分单元，所述数据划分单元用于根据点位信息对第一样本数据集进行划分，得到多点位标准样本集、多点位有标签样本集和多点位无标签样本集；伪标签获得单元，所述伪标签获得单元用于将相同点位下的标准样本和无标签样本组成的样本对，输入到孪生网络进行预测并将输出结果作为伪标签；数据融合单元，所述数据融合单元用于基于所述第一样本数据集所划分的样本和所述伪标签进行点位内的数据融合以获得第二样本数据集；损失函数构造单元，所述损失函数构造单元用于根据所述第二样本数据集构造两个分支的分类损失函数作为所述进行预测的孪生网络的损失函数；模型训练单元，所述模型训练单元用于基于所述第二样本数据集，根据随机梯度下降法对自训练孪生网络进行训练优化；模型预测单元，所述模型预测单元用于将待测样本和相同点位下的标准样本输入训练完成的孪生网络，对待测样本进行分类。
11.进一步地，还包括结果输出单元，所述结果输出单元用于输出所述待测样本的分类结果。
12.借由上述技术方案，本发明提供了一种用于多点位工业数据缺陷检测的方法及装置，至少具备以下有益效果：1、本发明基于自训练方式，通过利用有多点位信息的工业数据对孪生网络进行预测，同时通过对多点位数据进行融合，有效利用无标签数据，从而降低了工业数据的人力标注成本。
13.2、本发明通过利用融合数据构造损失函数，再根据随机梯度下降法训练得到最优自训练孪生网络模型，具有较高的泛化能力，从而提高了自训练孪生网络方法在工业数据上的预测效果及预测效率。
14.本发明通过利用工业数据的多点位信息，对有多点位信息的工业数据进行数据融
合，有效地提高了样本利用率，提高了自训练孪生网络方法在工业数据上的分类预测准确率，降低了工业数据的人力标注成本，达到了基于自训练方式对工业数据进行半监督学习的目的。
附图说明
15.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：图1为本发明一种用于多点位工业数据缺陷检测的方法一实施例的流程示意图；图2为本发明一种用于多点位工业数据缺陷检测的装置一实施例的结构示意图；图3为本发明一种用于多点位工业数据缺陷检测的方法的自训练孪生网络框架示意图；图4为本发明一种用于多点位工业数据缺陷检测的方法另一实施例的流程示意图；图5为本发明一种用于多点位工业数据缺陷检测的装置另一实施例的结构示意图。
16.图中：10、数据划分单元；20、伪标签获得单元；30、数据融合单元；40、损失函数构造单元；50、模型训练单元；60、模型预测单元；70、结果输出单元。
具体实施方式
17.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。借此对本技术如何应用技术手段来解决技术问题并达成技术功效的实现过程能充分理解并据以实施。
18.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
19.在发明中，孪生网络是由一对孪生的神经网络构成，这两个神经网络之间共享权值和偏置等参数，每个神经网络均由特征提取网络和相似度计算层组成。为了使得训练出的网络模型稳定性更好，泛化能力更佳，并使得缺陷检测准确度更高，本发明对孪生网络进行了改进，提出基于多点位工业数据缺陷检测的自训练孪生网络方法，旨在利用工业数据的多点位信息并基于自训练方式，达到实现工业数据半监督学习的目的。
20.实施例一请参照图1-图3，示出了根据本发明实施例一的一种用于多点位工业数据缺陷检测的方法，如图1所示，包括以下步骤：s101.根据点位信息对第一样本数据集进行划分，得到多点位标准样本集、多点位有标签样本集和多点位无标签样本集，其中，第一样本数据集为通过图像采集装置所采集的标准的合格产品图像样本和真实的加工缺陷图像样本。
21.第一样本数据集的划分策略为：将所述第一样本数据集记为d，且第一样本数据集
d相应的点位记为p，从d中抽取n个有标签样本，余下|d|
−
n个当作无标签样本来进行半监督训练，并且在抽取过程中保证每个点位抽取的样本中至少有一个标准样本；由于抽取的有标签样本数n有可能小于点位数目|p|，为此设定每个数值n对应的抽取点位数为，则每个点位抽取有标签样本数目为。在本实施例中，每个点位最少的采样数目为2。
22.在训练过程中，从各点位数据中抽取一批大小为b的有标签样本集，记为x；一批大小为b的无标签样本集，记为u；相对应的一批大小为b的标准样本集，记为s，且x、u和s的点位保持一一对应，有：一对应，有：一对应，有：其中，b指样本在样本集中的索引，指索引为b的单个有标签样本，指样本的标签，指索引为b的单个无标签样本，指索引为b的单个标准样本, ok指标准样本的标签为正常。s102.将相同点位下的标准样本和无标签样本组成的样本对，输入到孪生网络进行预测并将输出结果作为伪标签。
23.如图3所示，在训练的每次迭代过程中，切换网络状态为测试状态，针对输入的标准样本s∈s和无标签样本u∈u组成的样本对(s,u)，输入到孪生网络中进行预测，得到多分类结果的伪标签和相似度结果的伪标签，设多分类伪标签记为q，相似度伪标签记为r。
24.s103.基于所述第一样本数据集所划分的样本和所述伪标签进行点位内的数据融合以获得第二样本数据集，其中，所述数据融合包括有标签数据融合和无标签数据融合。
25.有标签数据的融合策略为：如步骤s101所述，对于有标签样本分别抽取一批大小为b（b≤n）的标准样本集s和有标签样本集x进行有监督训练，设抽取的标准样本和有标签样本分别为s和x，且，，其中，指索引为b的样本对应点位的索引，指点位索引对应的点位，指点位对应的标准样本集，指点位对应的有标签样本集，有：对应的有标签样本集，有：对应的有标签样本集，有：对应的有标签样本集，有：对应的有标签样本集，有：其中，beta(α,α)是由参数α确定的beta分布，λ指有标签样本和无标签样本的融合系数，、和、分别指标准样本s和有标签样本x的多分类标签和相似度标签，指在有标签样本上新构造的有标签融合样本，和分别指新构造的有标签融合样本对应的多分类
融合标签和相似度融合标签，由此，得到用于训练的有标签融合样本及其融合标签组成的集合，记为。
26.无标签数据的融合策略为：在训练过程中，抽取与有标签样本相同点位的批次大小为b的无标签样本集u，如步骤s102所述多分类伪标签q和相似度伪标签r。设抽取的无标签样本为u且，其中，指点位对应的无标签样本集，有：对应的无标签样本集，有：对应的无标签样本集，有：对应的无标签样本集，有：对应的无标签样本集，有：其中，和分别是无标签样本u的多分类伪标签和相似度伪标签，指在无标签样本上新构造的无标签融合样本，和分别指新构造的无标签融合样本对应的多分类融合伪标签和相似度融合伪标签；在公式中，确保标准样本s、有标签样本x和无标签样本u这三项的权重之和为1。由此，得到用于训练的无标签融合样本及其融合伪标签组成的集合，记为。
27.需要说明的是，网络训练前期对无标签样本预测噪声比较大，为此可以通过减小α而降低的期望，从而降低无标签样本u的权重；而在后期，随着训练的稳定，慢慢增加α，整个过程使保持在[0,0.5]之间，避免权重过大，该过程用公式表示为：其中，e为当前迭代轮数，e为训练的总迭代轮次数目，取0.3，指迭代轮数为e时α的值，用于beta分布产生。
[0028]
s104.根据所述第二样本数据集构造两个分支的分类损失函数作为所述进行预测的孪生网络的损失函数，其中，所述两个分支的分类损失函数分别是在有标签样本上的损失函数和在无标签样本上的损失函数。
[0029]
在有标签样本上的损失函数表示如下：在无标签样本上的损失函数表示如下：其中，为监督相似度损失，为监督缺陷分类损失，表示集合中元素数目，为无监督相似度损失，为无监督缺陷分类损失，表示集合中元素数目，为交叉熵损失函数，是相似度相关的符号，是用于多分类的符号， 指
模型相似度分支的输出，指模型多分类分支的输出，指模型的参数。为此，总的损失为。
[0030]
s105.基于所述第二样本数据集，根据随机梯度下降法对自训练孪生网络进行训练优化，自训练孪生网络的框架结构如图3所示。
[0031]
本实施例中，根据随机梯度下降法对自训练孪生网络进行训练优化过程中，利用自适应机制动态的获取随机梯度下降法的学习率参数，即当采取的步长较大时，希望梯度记忆的大小较大，当采取的步长较小，希望梯度记忆的大小较小。这种自适应机制使得随机梯度下降法的学习率随时间动态的自适应调整，能够提高训练模型的稳定性，提高检测结果的准确率。
[0032]
采用自适应机制计算随机梯度下降法的学习率的过程如下所示：所示：所示：其中，为步长，为第t步的自适应衰减速率，为第t步迭代的梯度的移动方差， 为第t步的一阶梯度，常数为一个非常小的数（可防止分母为0），为第t步迭代的权重值，为第t步迭代的权重修正值。
[0033] s106.将待测样本和相同点位下的标准样本输入训练完成的孪生网络，对待测样本进行分类。具体为，根据给定的待测样本，获取和待测样本相同点位的标准样本并共同输入训练完成的孪生网络中，对待测样本进行预测。
[0034]
需要说明的是，在实际质量控制过程中，标准样本能够为检测提供更多指导性信息，便于提高工作效率和准确度。
[0035]
本实施例中，通过利用有多点位信息的工业数据对孪生网络进行预测，同时通过对多点位数据进行融合，并根据融合数据构造损失函数，再根据随机梯度下降法训练得到最优自训练孪生网络模型，使其具有较高的泛化能力，有效利用无标签样本，降低了工业数据的人力标注成本，提高了自训练方法在工业数据上的预测准确率及预测效率，具有较高的社会价值和应用前景。
[0036]
实施例二请参照图3-图5，示出了根据本发明实施例二的一种用于多点位工业数据缺陷检测的方法，该方法的步骤s201～s206分别与步骤s101～s106相同，并进一步包括步骤s207，该方法的步骤流程如图4所示，步骤s207包括：s207，输出所述待测样本的分类结果。
[0037]
本实施例中，可以对待测样本进行检测之后进行结果保存，这样的好处是能够实现对经检测后的产品进行有效管理。
[0038]
本发明还提供一种用于多点位工业数据缺陷检测的装置，如图2所示，该装置包括：数据划分单元10，数据划分单元10用于根据点位信息对第一样本数据集进行划
分，得到多点位标准样本集、多点位有标签样本集和多点位无标签样本集；伪标签获得单元20，伪标签获得单元20用于将相同点位下的标准样本和无标签样本组成的样本对，输入到孪生网络进行预测并将输出结果作为伪标签；数据融合单元30，数据融合单元30用于基于所述第一样本数据集所划分的样本和所述伪标签进行点位内的数据融合以获得第二样本数据集；损失函数构造单元40，损失函数构造单元40用于根据所述第二样本数据集构造两个分支的分类损失函数作为所述进行预测的孪生网络的损失函数；模型训练单元50，模型训练单元50用于基于所述第二样本数据集，根据随机梯度下降法对自训练孪生网络进行训练优化；模型预测单元60，模型预测单元60用于将待测样本和相同点位下的标准样本输入训练完成的孪生网络，对待测样本进行分类。
[0039]
如图5所示，该装置还包括结果输出单元70，结果输出单元70用于输出所述待测样本的分类结果。
[0040]
本发明通过利用工业数据的多点位信息，通过对多点位数据进行数据融合，有效地提高了样本利用率，提高了自训练方法在工业数据上的分类预测准确率，还降低了工业数据的人力标注成本，达到了基于自训练方式对工业数据进行半监督学习的目的。
[0041]
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于以上各实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0042]
以上实施方式对本发明进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。