一种利用自适应双阈值来进行半监督学习的方法

1.本发明涉及半监督学习技术领域，尤其涉及一种利用自适应双阈值来进行半监督学习的方法。


背景技术：

2.深度学习策略在图像分类、图像分割等领域取得了巨大的成功。然而，这依赖于利用大量有标签数据进行模型监督学习，但这也意味着需要大量人力。特别是当一些领域需要专家鉴定时，它将消耗大量的财政资源。半监督学习的任务是使用有限的有标签数据和大量的无标签数据训练模型，以获得更好的性能。
3.存在于半监督学习中的关键问题是如何从无标签数据中充分的提取有效信息。当前流行的半监督学习方法通过一个固定的置信度阈值使模型只关注那些具有高置信度的无标签数据，这意味着无法达到阈值的无标签数据将被忽略。并且由于该模型在不同训练阶段对不同的类别有不同的学习状态，因此对所有类别使用相同的高置信度阈值是不公平的。
4.现有技术方案1：孙栓柱，基于相似度的半监督学习工业数据分类算法，2021。
5.本技术针对现实场景中大量无标签数据无法有效被利用的特点，提出了一种基于数据相似度匹配的半监督学习算法。该方法结合一定的先验知识，通过无监督学习的方式，计算无标签数据与少量有标签数据之间相似度，从而对少数类样本进行扩充。利用构造后的数据集进行模型训练，从而提高模型对于少数类的识别效果；
6.现有技术方案2：甘玉婉，基于半监督学习的图像分类算法研究，2021。
7.由于在基于伪标签的半监督学习算法中，训练初期模型性能受限，容易出现伪标签错误的问题。如果不能得到及时地纠正,会对模型造成不良影响。为了改善上述方法的不足,纠正预测错误的伪标签，本技术提出一种基于伪标签样本加权和相互学习的半监督分类算法。该算法以集成深度网络模型为基础。首先，将有标签加噪数据进行多样性训练,将无标签数据输入训练好的模型,将输出值作为标签；再用基于伪标签数据的筛选和加权策略，挑选出高置信伪标签数据，与真实有标签数据一同构成新的集合，以加权训练的方式更新模型；最后再利用相互学习策略增强分类器间的预测一致性，通过多样性微调和相互学习交替进行的方式,找到多样性和一致性的最佳平衡,提高对伪标签预测的准确性；
8.现有技术方案3：邵伟志，基于一致性正则化与熵最小化的半监督学习算法，2021。
9.本技术基于熵最小化与一致性正则化的思想，设计了通过多阶段模型共同作用，集成多角度信息从而生成低熵伪标签的方法，并利用一致性正则化优化了模型的分类性能。该技术使用了在同一模型的多个变种的共同作用下生成伪标签的方法，使伪标签的生成能获得多个角度的互补信息，对于无标签数据的判断更加可靠。这种新的伪标签获取方法保证了网络能够从不同的角度和时间段受益，并逐渐提升伪标签的准确度。
10.现有技术的缺点：
11.对于现有技术方案1，该方案存在的缺点是：1)该方案仅仅考虑了不同相似数据之
间的的信息，这并不能使无标签数据得到充分的利用。2)数据增广技术在无监督学习中是十分关键的组成部分，而该方案在对无标签数据进行学习时并没有应用到数据增广技术；
12.对于现有技术方案2，该方案存在的缺点是：1)该方案在为无标签数据确定伪标签时没有考虑到模型对不同类别的学习状态，这会使模型对那些较难识别的类有较差的预测效果。2)该方案只对通过筛选的无标签数据进行了学习，这会使模型忽视没能通过筛选的无标签数据中的有效信息。不能对无标签数据进行充分有效的学习；
13.对于现有技术方案3，该方案存在的缺点是：1)该方案对所有无标签数据采取了相同的学习策略，这会使模型在对无标签数据的学习过程中引入噪声样本。2)该方案在只关注了单个无标签数据，没有考虑到不同无标签数据间的信息。


技术实现要素：

14.(一)解决的技术问题
15.针对现有技术的不足，本发明提供了一种利用自适应双阈值来进行半监督学习的方法，除了通过固定阈值来确认高置信度的无标签数据外，自适应双阈值还利用了预测值小于固定阈值但大于提取的类自适应阈值的无标签数据，并且设计了两种学习策略分别用于对这两种类型的无标签数据的学习。对于高度相似的未标记数据，提出了一种新的相似损失来进一步挖掘相似无标签数据之间的信息。
16.(二)技术方案
17.本发明提供如下技术方案：一种利用自适应双阈值来进行半监督学习的方法，包括以下步骤：
18.s1、对于有标签数据，对其进行弱增广之后输入模型，将预测结果与其所属标签求交叉熵损失；
19.s2、在利用无标签数据对模型进行训练时，为每一类提取一个自适应阈值；
20.s3、结合固定阈值和类自适应阈值组成了自适应双阈值，利用自适应双阈值来对无标签数据进行筛选，并对不同的无标签数据采取了不同的学习策略；
21.s4、在现有技术的基础上提出了一种新的相似损失，来进一步挖掘相似无标签数据间的信息。
22.首先，为在输入模型的有标签数据中提取类自适应阈值，执行以下操作：
[0023][0024][0025]
其中c＝argmax(y)表示x所属的真实类别，w(x)代表对x执行弱增广操作，是类别c的类自适应阈值并且初始值设为0.95。
[0026]
进一步的，为了在无标签数据中提取更多的有效信息并且平衡模型对每个类别的学习进程，结合一个固定阈值τ和类自适应阈值组成自适应双阈值,并且在用自适应双阈值对无标签数据进行筛选的同时，对不同的无标签数据应用不同学习策略；
[0027]
同时为达到熵最小化的目的，在产生伪标签的过程中使用sharpen操作,具体可以表示为：
[0028][0029]
其中p代表输入分布,t是预定义的超参数，可以调整对输入分布的锐化程度。
[0030]
对于输入模型的无标签数据，首先依靠固定阈值τ来决定是否利用它来计算损失：
[0031][0032]
其中代表模型对w(ub)的输出，对qb执行指数移动平均操作(ema)得出并且表示对无标签数据ub执行强增广，h表示对两个分布计算交叉熵损失。
[0033]
之后对于无法通过固定阈值的无标签数据，我们利用类自适应阈值再次进行筛选并采取与上述不同的训练方法：
[0034][0035]
这里代表中最大值所属类的类自适应阈值。当该无标签数据满足时，会以为目标应用较为缓和的l2损失，因为当以作为目标时，不仅能实现熵最小化的目的，而且它携带了更多的信息来增强模型的泛化能力，最重要的是，它对于噪声样本不会像one-hot标签那样敏感。
[0036]
进一步的，在半监督学习进程中，利用不同无标签数据之间的关系来计算相似损失，使用置信度足够高的弱增广无标签数据作为“锚”，并使与它相似度足够高的无标签数据的强增广版本与之对齐，定义相似损失为：
[0037][0038]
表示对于单个无标签数据的置信度阈值，为不同无标签数据之间的相似度阈值，sim函数计算两个分布之间的相似度。
[0039]
与现有技术相比，本发明提供了一种利用自适应双阈值来进行半监督学习的方法，具备以下有益效果：
[0040]
1、与现有技术1相比，本发明的优点在于，不仅为相似无标签数据进行配对时进行了筛选减少了噪声样本的引入，而且结合自适应双阈值，数据增广技术和一致性正则化对单个无标签数据进行了学习，保证了对无标签数据的充分利用。
[0041]
2、与现有技术2相比，本发明的优点在于通过自适应双阈值为无标签数据确认伪标签，不仅充分提取了无标签数据中的信息，并且平衡了模型对不同类的学习状态。
[0042]
3、与现有技术3相比，本发明的优点在于通过自适应双阈值来减少噪声样本的引入，并且通过相似损失来关注不同无标签数据之间的信息，充分利用了无标签数据中的有效信息。
[0043]
应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本发明。
附图说明
[0044]
图1为本发明所提供的一种利用自适应双阈值来进行半监督学习的方法(adt-ssl)的概述；
[0045]
图2为本发明adt-ssl中提取类自适应阈值示意图；
[0046]
图3为本发明adt-ssl中相似损失的详述示意图。
具体实施方式
[0047]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
[0048]
本发明整体算法见附图1，算法2。一种利用自适应双阈值来进行半监督学习的方法，包括以下步骤：
[0049]
s1、对于有标签数据，对其进行弱增广之后输入模型，将预测结果与其所属标签求交叉熵损失；
[0050]
s2、在利用无标签数据对模型进行训练时，为每一类提取一个自适应阈值，见附图2；
[0051]
s3、结合固定阈值和类自适应阈值组成了自适应双阈值，利用自适应双阈值来对无标签数据进行筛选，并对不同的无标签数据采取了不同的学习策略，具体来说当模型对一个无标签数据的弱增广版本的预测分布中最大值大于固定阈值时，将该分布转为“one-hot”标签并将其作为“锚”，与模型对其强增强版本的预测求交叉熵损失，若预测无法通过固定阈值，会用类自适应阈值再次对其进行筛选，若预测分布中最大值大于所属类自适应阈值，对其进行sharpen操作并作为“锚”，与模型对其强增强版本的预测求l2损失；
[0052]
s4、在现有技术的基础上提出了一种新的相似损失，来推动模型对相似无标签数据输出的一致性，详细过程见附图3。
[0053]
提取类自适应阈值
[0054]
对于输入模型的有标签数据，执行以下操作：
[0055][0056][0057]
其中c＝argmax(y)表示x所属的真实类别，w(x)代表对x执行弱增广操作，是类别c的类自适应阈值并且初始值设为0.95，在这个过程中首先判断模型对w(x)的判断是否正确然后执行来检查模型此时对w(x)预测向量中的最大值是否小于只有当上述两个条件同时满足时，才会将赋值给可见附图2。
[0058]
由于半监督学习同时利用有标签数据和无标签数据来训练模型，所以这一过程将存在于整个训练过程中，提取类自适应阈值的详细过程可见算法1。值得注意的是，并不总是呈现上升或者下降的趋势，在每一个周期中，会对每一个类重新计算并且当大于时会将赋值给
[0059]
自适应双阈值具体应用过程
[0060]
为了在无标签数据中提取更多的有效信息并且平衡模型对每个类别的学习进程，结合一个固定阈值τ和类自适应阈值组成自适应双阈值，并且在用自适应双阈值对无标签数据进行筛选的同时，对不同的无标签数据应用不同学习策略。
[0061]
受熵最小化的启发，在产生伪标签的过程中使用了sharpen操作。具体可以表示为：
[0062][0063]
其中p代表输入分布。t是预定义的超参数，可以调整对输入分布的锐化程度。当t
→
0时，函数的输出就越接近one-hot分布，使用此技术来鼓励模型输出低熵的预测。
[0064]
对于输入模型的无标签数据，首先依靠固定阈值τ来决定是否利用它来计算损失：
[0065][0066]
其中代表模型对w(ub)的输出。对qb执行指数移动平均操作(ema)得出并且表示对无标签数据ub执行强增广，h表示对两个分布计算交叉熵损失。
[0067]
τ是一个较高的固定阈值，所以使用类自适应阈值来对没用通过τ的无标签数据进行重筛选，并且采取了与上述不同的学习策略：
[0068][0069]
这里代表中最大值所属类的类自适应阈值。当该无标签数据满足时，会以为目标应用较为缓和的l2损失。因为当以作为目标时，不仅能实现熵最小化的目的，而且它携带了更多的信息来增强模型的泛化能力，最重要的是，它对于噪声样本不会像one-hot标签那样敏感。
[0070]
相似损失
[0071]
在半监督学习进程中，为了充分利用无标签数据，利用不同无标签数据之间的关系来计算相似损失。使用置信度足够高的弱增广无标签数据作为“锚”，并将与它相似度足够高的无标签数据的强增广版本与之对齐，定义相似损失为：
[0072][0073]
表示对于单个无标签数据的置信度阈值，为不同无标签数据之间的相似度阈值，sim函数计算两个分布之间的相似度，对于sim采用巴氏距离，输出范围为[0,1]，计算过程可以表示为：
[0074][0075]
设这时可以通过置信度阈值的无标签数据具有接近
one-hot的分布，此时与它足够相似的其他无标签数据也拥有足够高的置信度，将转为one-hot分布并作为的目标来计算交叉熵损失，详细过程可见附图3。给一个分布它是模型对一个弱增广无标签数据的预测结果。首先对执行sharpen操作得到接下来检验它的置信度，当中的最大值大于置信度阈值τ，将它转为one-hot标签并将它作为“锚”。评估与另外一个无标签数据元组的相似程度。当相似程度大于相似阈值时，以为目标来对pm(y|vr)求交叉熵损失，来拉近vr与其所属聚类中心的距离，vr表示另一个无标签数据的强增广版本，并且当两个阈值不能被同时满足时，vr不会加入训练。
[0076]
结合以上，整体损失由4部分构成，可见算法2。它们是监督损失无监督损失和最后是相似损失
[0077][0078][0079][0080][0081]
这里是对弱增广有标签数据求交叉熵损失，和关注相同无标签数据的不同增广形式之间的一致性。
[0082]
本发明方案通过与现有半监督学习技术比较，来验证本发明的作用和意义。在cifar-10，shvn和cifar-100上来对adt-ssl(一种利用自适应双阈值来进行半监督学习的方法)进行测试。其中在cifar-100上adt-ssl表现了最佳性能，并且在cifar-10和shvn上的性能与全监督几乎一致。结果如附表1，附表2所示。具体来说，在cifar-100上，10000有标签数量的情况并且使用较小模型时，adt-ssl比现有流行方法提升近3.5％。当使用较大模型时提升1.2％。实验结果表明，adt-ssl在面对复杂数据集时表现出了出众的效果，并且能够很好的适应较小网络模型。
[0083]
[0084][0085][0086]
1:输入：有标签样本及one-hot标签无标签样本锐化程度t，弱增广数量k，强增广数量k
strong
。置信度阈值τ，相似度阈值τs，类自适应阈值
[0087][0088][0089]
附表1：在cifar-100上，分别使用wide resnet 28-2和wide resnet 28-8的测试精度
[0090][0091]
附表2：cifar-10，shvn，cifar-100的测试精度。对于cifar-10和shvn使用的是wide resnet 28-2作为网络模型。对于cifar-100以wide resnet 28-8作为网络模型。
[0092][0093]
尽管已经示出和描述了本发明实施的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
[0094]
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
[0095]
下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。