基于原型组合的多源无监督领域自适应图片分类方法

本发明涉及计算机视觉的，尤其是指一种基于原型组合的多源无监督领域自适应图片分类方法。

背景技术：

1、随着人工智能的蓬勃发展和广泛应用，计算机视觉技术也应运而生，其通过模拟人类对图片的识别，对图片的特征进行提取和分类。在智能制造业中，图像传感器的广泛使用为监测设备状态、控制生产流程、保障生产安全等提供了依据。这些工业数据呈现出海量、多源、缺少标注等特点，如何充分利用这些大数据成为亟待解决的问题。传统的机器学习算法通常依赖于大量的标记数据来有效地训练学习模型，并且假设训练数据和测试数据具有相同的输入特征空间和服从相同的数据分布。然而在现实情况下，获取这类数据作为训练数据要花费大量的人力、物力，甚至是不可能的。此外，由于域位移的存在，直接将在特定源领域训练的模型部署到目标领域通常会导致性能下降。

2、近年来多源无监督领域自适应的研究已取得重大进展，但现存的方法大多是在领域的层面上进行多个源域和目标域进行对齐，较少在类别的层面进行多个源域和目标域的对齐。对于在领域层面的对齐方法，它们使多个源域和目标域的不同类别样本相互对齐，然而这种对齐是粗糙的，只能减少领域间的差异，还有可能使不同类别的样本相互接近而影响分类精度。另外，现有的多源领域自适应算法大多平等地对待每个源域，但每个源域对于目标域具有的可迁移的知识量也不同，因而对于每个源域的关注度也应该不一样。为此，设计一个原型组合机制，以极少的计算量自适应地为每个源域原型和源域样本特征嵌入分配权重，来衡量每个源域对目标域的可迁移知识，使属于多源域和目标域的同一类样本相互对齐，不仅消除了不同领域样本的领域间差异和类别内差异，而且赋予与目标域样本相似的源域样本更高的关注度，从而更好地对无标签的目标域样本进行预测。

技术实现思路

1、本发明的目的在于克服现有技术的缺点与不足，提出了一种基于原型组合的多源无监督领域自适应图片分类方法，可自适应地提高模型对目标域样本预测有关键作用的源域的关注度，对多源域和目标域实现更精细的对齐，减少了计算量，提高了目标域样本的预测精度。

2、为实现上述目的，本发明所提供的技术方案为：基于原型组合的多源无监督领域自适应图片分类方法，该方法采用一个由特征提取器和分类器组成的图片分类模型实现多源无监督领域的自适应图片分类，并采用穆尔-彭罗斯广义逆矩阵求解线性方程组最优解的理论来设计原型组合机制为各具有不同分布的源域的原型分配权重，所述原型是一组相似实例的代表性特征，并通过计算原型组合物整合各源域中的知识，所述原型组合物由源域的原型和源域的样本特征嵌入按设定权重加权计算得到；

3、该多源无监督领域自适应图片分类方法的具体实施包括以下步骤：

4、步骤1，将n个源域和一个目标域的图片数据进行数据增强和随机抽样，并转换为张量矩阵，其中源域的每张图片带有相应的标签，而目标域的图片没有标签；

5、步骤2，将张量矩阵输入到基于卷积神经网络的特征提取器，得到源域和目标域的样本特征嵌入；

6、步骤3，根据源域的样本特征嵌入及其对应的标签，采用均值估计为每个源域中属于同个类别的样本特征嵌入都估计一个原型；将提取到的源域和目标域的样本特征嵌入输入由两层全连接层组成的分类器，得到源域的样本预测的准确率；根据源域的样本预测的准确率，使用基于logistic函数的自适应调整阈值的伪标签策略自适应调整阈值，为目标域的样本标注伪标签的同时，将目标域的样本划分为高置信度目标域样本子集和低置信度目标域样本子集；根据高置信度的目标域的样本特征嵌入及其对应的伪标签，采用均值估计为高置信度目标域样本子集中属于同个类别的样本都估计一个原型；

7、步骤4，采用穆尔-彭罗斯广义逆矩阵求解线性方程组最优解的理论设计原型组合机制，为同一类别下不同源域的原型和源域的样本特征嵌入分配权重，使以该权重加权组合之后得到的原型组合物最接近相应类别的目标域的原型和目标域特征嵌入；

8、步骤5，根据源域的标签和高置信度目标域样本子集的目标域样本的伪标签，构造对比损失函数在类别层次进行特征对齐，使源域和目标域的样本特征嵌入与相应标签类别的原型组合物和目标域的原型相互接近，与不同类别的原型组合物和目标域的原型相互远离；通过高斯核函数将低置信度目标域样本子集的样本特征嵌入和原型组合物映射到rkhs，在该rkhs中构造mmd度量损失函数，最小化它们之间的mmd度量损失在领域层次进行特征对齐；

9、步骤6，在反向传播中使用标准交叉熵分别计算源域的样本的分类器预测结果和标签的损失值以及源域与目标域的原型的分类器预测结果和标签的损失值；根据标准交叉熵损失以及上一步的对比损失和mmd度量损失，通过多次迭代分别使图片分类模型的特征提取器和分类器的损失最小，最终得到最优的图片分类模型；

10、步骤7，将目标域的样本输入到最优的图片分类模型，即可输出准确的图片分类结果。

11、进一步，在步骤1中，输入n个不同的有标记标签的源域s1,s2,…,sn，将其定义为其中是第i个源域si第j个图片样本，是源域si的样本数量，i∩{1,2,…,n}，标签r是类别数；接着，输入一个无标签的目标域将其定义为其中是目标域第j个图片样本，是目标域的样本数量，并且目标域与n个不同源域具有相同的标签空间；

12、源域和目标域的图片数据进行数据增强的手段依次为：裁剪、随机水平翻转；随机抽样的处理为：对源域和目标域随机分成多个小批次抽样样本其中，分别是的一个批次的抽样样本；由于计算机无法直接处理图片数据，因此需要将图片输入数据转化成计算机可识别的数据类型；将一个随机抽样得到的训练批次彩色图片表示为4维张量，令第一维表示图片的数量，第二维表示rgb三色通道，第三、四维表示图片单通道的像素矩阵；最后，根据不同的深度学习框架，转化成对应的存储格式，作为特征提取器的输入。

13、进一步，在步骤2中，对于由步骤1得到的张量矩阵，根据图片的具体大小和风格选择alexnet、resnet-50、lenet卷积神经网络作为特征提取器提取样本的特征，得到图片的样本特征嵌入，其中第一层卷积层的卷积核宽度应与张量维度相同。

14、进一步，步骤3的具体操作步骤如下：

15、步骤3.1，采用均值估计为各个源域中每个类别都计算一个估计原型；

16、对于源域si的第k类的估计原型，采用中的样本特征嵌入进行估计，其估计原型定义为：

17、

18、式中，是中属于k类的所有样本的集合，表示中的样本数，f(·)表示将图片的张量矩阵映射到特征嵌入向量的特征提取器；

19、使用logistic函数自适应调整阈值tc的伪标签策略，将bmin中的目标域样本集的样本分成两个子集：由分类器预测的伪标签概率高于tc的高置信度目标域样本组成的子集定义为由分类器预测的伪标签概率低于tc的低置信度目标域样本组成的子集定义为tc的定义如下:

20、

21、式中，ρ是超参数，a是分类器预测的源域样本的准确率；

22、采用均值估计在目标域中为每个类别都估计一个原型，对于目标域的第k类的估计原型，用中的样本特征嵌入进行估计，其估计原型定义为：

23、

24、式中，是中属于k类的所有样本的集合，表示中的样本数；

25、步骤3.2，通过一个平均增量移动方案来缓慢地更新原型以减少计算密集，更新策略如下：

26、

27、

28、式中，为源域si中第k类原型，为中第k类的目标原型，β表示衰减率。

29、进一步，在步骤4中，所述原型组合物有3种类型，具体如下：

30、a、n个源域的n个同类源域原型，使用原型组合机制为其分配权重，使源域原型以该权重加权组合之后得到的组合物最接近相应类别的目标域原型，该组合物定义为类型1原型组合物；

31、对于n个源域的n个第k类源域原型表示为对于任意权重w,要求出其中一组权重wk，使得成立，即求出权重wk，使n个第k类源域原型pk由权重wk加权组合之后得到的原型组合物最接近目标域的第k类原型其中均为行向量；wk为n维列向量；权重wk的计算表示为：

32、

33、类型1原型组合物表示为：

34、[c1,c2,…,ck,…,cr]＝[p1·w1,p2·w2,…,pk·wk,…,pr·wr]

35、式中，ck是由来自第k类的n个源域原型组合成的类型1原型组合物；

36、b、对于每个源域特征嵌入，使用原型组合机制为源域样本特征嵌入以及与其同类的其它源域原型分配权重，使同类的其它源域原型和源域样本特征嵌入以该权重加权组合之后得到的组合物最接近相应类别的目标域原型，该组合物定义为类型2原型组合物；

37、对于一个属于第i源域si的第j个特征嵌入和与其同类的其它源域原型共同表示为定义如下：

38、

39、式中，是为k的标签；

40、使加权后最接近类别k的目标原型的权重表示为：

41、

42、因此，第i源域si的第j个特征嵌入和同类的其它源域原型的加权组合之后最接近相应类别的目标域原型的组合物表示为：

43、

44、式中，属于类型2原型组合物；

45、c、对于每个高置信度目标域样本子集的目标域样本特征嵌入，使用原型组合机制为相应类别的源域的原型分配权重，使该类别的源域的原型以该权重加权组合之后得到的组合物最接近该目标域样本特征嵌入，该组合物定义为类型3原型组合物；

46、对于伪标签为k的高置信度目标域样本子集的第j特征嵌入其中是的伪标签，即n个分别来自n个源域的第k类源域原型对应的最接近特征嵌入的权重表示为：

47、

48、同类源域原型最接近样本特征嵌入的的加权组合物表示为：

49、

50、式中，属于类型3原型组合物。

51、进一步，在步骤5中，类别层次对齐的对比损失函数和领域层次对齐的mmd度量损失函数的情况具体如下：

52、a、对比损失函数由四个部分组成，具体如下：

53、为了增强特征的紧凑性，强制源域样本特征嵌入接近它们对应的类型1原型组合物，同时促进高置信度的目标域特征嵌入接近其相应的目标原型，公式如下：

54、

55、

56、式中，是增强源域特征和类型1原型组合物的紧凑性的损失函数；是增强目标域特征和目标域原型的紧凑性的损失函数；是bmin中源域si第k类样本特征的集合,是其样本特征数量；τ是温度参数；是集合中伪标签为第k类目标域样本特征集合,是其样本特征数量；是目标特征嵌入的伪标签,即是源域si的第j个样本特征与其同类的其他源域原型加权组合之后最接近相应类别的目标域原型的原型组合物，即类型2原型组合物；是第k类目标域原型；ch是n个第h类源域原型加权组合之后最接近第h类目标域原型的原型组合物，即类型1原型组合物；f(·)表示将图片的张量矩阵映射到特征嵌入向量的特征提取器；

57、通过对比损失函数使源域样本特征嵌入和同类的其它源域原型的加权组合物，即类型2原型组合物和目标域的原型相互接近，与不同类别的目标域的原型相互远离；通过对比损失函数使高置信度目标域样本子集的目标域样本特征嵌入和同类的其它源域原型的加权组合物，即类型3原型组合物相互接近，与不同类别的类型1原型组合物相互远离；

58、

59、

60、式中，是源域si的第j个样本特征与其同类的其它源域原型加权组合之后最接近相应类别的目标域原型的原型组合物，属于类型2原型组合物；ch是n个第h类源域原型加权组合之后最接近第h类目标域原型的原型组合物，即类型1原型组合物；

61、总对比损失函数lcon如下：

62、

63、b、通过高斯核函数将特征映射到再生希尔伯特空间rkhs，在该空间中最小化每次迭代的小批量中低置信度的目标样本与类型1原型组合物的mmd度量，mmd度量损失lmmd公式如下：

64、

65、式中，φ(·)是将特征映射到再生希尔伯特空间rkhs的核函数；ck是n个第k类源域原型加权组合之后最接近第k类目标域原型的原型组合物，即类型1原型组合物；是低置信度目标域样本子集，是其样本数。

66、进一步，步骤6的具体步骤如下：

67、步骤6.1，计算源域的样本预测结果和标签的标准交叉熵损失及原型预测结果和标签的标准交叉熵损失，即源域样本分类损失和原型分类损失；其中，源域样本分类损失记为原型分类损失记为具体如下：

68、

69、

70、式中，j(·,·)为标准交叉熵损失函数，f(·)表示将图片的张量矩阵映射到特征嵌入向量的特征提取器，c(·)为模型的分类器，e(·)数学期望函数；

71、步骤6.2，根据步骤5的对比损失和mmd度量损失以及标准交叉熵损失得到总损失函数，再通过多次迭代使图片分类模型的特征提取器和分类器损失最小，最终得到最优的图片分类模型；其中，特征提取器和分类器的优化目标分别为：

72、

73、

74、式中，α、γ均为超参数。

75、本发明与现有技术相比，具有如下优点与有益效果：

76、1、本发明方法可以有效地利用多个带标签具有不同分布的源域上的图片数据，提高对无标签的目标域样本的预测的准确率。

77、2、本发明设计一种基于穆尔-彭罗斯广义逆矩阵求解线性方程组最优解理论的原型组合机制，通过提高图片分类模型对有价值的源域的关注度进而提高对无标签的目标域样本的预测精度，同时，该原型组合机制相比于同类分配权重的方法，极大地减少了计算量，不需要对问题的先验知识，得到的结果也是最优解。

78、3、本发明在类别层次使多源域和目标域的同一类样本相互对齐，不仅消除了不同领域样本的领域间差异，也消除了类别内差异。

79、总之，本发明通过原型组合机制为源域原型分配权重，增强图片分类模型对有价值的源域的关注度，进而提高了目标域样本分类的准确率。并且本发明设计的原型组合机制在得到最优权重的同时极大地减少了计算量，不需要对问题的先验知识。在类别层次使多源域和目标域的同一类样本相互对齐，不仅消除了不同领域样本的领域间差异，也消除了类别内差异进而提高了对目标域样本预测的准确率。