一种基于相似原型回放的类增量学习方法

本发明属于计算机视觉、深度学习领域，具体涉及一种基于相似原型回放的类增量学习方法。

背景技术：

1、图像分类是计算机视觉领域的一个重要任务，它旨在将输入的图像分为不同的类别或标签。类增量图像分类方法的应用背景常常涉及实际的目标分类任务，如智能手机上的图像分类应用。这种应用背景中，初始模型可以对一些常见类别进行分类，如猫、狗、汽车等。然而，随着用户的需求和数据的不断增长，这些应用需要不断适应新的类别，例如各种不同品种的狗或车型。类增量图像分类方法能够使这些应用持续学习和适应新类别，从而提供更准确和广泛的目标分类服务，符合现实生活中的多样化需求。

2、然而，目前绝大多数类增量方法在图像分类中面临以下两个方面的难题：

3、(1)灾难性遗忘问题

4、灾难性遗忘是持续学习中固有的遗忘旧类知识的问题，也是反向传播中不可避免的问题。这是因为模型在学习新类时一定会改变网络权重，使网络忘记之前学过的东西。

5、(2)前向转移

6、以往的增量学习方法通常只关注如何在学习新类别时防止遗忘旧类别，而很少考虑如何有效地利用以前学到的旧类别知识来学习新类别。在实际应用中，新类别和旧类别的知识通常是相关的，因此向前转移反映了真实知识的结构，使模型更适合处理现实世界的任务。好的增量学习方法应该能够在解决遗忘问题的同时，允许模型保持和积累对旧任务的知识，这些旧任务的知识可以帮助更好地学习新任务，从而提高整体性能。

7、综上所述，针对以上难题，提出了一种基于相似原型回放的类增量学习方法。

技术实现思路

1、鉴于上述问题，本发明的目的在于提供一种基于相似原型回放的类增量学习方法。

2、一种基于相似原型回放的类增量学习方法，包括以下步骤：

3、s1.模型训练：获取t时刻的数据集，包括新类图像及新类图像标签，在标准图像分类resnet-18神经网络上进行训练，训练方法包括相似类原型回放、相似度约束的正则化方法和特征提取器规范化；

4、上述相似类原型回放，即在学习新类时，通过回放与新类相似的旧类的原型来使模型从旧类中学习到有利于新类的知识；

5、上述相似度约束的正则化方法，即通过将正则化约束引入到模型的训练中，以确保模型在学习新类时不会影响旧类的性能；相似度即新类与旧类之间的相似性度量；

6、上述特征提取器规范化，即通过将当前模型提取的新数据特征与之前模型的特征进行匹配，来强制调整特征提取器的行为；

7、s2.原型保存：将完成任务t时刻数据集训练的模型保存，并保存t时刻的数据集中不同类别的原型，将t时刻保存的原型和t时刻之前保存的原型合并，所述原型是关于类别的抽象表示，是在高维特征空间中的向量，代表了该类别的共同特征，所述共同特征是类别中的图像具有相似的特征，这些特征是这一类别的代表性特点；

8、s3.进行目标识别：将目标图像输入训练后的模型，模型生成最终的预测结果。

9、上述resnet-18神经网络由特征提取器和分类器组成，特征提取器将输入的图像转换成高维的特征向量，其中包含了图像的抽象特征，分类器从特征提取器中提取的高维特征向量，并将其映射到不同类别的概率分布并得到最终的预测结果。

10、上述相似类原型回放包括相似度比较和选择原型回放：

11、相似度比较：提取新类样本的高维特征向量，比较新类样本的特征向量和旧类原型来判断相似，相似程度表示为：

12、

13、其中，x代表新类图像，sim(·,·)表示两者的相似度，cos(·,·)表示余弦函数，kc表示类别c的原型，φ(x)表示图像的高维特征向量，‖·‖表示向量的模；

14、选择原型回放：选择相似度大于相似度阈值ε的原型回放，在t时刻回放的原型被增强为：

15、

16、其中，θ～n(0,1)表示高斯噪声，和保存的原型有相同的维度。表示类别c在t时刻增强后的特征。参数δ用于动态调整权重。

17、当t＝1时，参数δ满足：

18、

19、当t>1时，参数δ满足：

20、

21、其中，n1表示t＝1时模型学习的类别数量，nold，nnew分别表示t时刻的旧类和新类数量，∑t,k是第t时刻k类特征的协方差矩阵，tr表示矩阵的迹，d是特征空间的维度，sqrt(·)表示平方函数，之后将得到的增强后的类知识选择性送到分类器中，按照以下损失函数公式进行反向传播

22、

23、其中，lprotoaug表示回放损失函数的值，w表示选择回放的原型数量，l(·,·)为交叉熵损失，g(·)为分类器使用softmax归一化函数将特征映射到不同的类别概率分布的结果，yi为旧类原型对应的标签。

24、上述相似度约束的正则化方法依据新类图像的特征向量和旧类原型的相似度来约束正则化方法，将新类图像的高维特征向量和旧类原型归一化并用作概率分布，按照以下损失函数公式进行反向传播：

25、

26、

27、其中，lkl表示正则化损失函数的值，p(xi)是新类的概率分布，q(xj)是旧类的概率分布，m和n分别表示新类和旧类的数量，λ表示相似度约束权重，公式如下所示：

28、

29、其中，arccos(·,·)表示反余弦函数。

30、在学习新类别的过程中，特征提取器会持续不断地更新，这会导致保存的旧知识与特征提取器之间的不匹配，为了解决这个问题，采用知识蒸馏法来对特征提取器进行规范化，通过将t时刻的模型提取的新类图像特征与t-1时刻的模型提取的新类图像特征进行匹配，来强制调整特征提取器的行为，匹配公式如下：

31、lkd＝‖ft(x)-ft-1(x)‖，

32、其中ft(·)表示当前模型的特征提取器，ft-1(·)表示上一阶段模型的特征提取器。

33、上述原型保存将每个已知的类别的图像进行特征提取，每个类别的高维特征向量的均值代表类别原型，将计算出的原型存储到原型容器中，以便在后续的增量学习中使用，原型计算的具体操作为：

34、

35、其中，kd为类别d的原型，h表示类别d的图像数量，φ(x)i表示每个样本的高维特征向量。

36、与现有技术相比，本发明具有以下有益效果：

37、1.从知识重用的角度出发，提出了相似类别特征感知类知识回放方法。在解决遗忘问题的同时，还能够从旧任务中学到的知识能够帮助学习新任务。

38、2.从解决灾难性遗忘的角度出发，提出了相似度调节正则化方法。相似度调节正则化方法允许模型在持续学习中根据新类别样本与旧类别知识之间的相似程度来动态调整权重，同时通过正则化来平衡新旧类别的学习，以解决灾难性遗忘问题。

39、3.将回放方法和正则化方法结合起来，使模型最大限度地向前转移的同时并最大限度地减少灾难性遗忘。在基准数据集上进行的大量实验表明，我们的方法在类增量场景中具有明显的性能提升。