一种视觉联合特征的增量学习方法、装置及存储介质与流程

本技术涉及计算机，特别涉及一种视觉联合特征的增量学习方法、装置及存储介质。

背景技术：

1、随着社会的不断发展进步，新数据和知识源源不断涌现，促使机器学习也要适应数据不断更新变化的动态环境，在此环境下，持续学习应运而生，持续学习的愿景是在新的数据以流式到达，同时出现新类别或新任务的情况下，人工智能系统能够做到在保留旧知识的情况下可以较好地适应新领域，学习新知识。

2、相关技术中，视觉认知任务中图像识别模型的持续学习实质上是对图像识别模型中的视觉适应网络的更新训练。但在视觉适应网络不断对新数据进行学习的过程中，容易使得网络在旧数据上出现灾难性遗忘，进而使得更新训练后的视觉适应网络的识别准确度下降，无法满足实际应用需求。

技术实现思路

1、为了解决现有技术的问题，本技术实施例提供了一种视觉联合特征的增量学习方法、装置及存储介质。所述技术方案如下：

2、一方面，提供了一种视觉联合特征的增量学习方法，所述方法包括：

3、获取当前样本图像以及当前样本图像对应每个预设类别的类别特征；

4、对当前样本图像进行编码处理得到当前任务未知特征；

5、基于待更新视觉适应网络分别对当前任务未知特征和历史任务未知特征进行特征提取，得到当前任务感知特征和历史任务感知特征；历史任务未知特征为历史更新中的任务未知特征；

6、基于当前任务感知特征、当前任务未知特征和当前样本图像对应的每个预设类别的类别特征，确定当前样本图像对应每个预设类别的相似度；

7、基于历史任务未知特征、历史任务感知特征和当前样本图像对应的每个预设类别的类别特征，确定历史任务未知特征对应每个预设类别的相似度；

8、基于当前样本图像对应每个预设类别的相似度，以及历史任务未知特征对应每个预设类别的相似度，确定损失值；

9、基于损失值，更新待更新视觉适应网络的网络参数，直至满足预设更新结束条件，得到更新后的视觉适应网络。

10、另一方面，提供了一种视觉联合特征的增量学习装置，该装置包括：

11、获取模块，用于获取当前样本图像以及当前样本图像对应每个预设类别的类别特征；

12、编码模块，用于对当前样本图像进行编码处理得到当前任务未知特征；

13、特征提取模块，用于基于待更新视觉适应网络分别对当前任务未知特征和历史任务未知特征进行特征提取，得到当前任务感知特征和历史任务感知特征；历史任务未知特征为历史更新中的任务未知特征；

14、第一相似度确定模块，用于基于当前任务感知特征、当前任务未知特征和当前样本图像对应的每个预设类别的类别特征，确定当前样本图像对应每个预设类别的相似度；

15、第二相似度确定模块，用于基于历史任务未知特征、历史任务感知特征和当前样本图像对应的每个预设类别的类别特征，确定历史任务未知特征对应每个预设类别的相似度；

16、损失值确定模块，用于基于当前样本图像对应每个预设类别的相似度，以及历史任务未知特征对应每个预设类别的相似度，确定损失值；

17、更新模块，用于基于损失值，更新待更新视觉适应网络的网络参数，直至满足预设更新结束条件，得到更新后的视觉适应网络。

18、在一个示例性的实施方式中，第一相似度确定模块，包括：

19、第一融合模块，用于融合当前任务感知特征和当前任务未知特征，得到当前视觉联合特征；

20、第三相似度确定模块，用于确定当前样本图像对应的每个预设类别的类别特征与当前视觉联合特征之间的相似程度，得到当前样本图像对应每个预设类别的相似度；

21、第二相似度确定模块，包括：

22、第二融合模块，用于融合历史任务未知特征和历史任务感知特征，得到历史视觉联合特征；

23、第四相似度确定模块，用于确定当前样本图像对应的每个预设类别的类别特征与历史视觉联合特征之间的相似程度，得到历史任务未知特征对应每个预设类别的相似度。

24、在一个示例性的实施方式中，损失值确定模块，包括：

25、归一化处理模块，用于对当前样本图像对应每个预设类别的相似度进行归一化处理，得到当前样本图像对应的归一化结果；归一化结果表征当前样本图像属于各预设类别的概率；

26、第一损失值确定模块，用于基于当前样本图像对应的归一化结果与当前样本图像对应的分类标签之间的差异，确定当前分类损失值；

27、第一获取模块，用于获取历史任务未知特征对应每个预设类别的历史相似度；历史相似度为历史任务未知特征在历史更新中对应的相似度；

28、第二损失值确定模块，用于基于历史任务未知特征对应每个预设类别的相似度与历史相似度之间的差异，确定历史分类损失值；

29、第三损失值确定模块，用于基于当前分类损失值和历史分类损失值，确定损失值。

30、在一个示例性的实施方式中，第二损失值确定模块，包括：

31、第四损失值确定模块，用于基于历史任务未知特征对应的分类标签和历史预测分类结果，确定第一历史分类损失值；

32、第五损失值确定模块，用于基于历史任务未知特征对应每个预设类别的相似度与历史相似度之间的差异，确定第二历史分类损失值；

33、第六损失值确定模块，用于确定第一历史分类损失值和第二历史分类损失值的和值，得到历史分类损失值。

34、在一个示例性的实施方式中，第五损失值确定模块，包括：

35、差值确定模块，用于确定历史任务未知特征对应每个预设类别的相似度与历史任务未知特征对应每个预设类别的历史相似度之间的差值，得到历史任务感知特征对应每个预设类别的相似度差异值；

36、统计模块，用于对历史任务未知特征对应每个预设类别的相似度差异值的平方进行统计处理，得到历史任务未知特征的目标相似度差异值；

37、第七损失值确定模块，用于基于历史任务未知特征的目标相似度差异值，确定第二历史分类损失值。

38、在一个示例性的实施方式中，历史任务未知特征为历史任务未知特征集中的任意一个任务未知特征；所述装置还包括：

39、第一存储模块，用于将当前任务未知特征存入目标任务未知特征集；

40、第一更新模块，用于在目标任务未知特征集中当前任务未知特征的数量等于预设任务未知特征数量，并获取到新产生的当前任务未知特征的情况下，基于新产生的当前任务未知特征更新目标任务未知特征集，得到采样特征集；采样特征集中当前任务未知特征的数量等于预设任务未知特征数量；

41、第二更新模块，用于在视觉适应网络更新完成的情况下，基于采样特征集更新历史任务未知特征集。

42、在一个示例性的实施方式中，第一更新模块，包括：

43、第二存储模块，用于将新产生的当前任务未知特征存入目标任务未知特征集，得到准目标任务未知特征集；

44、采样模块，用于从准目标任务未知特征集中随机采样出预设任务未知特征数量的当前任务未知特征，得到采样特征集。

45、另一方面，提供了一种电子设备，包括处理器和存储器，所述存储器中存储有至少一条指令或者至少一段程序，所述至少一条指令或者所述至少一段程序由所述处理器加载并执行以实现上述任一方面的视觉联合特征的增量学习方法。

46、另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令或者至少一段程序，所述至少一条指令或者所述至少一段程序由处理器加载并执行以实现如上述任一方面的视觉联合特征的增量学习方法。

47、另一方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。电子设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该电子设备执行上述任一方面的视觉联合特征的增量学习方法。

48、本技术实施例在当前任务中，通过获取当前样本图像以及当前样本图像对应每个预设类别的类别特征这两种模态数据，其中，每个预设类别的类别特征是通过将每个预设类别对应的类别提示文本输入至文本编码网络得到的类别特征得到的；利用图像编码网络对当前样本图像先进行编码处理，得到当前任务未知特征，后续利用待更新视觉适应网络分别对当前任务未知特征和历史任务未知特征进行特征提取，得到当前任务感知特征和历史任务感知特征；计算确定当前样本图像对应每个预设类别的相似度以及历史任务未知特征对应每个预设类别的相似度，并基于这两个相似度确定损失值；基于损失值，更新待更新视觉适应网络的网络参数，直至满足预设更新结束条件，得到更新后的视觉适应网络；由于待更新视觉适应网络的输入包括当前任务的图像和文本两种模态数据，即考虑了类别标签文本的自然语言包含的语义信息，更好地利用了文本空间中的上下文相关性，提供更有效信息，也包含了历史任务中的任务未知特征，即包含了历史数据特征，这使得在视觉适应网络进行持续学习更新的过程中，在提高了网络模型的可塑性的同时兼顾稳定性，降低了视觉适应网络在视觉认知任务上的灾难性遗忘，进而提高了更新后视觉适应网络的准确性。