基于动态神经网络扩展的持续小样本图像分类方法和系统与流程

所属的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

背景技术：

1、小样本学习的核心任务是图像分类，这要求目标模型能够扩展到指定类别上并对其进行正确判断。在利用深度模型求解经典图像分类问题时，训练集中包含大量目标类别的带标签样本，因此模型在训练阶段能够获取大量目标任务的相关知识，从而在测试集上拥有良好性能。与以往使用深度模型求解图像分类问题不同，小样本图像分类问题中的目标类别仅包含少量标注样本，甚至只有一个带标签样本，故而传统的深度模型训练方式在小样本图像分类问题上并不适用。由于深度模型的拟合需要大量训练样本的支持，而小样本任务的带标签样本数量又难以达到这一要求，因此模型需要在已有的大型数据集上进行预训练。经过预训练的模型在具备一定先验知识与特征提取能力后，我们将其迁移至下游的小样本任务，将模型已学习到的知识与目标任务的少量标注样本结合来求解分类问题。

2、持续小样本学习旨在设计一种机器学习算法，使模型能够通过少量带标注样本不断学习到新类的知识，同时不会忘记旧类的知识。该问题的困难在于，来自新类别的有限数据不仅会导致严重的过拟合，而且还会加剧对旧类知识的灾难性遗忘。此外，由于训练数据是顺序输入的，当前阶段学习到的分类器只能为特定类别提供判别信息，而持续小样本学习要求所有类别都参与测试。考虑到现实场景中存在大量具有持续增长特性的开放式问题，持续小样本学习是一个具有研究价值的方向。

3、针对该问题，一个简单的做法是保留以出现过的类别的部分带标签样本，当新类增加时，将旧类的带标签样本与新类带标签样本同时输入神经网络，对模型进行整体微调，在保证模型不遗忘旧类知识的同时增加模型对新类的识别能力。该方法的缺点在于，新类只有少量带标签样本，难以对模型整体进行调整，同时会破坏模型在大量训练数据下得到的高效特征提取网络。因此，如何只使用少量的有标注样本，帮助模型增量地学习全新类的特征提取能力是当前持续小样本学习的研究难点。

技术实现思路

1、为了解决现有技术中的上述问题，即现有技术的当新类增加时将旧类的带标签样本与新类带标签样本同时输入神经网络，对模型进行整体微调，在保证模型不遗忘旧类知识的同时增加模型对新类的识别能力，但新类只有少量带标签样本难以对模型整体进行调整，同时会破坏模型在大量训练数据下得到的高效特征提取网络的问题，本发明提供了一种基于动态神经网络扩展的持续小样本图像分类方法，所述方法包括：

2、步骤s100，通过带有已知类数据标签的样本训练基础特征提取网络，具体为：

3、所述特征提取网络包括一个特征提取器和一个投影层；

4、通过特征提取器对带有已知类数据标签的样本进行特征提取，获得基础视觉特征；将所述基础视觉特征通过特征投影层投影至可扩展特征空间中，并定义为已知类，在所述可扩展特征空间保留未使用区域，获得基础特征提取网络；

5、步骤s200，当需要对所述基础特征提取网络进行扩展时，将带有新类数据标签的样本和带有已知类数据标签的样本组合，得到扩展训练样本；；

6、步骤s300，将基础特征提取网络的特征提取器进行参数固定，并对扩展训练样本进行特征提取获得已知类视觉特征数据和新类视觉特征数据，通过投影层投影至可扩展特征空间，将新类视觉特征数据投影后的数据设定为新类；

7、步骤s400，将可扩展特征空间中的新类与已知类进行对齐，使投影层的训练损失低于预设的阈值或取最小值，获得训练好的特征提取网络；

8、步骤s500，通过图像采集设备获取待分类图像，通过所述训练好的特征提取网络提取待分类图像的视觉特征，进而通过增量类原型分类器对所述待分类图像的视觉特征进行分类，获得图像分类结果。

9、在一些优选的实施方式中，所述投影层，基于一个可学习矩阵构建；

10、所述可学习矩阵，其参数大小为[f d]，记为其中f表示基础特征提取器所提取的特征维度，d表示投影空间的维度。

11、在一些优选的实施方式中，所述投影层，将所述基础视觉特征通过投影层投影至可扩展特征空间中，并定义为已知类时，只训练[f：d0]，其中(0＜d0＜d)，保留[f d0：d]为未使用参数。

12、在一些优选的实施方式中，所述投影层，当需要对所述基础特征提取网络进行扩展时，从所述可学习矩阵中的未使用参数重新划分出扩充参数和新的可学习矩阵中的未使用参数，将扩充参数进行随机初始化，并通过扩展训练样本训练扩充参数，扩充参数u为[f：d1]，[d0＜d1＜d]，以此将新类视觉特征数据嵌入可扩展特征空间，并将新类与已知类进行对齐。

13、在一些优选的实施方式中，将所述新类与已知类进行对齐，具体为：

14、对于可扩展特征空间中的新类视觉特征数据，投影层的训练损失lcls为：：

15、

16、其中，表示针对来自于分布的所有样本x的数学期望，p为概率，y*为x对应的真实标签。

17、在一些优选的实施方式中，在得到扩展训练样本之后，还包括筛选代表数据的步骤，具体为：

18、所述扩展训练样本通过kmeans聚类算法选取每个类的离聚类中心最近的一个样本作为代表数据，输入待训练的基础特征提取网络。

19、本发明的另一方面，提出了一种基于动态神经网络扩展的持续小样本图像分类系统，所述系统包括：

20、初步训练模块，配置为通过带有已知类数据标签的样本训练基础特征提取网络，具体为：所述特征提取网络包括一个特征提取器和一个投影层；

21、通过特征提取器对带有已知类数据标签的样本进行特征提取，获得基础视觉特征；将所述基础视觉特征通过特征投影层投影至可扩展特征空间中，并定义为已知类，在所述可扩展特征空间保留未使用区域，获得基础特征提取网络；

22、扩展训练样本获取模块，配置为当需要对所述基础特征提取网络进行扩展时，将带有新类数据标签的样本和带有已知类数据标签的样本组合，得到扩展训练样本；

23、新类嵌入模块，配置为将基础特征提取网络的特征提取器进行参数固定，并对扩展训练样本进行特征提取获得已知类视觉特征数据和新类视觉特征数据，通过投影层投影至可扩展特征空间，将新类视觉特征数据投影后的数据设定为新类；

24、类对齐模块，配置为将可扩展特征空间中的新类与已知类进行对齐，使投影层的训练损失低于预设的阈值或取最小值，获得训练好的特征提取网络；

25、图像分类模块，配置为通过图像采集设备获取待分类图像，通过所述训练好的特征提取网络提取待分类图像的视觉特征，进而通过增量类原型分类器对所述待分类图像的视觉特征进行分类，获得图像分类结果。

26、在一些优选的实施方式中，所述投影层，具体为通过基于一个可学习矩阵构建的投影层，将所述视觉特征投影至可扩展特征空间的已知分类中；

27、所述可学习矩阵，其参数大小为[f d]，记为其中f表示基础特征提取器所提取的特征维度，d表示投影空间的维度。

28、本发明的第三方面，提出了一种电子设备，包括：

29、至少一个处理器；以及

30、与至少一个所述处理器通信连接的存储器；其中，

31、所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现上述的基于动态神经网络扩展的持续小样本图像分类方法。

32、本发明的第四方面，提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现上述的基于动态神经网络扩展的持续小样本图像分类方法。

33、本发明的有益效果：

34、(1)本发明通过将视觉特征投影至可扩展的特征空间的方法，只使用少量的有标注样本，帮助模型增量地学习全新类的特征提取能力，所获得的图像分类模型，真正实现了保证模型能够应对旧类知识灾难性遗忘的同时增加模型对新类的识别能力即准确率，且不会破坏模型在大量训练数据下得到的高效特征提取网络。

35、(2)本发明方法可用于全新类随时间动态出现的情况下，即使只有少量的有标签样本，也能快速理解并识别新出现的对象，同时不会随时间过分遗忘历史任务中所有已出现的对象类别。

36、(3)本发明采用动态神经网络扩展技术，模型能够随任务增加而动态调整特征空间，自适应地对齐旧类与新类特征；同时采用基于聚类的类代表点抽取方法，可以有效减少计算资源消耗。该发明实现方法简单、灵活，可以显著提升全新类对象的分类性能，并能有效改善对历史类对象的分类性能。