一种图像分类方法、装置、电子设备及存储介质与流程

所属的技术人员能够理解，本技术的各个方面可以实现为系统、方法或程序产品。因此，本技术的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。与上述方法实施例基于同一发明构思，本技术实施例中还提供了一种电子设备，参阅图7所示，其为应用本技术实施例的一种电子设备的一个硬件组成结构示意图，电子设备700可以至少包括处理器701、以及存储器702。其中，存储器702存储有程序代码，当程序代码被处理器701执行时，使得处理器701执行上述任意一种图像分类的步骤。在一些可能的实施方式中，根据本技术的计算装置可以至少包括至少一个处理器、以及至少一个存储器。其中，存储器存储有程序代码，当程序代码被处理器执行时，使得处理器执行本说明书上述描述的根据本技术各种示例性实施方式的图像分类的步骤。例如，处理器可以执行如图3a中所示的步骤。下面参照图8来描述根据本技术的这种实施方式的计算装置800。如图8所示，计算装置800以通用计算装置的形式表现。计算装置800的组件可以包括但不限于：上述至少一个处理单元801、上述至少一个存储单元802、连接不同系统组件(包括存储单元802和处理单元801)的总线803。总线803表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器、外围总线、处理器或者使用多种总线结构中的任意总线结构的局域总线。存储单元802可以包括易失性存储器形式的可读介质，例如随机存取存储器(ram)8021和/或高速缓存存储器8022，还可以进一步包括只读存储器(rom)8023。存储单元802还可以包括具有一组(至少一个)程序模块8024的程序/实用工具8025，这样的程序模块8024包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。计算装置800也可以与一个或多个外部设备804(例如键盘、指向设备等)通信，还可与一个或者多个使得对象能与计算装置800交互的设备通信，和/或与使得该计算装置800能与一个或多个其它计算装置进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口805进行。并且，计算装置800还可以通过网络适配器806与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。如图所示，网络适配器806通过总线803与用于计算装置800的其它模块通信。应当理解，尽管图中未示出，可以结合计算装置800使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。与上述方法实施例基于同一发明构思，本技术提供的图像分类的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在电子设备上运行时，程序代码用于使电子设备执行本说明书上述描述的根据本技术各种示例性实施方式的图像分类方法中的步骤，例如，电子设备可以执行如图3a中所示的步骤。程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。尽管已描述了本技术的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本技术范围的所有变更和修改。显然，本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的精神和范围。这样，倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内，则本技术也意图包含这些改动和变型在内。

背景技术：

1、目前，为了在无法获取足量训练样本的情况下，实现图像分类任务，可以基于小样本学习的实现方式构建图像分类模型，进而基于小样本学习训练得到的目标图像分类模型实现图像分类任务。

2、相关技术下，实现图像分类的过程中，通常先基于目标图像分类模型中的图像特征提取网络，对输入的各类参考图像和待分类图像分别进行特征提取，再根据提取的图像特征之间的相似性，在各类参考图像中确定与待分类图像匹配的图像内容类别，以确定待分类图像对应的分类结果。

3、然而，相关技术下的目标图像分类模型，仅能对图像中的背景特征和前景特征进行综合提取，因而提取的图像特征会受到背景内容的极大干扰，无法依据提取的图像特征有效地确定图像的分类结果，降低了图像分类效果；另外，目标图像分类模型中图像特征提取网络的泛化性能差，在应用过程中仅能对训练时涉及到的图像内容类别进行分类，而在面对新内容类别的图像时，提取的图像特征的表达性不足，无法保障图像分类的准确性。

技术实现思路

1、本技术实施例提供一种图像分类方法、装置、电子设备及存储介质，以解决现有技术下实现图像分类时提取的图像特征受背景内容影响大、提取的图像特征表达性不足，无法保障图像分类的准确性的问题。

2、第一方面，提出一种图像分类方法，包括：

3、获取待分类图像，以及，获取预先对应各类候选子分类类别构建的各类候选图像；

4、将所述待分类图像和所述各类候选图像，输入已预训练的目标图像特征提取网络中，分别得到对应的初始待分类图像特征和各个初始候选图像特征；

5、采用已预训练的目标前景增强网络，基于在预训练过程中针对不同类别的样本图像学习得到的各个类别属性特征，分别对所述初始待分类图像特征和各类初始候选图像特征进行前景特征增强处理，得到对应的目标待分类图像特征和各类目标候选图像特征；

6、采用已预训练的目标分类网络，基于所述目标待分类图像特征与每个目标候选图像特征之间的特征相似度，确定所述待分类图像对应的分类结果。

7、第二方面，提出一种图像分类装置，包括：

8、第一获取单元，用于获取待分类图像；

9、第二获取单元，用于获取预先对应各类候选子分类类别构建的各类候选图像；

10、输入单元，用于将所述待分类图像，输入已预训练的目标图像特征提取网络中，得到对应的初始待分类图像特征，以及将所述各类候选图像，输入所述目标图像特征提取网络，得到对应的各个初始候选图像特征；

11、处理单元，用于采用已预训练的目标前景增强网络，基于在预训练过程中针对不同类别的样本图像学习得到的各个类别属性特征，分别对所述初始待分类图像特征和各类初始候选图像特征进行前景特征增强处理，得到对应的目标待分类图像特征和各类目标候选图像特征；

12、分类单元，用于采用已预训练的目标分类网络，基于所述目标待分类图像特征与每个目标候选图像特征之间的特征相似度，确定所述待分类图像对应的分类结果。

13、可选的，基于在预训练过程中针对不同类别的样本图像学习得到的各个类别属性特征，对所述初始待分类图像特征进行前景特征增强处理时，所述处理单元用于：

14、基于预训练过程中针对不同类别的样本图像学习得到的各个类别属性特征，分别确定所述初始待分类图像特征与各个类别属性特征之间的相似关系；

15、基于所述相似关系，确定所述初始待分类图像特征与各个类别属性特征之间的匹配权重；

16、基于所述匹配权重，确定所述各个类别属性特征对于所述初始待分类图像特征中各个位置特征值的增强程度值，以及基于各个增强程度值，实现对所述初始待分类图像特征的前景增强处理。

17、可选的，所述基于在预训练过程中针对不同类别的样本图像学习得到的各个类别属性特征，分别确定所述初始待分类图像特征与各个类别属性特征之间的相似关系时，所述处理单元用于：

18、获取预训练过程中针对不同类别的样本图像学习得到的各个类别属性特征，并对所述各个类别属性特征进行形式调整，获得所述各个类别属性特征对应的属性特征矩阵，以及对所述初始待分类图像特征进行形式调整，得到对应的图像特征矩阵；

19、计算所述属性特征矩阵和所述图像特征矩阵之间的矩阵乘积，得到表征所述初始待分类图像特征与各个类别属性特征之间相似关系的相似度矩阵。

20、可选的，所述基于所述相似关系，确定所述初始待分类图像特征与各个类别属性特征之间的匹配权重，并基于所述匹配权重，确定所述各个类别属性特征对于所述初始待分类图像特征中各个位置特征值的增强程度值时，所述处理单元用于：

21、针对所述相似度矩阵中各位置的相似度值进行归一化处理，并基于归一化处理后的各个位置的相似度值，得到表征初始待分类图像特征与各个类别属性特征之间匹配权重的权重参数矩阵；

22、基于所述由各个类别属性特征构成的特征矩阵和所述权重参数矩阵之间的矩阵乘积结果，确定所述各个类别属性特征对于所述初始待分类图像特征中各个位置处特征值的增强程度值。

23、可选的，所述基于各个增强程度值，实现对所述初始待分类图像特征的前景增强处理时，所述处理单元用于：

24、将各个位置的增强程度值，与所述初始待分类图像特征中对应位置的特征值进行特征值叠加处理，得到各个位置各自对应的特征值叠加结果；

25、将所述各个位置各自对应的特征值叠加结果进行自适应处理，实现对所述初始待分类图像特征中前景特征的增强。

26、可选的，所述获取预先对应各类候选子分类类别构建的各类候选图像时，所述获取单元用于：

27、响应于相关对象的选择指示，确定所述选择指示针对的各类候选子分类类别，以及分别获取预先针对所述各类候选子分类类别构建的各类候选图像。

28、可选的，对包含图像特征提取网络、前景增强网络，以及分类网络的图像分类模型进行预训练时，所述装置还包括训练单元，所述训练单元用于：

29、基于开源的目标数据集，对所述图像分类模型进行多训练周期的迭代预训练，直至达到预设的训练周期为止，并在一个训练周期内，执行以下操作：

30、基于从训练数据子集中抽取的样本图像组，对待训练的图像分类模型进行设定轮数的迭代训练，得到待测试图像分类模型，以及基于从测试数据子集中抽取的测试图像，确定所述待测试图像分类模型的分类准确率，其中，所述训练数据子集和测试数据子集包含在所述目标数据集中；

31、基于针对不同训练周期内的待测试图像分类模型确定的分类准确率，从各个待测试图像分类模型中，筛选出满足预设筛选条件的目标图像分类模型。

32、可选的，从训练数据子集中抽取样本图像时，所述训练单元用于：

33、在所述训练数据子集中针对预选的n类子分类类别，分别抽取k个样本图像作为一类参考样本，并分别抽取m个不重叠的样本图像作为待分类样本；

34、基于抽取的各类参考样本和各类待分类样本，构建n*m个样本图像组，其中，每个样本图像组中包括对应一种子分类类别的一个待分类样本，其中，n、k、m为正整数。

35、可选的，所述基于从训练数据子集中抽取的样本图像组，对待训练的图像分类模型进行设定轮数的迭代训练，得到待测试图像分类模型时，所述训练单元用于：

36、采用构建的样本图像组，对待训练的图像分类模型进行设定轮数的迭代训练，并基于在各轮迭代过程中计算得到的损失值，调整所述图像分类模型的模型参数；其中，在一轮迭代训练过程中，执行以下操作：

37、将获取的一个训练样本组输入待训练的图像分类模型，得到对应所述训练样本组中的待分类样本确定的预测分类结果，并基于所述预测分类结果与对应的分类标签之间的分类差异，计算损失值。

38、可选的，所述将获取的一个训练样本组输入待训练的图像分类模型，得到对应所述训练样本组中的待分类样本确定的预测分类结果时，所述训练单元用于：

39、将一个训练样本组中包括的待分类样本和各类参考样本，输入待训练的图像特征提取网络中，得到待分类样本图像特征和各个参考样本图像特征；

40、采用待训练的前景增强网络，基于针对各分类类别学习构建的类别属性特征，分别对所述待分类样本图像特征和各个参考样本图像特征进行前景特征增强处理，得到目标待分类样本图像特征和各个目标参考样本图像特征；

41、采用待训练的分类网络，基于所述目标待分类样本图像特征与各个目标参考样本图像特征之间的特征相似度，确定所述待分类样本图像对应的分类结果。

42、第三方面，提出一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述第一方面中任一项所述的图像分类方法。

43、第四方面，提出一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面中任一项所述的图像分类方法。

44、第五方面，提出一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现上述第一方面中任一项所述的图像分类方法。

45、本技术有益效果如下：

46、本技术实施例中，提出了一种图像分类方法、装置、电子设备及存储介质，获取待分类图像后，获取预先对应各类候选子分类类别构建的各类候选图像；再将所述待分类图像，输入已预训练的目标图像特征提取网络中，得到对应的初始待分类图像特征，以及将所述各类候选图像，输入所述目标图像特征提取网络，得到对应的各个初始候选图像特征；之后，采用已预训练的目标前景增强网络，基于在预训练过程中针对不同类别的样本图像学习得到的各个类别属性特征，分别对初始待分类图像特征和各类初始候选图像特征进行前景特征增强处理，得到对应的目标待分类图像特征和各类目标候选图像特征；再采用已预训练的目标分类网络，基于目标待分类图像特征与每个目标候选图像特征之间的特征相似度，确定待分类图像对应的分类结果。

47、这样，基于小样本学习预训练得到的目标图像特征提取网络、目标前景增强网络，以及目标分类网络，能够在各类候选子分类类别中确定待分类图像对应的分类结果；而且，在针对图像进行特征提取的过程中，借助于目标前景增强网络在预训练过程中学习得到的各个类别属性特征，能够对提取的图像特征中前景内容对应的特征进行增强，使得处理后的图像特征能够突出图像中前景的目标物区域，增加了对于图像中目标物的表达性，降低了背景内容对图像的特征干扰，因而能够有效表征出待分类图像中待分类的目标物的特征，为后续基于图像特征得到的分类结果的准确性提供了保障，有助于提高图像分类的准确性。