多标签图像分类方法、装置、设备及存储介质与流程

本发明涉及图像处理领域，具体而言，涉及多标签图像分类方法、装置、设备及存储介质。

背景技术：

多标签图像分类(multi－labelclassification)是计算机视觉中一项重要研究课题，特别是随着大数据时代的来临和深度学习技术的发展，图像分类获得越来越多的关注。然而普通的图像分类只需要给每个图像分类为一个标签，而多标签分类则需要对每个图像中包含的目标正确分类，不同标签的目标在图像中的大小不尽相同，每个图像标签数量也不固定，给多标签分类带来极大的困难。而目前现有研究中多采用传统的问题转换(problemtransformation)和算法改造(algorithmadaptation)方法来解决多标签图像分类问题，但是这些传统分类方法均不适合处理数据多样性高、类别数多的多标签图像分类问题，无法准确实现多标签分类。

技术实现要素：

本发明实施例提供的多标签图像分类方法、装置、设备及存储介质，可以解决现有技术中的无法提高多标签图像分类的精度的技术问题。

为了实现上述目的，本发明实施例采用的技术方案如下：

第一方面，本发明实施例提供的一种多标签图像分类方法，包括：提取待处理图像的第一特征图像；对所述第一特征图像进行第一降维处理与第一分类处理生成第一标签分类预测结果，所述第一标签分类预测结果用于表示每个类别标签的第一分类结果；对所述第一特征图像进行特征提取，生成第二特征图像；对所述第二特征图像进行第二降维处理与第二分类处理生成第二标签分类预测结果，所述第二标签分类预测结果用于表示所述每个类别标签的第二分类结果；根据所述第一标签分类预测结果与所述第二标签分类预测结果确定所述待处理图像的目标预测结果。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，所述第一特征图像的维度为第一维度，所述的对所述第一特征图像进行第一降维处理与第一分类处理生成第一标签分类预测结果，包括：对所述第一特征图像进行池化处理，以得到第二维度的特征向量，所述第二维度小于所述第一维度；通过将所述第二维度的所述特征向量输入第一全连接层进行分类处理，生成所述第一标签分类预测结果。

结合第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第二种可能的实施方式，所述的对所述第一特征图像进行池化处理，以得到第二维度的特征向量，包括：根据最大池化函数和平均池化函数确定预设池化函数；通过所述预设池化函数对所述第一特征图像做池化处理，以得到所述第二维度的所述特征向量。

结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，所述的对所述第一特征图像进行特征提取，生成第二特征图像，包括：基于预设分类的类别标签数对所述第一特征图像进行特征提取，生成第三维度的所述第二特征图像，所述第三维度等于所述类别标签数与预设常数的乘积，且所述第三维度小于所述第一特征图像的第一维度。

结合第一方面的第三种可能的实施方式，本发明实施例提供了第一方面的第四种可能的实施方式，所述的对所述第二特征图像进行第二降维处理与第二分类处理生成第二标签分类预测结果，包括：对所述第二特征图像进行池化处理，以得到与所述类别标签数相同维度的特征向量；通过将与所述类别标签数相同维度的所述特征向量输入

第二全连接层进行分类处理，生成所述第二标签分类预测结果。

结合第一方面，本发明实施例提供了第一方面的第五种可能的实施方式，所述的根据所述第一标签分类预测结果与所述第二标签分类预测结果确定目标预测结果，包括：确定所述第一标签分类预测结果与所述第二标签分类预测结果的平均值作为所述目标预测结果。

结合第一方面，本发明实施例提供了第一方面的第六种可能的实施方式，所述方法还包括：基于预设规则确定所述目标预测结果的准确率。

结合第一方面的第六种可能的实施方式，本发明实施例提供了第一方面的第七种可能的实施方式，所述的基于预设规则确定所述目标预测结果的准确率，包括：基于sigmoid函数与交叉熵损失函数确定所述目标预测结果对应的损失值；根据所述损失值确定所述准确率。

结合第一方面的第七种可能的实施方式，，本发明实施例提供了第一方面的第八种可能的实施方式，所述的基于sigmoid函数与交叉熵损失函数确定所述目标预测结果对应的损失值，包括：根据所述sigmoid函数计算所述目标预测结果对应的第一分类值；根据所述交叉熵损失函数计算所述第一分类值对应的所述损失值。

第二方面，本发明实施例提供的一种多标签图像分类装置，包括：第一提取模块，用于提取待处理图像的第一特征图像；第一处理模块，用于对所述第一特征图像进行第一降维处理与第一分类处理生成第一标签分类预测结果，所述第一标签分类预测结果用于表示每个类别标签的第一分类结果；第二提取模块，用于对所述第一特征图像进行特征提取，生成第二特征图像；第二处理模块，用于对所述第二特征图像进行第二降维处理与第二分类处理生成第二标签分类预测结果，所述第二标签分类预测结果用于表示所述每个类别标签的第二分类结果；第三处理模块，用于根据所述第一标签分类预测结果与所述第二标签分类预测结果确定所述待处理图像的目标预测结果。

第三方面，本发明实施例提供的一种终端设备，包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面任一项所述多标签图像分类方法的步骤。

第四方面，本发明实施例提供的一种存储介质，所述存储介质上存储有指令，当所述指令在计算机上运行时，使得所述计算机执行如第一方面任一项所述的多标签图像分类方法。

与现有技术相比，本发明实施例带来了以下有益效果：

本发明实施例提供的多标签图像分类方法、装置、设备及存储介质，通过提取待处理图像的第一特征图像，对第一特征图像进行第一降维处理与第一分类处理生成第一标签分类预测结果，并且对第一特征图像进行特征提取，生成第二特征图像；对第二特征图像进行第二降维处理与第二分类处理生成第二标签分类预测结果；根据第一标签分类预测结果与第二标签分类预测结果确定待处理图像的目标预测结果。换言之，本发明实施例中的多标签图像分类方法一方面是将通过第一特征图像进行分类得到第一标签分类预测结果作为目标预测结果的一部分，将从第一特征图像进一步提取第二特征图像，以及基于第二特征图像进行分类，得到第二标签分类预测结果作为目标预测结果的另外一部分，从而通过两个并行的分类处理分支得到两个分类结果，进而综合考虑两个分类结果得到目标分类结果；另一方面，因为从第一特征图像进一步提取第二特征图像，并基于第二特征图像进行分类，所以通过进一步提取图像特征以解决多标签的分类注意不到图像中多个不同目标的问题，通过以上两个方面，提高了多标签图像分类的精度。

本公开的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本公开的上述技术即可得知。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明第一实施例提供的多标签图像分类方法的流程图；

图2为图1所示的多标签图像分类方法中的网络结构流程图；

图3为本发明第二实施例提供的多标签图像分类装置的功能模块示意图；

图4为本发明第三实施例提供的一种终端设备的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面结合附图，对本发明的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。

第一实施例

由于现有的多标签图像分类方法仅适用于对多样性低且类别数较少的图像标签进行分类，为了提高对多样性高、类别数多的处理数据的分类是精度，本实施例首先提供了一种多标签图像分类方法，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。以下对本实施例进行详细介绍。

请参阅图1，是本发明实施例提供的多标签图像分类方法的流程图。下面将对图1所示的具体流程进行详细阐述。

步骤s101，提取待处理图像的第一特征图像。

在本发明实施例中，待处理图像可以是用户以图片格式所上传的待处理图像，如bmp、jpg或png等格式。还可以是图像采集装置(如摄像头)捕获的拍摄画面。或者是用户通过网络所下载的图片格式的待处理图像。

其中，为便于描述，以下将第一特征图像的特征维度称为第一维度。第一维度例如为n，n为正整数。通常，n的取值与输入的待处理图像的大小、用户需要分类的分类标签数、所选择的卷积核(在步骤s101为通过卷积层实现特征提取的情况下)的大小相关。

如图2所示，作为一种实施方式，第一特征图像为通过深度卷积网络resnet后会得到对应的卷积特征。例如，待处理图像为448＊448的图像，通过resnet网络得到2048＊14＊14维(第一维度)的第一特征图像。

在实际运用中，还可以通过其它方式提取待处理图像的特征，进而得到第一特征图像，例如，通过vgg网络或inception网络等方式提取待处理图像的特征，进而得到第一特征图像。

步骤s102，对所述第一特征图像进行第一降维处理与第一分类处理生成第一标签分类预测结果，所述第一标签分类预测结果用于表示每个类别标签的第一分类结果。

作为一种可能的实现方式，步骤s102包括：对第一特征图像进行池化处理，以得到第二维度的特征向量，其中，第二维度小于第一维度；通过将第二维度的特征向量输入第一全连接层进行分类处理，生成第一标签分类预测结果。

可选的，对第一特征图像进行池化处理，以得到第二维度的特征向量，包括：根据最大池化函数和平均池化函数确定预设池化函数，通过预设池化函数对第一特征图像做池化处理，以得到第二维度的特征向量。例如根据第一预设常数与最大池化函数确定第一子函数；根据第二预设常数与平均池化函数确定第二子函数；根据所述第一子函数与所述第二子函数确定该预设池化函数。

其中，预设池化函数可以表示为：f＝α*fm+β*fa，其中，α和β表示可学习的参数，通过最终损失函数的损失值(loss)反向传播更新，且满足α+β＝1，f表示预设池化函数，fm表示表示最大池化函数，用于对邻域内特征点取最大。fa表示平均池化函数，用于对邻域内特征点只求平均。α*fm表示第一子函数，β*fa表示第二子函数。

其中，预设分类的类别标签数可以为用户根据实际需求所设置的，在此，不作具体限定。例如，用户需要获取待处理图像中的三个类别的类别标签。如待处理图像中包含人、小狗、小猫、太阳等类别，但是用户只需要确定小狗、小猫和太阳这三个类别。

当然，预设分类的类别标签数也可以是默认的，例如就默认包含人和小狗两个类别；也可以是确定图像上的所有类别为预设分类的类别标签数，例如若一个待处理图像上只包括人、小狗、小猫、太阳四个类别，那么确定图像上的所有类别为人、小狗、小猫、太阳四个类别为预设分类的类别标签数。

需要说明的是，本发明实施例中的预设分类的类别标签数可以是1，也可以大于1。在预设分类的类别标签数大于1时，本发明实施例中的多标签图像分类方法的效果会更明显。

另外，在本实施例中，通过预设池化函数池化处理后所得到的特征向量既包含最大池化的信息也包含平均池化的信息，从而可以充分利用二者的优势，弥补单独使用最大池化或平均池化的劣势，进而可以有效解决平均池化丢失信息和最大池化保留不相关信息的问题，从而使得所得到的第一标签分类预测结果更加准确。

继续以步骤s101里的例子来说，如图2所示，假设待处理图像为448＊448的图像，通过resnet网络得到2048＊14＊14维的第一特征图像。则2048＊14＊14则作为上述的第一维度。当通过预设池化函数(例如图2中的max－averagepooling)处理后，得到2048维度的特征向量，此时2048维度作为第二维度，假设预设分类的类别标签数为c，c小于2048。然后通过预设分类的类别标签数以及第二维度分别配置第一全连接层的输入层与输出层对应参数，故第一全连接层为2048×c。最后将2048维度的特征向量经过2048×c的第一全连接层计算得到第一标签分类预测结果，该第一标签分类预测结果为c个向量的集合，每个向量分别表示每个类别所对应的预测结果。

假设c为3，则第一标签分类预测结果包括3个向量的集合，如集合为a{a1，a2，a3}，则a1表示第一个分类的预测结果，a2表示第二个分类的预测结果，a3表示第三个分类的预测结果。

可选地，通过sigmoid函数对第一标签分类预测结果进行计算，得到分类值，当分类值大于0.5表明对应的标签被分类为正，其中，正表示预测结果中含有这个标签，小于0.5表明对应的标签被分类为负，负表示预测结果中不含有这个标签，从而通过正负来表示是否含有标签，而不需要考虑图像标签个数的问题。

步骤s103，对所述第一特征图像进行特征提取，生成第二特征图像。

作为一种可能的实现方式，第二特征图像为使用卷积神经网络的卷积层进一步提取第一特征图像得到的特征图像。

其中，第二特征图像的特征维度(下称第三维度)小于第一特征图像的特征维度。

当然，在实际运用中，也可以通过其它方式对第一特征图像进行特征提取，进而获得第二特征图像，例如通过vgg或inception等方式对第一特征图像进行特征提取。

可选的，不管是通过哪种方式对第一特征图像进行特征提取，步骤s103包括：基于预设分类的类别标签数对第一特征图像进行特征提取，生成第三维度的第二特征图像，第三维度等于类别标签数与预设常数的乘积，且所述第三维度小于所述第一特征图像的第一维度，其中，该预设常数为输出的图像的长与宽的乘积。

继续以前述的例子来说，在图2中通过resnet网络得到2048＊14＊14维的第一特征图像后，再根据预设分类的类别标签数c进一步提取网络特征，得到c＊14＊14维的第二特征图像，其中，c＊14＊14维即为上述的第三维度，14＊14为预设常数。

步骤s104，对所述第二特征图像进行第二降维处理与第二分类处理生成第二标签分类预测结果，所述第二标签分类预测结果用于表示所述每个类别标签的第二分类结果。

作为一种可能的实现方式，步骤s104包括：对第二特征图像进行池化处理，以得到与类别标签数相同维度的特征向量；通过将与类别标签数相同维度的特征向量输入第二全连接层进行分类处理，生成第二标签分类预测结果，其具体过程可以为：

通过最大池化函数对第二图像特征做池化处理，以得到与类别标签数相同维度的特征向量。然后将与类别标签数相同维度的特征向量第二全连接层计算结果，将该计算结果作为第二标签分类预测结果。

继续以前述的例子来说，在图2中得到c＊14＊14维的第二特征图像后。通过最大池化函数(例如图2中的maxpooling)降维得到c维的特征向量，然后将c维的特征向量通过c×c的第二全连接层计算得到第二标签分类预测结果，该第二标签分类预测结果为c个向量的集合，每个向量分别表示每个类别所对应的预测结果。

可选地，为了保证第二标签分类预测结果能够得到正确的更新，对第二标签分类预测结果使用sigmoid二值交叉熵损失函数计算第二损失值，其中，通过第二损失值的大小来衡量本申请中所使用的resnet网络训练程度好坏。其中，第二损失值满足：

其中，x表示对y执行sigmoid计算之后所得到的结果，y表示c个向量，且其中，0表示图像中不含有这个标签，1表示图像中含有这个标签。

在本实施例中，通过进一步使用一个新的具有更大卷积核的卷积层对第一特征图像进行特征提取，从而从第一特征图像中学习图像对应目标的‘注意力’图，对学习到的注意力图使用最大池化降维，最后通过第二全连接层学习最终的分支预测结果，以及通过二进制交叉熵损失函数可以学习到更强的图像注意力特征，能够极大的帮助解决多标签的分类注意不到图像中多个不同目标的问题，进而有效提高对多标签图像分类的精度。

步骤s105，根据所述第一标签分类预测结果与所述第二标签分类预测结果确定所述待处理图像的目标预测结果。

其中，目标预测结果是通过先确定第一标签分类预测结果与所述第二标签分类预测结果的平均值，即将第一标签分类预测结果与所述第二标签分类预测结果相加取平均所得到的平均值，然后将平均值作为目标预测结果。

在一可选的实施例中，还可以基于预设规则确定目标预测结果的准确率，其具体过程可以为：

先基于sigmoid函数与交叉熵损失函数确定目标预测结果对应的损失值，如根据sigmoid函数计算目标预测结果对应的第一分类值；根据交叉熵损失函数计算第一分类值对应的损失值。最后根据损失值确定准确率。例如损失值越小，则准确率越高，则表示目标预测结果的越准确，即对多标签图像分类的精度越高。

在本发明实施例中，通过使用sigmoid函数相较于现有技术中的softmax来说。其中，softmax需要对网络最后的预测结果做归一化操作，对于单标签分类任务，只需要选出归一化后最大的值所对应的标签作为最终的预测结果，而对于多标签分类来说，每个图像所包含的标签数量是未知的，使用softmax无法准确的预知准确的图像的标签，另外，softmax归一化的操作会造成不同标签之间的结果相互影响，影响对应标签loss的反向传播。然而通过sigmoid函数对第一标签分类预测结果和第二标签分类预测结果进行计算，得到分类值，当分类值大于0.5表明对应的标签被分类为正，小于0.5表明对应的标签被分类为负，从而通过正负来表示是否含有标签，而不需要考虑图像标签个数的问题，进而能够有效避免不同标签之间的结果相互影响的问题，进而使得得到的目标预测结果更加准确，对多标签分类的精度越高。

本发明实施例所提供的多标签图像分类方法，通过提取待处理图像的第一特征图像，对第一特征图像进行第一降维处理与第一分类处理生成第一标签分类预测结果，并且对第一特征图像进行特征提取，生成第二特征图像；对第二特征图像进行第二降维处理与第二分类处理生成第二标签分类预测结果；根据第一标签分类预测结果与第二标签分类预测结果确定待处理图像的目标预测结果。换言之，本发明实施例中的多标签图像分类方法一方面是将通过第一特征图像进行分类得到第一标签分类预测结果作为目标预测结果的一部分，将从第一特征图像进一步提取第二特征图像，以及基于第二特征图像进行分类，得到第二标签分类预测结果作为目标预测结果的另外一部分，从而通过两个并行的分类处理分支得到两个分类结果，进而综合考虑两个分类结果得到目标分类结果；另一方面，因为从第一特征图像进一步提取第二特征图像，并基于第二特征图像进行分类，所以通过进一步提取图像特征以解决多标签的分类注意不到图像中多个不同目标的问题，通过以上两个方面，提高了多标签图像分类的精度。

为了更直观的体现本发明实施例中的多标签图像分类方法的有益效果，特将本发明实施例中的分类方法在业界目前大规模图像权威数据集ms－coco上多标签分类精度实验结果与现有方法进行对比，如表一所示：

表一

其中，为了更好的衡量方法的有效性，表一里提供了七个指标作为衡量标准，分别是op(overallprecision)、or(overallrecall)、of(overallf1)、cp(pre－classprecision)、or(pre－classrecall)、of(pre－classf1)、map(meanaverageprecision)。其中，表一中的各项指标均是越大越好，关于表一中的各项指标的计算公式如下所示。

其中，c表示要预测的类别个数，i表示索引，表示预测对的第i类别的数量，表示预测的第i类别的数量，表示所有的第i类别的数量。

其中，warp出自论文《deepconvolutionrankingformultilabelimageannotation》；cnn－rnn(convolutionalneuralnetwork－recurrentneuralnetworks，卷积神经网络－循环神经网络)出自论文《aunifiedframeworkformulti－labelimageclassification》；rlsd出自论文《multi－labelimageclassificationwithregionallatentsemanticdependencies》；rdar出自论文《multi－labelimagerecognitionbyrecurrentlydiscoveringattentionalregions》；resnet101和resent107都是使用resent网络的结果；resnet101－semantic和resnet－srn－att、resnet－srn均是论文《learningspatialregularizationwithimage－levelsupervisionsformulti－labelimageclassification》中所提出的三个方法。

其中，of和cf是较为重要的指标，map为最为重要的指标。从而通过表一能够直观地看出本发明实施例所提供的多标签图像分类方法所得到的of、cf和map指标的数值相对现有技术的方法所得到的结果来说均为最大值，所以相对现有技术来说，通过本发明实施例中的多标签图像分类方法能够有效提高多标签图像分类的精度。

第二实施例

对应于第一实施例中的多标签图像分类方法，图3示出了采用第一实施例所示的多标签图像分类方法一一对应的多标签图像分类装置。如图3所示，所述多标签图像分类装置400包括第一提取模块410、第一处理模块420、第二提取模块430、第二处理模块440和第三处理模块450。其中，第一提取模块410、第一处理模块420、第二提取模块430、第二处理模块440和第三处理模块450的实现功能与第一实施例中对应的步聚一一对应，为避免赘述，本实施例不一一详述。

第一提取模块410，用于提取待处理图像的第一特征图像。

第一处理模块420，用于对第一特征图像进行第一降维处理与第一分类处理生成第一标签分类预测结果，第一标签分类预测结果用于表示每个类别标签的第一分类结果。

可选地，第一特征图像的维度为第一维度，第一处理模块420，还用于对对第一特征图像进行池化处理，以得到第二维度的特征向量，第二维度小于第一维度；通过将第二维度的特征向量输入第一全连接层进行分类处理，生成第一标签分类预测结果。

其中，对所述第一特征图像进行池化处理，以得到第二维度的特征向量，包括：根据最大池化函数和平均池化函数确定预设池化函数；通过预设池化函数对第一特征图像做池化处理，得到第二维度的特征向量。

第二提取模块430，用于对第一特征图像进行特征提取，生成第二特征图像。

可选地，所述第二提取模块430，还用于基于预设分类的类别标签数对第一特征图像进行特征提取，生成第三维度的第二特征图像，第三维度等于类别标签数与预设常数的乘积，且所述第三维度小于所述第一特征图像的第一维度。

第二处理模块440，用于对第二特征图像进行第二降维处理与第二分类处理生成第二标签分类预测结果，第二标签分类预测结果用于表示每个类别标签的第二分类结果。

可选地，第二处理模块440，还用于对第二特征图像进行池化处理，以得到与类别标签数相同维度的特征向量；通过将与类别标签数相同维度的特征向量输入第二全连接层进行分类处理，生成第二标签分类预测结果。

第三处理模块450，用于根据第一标签分类预测结果与第二标签分类预测结果确定待处理图像的目标预测结果。

可选地，第三处理模块450，还用于确定第一标签分类预测结果与第二标签分类预测结果的平均值作为目标预测结果。

进一步地，多标签图像分类装置还包括准确率计算模块。准确率计算模块用于基于预设规则确定目标预测结果的准确率。

可选地，准确率计算模块，还可以用于基于sigmoid函数与交叉熵损失函数确定目标预测结果对应的损失值；根据损失值确定准确率。

其中，基于sigmoid函数与交叉熵损失函数确定目标预测结果对应的损失值，包括：根据sigmoid函数计算目标预测结果对应的第一分类值；根据交叉熵损失函数计算第一分类值对应的损失值。

进一步地，多标签图像分类装置还包括第四处理模块。第四处理模块用于基于交叉熵损失函数确定第二标签分类预测结果所对应的第二损失值。

第三实施例

如图4所示，是终端设备300的示意图。所述终端设备300包括存储器302、处理器304以及存储在所述存储器302中并可在所述处理器304上运行的计算机程序303，所述计算机程序303被处理器304执行时实现第一实施例中的所述多标签图像分类方法，为避免重复，此处不再赘述。或者，所述计算机程序303被处理器304执行时实现第二实施例所述多标签图像分类装置中各模型/单元的功能，为避免重复，此处不再赘述。

示例性的，计算机程序303可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器302中，并由处理器304执行，以完成本发明。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序303在终端设备300中的执行过程。例如，计算机程序303可以被分割成第二实施例中的第一提取模块410、第一处理模块420、第二提取模块430、第二处理模块440和第三处理模块450，各模块的具体功能如第一实施例或第二实施例所述，在此不一一赘述。

终端设备300可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。

其中，存储器302可以是，但不限于，随机存取存储器(randomaccessmemory，ram)，只读存储器(readonlymemory，rom)，可编程只读存储器(programmableread－onlymemory，prom)，可擦除只读存储器(erasableprogrammableread－onlymemory，eprom)，电可擦除只读存储器(electricerasableprogrammableread－onlymemory，eeprom)等。其中，存储器302用于存储程序，所述处理器304在接收到执行指令后，执行所述程序，前述本发明实施例任一实施例揭示的流程定义的方法可以应用于处理器304中，或者由处理器304实现。

处理器304可能是一种集成电路芯片，具有信号的处理能力。上述的处理器304可以是通用处理器，包括中央处理器(centralprocessingunit，cpu)、网络处理器(networkprocessor，np)等；还可以是数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现成可编程门阵列(field－programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

可以理解的是，图4所示的结构仅为终端设备300的一种结构示意图，终端设备300还可以包括比图4所示更多或更少的组件。图4中所示的各组件可以采用硬件、软件或其组合实现。

第四实施例

本发明实施例还提供一种存储介质，所述存储介质上存储有指令，当所述指令在计算机上运行时，所述计算机程序被处理器执行时实现第一实施例中的所述多标签图像分类方法，为避免重复，此处不再赘述。或者，所述计算机程序被处理器执行时实现第二实施例所述多标签图像分类装置中各模型/单元的功能，为避免重复，此处不再赘述。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可以通过硬件实现，也可以借助软件加必要的通用硬件平台的方式来实现，基于这样的理解，本发明的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是cd－rom，u盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施场景的方法。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。