图像分类方法和装置与流程

本申请涉及计算机技术领域，具体涉及一种图像分类方法和装置。

背景技术：

随着计算机技术的飞速发展，图像处理技术可应用的范围越来越广泛。通过图像处理技术，可以根据图像中包含的内容，基于图像分类模型对图像进行分类。

在训练图像分类模型时，通常直接利用图像的标签信息进行训练，这样训练得到的图像分类模型的泛化性能较差。

技术实现要素：

本申请实施例提供一种图像分类方法和装置，可以提高模型对图像分类的准确性和泛化性能。

本申请实施例提供一种图像分类方法，包括：

获取训练数据和待训练的自编码模型，所述训练数据包括样本图像、所述样本图像对应的标签信息以及参考图像，所述自编码模型包括第一特征提取分支和第二特征提取分支、解码器，所述第一特征提取分支和所述第二特征提取分支共用编码器；

基于所述样本图像及其对应的标签信息，对所述第一特征提取分支进行预训练，得到预训练后的第一特征提取分支，所述第一特征提取分支包括编码器和第一特征提取层；

通过所述预训练后的第一特征提取分支，对所述样本图像和所述参考图像进行特征提取，得到所述样本图像对应的样本特征信息和所述参考图像对应的参考特征信息；

基于所述样本特征信息和所述参考特征信息之间的损失值，对所述参考图像进行更新，得到所述样本图像对应的第一特征图像；

根据所述样本图像和所述第一特征图像对自编码模型进行训练，得到训练后的自编码模型，所述训练后的自编码模型用于对图像进行分类。

相应的，本申请实施例提供一种图像分类装置，包括：

获取单元，用于获取训练数据和待训练的自编码模型，所述训练数据包括样本图像、所述样本图像对应的标签信息以及参考图像，所述自编码模型包括第一特征提取分支和第二特征提取分支、解码器，所述第一特征提取分支和所述第二特征提取分支共用编码器；

第一训练单元，用于基于所述样本图像及其对应的标签信息，对所述第一特征提取分支进行预训练，得到预训练后的第一特征提取分支，所述第一特征提取分支包括编码器和第一特征提取层；

提取单元，用于通过所述预训练后的第一特征提取分支，对所述样本图像和所述参考图像进行特征提取，得到所述样本图像对应的样本特征信息和所述参考图像对应的参考特征信息；

更新单元，用于基于所述样本特征信息和所述参考特征信息之间的损失值，对所述参考图像进行更新，得到所述样本图像对应的第一特征图像；

第二训练单元，用于根据所述样本图像和所述第一特征图像对自编码模型进行训练，得到训练后的自编码模型，所述训练后的自编码模型用于对图像进行分类。

可选的，在本申请的一些实施例中，所述第二训练单元可以包括第一确定子单元、第一提取子单元、解码子单元和第一调整子单元，如下：

所述第一确定子单元，用于将所述样本图像和所述第一特征图像分别确定为训练图像；

第一提取子单元，用于通过所述预训练后的第一特征提取分支和所述第二特征提取分支，对所述训练图像进行特征提取，得到所述训练图像的特征信息；

解码子单元，用于通过所述解码器对所述训练图像的特征信息进行解码处理，得到解码后训练图像；

第一调整子单元，用于基于所述解码后训练图像和所述训练图像之间的重建损失值，对自编码模型的第二特征提取分支中的参数进行调整，得到训练后的自编码模型。

可选的，在本申请的一些实施例中，所述自编码模型还包括第一分类模块和第二分类模块；所述训练图像的特征信息包括所述样本图像的第一特征信息和第二特征信息，所述第一特征信息是通过所述预训练后的第一特征提取分支提取得到的，所述第二特征信息是通过所述第二特征提取分支提取得到的；所述标签信息为所述样本图像属于预设类别的期望概率；

所述第一调整子单元具体可以用于通过所述第一分类模块，基于所述样本图像的第一特征信息对所述样本图像进行分类，得到所述样本图像属于预设类别的实际第一概率；基于所述实际第一概率和所述期望概率之间的第一分类损失值，对所述预训练后的第一特征提取分支和所述第一分类模块的参数进行调整；通过所述第二分类模块，基于所述样本图像的第二特征信息对所述样本图像进行分类，得到所述样本图像属于预设类别的实际第二概率；基于所述实际第二概率和所述期望概率之间的第二分类损失值，对所述第二分类模块的参数进行调整；基于所述解码后训练图像和所述训练图像之间的重建损失值，对所述第二特征提取分支中的参数进行调整；当所述重建损失值、所述第一分类损失值和所述第二分类损失值满足预设条件时停止调整，得到训练后的自编码模型。

可选的，在本申请的一些实施例中，步骤“当所述重建损失值、所述第一分类损失值和所述第二分类损失值满足预设条件时停止调整，得到训练后的自编码模型”，可以包括：

确定所述重建损失值、所述第一分类损失值和所述第二分类损失值对应的权重；

基于所述权重，对所述重建损失值、所述第一分类损失值和所述第二分类损失值进行加权融合，得到所述自编码模型的总损失；

当所述总损失满足预设条件时停止调整，得到训练后的自编码模型。

可选的，在本申请的一些实施例中，所述更新单元可以包括第一更新子单元、第二确定子单元、第二提取子单元和返回子单元，如下：

所述第一更新子单元，用于基于所述样本特征信息和所述参考特征信息之间的损失值，对所述参考图像进行更新，得到候选第一特征图像；

第二确定子单元，用于将所述候选第一特征图像作为新的参考图像；

第二提取子单元，用于通过所述预训练后的第一特征提取分支，对新的参考图像进行特征提取，得到所述新的参考图像对应的参考特征信息；

返回子单元，用于返回执行所述基于所述样本特征信息和所述参考特征信息之间的损失值，对所述参考图像进行更新，得到候选第一特征图像的步骤，直到候选第一特征图像满足预设更新条件，将满足所述预设更新条件的候选第一特征图像作为所述样本图像对应的第一特征图像。

可选的，在本申请的一些实施例中，所述更新单元可以包括计算子单元、第三确定子单元和第二更新子单元，如下：

所述计算子单元，用于计算所述样本特征信息和所述参考特征信息之间的损失值；

第三确定子单元，用于确定所述损失值对所述参考图像的梯度；

第二更新子单元，用于基于所述梯度，对所述参考图像进行更新，得到所述样本图像对应的第一特征图像。

可选的，在本申请的一些实施例中，所述第一训练单元可以包括第三提取子单元、分类子单元和第二调整子单元，如下：

所述第三提取子单元，用于通过所述第一特征提取分支对所述样本图像进行特征提取，得到所述样本图像的第一特征信息；

分类子单元，用于基于所述样本图像的第一特征信息，对所述样本图像进行分类，得到所述样本图像属于预设类别的实际第一概率；

第二调整子单元，用于基于所述实际第一概率和所述标签信息，对所述第一特征提取分支的参数进行调整，得到预训练后的第一特征提取分支。

可选的，在本申请的一些实施例中，所述图像分类装置还可以包括图像获取单元、第一分类单元、第二分类单元、确定单元，如下：

所述图像获取单元，用于获取待分类的目标图像；

第一分类单元，用于通过所述训练后的自编码模型中第一特征提取分支对所述目标图像进行特征提取，得到所述目标图像的第一特征信息，并基于所述目标图像的第一特征信息，对所述目标图像进行分类，得到所述目标图像属于预设类别的第一概率；

第二分类单元，用于通过所述训练后的自编码模型中第二特征提取分支对所述目标图像进行特征提取，得到所述目标图像的第二特征信息，并基于所述目标图像的第二特征信息，对所述目标图像进行分类，得到所述目标图像属于预设类别的第二概率；

确定单元，用于基于所述第一概率和所述第二概率，确定所述目标图像的目标类别。

可选的，在本申请的一些实施例中，所述确定单元具体可以用于确定所述第一概率和所述第二概率对应的权重；基于所述权重，对所述第一概率和所述第二概率进行加权融合，得到所述目标图像的目标类别。

本申请实施例提供的一种电子设备，包括处理器和存储器，所述存储器存储有多条指令，所述处理器加载所述指令，以执行本申请实施例提供的图像分类方法中的步骤。

此外，本申请实施例还提供一种存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现本申请实施例提供的图像分类方法中的步骤。

本申请实施例提供了一种图像分类方法和装置，可以获取训练数据和待训练的自编码模型，所述训练数据包括样本图像、所述样本图像对应的标签信息以及参考图像，所述自编码模型包括第一特征提取分支和第二特征提取分支、解码器，所述第一特征提取分支和所述第二特征提取分支共用编码器；基于所述样本图像及其对应的标签信息，对第一特征提取分支进行预训练，得到预训练后的第一特征提取分支，所述第一特征提取分支包括编码器和第一特征提取层；通过预训练后的第一特征提取分支，对所述样本图像和所述参考图像进行特征提取，得到所述样本图像对应的样本特征信息和所述参考图像对应的参考特征信息；基于所述样本特征信息和所述参考特征信息之间的损失值，对所述参考图像进行更新，得到所述样本图像对应的第一特征图像；根据所述样本图像和所述第一特征图像对自编码模型进行训练，得到训练后的自编码模型，所述训练后的自编码模型用于对图像进行分类。本申请可以通过预训练后的第一特征提取分支基于样本图像对参考图像进行更新，得到样本图像对应的第一特征图像，再基于样本图像和第一特征图像对自编码模型进行训练，以提取相关特征。相关特征的提取，有助于图像分类时根据多个相关特征对图像进行分类，避免只注重某个简单的特征，而忽略其他相关特征的问题，提高了模型对图像分类的准确性和泛化性能。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1a是本申请实施例提供的图像分类方法的场景示意图；

图1b是本申请实施例提供的图像分类方法的流程图；

图1c是本申请实施例提供的图像分类方法的模型架构图；

图1d是本申请实施例提供的图像分类方法的另一模型架构图；

图1e是本申请实施例提供的图像分类方法的另一模型架构图；

图2是本申请实施例提供的图像分类方法的另一流程图；

图3a是本申请实施例提供的图像分类装置的结构示意图；

图3b是本申请实施例提供的图像分类装置的另一结构示意图；

图3c是本申请实施例提供的图像分类装置的另一结构示意图；

图3d是本申请实施例提供的图像分类装置的另一结构示意图；

图3e是本申请实施例提供的图像分类装置的另一结构示意图；

图3f是本申请实施例提供的图像分类装置的另一结构示意图；

图4是本申请实施例提供的电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例提供一种图像分类方法和装置。该图像分类装置具体可以集成在电子设备中，该电子设备可以是终端或服务器等设备。

可以理解的是，本实施例的图像分类方法可以是在终端上执行的，也可以是在服务器上执行，还可以由终端和服务器共同执行的。以上举例不应理解为对本申请的限制。

如图1a所示，以终端和服务器共同执行图像分类方法为例。本申请实施例提供的图像分类系统包括终端10和服务器11等；终端10与服务器11之间通过网络连接，比如，通过有线或无线网络连接等，其中，图像分类装置可以集成在服务器中。

其中，服务器11，可以用于：获取训练数据和待训练的自编码模型，所述训练数据包括样本图像、所述样本图像对应的标签信息以及参考图像，所述自编码模型包括第一特征提取分支和第二特征提取分支、解码器，所述第一特征提取分支和所述第二特征提取分支共用编码器；基于所述样本图像及其对应的标签信息，对第一特征提取分支进行预训练，得到预训练后的第一特征提取分支，所述第一特征提取分支包括编码器和第一特征提取层；通过预训练后的第一特征提取分支，对所述样本图像和所述参考图像进行特征提取，得到所述样本图像对应的样本特征信息和所述参考图像对应的参考特征信息；基于所述样本特征信息和所述参考特征信息之间的损失值，对所述参考图像进行更新，得到所述样本图像对应的第一特征图像；根据所述样本图像和所述第一特征图像对自编码模型进行训练，得到训练后的自编码模型，以使得通过训练后的自编码模型对图像进行分类。其中，服务器11可以是单台服务器，也可以是由多个服务器组成的服务器集群或云服务器。本申请所公开的图像分类方法和装置，其中多个服务器可组成为一区块链，而服务器为区块链上的节点。

其中，终端10可以向服务器11发送训练数据，所述训练数据包括样本图像、所述样本图像对应的标签信息以及参考图像，以便服务器11基于训练数据对自编码模型进行训练。终端10还可以接收服务器11发送的训练后的自编码模型，以使得通过训练后的自编码模型对图像进行分类。可选地，在服务器11得到训练后的自编码模型后，终端10也可以向服务器11发送待分类的目标图像，服务器11通过训练后的自编码模型对该目标图像进行分类，并将分类结果返回给终端10。其中，终端10可以包括手机、智能电视、平板电脑、笔记本电脑、或个人计算机（pc，personalcomputer）等。终端10上还可以设置客户端，该客户端可以是应用程序客户端或者浏览器客户端等等。

上述服务器11训练自编码模型的步骤，也可以由终端10执行。

本申请实施例提供的图像分类方法涉及人工智能领域中的计算机视觉技术和机器学习。本申请实施例可以提高模型对图像分类的准确性和泛化性能。

其中，人工智能(ai,artificialintelligence)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。其中，人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等方向。

其中，计算机视觉技术(cv，computervision)是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、ocr、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3d技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。

其中，机器学习(machinelearning,ml)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。

以下分别进行详细说明。需说明的是，以下实施例的描述顺序不作为对实施例优选顺序的限定。

本实施例将从图像分类装置的角度进行描述，该图像分类装置具体可以集成在电子设备中，该电子设备可以是服务器或终端等设备。

本申请实施例的图像分类方法可以广泛应用于有图像分类或检测的线上应用中，如台标检测，视频分类，场景识别等，能够提高模型对于线上数据分类的准确率和召回率。

如图1b所示，该图像分类方法的具体流程可以如下：

101、获取训练数据和待训练的自编码模型，所述训练数据包括样本图像、所述样本图像对应的标签信息以及参考图像，所述自编码模型包括第一特征提取分支和第二特征提取分支、解码器，所述第一特征提取分支和所述第二特征提取分支共用编码器。

其中，样本图像的类型不限，可以是静态图，也可以是动态图，可以是表情、商品图像、以及人物肖像等等类型的图像。在一些实施例中，样本图像也可以是从视频中抽取得到的。样本图像对应的标签信息可以包含样本图像对应的目标类别，其具体可以是样本图像属于各个预设类别的期望概率。

其中，在参考图像未更新前，参考图像可以是空白图像，也可以是随机噪声图像，本实施例对此不作限制。空白图像即所有像素点的像素值都为0的图像。

自编码器（autoencoder,ae）具体是一种利用反向传播算法使得输出值等于输入值的神经网络，它先将输入压缩成潜在空间表征，然后通过这种表征来重构输出。其中，神经网络的类型不限，比如，可以是视觉几何组网络（vggnet，visualgeometrygroupnetwork）、残差网络（resnet，residualnetwork）和密集连接卷积网络（densenet，denseconvolutionalnetwork）等等。自编码器可以由两部分组成，分别是编码器（encoder）和解码器（decoder）。

其中，编码器这部分能将输入压缩成潜在空间表征，可以用编码函数h=f(x)表示。解码器这部分能重构来自潜在空间表征的输入，可以用解码函数r=g(h)表示。因此，整个自编码器可以用函数g(f(x))=r来描述，其中输出r与原始输入x相近。

对于自编码器，其训练的目标是最小化输出图像和输入图像之间的误差，以使得训练后的自编码器的输出值接近或等于输入值，让潜在表征h具有价值属性。自编码模型一般是一个先降维后升维的模型，升维后的维度和输入维度一致。降维后得到的特征可以用于下游任务，如分类，聚类，搜索等。

可选地，本实施例中，该待训练的自编码模型可以是基于样本图像初步训练过的，具体通过第一特征提取分支和第二特征提取分支对样本图像进行特征提取，得到样本图像的第一特征信息和第二特征信息，再通过解码器基于第一特征信息和第二特征信息进行样本图像的重构，得到解码后样本图像，基于解码后样本图像和原来的样本图像之间的损失值，调整自编码模型的参数，得到初步训练后的自编码模型，进而通过下述的模型训练方法，对自编码模型进一步进行训练。

具体地，参考图1c，为自编码模型的模型架构图。由图1c可知，该自编码模型由编码器、解码器、第一特征提取层以及第二特征提取层构成，其中，编码器和第一特征提取层组成第一特征提取分支，编码器和第二特征提取层组成第二特征提取分支，第一特征提取分支和第二特征提取分支共用一个编码器。在一些实施例中，可以将第一特征提取层和第二特征提取层视为编码器的一部分，也就是说，第一特征提取分支和第二特征提取分支可以属于编码器。

在目前的相关技术中，图像分类模型训练方式一般可以分为两种。一种是直接利用图像对应的标签信息，使用监督训练的方式来训练模型，模型学习到的是与标签强相关的特征；另一种是先预训练一个自编码器，利用自编码器重建原始图像的性质来提取尽可能丰富的特征，然后基于该特征，接上分类器进行分类任务学习。但是，当训练数据中存在相关特征时，第一种方法会导致这些相关特征被忽略掉，这样训练得到的图像分类模型的泛化性能较差，通过第二种方法来进行训练，也不能保证自编码器能够学习到相关特征。

其中，相关特征是指两个或者多个存在相关性的特征，例如，假设存在一个数据集，可以将数据集分为a，b两个子集，并且整个数据集中的样本特征仅由4个特征构成，它们分别为特征1，特征2，特征3，特征4；a子集中每个样本包含特征1和特征2，b子集中的每个样本包含特征3和特征4，那么特征1和特征2是相关特征，特征3和特征4是相关特征。又例如，要区分一个人群中的男性和女性，具体地，标签信息为男性和女性，长头发和没有胡子为相关特征，短头发和有胡子为相关特征，头发是比较容易识别到的特征，可以视为与标签信息强相关的特征。

具体地，在数字识别的场景中，比如有一个待分类的图像数据集，该图像数据集包含绿色的数字1和红色的数字0两种类别的图像，这些图像包含有两种特征，分别是颜色特征——绿色和红色，结构特征——数字1和数字0。若基于该图像数据集，以上述相关技术中的第一种方法来进行训练，模型很容易学习到简单的颜色信息，而忽略了数字本身的结构信息，这降低了模型的泛化性能，比如在测试集中存在其他颜色的数字1和数字0，该模型的分类准确性会很低。对于第二种训练方法，也不能保证模型能够学习到这两种特征，比如在解码器参数足够多的情况下，由于结构特征与颜色特征完全相关，解码器仅基于颜色特征就可以重建出输入图像，自编码器在这种情况下也不能很好的解决模型过拟合问题。

本申请提供的模型训练方法，可以避免在模型学习过程中只注重某个简单的特征，而忽略其他相关特征的问题，能够在训练过程中将特征区分开来，提取相关特征，从而提高模型对分类的准确率和泛化性能。它可以适用于大部分需要训练深度神经网络进行分类的产品，提高模型在测试集和线上数据上的泛化性能。

102、基于所述样本图像及其对应的标签信息，对所述第一特征提取分支进行预训练，得到预训练后的第一特征提取分支，所述第一特征提取分支包括编码器和第一特征提取层。

可选地，本实施例中，步骤“基于所述样本图像及其对应的标签信息，对所述第一特征提取分支进行预训练，得到预训练后的第一特征提取分支”，可以包括：

通过所述第一特征提取分支对所述样本图像进行特征提取，得到所述样本图像的第一特征信息；

基于所述样本图像的第一特征信息，对所述样本图像进行分类，得到所述样本图像属于预设类别的实际第一概率；

基于所述实际第一概率和所述标签信息，对所述第一特征提取分支的参数进行调整，得到预训练后的第一特征提取分支。

其中，通过第一特征提取分支对所述样本图像进行特征提取，具体可以通过编码器先对样本图像进行降维处理，再通过第一特征提取层对降维处理后的样本图像进行特征提取，得到样本图像的第一特征信息。

其中，在通过第一特征提取分支提取到样本图像的第一特征信息后，可以在自编码模型中添加第一分类模块，该第一分类模块作为第一特征提取分支的输出端，第一分类模块以提取到的第一特征信息作为输入，基于第一特征信息，对样本图像进行分类，得到样本图像属于预设类别的实际第一概率。其中，预设类别可以包括多个类别，对样本图像进行分类，具体可以得到样本图像属于各个预设类别的实际第一概率。

其中，该第一分类模块具体可以是支持向量机（svm，supportvectormachine），也可以是循环神经网络、还可以是全连接深度神经网络（dnn，deepneualnetworks）等等，本实施例对此不做限制。

其中，样本图像的标签信息具体是样本图像属于预设类别的期望概率；步骤“基于所述实际第一概率和所述标签信息，对所述第一特征提取分支的参数进行调整，得到预训练后的第一特征提取分支”，具体可以包括：

计算实际第一概率和期望概率之间的第一分类损失值；

基于所述第一分类损失值，对所述第一特征提取分支的参数进行调整，以使得第一分类损失值满足预设条件，得到预训练后的第一特征提取分支。

其中，该预设条件可以是第一分类损失值小于预设值，该预设值可以根据实际情况进行设置，本实施例对此不作限制。

具体地，可以通过反向传播算法对第一特征提取分支的参数进行调整，基于第一分类损失值，优化第一特征提取分支的参数，使样本图像属于预设类别的实际第一概率趋近于期望概率。

在一些实施例中，也可以基于第一分类损失值，对第一特征提取分支和第一分类模块中的参数进行调整，得到预训练后的第一特征提取分支和第一分类模块。

103、通过所述预训练后的第一特征提取分支，对所述样本图像和所述参考图像进行特征提取，得到所述样本图像对应的样本特征信息和所述参考图像对应的参考特征信息。

在基于标签信息对第一特征提取分支进行预训练后，预训练后的第一特征提取分支可以提取到与标签信息强相关的特征信息。

其中，参考图像具体可以是空白图像或者随机噪声图像等。

104、基于所述样本特征信息和所述参考特征信息之间的损失值，对所述参考图像进行更新，得到所述样本图像对应的第一特征图像。

其中，样本特征信息和参考特征信息之间的损失值具体可以是样本特征信息和参考特征信息之间的向量距离，向量距离可以表征损失值的大小。向量距离越大，损失值越大，向量距离越小，损失值越小。

具体地，通过预训练后的第一特征提取分支，分别对所述样本图像和所述参考图像进行特征提取，可以得到样本图像的样本特征信息fc1、以及参考图像的参考特征信息fcb，样本特征信息和参考特征信息之间的损失值可以用fc1和fcb之间的距离来表示，该距离具体表示为d=||fc1-fcb||；然后将该损失值反传到参考图像，对参考图像进行更新，得到样本特征信息fc1对应的第一特征图像。因为损失值相当于样本特征信息和参考特征信息的差值，其包含了参考图像相对于样本图像所没有的特征信息，由于是通过预训练后的第一特征提取分支来提取特征的，因此损失值包含的是第一特征提取分支学习到的特征，具体可以是与标签信息强相关的特征。通过损失值对参考图像更新，可以使更新后的参考图像包含该特征，比如，对于上述数字识别的例子，图像数据集包含颜色特征和结构特征，颜色特征相对于结构特征容易被第一特征提取分支学习到，所以该损失值包含颜色特征，基于损失值对参考图像进行更新，可以使得更新后的参考图像包含颜色特征，具体地，样本特征信息对应的第一特征图像为绿色图像。

可选地，本实施例中，步骤“基于所述样本特征信息和所述参考特征信息之间的损失值，对所述参考图像进行更新，得到所述样本图像对应的第一特征图像”，可以包括：

基于所述样本特征信息和所述参考特征信息之间的损失值，对所述参考图像进行更新，得到候选第一特征图像；

将所述候选第一特征图像作为新的参考图像；

通过所述预训练后的第一特征提取分支，对新的参考图像进行特征提取，得到所述新的参考图像对应的参考特征信息；

返回执行所述基于所述样本特征信息和所述参考特征信息之间的损失值，对所述参考图像进行更新，得到候选第一特征图像的步骤，直到候选第一特征图像满足预设更新条件，将满足所述预设更新条件的候选第一特征图像作为所述样本图像对应的第一特征图像。

其中，该预设更新条件具体可以是更新次数，也可以是候选第一特征图像与样本图像之间的图像差别度，还可以是样本特征信息和参考特征信息之间的损失值小于预设值等等，预设更新条件可以根据实际情况进行设置，本实施例对此不作限制。

其中，通过上述循环过程：对参考图像提取特征→计算损失值→更新参考图像→计算损失值→更新参考图像……，重复多次后，可以使得提取得到的参考特征信息接近于样本特征信息，但得到的第一特征图像在表观上只包含第一特征提取分支学习到的特征。

可选地，本实施例中，步骤“基于所述样本特征信息和所述参考特征信息之间的损失值，对所述参考图像进行更新，得到所述样本图像对应的第一特征图像”，可以包括：

计算所述样本特征信息和所述参考特征信息之间的损失值；

确定所述损失值对所述参考图像的梯度；

基于所述梯度，对所述参考图像进行更新，得到所述样本图像对应的第一特征图像。

其中，基于梯度对参考图像进行更新，具体可以获取该参考图像中各个像素点对应的预设像素值变化量；基于梯度和预设像素值变化量，调整参考图像中各个像素点的像素值，以对参考图像进行更新。其中，可以将梯度和预设像素值变化量进行相乘运算，来调整所述参考图像中各个像素点的像素值。

其中，梯度代表方向，其对应损失值减小的方向。预设像素值变化量即梯度下降的步长，它可以根据实际情况进行具体设置，本实施例对此不作限制。具体地，为了使算法收敛，需要合理地设置步长，不能太大，也不能太小。

在具体场景中，以上述数字识别为例，即区分绿色数字1图像和红色数字0图像，如图1d所示，样本图像可以为绿色数字1对应的图像，参考图像可以为空白图像，先以绿色数字1对应的图像和空白图像作为输入，通过预训练后的第一特征提取分支进行特征提取，分别得到二者对应的特征向量fc1和fcb，基于fc1和fcb之间的损失值d对空白图像进行更新，具体参考上述循环过程，可以使得提取到的参考特征信息fcb接近于样本特征信息fc1，得到样本图像对应的第一特征图像，但该第一特征图像在表观上只包含第一特征提取分支学习到的特征——颜色信息，即该第一特征图像具体可以为绿色图像，因为对于样本图像——绿色数字1，其包含颜色特征和结构特征，颜色特征相对于结构特征更容易被学习到，颜色特征是与其标签信息（也即数字1）强相关的特征，上述提取到的样本特征信息fc1实际上也是与绿色强相关的，该特征被反传到参考图像，得到包含该特征的绿色图像（即第一特征图像）。

105、根据所述样本图像和所述第一特征图像对自编码模型进行训练，得到训练后的自编码模型，所述训练后的自编码模型用于对图像进行分类。

可选地，本实施例中，步骤“根据所述样本图像和所述第一特征图像对自编码模型进行训练，得到训练后的自编码模型”，可以包括：

将所述样本图像和所述第一特征图像分别确定为训练图像；

通过所述预训练后的第一特征提取分支和所述第二特征提取分支，对所述训练图像进行特征提取，得到所述训练图像的特征信息；

通过所述解码器对所述训练图像的特征信息进行解码处理，得到解码后训练图像；

基于所述解码后训练图像和所述训练图像之间的重建损失值，对自编码模型的第二特征提取分支中的参数进行调整，得到训练后的自编码模型。

其中，训练图像的特征信息可以包括第一特征信息和第二特征信息，具体地，可以通过所述预训练后的第一特征提取分支对所述训练图像进行特征提取，得到所述训练图像的第一特征信息；通过第二特征提取分支对所述训练图像进行特征提取，得到所述训练图像的第二特征信息。

其中，对训练图像的特征信息进行解码处理，即通过解码器基于训练图像的特征信息，重新构建训练图像，以使重新构建得到的训练图像（解码后训练图像）接近于原来的训练图像。

其中，基于重建损失值对自编码模型中第二特征提取分支中的参数进行调整，具体可以是通过反向传播算法优化第二特征提取分支中的参数，以使重建损失值小于预设损失值，该预设损失值可以根据实际情况进行设置，本实施例对此不作限制。

自编码模型的训练过程可以参考图1c，将样本图像和第一特征图像作为训练图像，分别输入到自编码模型中，先通过预训练后的第一特征提取分支和第二特征提取分支提取得到训练图像对应的特征信息，再通过解码器基于特征信息进行升维，重建训练图像，得到解码后训练图像。

其中，将样本图像和第一特征图像同时用来训练自编码模型，进行特征提取、解码操作/重建，是为了使第二特征提取分支中的参数包含与标签信息相关的其他相关特征，如上述数字识别例子中的结构信息。在自编码模型训练过程中，基于重建损失值优化第二特征提取分支中的参数，使得样本图像和第一特征图像的表征区分开来，这样可以实现相关特征的提取，第二特征提取分支也就包含了其他相关特征。

比如，对于数字识别的例子，样本图像为绿色数字1对应的图像，第一特征图像为绿色图像，在自编码模型的训练过程中，需要对绿色数字1对应的图像进行特征提取，再进行重建，得到解码后绿色数字1对应的图像，并使解码后绿色数字1对应的图像与原来的绿色数字1的重建损失值小于预设损失值；同理，也需要对绿色图像进行特征提取，再进行重建，得到解码后绿色图像，并使解码后绿色图像与原来的绿色图像的重建损失值小于预设损失值。在自编码模型的学习过程中，是基于重建损失值对第二特征提取分支中的参数进行调整的；该训练过程是以绿色数字1对应的图像与绿色图像作为训练图像，当重建损失值小于预设损失值时训练完成，训练后的自编码模型能够区分绿色数字1对应的图像和绿色图像的表征，是因为它可以重建绿色数字1对应的图像和绿色图像，并使得重建后图像与原来图像的重建损失值满足预设条件，所以可以使绿色图像和绿色数字1对应图像的表征区分开，由于绿色图像相比于绿色数字1对应的图像缺少结构信息，因此训练后的自编码模型可以区分/提取结构信息，在训练过程中，调整的是第二特征提取分支的参数，也就是说，通过重建损失值的最小化来优化第二特征提取分支的参数，可以使得第二特征提取分支包含结构信息。

可选地，本实施例中，所述自编码模型还可以包括第一分类模块和第二分类模块；所述训练图像的特征信息包括样本图像的第一特征信息和第二特征信息，第一特征信息是通过所述预训练后的第一特征提取分支提取得到的，第二特征信息是通过第二特征提取分支提取得到的；所述标签信息为样本图像属于预设类别的期望概率；

步骤“基于所述解码后训练图像和所述训练图像之间的重建损失值，对自编码模型的第二特征提取分支中的参数进行调整，得到训练后的自编码模型”，可以包括：

通过所述第一分类模块，基于所述样本图像的第一特征信息对所述样本图像进行分类，得到所述样本图像属于预设类别的实际第一概率；

基于所述实际第一概率和所述期望概率之间的第一分类损失值，对所述预训练后的第一特征提取分支和所述第一分类模块的参数进行调整；

通过所述第二分类模块，基于所述样本图像的第二特征信息对所述样本图像进行分类，得到所述样本图像属于预设类别的实际第二概率；

基于所述实际第二概率和所述期望概率之间的第二分类损失值，对所述第二分类模块的参数进行调整；

基于所述解码后训练图像和所述训练图像之间的重建损失值，对所述第二特征提取分支中的参数进行调整；

当所述重建损失值、所述第一分类损失值和所述第二分类损失值满足预设条件时停止调整，得到训练后的自编码模型。

其中，可以在自编码模型中添加第二分类模块，第二分类模块作为第二特征提取分支的输出端，第二分类模型以通过第二特征提取分支提取到的第二特征信息作为输入，基于第二特征信息对样本图像进行分类，得到样本图像属于预设类别的实际第二概率。该第二分类模块具体可以是支持向量机（svm，supportvectormachine），也可以是循环神经网络、还可以是全连接深度神经网络（dnn，deepneualnetworks）等等，本实施例对此不做限制。

其中，基于第二分类损失值对第二分类模块的参数进行调整，具体可以是基于第二分类损失值，通过反向传播算法优化第二分类模块的参数，使样本图像属于预设类别的实际第二概率趋近于期望概率。

其中，第一特征信息和第二特征信息为存在相关性的特征，具体地，第一特征信息和第二特征信息都是与样本图像的标签信息相关的特征，都可以用于对样本图像的分类中。具体地，在一些实施例中，第一特征信息可以是与样本图像的标签信息强相关的特征（即容易学习到的特征），第二特征信息可以是与样本图像的标签信息弱相关的特征。比如，对于上述实施例中描述的数字识别的例子，颜色信息为强相关的特征，结构信息为弱相关的特征。

其中，第一特征提取分支的参数可以记为fc，第一分类模块的参数可以记为wc，第二特征提取分支的参数可以记为fs，第二分类模块的参数可以记为ws。如图1e所示，先通过编码器对样本图像进行处理，将编码器处理后的样本图像分别输入到第一特征提取层和第二特征提取层进行特征提取，得到第一特征信息和第二特征信息；通过第一分类模型对第一特征信息进行分类，通过第二分类模块对第二特征信息进行分类。

可选地，本实施例中，步骤“当所述重建损失值、所述第一分类损失值和所述第二分类损失值满足预设条件时停止调整，得到训练后的自编码模型”，可以包括：

确定所述重建损失值、所述第一分类损失值和所述第二分类损失值对应的权重；

基于所述权重，对所述重建损失值、所述第一分类损失值和所述第二分类损失值进行加权融合，得到所述自编码模型的总损失；

当所述总损失满足预设条件时停止调整，得到训练后的自编码模型。

其中，该预设条件可以根据实际情况进行设置，本实施例对此不作限制。

在一具体实施例中，重建损失值可以记为lr，第一分类损失值记为lc，第二分类损失值记为ls，将重建损失值、第一分类损失值和第二分类损失值对应的权重分别设置为p、1和1，则总损失可以是l=lc+ls+p*lr，其中p为一固定常量参数。该预设条件可以是总损失小于预设值；当不满足预设条件时，需要基于重建损失值对第二特征提取分支的参数fs进行调整，基于第一分类损失值对wc和fc进行调整，基于第二分类损失值对ws进行调整。

在自编码模型训练完后，可以将该自编码模型应用到在线的图像分类中，如下所述。

可选地，本实施例中，该图像分类方法还可以包括：

获取待分类的目标图像；

通过所述训练后的自编码模型中第一特征提取分支对所述目标图像进行特征提取，得到所述目标图像的第一特征信息，并基于所述目标图像的第一特征信息，对所述目标图像进行分类，得到所述目标图像属于预设类别的第一概率；

通过所述训练后的自编码模型中第二特征提取分支对所述目标图像进行特征提取，得到所述目标图像的第二特征信息，并基于所述目标图像的第二特征信息，对所述目标图像进行分类，得到所述目标图像属于预设类别的第二概率；

基于所述第一概率和所述第二概率，确定所述目标图像的目标类别。

其中，可以通过训练后的第一分类模块基于目标图像的第一特征信息对目标图像进行分类，具体地，通过第一特征提取分支得到第一特征信息，可以将第一特征信息与第一分类模块中的参数wc相乘表示分类结果。

其中，可以通过训练后的第二分类模块基于目标图像的第二特征信息对目标图像进行分类，具体地，通过第二特征提取分支得到第二特征信息，可以将第二特征信息与第二分类模块中的参数ws相乘表示分类结果。

其中，可以计算第一概率和第二概率的平均值，基于平均值，确定目标图像的目标类别。

可选地，本实施例中，步骤“基于所述第一概率和所述第二概率，确定所述目标图像的目标类别”，可以包括：

确定所述第一概率和所述第二概率对应的权重；

基于所述权重，对所述第一概率和所述第二概率进行加权融合，得到所述目标图像的目标类别。

由上可知，本实施例电子设备可以获取训练数据和待训练的自编码模型，所述训练数据包括样本图像、所述样本图像对应的标签信息以及参考图像，所述自编码模型包括第一特征提取分支和第二特征提取分支、解码器，所述第一特征提取分支和所述第二特征提取分支共用编码器；基于所述样本图像及其对应的标签信息，对第一特征提取分支进行预训练，得到预训练后的第一特征提取分支，所述第一特征提取分支包括编码器和第一特征提取层；通过预训练后的第一特征提取分支，对所述样本图像和所述参考图像进行特征提取，得到所述样本图像对应的样本特征信息和所述参考图像对应的参考特征信息；基于所述样本特征信息和所述参考特征信息之间的损失值，对所述参考图像进行更新，得到所述样本图像对应的第一特征图像；根据所述样本图像和所述第一特征图像对自编码模型进行训练，得到训练后的自编码模型，所述训练后的自编码模型用于对图像进行分类。本申请可以通过预训练后的第一特征提取分支基于样本图像对参考图像进行更新，得到样本图像对应的第一特征图像，再基于样本图像和第一特征图像对自编码模型进行训练，以提取相关特征。相关特征的提取，有助于图像分类时根据多个相关特征对图像进行分类，避免只注重某个简单的特征，而忽略其他相关特征的问题，提高模型对图像分类的准确性和泛化性能。

根据前面实施例所描述的方法，以下将以该图像分类装置具体集成在服务器举例作进一步详细说明。

本申请实施例提供一种图像分类方法，如图2所示，该图像分类方法的具体流程可以如下：

201、服务器获取训练数据和待训练的自编码模型，所述训练数据包括样本图像、所述样本图像对应的标签信息以及参考图像，所述自编码模型包括第一特征提取分支和第二特征提取分支、解码器，所述第一特征提取分支和所述第二特征提取分支共用编码器。

其中，在参考图像未更新前，参考图像可以是空白图像，也可以是随机噪声图像，本实施例对此不作限制。空白图像即所有像素点的像素值都为0的图像。

202、服务器基于所述样本图像及其对应的标签信息，对第一特征提取分支进行预训练，得到预训练后的第一特征提取分支，所述第一特征提取分支包括编码器和第一特征提取层。

可选地，本实施例中，步骤“基于所述样本图像及其对应的标签信息，对第一特征提取分支进行预训练，得到预训练后的第一特征提取分支”，可以包括：

通过第一特征提取分支对所述样本图像进行特征提取，得到所述样本图像的第一特征信息；

基于所述样本图像的第一特征信息，对所述样本图像进行分类，得到所述样本图像属于预设类别的实际第一概率；

基于所述实际第一概率和所述标签信息，对第一特征提取分支的参数进行调整，得到预训练后的第一特征提取分支。

其中，在通过第一特征提取分支提取到样本图像的第一特征信息后，可以在自编码模型中添加第一分类模块，该第一分类模块作为第一特征提取分支的输出端，第一分类模块以提取到的第一特征信息作为输入，基于第一特征信息，对样本图像进行分类，得到样本图像属于预设类别的实际第一概率。其中，预设类别可以包括多个类别，对样本图像进行分类，具体可以得到样本图像属于各个预设类别的实际第一概率。

在一些实施例中，也可以基于第一分类损失值，对第一特征提取分支和第一分类模块中的参数进行调整，得到预训练后的第一特征提取分支和第一分类模块。

203、服务器通过预训练后的第一特征提取分支，对所述样本图像和所述参考图像进行特征提取，得到所述样本图像对应的样本特征信息和所述参考图像对应的参考特征信息。

在基于标签信息对第一特征提取分支进行预训练后，预训练后的第一特征提取分支可以提取到与标签信息强相关的特征信息。

其中，参考图像具体可以是空白图像或者随机噪声图像等。

204、服务器基于所述样本特征信息和所述参考特征信息之间的损失值，对所述参考图像进行更新，得到所述样本图像对应的第一特征图像。

可选地，本实施例中，步骤“基于所述样本特征信息和所述参考特征信息之间的损失值，对所述参考图像进行更新，得到所述样本图像对应的第一特征图像”，可以包括：

基于所述样本特征信息和所述参考特征信息之间的损失值，对所述参考图像进行更新，得到候选第一特征图像；

将所述候选第一特征图像作为新的参考图像；

通过所述预训练后的第一特征提取分支，对新的参考图像进行特征提取，得到所述新的参考图像对应的参考特征信息；

返回执行所述基于所述样本特征信息和所述参考特征信息之间的损失值，对所述参考图像进行更新，得到候选第一特征图像的步骤，直到候选第一特征图像满足预设更新条件，将满足预设更新条件的候选第一特征图像作为样本图像对应的第一特征图像。

其中，该预设更新条件具体可以是更新次数，也可以是候选第一特征图像与样本图像之间的图像差别度，还可以是样本特征信息和参考特征信息之间的损失值小于预设值等等，预设更新条件可以根据实际情况进行设置，本实施例对此不作限制。

205、服务器将所述样本图像和所述第一特征图像分别确定为训练图像；通过第一特征提取分支和第二特征提取分支，对所述训练图像进行特征提取，得到所述训练图像的特征信息；通过解码器对所述训练图像的特征信息进行解码操作，得到解码后训练图像。

其中，训练图像的特征信息可以包括第一特征信息和第二特征信息，具体地，可以通过预训练后的第一特征提取分支对所述训练图像进行特征提取，得到所述训练图像的第一特征信息；通过第二特征提取分支对所述训练图像进行特征提取，得到所述训练图像的第二特征信息。

206、服务器基于解码后训练图像和所述训练图像之间的重建损失值，对自编码模型的第二特征提取分支中的参数进行调整，得到训练后的自编码模型。

可选地，本实施例中，所述自编码模型还可以包括第一分类模块和第二分类模块；所述训练图像的特征信息包括样本图像的第一特征信息和第二特征信息，第一特征信息是通过预训练后的第一特征提取分支提取得到的，第二特征信息是通过第二特征提取分支提取得到的；所述标签信息为样本图像属于预设类别的期望概率；

步骤“基于解码后训练图像和所述训练图像之间的重建损失值，对自编码模型的第二特征提取分支中的参数进行调整，得到训练后的自编码模型”，可以包括：

通过第一分类模块，基于样本图像的第一特征信息对样本图像进行分类，得到所述样本图像属于预设类别的实际第一概率；

基于所述实际第一概率和所述期望概率之间的第一分类损失值，对所述预训练后的第一特征提取分支和所述第一分类模块的参数进行调整；

通过第二分类模块，基于样本图像的第二特征信息对样本图像进行分类，得到所述样本图像属于预设类别的实际第二概率；

基于所述实际第二概率和所述期望概率之间的第二分类损失值，对所述第二分类模块的参数进行调整；

基于解码后训练图像和所述训练图像之间的重建损失值，对第二特征提取分支中的参数进行调整；

当所述重建损失值、第一分类损失值和第二分类损失值满足预设条件时停止调整，得到训练后的自编码模型。

在一具体实施例中，自编码模型的训练过程可以如下：

1、将样本图像输入到模型中，基于样本图像的标签信息对第一特征提取分支和第一分类模块的参数进行调整，直到第一分类损失值收敛；

2、将样本图像和空白图像输入到预训练后的第一特征提取分支，获取样本图像对应的第一特征图像；

3、将样本图像和第一特征图像作为训练图像输入到自编码模型中，以对自编码模型进行训练，通过最小化重建损失值来调整第二特征提取分支中的参数fs；与此同时，可以同步利用分类损失函数lc对预训练后的第一特征提取分支的参数fc和第一分类模块的参数wc进行分类训练，利用分类损失函数ls对第二分类模型的参数ws进行分类训练。

由上可知，本实施例可以通过服务器获取训练数据和待训练的自编码模型，所述训练数据包括样本图像、所述样本图像对应的标签信息以及参考图像，所述自编码模型包括第一特征提取分支和第二特征提取分支、解码器，所述第一特征提取分支和所述第二特征提取分支共用编码器；基于所述样本图像及其对应的标签信息，对第一特征提取分支进行预训练，得到预训练后的第一特征提取分支，所述第一特征提取分支包括编码器和第一特征提取层；通过预训练后的第一特征提取分支，对所述样本图像和所述参考图像进行特征提取，得到所述样本图像对应的样本特征信息和所述参考图像对应的参考特征信息；基于所述样本特征信息和所述参考特征信息之间的损失值，对所述参考图像进行更新，得到所述样本图像对应的第一特征图像。将所述样本图像和所述第一特征图像分别确定为训练图像；通过第一特征提取分支和第二特征提取分支，对所述训练图像进行特征提取，得到所述训练图像的特征信息；通过解码器对所述训练图像的特征信息进行解码操作，得到解码后训练图像。基于解码后训练图像和所述训练图像之间的重建损失值，对自编码模型的第二特征提取分支中的参数进行调整，得到训练后的自编码模型。本申请可以通过预训练后的第一特征提取分支基于样本图像对参考图像进行更新，得到样本图像对应的第一特征图像，再基于样本图像和第一特征图像对自编码模型进行训练，以提取相关特征。相关特征的提取，有助于图像分类时根据多个相关特征对图像进行分类，避免只注重某个简单的特征，而忽略其他相关特征的问题，提高模型对图像分类的准确性和泛化性能。

为了更好地实施以上方法，本申请实施例还提供一种图像分类装置，如图3a所示，该图像分类装置可以包括获取单元301、第一训练单元302、提取单元303、更新单元304和第二训练单元305，如下：

（1）获取单元301；

获取单元301，用于获取训练数据和待训练的自编码模型，所述训练数据包括样本图像、所述样本图像对应的标签信息以及参考图像，所述自编码模型包括第一特征提取分支和第二特征提取分支、解码器，所述第一特征提取分支和所述第二特征提取分支共用编码器。

（2）第一训练单元302；

第一训练单元302，用于基于所述样本图像及其对应的标签信息，对所述第一特征提取分支进行预训练，得到预训练后的第一特征提取分支，所述第一特征提取分支包括编码器和第一特征提取层。

可选的，在本申请的一些实施例中，所述第一训练单元302可以包括第三提取子单元3021、分类子单元3022和第二调整子单元3023，参见图3b，如下：

所述第三提取子单元3021，用于通过所述第一特征提取分支对所述样本图像进行特征提取，得到所述样本图像的第一特征信息；

分类子单元3022，用于基于所述样本图像的第一特征信息，对所述样本图像进行分类，得到所述样本图像属于预设类别的实际第一概率；

第二调整子单元3023，用于基于所述实际第一概率和所述标签信息，对所述第一特征提取分支的参数进行调整，得到预训练后的第一特征提取分支。

（3）提取单元303；

提取单元303，用于通过所述预训练后的第一特征提取分支，对所述样本图像和所述参考图像进行特征提取，得到所述样本图像对应的样本特征信息和所述参考图像对应的参考特征信息。

（4）更新单元304；

更新单元304，用于基于所述样本特征信息和所述参考特征信息之间的损失值，对所述参考图像进行更新，得到所述样本图像对应的第一特征图像。

可选的，在本申请的一些实施例中，所述更新单元304可以包括第一更新子单元3041、第二确定子单元3042、第二提取子单元3043和返回子单元3044，参见图3c，如下：

所述第一更新子单元3041，用于基于所述样本特征信息和所述参考特征信息之间的损失值，对所述参考图像进行更新，得到候选第一特征图像；

第二确定子单元3042，用于将所述候选第一特征图像作为新的参考图像；

第二提取子单元3043，用于通过所述预训练后的第一特征提取分支，对新的参考图像进行特征提取，得到所述新的参考图像对应的参考特征信息；

返回子单元3044，用于返回执行所述基于所述样本特征信息和所述参考特征信息之间的损失值，对所述参考图像进行更新，得到候选第一特征图像的步骤，直到候选第一特征图像满足预设更新条件，将满足所述预设更新条件的候选第一特征图像作为所述样本图像对应的第一特征图像。

可选的，在本申请的一些实施例中，所述更新单元304可以包括计算子单元3045、第三确定子单元3046和第二更新子单元3047，参见图3d，如下：

所述计算子单元3045，用于计算所述样本特征信息和所述参考特征信息之间的损失值；

第三确定子单元3046，用于确定所述损失值对所述参考图像的梯度；

第二更新子单元3047，用于基于所述梯度，对所述参考图像进行更新，得到所述样本图像对应的第一特征图像。

（5）第二训练单元305；

第二训练单元305，用于根据所述样本图像和所述第一特征图像对自编码模型进行训练，得到训练后的自编码模型，所述训练后的自编码模型用于对图像进行分类。

可选的，在本申请的一些实施例中，所述第二训练单元305可以包括第一确定子单元3051、第一提取子单元3052、解码子单元3053和第一调整子单元3054，参见图3e，如下：

所述第一确定子单元3051，用于将所述样本图像和所述第一特征图像分别确定为训练图像；

第一提取子单元3052，用于通过所述预训练后的第一特征提取分支和所述第二特征提取分支，对所述训练图像进行特征提取，得到所述训练图像的特征信息；

解码子单元3053，用于通过所述解码器对所述训练图像的特征信息进行解码处理，得到解码后训练图像；

第一调整子单元3054，用于基于所述解码后训练图像和所述训练图像之间的重建损失值，对自编码模型的第二特征提取分支中的参数进行调整，得到训练后的自编码模型。

可选的，在本申请的一些实施例中，所述自编码模型还包括第一分类模块和第二分类模块；所述训练图像的特征信息包括样本图像的第一特征信息和第二特征信息，第一特征信息是通过所述预训练后的第一特征提取分支提取得到的，第二特征信息是通过第二特征提取分支提取得到的；所述标签信息为样本图像属于预设类别的期望概率；

所述第一调整子单元3054具体可以用于通过所述第一分类模块，基于所述样本图像的第一特征信息对所述样本图像进行分类，得到所述样本图像属于预设类别的实际第一概率；基于所述实际第一概率和所述期望概率之间的第一分类损失值，对所述预训练后的第一特征提取分支和所述第一分类模块的参数进行调整；通过所述第二分类模块，基于所述样本图像的第二特征信息对所述样本图像进行分类，得到所述样本图像属于预设类别的实际第二概率；基于所述实际第二概率和所述期望概率之间的第二分类损失值，对所述第二分类模块的参数进行调整；基于所述解码后训练图像和所述训练图像之间的重建损失值，对所述第二特征提取分支中的参数进行调整；当所述重建损失值、所述第一分类损失值和所述第二分类损失值满足预设条件时停止调整，得到训练后的自编码模型。

可选的，在本申请的一些实施例中，步骤“当所述重建损失值、所述第一分类损失值和所述第二分类损失值满足预设条件时停止调整，得到训练后的自编码模型”，可以包括：

确定所述重建损失值、所述第一分类损失值和所述第二分类损失值对应的权重；

基于所述权重，对所述重建损失值、所述第一分类损失值和所述第二分类损失值进行加权融合，得到所述自编码模型的总损失；

当所述总损失满足预设条件时停止调整，得到训练后的自编码模型。

可选的，在本申请的一些实施例中，所述图像分类装置还可以包括图像获取单元306、第一分类单元307、第二分类单元308和确定单元309，参见图3f，如下：

所述图像获取单元306，用于获取待分类的目标图像；

第一分类单元307，用于通过所述训练后的自编码模型中第一特征提取分支对所述目标图像进行特征提取，得到所述目标图像的第一特征信息，并基于所述目标图像的第一特征信息，对所述目标图像进行分类，得到所述目标图像属于预设类别的第一概率；

第二分类单元308，用于通过所述训练后的自编码模型中第二特征提取分支对所述目标图像进行特征提取，得到所述目标图像的第二特征信息，并基于所述目标图像的第二特征信息，对所述目标图像进行分类，得到所述目标图像属于预设类别的第二概率；

确定单元309，用于基于所述第一概率和所述第二概率，确定所述目标图像的目标类别。

可选的，在本申请的一些实施例中，所述确定单元309具体可以用于确定所述第一概率和所述第二概率对应的权重；基于所述权重，对所述第一概率和所述第二概率进行加权融合，得到所述目标图像的目标类别。

由上可知，本实施例可以由获取单元301获取训练数据和待训练的自编码模型，所述训练数据包括样本图像、所述样本图像对应的标签信息以及参考图像，所述自编码模型包括第一特征提取分支和第二特征提取分支、解码器，所述第一特征提取分支和所述第二特征提取分支共用编码器；通过第一训练单元302基于所述样本图像及其对应的标签信息，对所述第一特征提取分支进行预训练，得到预训练后的第一特征提取分支，所述第一特征提取分支包括编码器和第一特征提取层；由提取单元303通过所述预训练后的第一特征提取分支，对所述样本图像和所述参考图像进行特征提取，得到所述样本图像对应的样本特征信息和所述参考图像对应的参考特征信息；通过更新单元304基于所述样本特征信息和所述参考特征信息之间的损失值，对所述参考图像进行更新，得到所述样本图像对应的第一特征图像；由第二训练单元305根据所述样本图像和所述第一特征图像对自编码模型进行训练，得到训练后的自编码模型，所述训练后的自编码模型用于对图像进行分类。本申请可以通过预训练后的第一特征提取分支基于样本图像对参考图像进行更新，得到样本图像对应的第一特征图像，再基于样本图像和第一特征图像对自编码模型进行训练，以提取相关特征。相关特征的提取，有助于图像分类时根据多个相关特征对图像进行分类，避免只注重某个简单的特征，而忽略其他相关特征的问题，提高模型对图像分类的准确性和泛化性能。

本申请实施例还提供一种电子设备，如图4所示，其示出了本申请实施例所涉及的电子设备的结构示意图，该电子设备可以是终端或者服务器等，具体来讲：

该电子设备可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、电源403和输入单元404等部件。本领域技术人员可以理解，图4中示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：

处理器401是该电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器402内的软件程序和/或模块，以及调用存储在存储器402内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。可选的，处理器401可包括一个或多个处理核心；优选的，处理器401可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器401中。

存储器402可用于存储软件程序以及模块，处理器401通过运行存储在存储器402的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序（比如声音播放功能、图像播放功能等）等；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器402还可以包括存储器控制器，以提供处理器401对存储器402的访问。

电子设备还包括给各个部件供电的电源403，优选的，电源403可以通过电源管理系统与处理器401逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

该电子设备还可包括输入单元404，该输入单元404可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。

尽管未示出，该电子设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，电子设备中的处理器401会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中，并由处理器401来运行存储在存储器402中的应用程序，从而实现各种功能，如下：

获取训练数据和待训练的自编码模型，所述训练数据包括样本图像、所述样本图像对应的标签信息以及参考图像，所述自编码模型包括第一特征提取分支和第二特征提取分支、解码器，所述第一特征提取分支和所述第二特征提取分支共用编码器；基于所述样本图像及其对应的标签信息，对第一特征提取分支进行预训练，得到预训练后的第一特征提取分支，所述第一特征提取分支包括编码器和第一特征提取层；通过预训练后的第一特征提取分支，对所述样本图像和所述参考图像进行特征提取，得到所述样本图像对应的样本特征信息和所述参考图像对应的参考特征信息；基于所述样本特征信息和所述参考特征信息之间的损失值，对所述参考图像进行更新，得到所述样本图像对应的第一特征图像；根据所述样本图像和所述第一特征图像对自编码模型进行训练，得到训练后的自编码模型，以使得通过训练后的自编码模型对图像进行分类。

以上各个操作的具体实施可参见前面的实施例，在此不再赘述。

由上可知，本实施例可以获取训练数据和待训练的自编码模型，所述训练数据包括样本图像、所述样本图像对应的标签信息以及参考图像，所述自编码模型包括第一特征提取分支和第二特征提取分支、解码器，所述第一特征提取分支和所述第二特征提取分支共用编码器；基于所述样本图像及其对应的标签信息，对第一特征提取分支进行预训练，得到预训练后的第一特征提取分支，所述第一特征提取分支包括编码器和第一特征提取层；通过预训练后的第一特征提取分支，对所述样本图像和所述参考图像进行特征提取，得到所述样本图像对应的样本特征信息和所述参考图像对应的参考特征信息；基于所述样本特征信息和所述参考特征信息之间的损失值，对所述参考图像进行更新，得到所述样本图像对应的第一特征图像；根据所述样本图像和所述第一特征图像对自编码模型进行训练，得到训练后的自编码模型，以使得通过训练后的自编码模型对图像进行分类。本申请可以通过预训练后的第一特征提取分支基于样本图像对参考图像进行更新，得到样本图像对应的第一特征图像，再基于样本图像和第一特征图像对自编码模型进行训练，以提取相关特征。相关特征的提取，有助于图像分类时根据多个相关特征对图像进行分类，避免只注重某个简单的特征，而忽略其他相关特征的问题，提高模型对图像分类的准确性和泛化性能。

本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。

为此，本申请实施例提供一种存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本申请实施例所提供的任一种图像分类方法中的步骤。例如，该指令可以执行如下步骤：

获取训练数据和待训练的自编码模型，所述训练数据包括样本图像、所述样本图像对应的标签信息以及参考图像，所述自编码模型包括第一特征提取分支和第二特征提取分支、解码器，所述第一特征提取分支和所述第二特征提取分支共用编码器；基于所述样本图像及其对应的标签信息，对第一特征提取分支进行预训练，得到预训练后的第一特征提取分支，所述第一特征提取分支包括编码器和第一特征提取层；通过预训练后的第一特征提取分支，对所述样本图像和所述参考图像进行特征提取，得到所述样本图像对应的样本特征信息和所述参考图像对应的参考特征信息；基于所述样本特征信息和所述参考特征信息之间的损失值，对所述参考图像进行更新，得到所述样本图像对应的第一特征图像；根据所述样本图像和所述第一特征图像对自编码模型进行训练，得到训练后的自编码模型，以使得通过训练后的自编码模型对图像进行分类。

以上各个操作的具体实施可参见前面的实施例，在此不再赘述。

其中，该存储介质可以包括：只读存储器（rom，readonlymemory）、随机存取记忆体（ram，randomaccessmemory）、磁盘或光盘等。

由于该存储介质中所存储的指令，可以执行本申请实施例所提供的任一种图像分类方法中的步骤，因此，可以实现本申请实施例所提供的任一种图像分类方法所能实现的有益效果，详见前面的实施例，在此不再赘述。

根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述图像分类方面的各种可选实现方式中提供的方法。

以上对本申请实施例所提供的一种图像分类方法和装置进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。