本发明涉及图像处理技术领域，特别涉及一种图像分类方法及装置、个性化推荐方法及装置、计算机存储介质及设备。
背景技术：
目前，各种系统、软件和网站中可提供多种多样的图像以供用户选择，为便于用户对图像的查找，提供有图像分类的功能。
在现有图像分类方法中，通过对图像进行分析，获得图像特征，根据图像特征以及分类算法对图像进行分类。然而，现有图像分类方法中采用的图像特征比较单一，据此进行分类时，导致分类准确性不足。
技术实现要素：
基于此，有必要针对图像分类准确性不足的问题，提出一种图像分类方法及装置、个性化推荐方法及装置、计算机存储介质及设备。
一种图像分类方法，包括以下步骤：
提取待分类图像的全局图像特征；
根据所述待分类图像以及所述待分类图像的全局图像特征，确定所述待分类图像的局部关键区域；
提取所述待分类图像的局部关键区域的图像特征；
根据所述待分类图像的全局图像特征以及所述待分类图像的局部关键区域的图像特征，获取待分类图像的关联特征；
根据所述待分类图像的全局图像特征、所述待分类图像的局部关键区域的图像特征以及所述待分类图像的关联特征，对所述待分类图像进行分类确定分类结果。
本申请还提供一种个性化推荐方法，包括：
获取通过上述图像分类方法对所述待分类图像进行分类确定的分类结果；
查找与所述分类结果对应的待推荐信息；
推送所述推荐信息。
本申请还提供一种图像分类装置，包括：
全局特征提取模块，用于提取待分类图像的全局图像特征；
确定模块，用于根据所述待分类图像以及所述待分类图像的全局图像特征，确定所述待分类图像的局部关键区域；
局部特征提取模块，用于提取所述待分类图像的局部关键区域的图像特征；
关联特征获取模块，用于根据所述待分类图像的全局图像特征以及所述待分类图像的局部关键区域的图像特征，获取待分类图像的关联特征；
分类模块，用于根据所述待分类图像的全局图像特征、所述待分类图像的局部关键区域的图像特征以及所述待分类图像的关联特征，对所述待分类图像进行分类确定分类结果。
本申请还提供一种个性化推荐装置，包括：
分类结果获取模块，用于获取通过上述图像分类装置对所述待分类图像进行分类确定的分类结果；
查找模块，用于查找与所述分类结果对应的待推荐对象信息；
推送模块，用于推送所述待推荐对象信息。
本申请还提供一种计算机存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。
本申请还提供一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
上述图像分类方法及装置、个性化推荐方法及装置、计算机存储介质及设备，根据全局图像特征、局部关键区域的图像特征以及关联特征，对待分类图像进行分类。即在进行图像分类的过程中，不但考虑了全局图像特征，还考虑了局部关键区域的图像特征，丰富了图像分类所依据的图像特征信息，依据上述丰富的特征信息进行图像分类时，能够准确分类，提高图像分类准确性。
附图说明
图1为一个实施例中图像分类方法的应用环境示意图；
图2为一个实施例的图像分类方法的流程示意图；
图3为另一个实施例的图像分类方法中步骤s220的子的流程示意图；
图4为另一个实施例的图像分类方法中步骤s322的子流程示意图；
图5为另一个实施例的图像分类方法中步骤s240的子流程示意图；
图6为另一个实施例的图像分类方法中步骤s250的子流程示意图；
图7为另一个实施例的图像分类方法中步骤s653之前的子流程示意图；
图8为另一个实施例的图像分类方法中步骤s760的子流程示意图；
图9为一具体实施例的图像分类方法的原理图；
图10为一个实施例的个性化推荐方法的流程图；
图11为一个实施例的图像分类装置的模块示意图；
图12为另一个实施例的图像分类装置中确定模块120的子模块示意图；
图13为另一个实施例的图像分类装置中区域权重获取模块222的子模块示意图；
图14为另一个实施例的图像分类装置中关联特征获取模块140的子模块示意图；
图15为另一个实施例的图像分类装置中分类模块150的子模块示意图；
图16为一个实施例的个性化推荐装置的模块示意图；
图17为一个实施例中计算机设备的结构框图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。
图1为一个实施例中图像分类方法的应用环境示意图。参照图1，该图像分类方法应用于图像分类系统。该图像分类系统包括终端10和服务器20。终端10和服务器20通过网络连接。终端10具体可以是台式终端或移动终端，移动终端具体可以手机、平板电脑、笔记本电脑等中的至少一种。服务器20可以用独立的服务器或者是多个服务器组成的服务器集群来实现。图像分类方法应用于服务器20中时，终端10通过网络可访问对应的服务器20，以请求相应的分类结果，服务器20可将该分类结果推送至终端10，终端10的用户可以根据该分类结果进行图像查找、下载等等。
如图2所示，在一个实施例中，提供了一种图像分类方法。本实施例主要以该方法应用于上述图1中的服务器120(或终端110)来举例说明。参照图2，该图像分类方法具体包括如下步骤：
s210：提取待分类图像的全局图像特征。
图像特征为表征图像特点的信息，包括全局图像特征和局部图像特征，全局图像特征指能表示整幅图像上的特征，用于描述图像的整体特征。局部图像特征是相对全局图像特征而言的，指图像特征的局部表达，反映图像上具有的局部特殊性。在本实施例中，通过提取待分类图像的全局图像特征，作为后续分类时所依据的特征之一。在本实施例中，全局图像特征可以为特征矩阵。
s220：根据待分类图像以及待分类图像的全局图像特征，确定待分类图像的局部关键区域。
局部关键区域为待分类图像中的部分区域，全局图像特征中包括了各子区域的图像特征，通过全局图像特征可从待分类图像中确定局部关键区域。不同种类的图像之间可能存在相同的整体特征，仅仅通过全局图像特征来进行分类容易导致分类错误，为得到准确的分类，关键点是寻找一些存在细微差别的局部区域。在本实施例中，在获得全局图像特征的基础上，确定待分类图像的局部关键区域，即从图像中提取对应的局部关键区域。
s230：提取待分类图像的局部关键区域的图像特征。
局部关键区域确定后，则需要对其进行图像特征提取，获得局部关键区域的图像特征，即为表征待分类图像中部分区域的图像特征。
s240：根据待分类图像的全局图像特征以及待分类图像的局部关键区域的图像特征，获取待分类图像的关联特征。
上述全局图像特征和局部关键区域的图像特征是对同一待分类图像进行处理得到的特征，其中必然存在关联，因此，在本实施例中，还需要获取全局图像特征以及局部关键区域的图像特征之间的关联特征，关联特征指特征之间存在的某种关联性的特征，能进一步表征待分类图像的特征，将其作为后续分类依据的特征之一，考虑了全局图像特征和局部关键区域的图像特征的关联性，可提高图像分类的准确性。
s250：根据待分类图像的全局图像特征、待分类图像的局部关键区域的图像特征以及待分类图像的关联特征，对待分类图像进行分类确定分类结果。
即将待分类图像的全局图像特征、局部关键区域的图像特征以及关联特征组合作为分类时所依据的特征，这些特征组合后能更加全面地表征图像，不但考虑了全局，而且考虑了局部以及全局和局部之间的关联性，据此进行分类时，能够获得准确的分类结果。
上述图像分类方法，根据待分类图像的全局图像特征、局部关键区域的图像特征以及关联特征，对待分类图像进行分类。即在进行图像分类的过程中，不但考虑了全局图像特征，还考虑了局部关键区域的图像特征，丰富了图像分类所依据的图像特征信息，依据上述丰富的特征信息进行图像分类时，能够准确分类，提高图像分类准确性。
在一个示例中，上述图像分类方法可以为细粒度图像分类方法，可用于对细粒度图像的分类。
如图3所示，其中一个实施例中，上述根据待分类图像以及待分类图像的全局图像特征，确定待分类图像的局部关键区域的步骤s220包括：
s321：根据待分类图像的全局图像特征，获取待分类图像的各子区域分别对应的子图像特征。
各子区域可一起构成整个待分类图像，全局图像特征中包括各子区域的子图像特征，在获得待分类图像的全局图像特征之后，根据全局图像特征，可获取待分类图像中各子区域分别对应的子图像特征。可以理解，待分类图像对应的任意一个子图像特征对应一个子区域。例如，待分类图像ig对应的全局图像特征为28×28个512维度的向量，可以理解为512张大小28×28为的特征图，有28×28个特征向量，每个特征向量中有512个特征元素，28×28个特征向量组成了待分类图像ig的全局图像特征，其中，每个特征向量对应一个子区域的子图像特征，从而，可根据待分类图像ig的全局图像特征获得各子区域分别对应的子图像特征。
s322：获取各子区域的子图像特征分别对应的权重。
子区域的子图像特征是对待分类图像的子区域的特征表征，为衡量各子区域的重要程度，在本实施例中，需要给各子区域的子图像特征分别赋予权重，权重越大，表示该子区域越重要。
s323：根据各子区域的子图像特征、各子区域的子图像特征的权重以及待分类图像，确定待分类图像的局部关键区域。
各子区域的子图像特征分别对应的权重获取后，可获知各子区域的重要程度，即可从待分类图像中提取对应的局部关键区域。如此，确定局部关键区域的过程中，考虑了各子区域的子图像特征的权重，可确保局部关键区域的准确性，进而可提高后续分类准确性。在一个示例中，可选取各子区域中权重最大的子区域作为局部关键区域，也可以从各子区域中选取权重大于预设值的子区域，根据权重大于预设值的子区域，确定局部关键区域。由于权重大于预设值的子区域可能存在重合，从而，可将权重大于预设值的各子区域求并集，得到局部关键区域。
可以理解，上述获取各子区域的子图像特征分别对应的权重以及根据各子区域的子图像特征、各子区域的子图像特征的权重以及待分类图像，确定待分类图像的局部关键区域的过程，是根据attention机制(注意力机制)确定局部关键区域的过程。
如图4所示，其中一个实施例中，上述获取各子区域的子图像特征分别对应的权重的步骤s322包括：
s421：获取预设高维特征向量。
在一个示例中，预设高维特征可以是预先根据卷积神将网络对样本图像进行处理得到卷积特征，然后根据卷积特征获取的样本图像在预设局部关键区域对应的子图像特征，其维度与待分类图像的子区域的子图像特征的维度是相同的。
s422：将各子区域的子图像特征分别与预设高维特征向量进行合并，获得各子区域的组合特征。
可以理解为将各子区域的子图像特征分别与预设高维特征向量进行拼接，组合特征中的元素数量为子区域的子图像特征的元素数量与预设高维特征向量中元素数量的和。
s423：将各子区域的组合特征分别作为多层感知器的输入，根据多层感知器分别进行预测，获得各子区域的子图像特征分别对应的权重。
多层感知器(mlp，multilayerperceptron)是一种前馈人工神经网络模型，其将输入的多个数据集映射到单一的输出的数据集上。在本实施例中，多层感知器的输入层的节点数量与组合特征中元素数量相同，将子区域的组合特征作为多层感知器的输入，根据多层感知器将输入的组合特征映射到单一的输出数据上，得到一个子区域的子图像特征的权重，分别对各子区域的组合特征重复上述映射过程，得到各子区域的子图像特征分别对应的权重。
在一个示例中，获得各子区域的子图像特征分别对应的权重的公式如下：
其中，
在其中一个实施例中，在通过多层感知器进行预测得到权重之前，需要进行训练获得多层感知器，即上述步骤s423之前，需要预先获得多层感知器。从而，在将各子区域的组合特征分别作为多层感知器的输入之前，还包括以下步骤：提取各样本图像的全局图像特征；根据样本图像的全局图像特征，获取所述样本图像的各子区域分别对应的子图像特征；对样本图像的各子区域的子图像特征分别进行权重初始化，获得各子区域的子图像特征分别对应的初始权重；根据样本图像的各子区域的子图像特征以及各子区域的子图像特征的初始权重，获得各样本图像的图像上下文向量；分别对各所述图像上下文向量进行加权处理，获得各加权图像上下文向量；将各所述加权图像上下文向量分别与预设高维特征向量合并，获得各训练输入特征；获取初始多层感知器；根据各样本图像对应的各训练输入特征，对初始多层感知器进行训练，获得多层感知器。
样本图像可以理解为用于训练的图像，是已知分类的图像。本实施例中上述步骤为进行多层感知器训练的过程，获取样本图像的全局图像特征的过程与上述获取待分类图像的全局图像特征的过程类似，另外，获取样本图像的各子区域分别对应的子图像特征的获取过程与上述获取待分类图像的各子区域分别对应的子图像特征的过程类似，区别点仅在于图像不同，前者是样本图像，后者是待分类图像。
图像上下文向量为待分类图像的显著区域的特征表达，可以理解为局部关键区域的特征表达。在得到样本图像的各子区域的子图像特征的初始权重后，即可根据样本图像的各子区域的子图像特征的初始权重对样本图像的各子区域的子图像特征进行处理，获得图像上下文向量。
在一个示例中，获得图像上下文向量s的公式为：
qi为样本图像的第i各子区域的子图像特征，ai为样本图像的第i各子区域的子图像特征的初始权重。
获得加权图像上下文向量r的公式为：
r＝β·s。
β为图像上下文向量的权重，根据对各所述图像上下文向量进行加权处理即可获得加权图像上下文向量r。
再根据加权图像上下文向量r与预设高维特征向量γ合并得到训练输入特征，由于样本图像的数量有多个，从而，可获得各训练输入特征，根据各训练输入特征对初始多层感知器进行训练，得到上述多层感知器。具体地，在训练过程中，采用softmax回归函数σs进行训练，训练结果标签label1通过以下公式表示:
label1＝argmax(σs(r,w1,b1))。
其中，w1为权值矩阵，b1为偏置向量，argmax(f(e))是使得f(e)取得最大值时所对应的变量e的值。
如图5所示，其中一个实施例中，上述根据待分类图像的全局图像特征以及待分类图像的局部关键区域的图像特征，获取待分类图像的关联特征的步骤s240包括：
s541：对待分类图像的全局图像特征进行转置处理，获得转置特征。
对于一个矩阵，把它的第一行变成第一列，第二行变成第二列，......，最末一行变为最末一列，从而得到一个新的矩阵，这一过程称为矩阵的转置。由于图像的不同特征维度之间存在着有价值的联系，为了挖掘全局图像特征与局部关键区域的图像特征之间存在的有效关联信息，需要根据全局图像特征与局部关键区域的图像特征之间的不同特征维度(例如，行与列分别代表不同特征维度)之间的点乘来获取两者之间的关联，从而，首先，将全局图像特征进行转置处理，获得转置特征。
s542：将转置特征与待分类图像的局部关键区域的图像特征相乘，获得乘积特征。
对于矩阵a和b，矩阵a的大小为m行n列，矩阵b的大小为n行m列，矩阵a与矩阵b相乘后的矩阵结果的大小为m行m列，矩阵结果中第i行第j列位置点上的值为矩阵a第i行上n个数与第二个矩阵第j列上的n个数对应相乘后所得的n个乘积之和。
将转置特征与局部关键区域的图像特征相乘即是将转置矩阵的一行的元素分别与局部关键区域的图像特征的各列的元素对应相乘求和，得到乘积特征的一行，直到转置矩阵的各行执行完上述相乘求和，得到乘积特征，从而，实现将全局图像特征与局部关键区域的图像特征之间不同特征维度之间的乘积，获得存在关联的特征即乘积特征。
具体地，获得乘积特征x的公式如下：
x＝atb。
其中，a为待分类图像的全局图像特征，b为待分类图像的局部关键区域的图像特征，at为转置特征。aibj∈rm×m，ai为待分类图像的全局图像特征a中第i个特征向量，bj为待分类图像的局部关键区域的图像特征b中第j个特征向量。
s543：平均池化乘积特征，获得待分类图像的关联特征。
池化可以理解为压缩，是对不同位置的特征进行聚合统计，例如，计算图像一个区域上的某个特定特征的平均值作为该区域的一个值，如此，可降低维度，同时改善结果，不容易过拟合，这种聚合的操作称为池化。池化包括平均池化和做大池化，上述将区域上的某个特定特征的平均值，作为该区域的一个值，称为平均池化，将区域上的某个特定特征的最大值作为该区域的一个值，称为最大池化。
在得到具有关联特性的乘积特征之后，为避免维度太多以及数据量大影响分类效率，需要对乘积特征进行池化处理，以降低乘积特征的维度。在本实施例中，对乘积特征进行平均池化处理，得到关联特征，以确保关联特征的精确度。平均池化后，得到的待分类图像的关联特征为l×l形式的特征。
其中一个实施例中，提取待分类图像的全局图像特征的步骤s210包括：根据第一卷积神经网络对待分类图像进行特征提取，获得待分类图像的全局图像特征。
上述提取局部关键区域的图像特征的步骤s230包括：根据第二卷积神经网络对待分类图像的局部关键区域进行特征提取，获得待分类图像的局部关键区域的图像特征。
卷积神经网络是一种前馈神经网络，人工神经元可以响应周围单元，可以进行大型图像处理，卷积神经网络包括卷积层和池化层。通过卷积神经网络进行特征提取时得到的特征结果为三个空间维度的特征，可以理解为得到多个特征图，比如，通过卷积图像网络对图像a进行处理，得到的全局图像及特征为512×28×28形式的特征，可以理解为是512张大小为28×28的特征图，也可以理解为28×28个512维的单个向量，即单个向量中有512个元素。在本实施例中，可分别采用对应的卷积神经网络进行特征提取，通过第一卷积神经网络与第二卷积神经网络分别进行特征提取时，满足得到的全局图像特征和局部关键区域的图像特征的维度是相同。
如图6所示，其中一个实施例中，上述根据待分类图像的全局图像特征、待分类图像的局部关键区域的图像特征以及待分类图像的关联特征，对待分类图像进行分类确定分类结果的步骤s250包括：
s651：将待分类图像的全局图像特征转化为一维全局图像特征向量，将待分类图像的局部关键区域的图像特征转化为一维局部图像特征向量，将待分类图像的关联特征转化为一维关联特征向量。
s652：合并一维全局图像特征向量、一维局部图像特征向量以及一维关联特征向量，获得待分类图像对应的一维图像合并特征向量。
其中，一维图像合并特征向量中的元素数量为一维全局图像特征向量中的元素数量、一维局部图像特征向量的元素数量和一维关联特征向量的元素数量之和。
s653：将一维图像合并特征向量作为已训练分类模型的输入，根据已训练分类模型对待分类图像进行分类确定分类结果。
一维向量可以理解为一行向量(其中可以有多列，即一个行向量中可以有多个元素)或一列向量(其中可以有多行)。由于在提取特征过程中获得的全局图像特征和局部关键区域的图像特征可能是多维的矩阵形式，然而，在利用分类模型进行分类时，分类模型的输入应当为一维的向量形式，一维的向量中各元素分别作为分类输入层的节点的输入，从而，在进行图像分类时，需要将获得的全局图像特征转化为一维全局图像特征向量，将局部关键区域的图像特征转化为一维局部图像特征向量，将关联特征转化为一维关联特征向量，然后为了提高分类准确性，将上述的一维的特征向量合并成一维图像合并特征向量，将其作为已训练分类模型的输入，利用已训练分类模型进行图像分类，获得初始分类结果。具体地，分类类别有多种，初始分类结果可以为待分类图像分别属于各分类类别的概率，根据待分类图像分别属于各分类类别的概率，确定最终分类结果即上述对待分类图像进行分类确定的分类结果，可以是将初始分类结果中最大概率对应的分类类别作为最终分类结果。在一个示例中，已训练分类模型可以为已训练softmax线性回归模型。
在一个示例中，在将上述图像特征转化为一维的特征向量的过程中，可以通过将图像特征的每维中的元素合并成一维。例如，对一个大小为10×10矩阵形式的特征，将其转换为一维的向量后，该一维的向量可以是单行向量，其中，包括100个元素，可以理解为1行100列的一维向量。
在一个示例中，为避免一维关联特征向量中元素数量较多导致维度过高的问题，还可对一维关联特征向量进行降维，以更新一维关联特征向量。
如图7所示，在其中一个实施例中，将一维图像合并特征向量作为已训练分类模型的输入，根据已训练分类模型对待分类图像进行分类的步骤s653之前，还包括步骤：
s710：提取各样本图像的全局图像特征。
s720：根据各样本图像以及各样本图像的全局图像特征，确定各样本图像的局部关键区域。
s730：提取各样本图像的局部关键区域的图像特征。
s740：根据各样本图像的全局图像特征以及各样本图像的局部关键区域的图像特征，获取各样本图像分别对应的关联特征。
可以理解，在将一维图像合并特征向量作为已训练分类模型的输入进行分类之前，需要得到已训练分类模型，上述过程即为得到已训练分类模型的过程。由于在预测(即对待分类图像分类)过程中，采用根据待分类图像的全局图像特征、局部关键区域的图像特征和待分类图像的关联特征，从而，训练和预测时需要对应，以此保证根据训练后的分类模型进行分类时的准确性。
即首先对各样本图像分别进行特征提取，获得各样本图像的全局图像特征、各样本图像的局部关键区域的图像特征以及各样本图像的关联特征，上述对样本图像的特征提取过程与对待分类图像的特征提取过程是类似的，不同之处仅在于待提取特征的图像，在本实施例中，待提取特征的图像是各样本图像，而进行预测时，待提取特征的图像是待分类图像。
s750：初始化分类模型，获得初始分类模型。
分类模型对应有模型参数，则在进行训练之前，需要对分类模型进行初始化，即初始化分类模型的结构以及模型参数，得到初始模型参数，训练过程即是对初始分类模型中的初始模型参数不断修正的过程，直到训练结果满足要求，得到最优模型参数，该最优模型参数对应的分类模型即为训练后的模型。在一个示例中，初始分类模型可以为初始softmax线性回归模型。
s760：根据各样本图像的全局图像特征、各样本图像的局部关键区域的图像特征以及各样本图像的关联特征，对初始分类模型进行训练，获得已训练分类模型。
在本实施例中，是通过各样本图像的全局图像特征、各样本图像的局部关键区域的图像特征以及各样本图像的关联特征，对初始分类模型中的初始模型参数进行不断修正，实现对初始分类模型进的训练，得到已训练分类模型，后续即可利用该已训练分类模型对待分类图像进行分类。
在一个示例中，其在根据softmax线性回归模型进行分类时，采用的梯度下降公式为：
如图8所示，在其中一个实施例中，初始分类模型包括第一初始分类模型以及第二初始分类模型。
在本实施例中，上述根据各样本图像的全局图像特征、各样本图像的局部关键区域的图像特征以及各样本图像的关联特征，对初始分类模型进行训练，获得已训练分类模型的步骤s760包括：
s861：根据各样本图像的全局图像特征对第一初始分类模型进行训练获得第一目标分类模型；
s862：根据各样本图像的局部关键区域的图像特征对第二初始分类模型进行训练获得第二目标分类模型；
即针对不同的特征，初始化对应的初始分类模型，再根据不同特征分别对不同的初始分类模型进行分开训练，即第一初始分类模型是根据样本图像的全局图像特征初始化得到，可以理解，第一初始分类模型的输入层的节点数量是根据样本图像的全局图像特征中元素数量决定，第二初始分类模型是根据样本图像的局部关键区域的图像特征初始化得到，可以理解，第二初始分类模型的输入层的节点数量是根据样本图像的局部关键区域的图像特征中元素数量决定，如此，可得到两个独立的目标分类模型。
s863：合并第一目标分类模型与第二目标分类模型，获得初始合并分类模型；
s864：根据各样本图像的关联特征对初始合并分类模型进行训练，获得已训练分类模型。
考虑到不同特征之间的关联性，还需要根据各样本图像的关联特征进行分类模型训练，然而，之前独立的两个目标分类模型虽不能满足根据关联特征的训练要求，但其分别根据得到关联特征所依据的各样本图像的全局图像特征和各样本图像的局部关键区域的图像特征进行训练，存在一定的关联性，从而，将第一目标分类模型与第二目标分类模型，获得初始合并分类模型，再根据各样本图像的关联特征对初始合并分类模型进行训练，获得已训练分类模型。如此，即考虑了特征的独立性，有考虑了特征的关联性，提高已训练分类模型的准确性，进而提高分类准确性。在一个示例中，第一初始分类模型和第二初始分类模型可以分别为初始softmax线性回归模型。
在一个示例中，第一目标分类模型对应有模型结构和已训练完成后的模型参数，第二目标分类模型对应有模型结构和已训练完成后的模型参数，合并两种分类模型得到的初始合并分类模型可以理解为对应的结构为两种分类模型中各层节点的对应叠加，对应的模型参数是两种分类模型的模型参数的叠加。例如，第一目标分类模型和第二目标分类模型分别为三层结构，第一目标分类模型的第一层有512个输入节点，第二层有500个节点，第三层有5个节点(可以理解为输出层)，第二目标分类模型的第一层有512个输入节点，第二层有500个节点，第三层有5个节点，合并时，两个分类模型的第一层的输入节点叠加为1024个输入节点，两个分类模型的第二层的节点叠加1000个节点，两个分类模型的第三层的节点叠加为10个节点，两个分类模型已训练后的模型参数保留，在对其他缺少的模型参数(两层中来自不同分类模型的节点之间的模型参数在合并初期是缺失的)进行初始化，得到初始合并分类模型。
在另一个实施例中，初始分类模型可以是根据样本图像的全局图像特征、样本图像的局部关键区域的图像特征以及样本图像的关联特征初始化得到的，可以理解，初始分类模型的输入层的节点数量是样本图像的全局图像特征中元素数量、样本图像的局部关键区域的图像特征中元素数量和样本图像的关联特征中元素数量的和决定，则可根据各样本图像的全局图像特征、各样本图像的局部关键区域的图像特征以及各样本图像的关联特征进行合，获得样本合并特征，根据样本合格特征对初始分类模型进行训练，获得已训练分类模型。
在本实施例中，根据已训练分类模型对待分类图像进行分类得到分类标签的公式为：
label2＝argmax(σs(c,w2,b2))。
其中，w2为权值矩阵，b2为偏置向量，c为一维图像合并特征向量。
下面以一具体实施例对上述图像分类方法加以具体说明。
如图9所示，为通过本具体实施例的图像分类方法进行分类的原理图，首先，根据卷积神经网络对待分类图像ig进行特征提取，获得全局图像特征a。
然后，根据待分类图像ig、待分类图像ig的全局图像特征a以及attention机制获取待分类图像ig对应的局部关键区域ia；
其次，根据卷积神经网络对局部关键区域ia进行特征提取，获得局部关键区域ia的图像特征b。
再次，待分类图像ig的全局图像特征a和局部关键区域ia的图像特征b分别有对应单独的softmax线性回归模型的分类通道，即可根据待分类图像ig的全局图像特征a对应的一维全局图像特征以及对应的softmax线性回归模型进行图像分类，也可根据局部关键区域ia的图像特征b对应的一维局部图像特征向量以及对应的softmax线性回归模型进行图像分类。
为了丰富特征类型，通过丰富的特征信息进行分类，提高准确性，根据待分类图像ig的全局图像特征a和局部关键区域ia的图像特征b确定关联特征，可将待分类图像ig的全局图像特征a对应的一维全局图像特征向量、局部关键区域ia的图像特征b对应的一维局部图像特征向量以及关联特征对应的一维关联特征向量合并，获得待分类图像对应的一维图像合并特征向量，将一维图像合并特征向量作为已训练分类模型的输入，根据已训练分类模型对待分类图像进行分类，能够提高分类准确性。
综上，本具体实施例的图像分类方法可提高分类能力，确保分类的准确性，为后续用户查找提供便利，且对图像进行个性化推荐提供良好的基础。
上述图像分类方法可应用于个性化推荐、机器人视觉识别以及自动驾驶物体识别等领域，以应用于个性化推荐为例，如图10所示，本申请还提供一种实施例的个性化推荐方法，本实施例主要以该方法应用于上述图1中的服务器120来举例说明，包括以下步骤：
s110：获取通过上述图像分类方法对待分类图像进行分类确定的分类结果。
通过上述图像分类方法对待分类图像进行分类时，可获得准确的分类结果。
s120：查找与分类结果对应的待推荐对象信息。
s130：推送待推荐对象信息。
对象可理解为目标事务，可在预设推荐信息数据库中存储各对象的信息，其中，对象可包括商品、图像、物品以及人物等，不同用户在终端使用的图像各异，可利用这图像为用户提供个性化推荐，首先对这些图像进行分类，获得准确的分类结果，并查找与分类结果对应的待推荐对象信息，以提高待推荐对象信息的准确性，然后推送待推荐对象信息，实现个性化推荐，以便用户查看。
具体地，上述个性化推荐方法可应用于服务器或终端，在应用于服务器时，上述推送所述待推荐对象信息的步骤s130具体可以为向终端发送待推荐对象信息，用户可查看终端上接收的待推荐对象信息。另外，上述个性化推荐方法在应用于终端时，通过终端自身进行待推荐对象信息的查找，即在终端上得到待推荐对象信息，用户可通过查看终端即可获知待推荐对象信息。
上述个性化推荐方法，可获取通过上述图像分类方法确定的分类结果，提高分类结果的准确性，然后根据分类结果查找对应的待推荐对象信息时，可准确获取待推荐对象信息并推送，实现待推荐对象信息的推荐，提高推准确性。
如图11所示，提供一种实施例的图像分类装置，包括：
全局特征提取模块110，用于提取待分类图像的全局图像特征。
确定模块120，用于根据所述待分类图像以及所述待分类图像的全局图像特征，确定所述待分类图像的局部关键区域。
局部特征提取模块130，用于提取所述待分类图像的局部关键区域的图像特征。
关联特征获取模块140，用于根据所述待分类图像的全局图像特征以及所述待分类图像的局部关键区域的图像特征，获取待分类图像的关联特征。
分类模块150，用于根据所述待分类图像的全局图像特征、所述待分类图像的局部关键区域的图像特征以及所述待分类图像的关联特征，对所述待分类图像进行分类确定分类结果。
上述图像分类装置，根据全局图像特征、局部关键区域的图像特征以及关联特征，对待分类图像进行分类。即在进行图像分类的过程中，不但考虑了全局图像特征，还考虑了局部关键区域的图像特征，丰富了图像分类所依据的图像特征信息，依据上述丰富的特征信息进行图像分类时，能够准确分类，提高图像分类准确性。
如图12所示，在其中一个实施例中，上述确定模块120包括：
区域特征获取模块221，用于根据所述待分类图像的全局图像特征，获取所述待分类图像的各子区域分别对应的子图像特征。
区域权重获取模块222，用于获取各所述子区域的子图像特征分别对应的权重。
局部区域确定模块223，用于根据各所述子区域的子图像特征、各所述子区域的子图像特征的权重以及所述待分类图像，确定所述待分类图像的局部关键区域。
如图13所示，在其中一个实施例中，上述区域权重获取模块222包括：
预设向量获取模块321，用于获取预设高维特征向量。
向量合并模块322，用于将各所述子区域的子图像特征分别与所述预设高维特征向量进行合并，获得各所述子区域的组合特征；
预测模块323，用于将各所述子区域的组合特征分别作为多层感知器的输入，根据所述多层感知器分别进行预测，获得各所述子区域的子图像特征分别对应的权重。
如图14所示，在其中一个实施例中，上述关联特征获取模块140包括：
转置模块441，用于对所述待分类图像的全局图像特征进行转置处理，获得转置特征。
乘积模块442，用于将所述转置特征与所述待分类图像的局部关键区域的图像特征相乘，获得乘积特征。
池化模块443，用于平均池化所述乘积特征，获得所述关联特征。
在其中一个实施例中，上述全局特征提取模块110，具体用于根据第一卷积神经网络对所述待分类图像进行特征提取，获得所述待分类图像的全局图像特征。
上述局部特征提取模块130，具体用于根据第二卷积神经网络对所述待分类图像的局部关键区域进行特征提取，获得所述待分类图像的局部关键区域的图像特征。
如图15所示，在其中一个实施例中，上述分类模块150包括：
转换模块551，用于将所述待分类图像的全局图像特征转化为一维全局图像特征向量，将所述待分类图像的局部关键区域的图像特征转化为一维局部图像特征向量，将所述待分类图像的关联特征转化为一维关联特征向量。
特征合并模块552，用于合并所述一维全局图像特征向量、所述一维局部图像特征向量以及所述一维关联特征向量，获得所述待分类图像对应的一维图像合并特征向量。
其中，一维图像合并特征向量中的元素数量为一维全局图像特征向量中的元素数量、一维局部图像特征向量的元素数量和一维关联特征向量的元素数量之和。
图像分类模块553，用于将所述一维图像合并特征向量作为已训练分类模型的输入，根据所述已训练分类模型对所述待分类图像进行分类。
在其中一个实施例中，上述图像分类装置还包括初始化模块和训练模块。
所述全局特征提取模块110，还用于提取各样本图像的全局图像特征；
所述确定模块120，还用于根据各所述样本图像以及各所述样本图像的全局图像特征，确定各所述样本图像的局部关键区域；
所述局部特征提取模块130，还用于提取各所述样本图像的局部关键区域的图像特征；
所述关联特征获取模块140，还用于根据各所述样本图像的全局图像特征以及各所述样本图像的局部关键区域的图像特征，获取各所述样本图像分别对应的关联特征；
上述初始化模块，用于初始化分类模型，获得初始分类模型；
上述训练模块，用于根据各所述样本图像的全局图像特征、各所述样本图像的局部关键区域的图像特征以及各所述样本图像的关联特征，对所述初始分类模型进行训练，获得所述已训练分类模型。
在其中一个实施例中，所述初始分类模型包括第一初始分类模型以及第二初始分类模型。
在本实施例中，上述训练模块包括：第一训练模块、第二训练模块、模型合并模块以及第三训练模块。
第一训练模块，用于根据各所述样本图像的全局图像特征对所述第一初始分类模型进行训练获得第一目标分类模型；
第二训练模块，用于根据各所述样本图像的局部关键区域的图像特征对所述第二初始分类模型进行训练获得第二目标分类模型；
模型合并模块，用于合并所述第一目标分类模型与所述第二目标分类模型，获得初始合并分类模型；
第三训练模块，用于根据各所述样本图像的关联特征对所述初始合并分类模型进行训练，获得所述已训练分类模型。
在另一个实施例中，初始分类模型可以是根据样本图像的全局图像特征、样本图像的局部关键区域的图像特征以及样本图像的关联特征初始化得到的，可以理解，初始分类模型的输入层的节点数量是样本图像的全局图像特征中元素数量、样本图像的局部关键区域的图像特征中元素数量和样本图像的关联特征中元素数量的和决定，则可根据各样本图像的全局图像特征、各样本图像的局部关键区域的图像特征以及各样本图像的关联特征进行合，获得样本合并特征，根据样本合格特征对初始分类模型进行训练，获得已训练分类模型。
上述图像分类装置中的技术特征分别与上述数据处理方法中的技术特征是对应的，在此不再赘述。
如图16所示，本申请还提供一种实施例的个性化推荐装置，包括：
分类结果获取模块610，用于获取通过上述图像分类装置对所述待分类图像进行分类确定的分类结果。
查找模块620，用于查找与所述分类结果对应的待推荐对象信息。
推送模块630，用于推送所述待推荐对象信息。
上述个性化推荐装置，可获取通过上述图像分类方法确定的分类结果，提高分类结果的准确性，然后根据分类结果查找对应的待推荐对象信息时，可准确获取待推荐对象信息并推送，实现待推荐对象信息的推荐，提高推准确性。
图17示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是图1中的终端10(或服务器20)。如图17所示，该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、输入装置和显示屏。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现上述图像分类方法和个性化推荐方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行图像分类方法和个性化推荐方法。计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图17中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，本申请提供的图像分类装置可以实现为一种计算机程序的形式，计算机程序可在如图17所示的计算机设备上运行。计算机设备的存储器中可存储组成该图像分类装置的各个程序模块，比如，图11所示的全局特征提取模块110、确定模块120、局部特征提取模块130、关联特征获取模块140和分类模块150。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的图像处理方法中的步骤。
例如，图17所示的计算机设备可以通过如图11所示的图像处理装置中的全局特征提取模块110执行步骤s210。计算机设备可通过确定模块120执行步骤s220。计算机设备可通过局部特征提取模块130执行步骤s230。计算机设备可通过关联特征获取模块140执行步骤s240。计算机设备可通过分类模块150执行步骤s240。
在一个实施例中，本申请提供的个性化推荐装置可以实现为一种计算机程序的形式，计算机程序可在如图17所示的计算机设备上运行。计算机设备的存储器中可存储组成该个性化推荐装置的各个程序模块。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的个性化推荐方法中的步骤。
本申请提供了一种实施例的计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述方法的步骤。其中，方法包括图像分类方法和个性化推荐方法。
本申请提供一种实施例的计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。