一种多标签图像深度学习分类方法及设备与流程

[0001]
本发明涉及机器学习领域的多标签学习技术，涉及针对深度多标签学习中的图嵌入学习及分类技术，特别涉及一种多标签图像深度学习分类方法及设备。


背景技术：

[0002]
在大数据时代，多标签图像越来越复杂，多标签图像的复杂不仅仅体现在图像中标签个数的增多，也体现在不同的标签在多标签图像中的分布也越来越复杂。为了解决多标签图像的分类问题除了可以利用图像自身的特征如轮廓，形状，颜色等进行标签分类，也可以结合多标签学习中的标签之间存在的相互关系对标签关系进行建模。
[0003]
目前的多标签图像深度学习主要采用卷积神经网络对图像中的通用特征进行提取学习，这些通用特征包括了图像中物体的轮廓，颜色，形状等。同时针对多标签图像中标签与标签之间的低阶或高阶关系进行建模学习到标签关系特征，最终将这两部分特征进行融合得到最终最具有判别力的特征，利用最终结合的特征就可以建立分类器得到多个标签在图像中的概率分布。
[0004]
其中提取图像通用特征的卷积神经网络部分采用的一般都是alexnet，vgg， resnet，其中resnet因为其强大的特征提取能力在目前的多标签深度学习框架中占据主流地位，在resnet的众多版本中权衡了性能和计算资源，计算速度等因素主要采用101层的resnet-101。目前主流的方法采用的一般是resnet-101最终某一层的特征，没有高效地利用不同特征层获取更加丰富的语义信息。本方法虽然采用 resnet-101作为图像通用特征提取器，但在实际应用时本方法可以与任意主流卷积神经网络结合具有很好的可拓展性。
[0005]
对于多标签图像中的标签关系学习标签关系特征的提取目前主流的方法是采用递归神经网络或者是图神经网络进行标签关系的建模和学习，递归神经网络可以很好地处理序列化的数据，利用递归神经网络可以学习到特定序列中标签之间的相互关系来帮助进行多标签分类。图神经网络对标签关系建模是目前新兴的标签关系提取方法，图神经网络例如图卷积神经网络可以用来处理非欧几里得数据的特征提取问题。利用图神经网络来进行标签关系提取一般分为三步：第一步，建立标签关系图，一般采用标签在多标签图像中的共现关系作为关系图的建立依据，每一种类别的标签都是一个节点，节点之间连接的边即代表标签之间的共现关系。第二步，得到标签节点本身的表示，标签节点自身也要对自己的语义信息进行表达，一般采用词嵌入的模型将标签自身的语义信息转化为向量。第三步，将标签共现关系图和含有标签语义的词嵌入输入进图神经网络学习到包含共现关系和语义信息的特征。虽然这些方法都利用到了标签之间存在的相似性但是没有考虑到更加高阶的标签相似性。同时也没有对标签按照自身属性进行分组对标签关系进行进一步的约束。
[0006]
综上所述多标签图像深度学习分类由深度学习方法中的卷积神经网络作为特征提取器，利用不同的卷积神经网络模型和同一卷积神经网络的不同层的特征都会影响最终的分类结果，目前对于同一卷积神经网络模型的不同层的特征的整合缺乏有效的方法。对标签关系特征的提取虽然方法不同但是都没有充分考虑到多阶的标签相似性。因此如何更
加高效的利用卷积神经网络进行通用特征提取和如何针对标签节点多阶相似性关系进行建模学习对提升多标签图像深度学习模型的性能来说尤为关键。


技术实现要素：

[0007]
本发明提供一种多标签图像深度学习分类方法及设备，实现有效利用标签关系，学习更加丰富的图像通用特征和标签关系特征，更好的进行多标签分类任务。
[0008]
为实现上述技术目的，本申请采取的技术方案为，一种多标签图像深度学习分类方法，包含以下步骤：
[0009]
获取训练数据的图像文件和标签，获得标签关系图；
[0010]
根据标签关系图获得所有类别标签的映射和所有标签组的映射；
[0011]
构建深度卷积神经网络，制定从卷积神经网络中抽取指定特征图的策略，并进行图像通用特征提取；
[0012]
选取的卷积神经网络不同层的特征图通过映射函数将其映射到标签和标签组映射的维度；
[0013]
对选取的特征图中所有像素点计算标签和标签组在当前像素点位置的相合性评分与归一化评分；
[0014]
根据选取的特征图中每个位置的标签和标签组归一化评分，获得选取的特征图上整合的标签与标签组特征，通过在多层选取的层的特征图上计算整合的标签特征、标签组特征并且取其均值得到最终的标签相关语义特征与最终的标签组的相关语义特征；
[0015]
将标签和对应标签组的最终相关语义特征拼接起来得到标签分类特征输入全连接层经过sigmoid激活函数计算，阈值判断计算得到该标签在样本t中的出现情况；
[0016]
标签预测，给定测试样本t，将测试样本t带入前述步骤得到样本t中所有标签的预测值。
[0017]
作为本申请改进的技术方案，获取训练数据的图像文件和标签，获得标签关系图，包括：
[0018]
获取训练数据的图像文件和训练数据中的标签，得到标签集合 v＝{y1，......y
i
...，y
q
}，
[0019]
其中，y
i
表示第i个类别标签，
[0020]
y
q
表示第q个类别标签，q表示总的类别标签个数；i为1到q之间的正整数；
[0021]
得到训练样本的标签矩阵y∈{0，1}
n
×
q
，
[0022]
其中，n为正整数，表示样本个数；
[0023]
其中y
ab
表示矩阵y∈{0，1}
n
×
q
中的第a行b列的元素；y
ab
＝1表示第a个样本含有第b个类别标签，否则y
ab
＝0，a为1到n之间的正整数，b为1到q之间的正整数。
[0024]
对标签的共现关系建立图g＝(v，e)，
[0025]
其中，v表示为类别标签集合，即v＝{y1，......y
i
…
，y
q
}；
[0026]
e表示边集，即e＝{e1，e2，...，e
m
}，e
m
表示两两标签节点之间连接的边，m表示边的条数；
[0027]
将图g中所有标签节点的邻接关系建立成一个邻接矩阵a∈{0，1}
q
×
q
，根据边集e 得到矩阵a中的所有元素a
ij
，a
ij
的取值域为{0，1}；
[0028]
a
ij
＝1表示第i个类别标签y
i
和第j个类别标签yj在边集e中存在相互连接的边，同时也表示第i个类别标签y
i
和第j个类别标签y
j
在多标签数据集中有共现关系；
[0029]
a
ij
＝0表示第i个类别标签y
i
和第j个类别标签y
j
在边集e中不存在相互连接的边，同时也表示第i个类别标签y
i
和第j个类别标签y
j
在多标签数据集中没有共现关系。
[0030]
作为本申请改进的技术方案，根据标签关系图获得所有类别标签的映射和所有标签组的映射，包括：
[0031]
o1表示的是两个标签节点映射表示和之间的一阶相似性约束：
[0032][0033]
其中，v
i
表示在边集e中的任意的一条边上的标签y
i
；
[0034]
v
j
表示标签y
i
的所在边上的另一个标签y
j
；
[0035]
为v
i
对应标签节点映射表示；
[0036]
为v
j
对应标签节点映射表示；
[0037]
其中，i，j∈{1，2，
…
，q}；
[0038]
o2表示的是两个标签节点映射表示和以共同邻居为媒介计算的二阶相似性约束：
[0039][0040]
其中，α为上下文嵌入的权衡参数取值域为{0.1，1，5，10}；
[0041]
v
i
∈v表示类别标签集合中第i个标签节点；
[0042]
δ
ij
为衡量标签节点v
i
生成的上下文节点集v
j
∈c
i
质量的函数，c
i
为依据标签节点v
i
生成的上下文节点集，v
i
生成的上下文节点表达的是标签节点v
i
ξ跳之内的邻居节点，ξ的取值域为{5，10}；
[0043]
o3表示的是两个标签节点映射表示和之间的高阶相似性约束，
[0044][0045]
其中，β为权衡参数取值域为{0.1，1，5，10}；
[0046]
为高斯分布；
[0047]
为第k个标签组的标签组映射k∈{1，...k}，k为标签组个数取值域为{5，7，9}；
[0048]
π
ik
表示第i个标签之间和标签组k之间的从属关系，取值范围为[0，1]；
[0049]
为第k个组的协方差矩阵，表示实数域，de的取值域为{128，256，512}；
[0050]
通过优化一阶相似性约束、二阶相似性约束以及高阶相似性约束得到q个类别标签的映射和k个标签组的映射表示
[0051]
其中，的维度为
[0052]
的维度为
[0053]
表示实数域。
[0054]
针对每一个标签节点v
i
进行采样，采样路径长度设置为l，l的取值域为{2，5，10}；每个节点经过随机行走采样经过的次数为γ，γ的取值域为{5，10}；
[0055]
通过deepwalk初始化标签节点映射和上下文映射
[0056]
根据更新π
ik
，其中，n
k
表示采样路径中所有标签节点和标签组k之间路径的总和；
[0057]
根据与更新∑
k
，其中，γ
ik
表示的是第i个标签和标签组k之间的路径；
[0058]
根据一阶相似性约束，二阶相似性约束和高阶相似性约束得到最终损失函数：
[0059][0060]
通过最小化损失函数求解出所有类别标签的映射上下文映射标签组分配π内任意第i行k列元素为π
ik
，π
ik
的取值决定了第i个标签和第k 个标签组之间的从属关系；
[0061]
每个标签有k个标签从属关系值，若π
ik
的取值为标签i在这k个标签从属关系值中的最大值则认为标签i属于标签组k，对于每一个标签都在π中查找其最大的标签从属关系值就可以得到每个标签所属于的标签组，i为1到q之间的正整数，k为1到k之间的正整数，表示实数域，所有标签组的映射所有标签组的协方差矩阵ξ
[0062]
作为本申请改进的技术方案，构建深度卷积神经网络，制定从卷积神经网络中抽取指定特征图的策略，并进行图像通用特征提取，包括：
[0063]
输入多标签图像样本t，并将t进行裁剪得到长宽为224通道数为3的图像，输入 resnet-101卷积神经网络，resnet-101是由4个阶层组成，这4个阶层所生成的特征图将作为备选；
[0064]
输入样本t在每个阶层输出的特征图为
[0065]
其中，表示实数域；
[0066]
w为选取的特征图的宽度，取值域为{7，14，28，56}；
[0067]
h为选取的特征图的长度，取值域为{7，14，28，56}；
[0068]
d为选取的特征图的通道数，取值域为{256，512，1024，2048}；
[0069]
s为当前所提取的阶层编号，s的取值域为{1，2，3，4}。
[0070]
作为本申请改进的技术方案，选取卷积神经网络不同层的特征图通过映射函数将其映射到标签和标签组映射的维度，包括：
[0071]
提取resnet-101中选取的阶层的特征图f
s
，通过映射矩阵对f
s
进行映射，表示实数域，d为选取的特征图f
s
的通道数；d
e
为将选取的特征图f
s
映射到标签和标签组映射的维度，d
e
与标签、标签组的映射表示与标签、标签组的映射表示的维度中的d
e
一致。
[0072]
作为本申请改进的技术方案，对选取的的特征图中所有像素点位置计算标签和标签组在当前位置的相合性评分与归一化评分，包括：
[0073]
通过w，h确定选取的特征图f
s
中像素点的位置，w表示在选取的特征图中的水平方向位置，取值域为{0，1，
…
，w}；h表示在选取的特征图中的垂直方向位置，取值域 {0，1，
…
，h}：
[0074]
任意第i个标签在当前选取的特征图f
s
上像素点中的相合性评分上像素点中的相合性评分
[0075]
任意k个标签组在当前选取的特征图f
s
上像素点中的相合性评分
[0076]
其中，c表示相合性评分计算函数；
[0077]
f
s，(w，h)
表示选取的特征图f
s
在坐标位置w，h上的特征向量，维度为在坐标位置w，h上的特征向量，维度为表示实数域；
[0078]
表示第i个标签映射，i的取值域为{1，2，
…
，q}；
[0079]
表示第k个标签组映射，k的取值域为{1，2，
…
，k}；
[0080]
当前像素点中第i个标签在特征图f
s
上的归一化评分
[0081][0082]
当前像素点中第k个标签组在特征图f
s
上的归一化评分
[0083][0084]
其中，x表示选取的特征图f
s
中的任意像素点位置水平坐标，取值域为{0，1，
…
，w}； y表示选取的特征图f
s
中的任意像素点位置垂直坐标，取值域为{0，1，
…
，h}。
[0085]
作为本申请改进的技术方案，根据选取的特征图中每个位置的标签和标签组归一化评分，获得选取的特征图上整合的标签与标签组特征，通过在多层选取的层的特征图上计算整合的标签特征、标签组特征并且取其均值得到最终的标签相关语义特征与最终的标签组的相关语义特征，包括：
[0086]
在选取的特征图f
s
上计算得到的整合的第i个标签特征第i个标签整合的特征维度为并进一步得到在选取的特征图f
s
上所有标签节点的整合标签特征在选取的多层特征图上计算标签i的整合标签特征取均值计算得到标签i的最终相关语义特征和所有标签节点的最终相关语义特征
[0087]
其中，其中，表示实数域；
[0088]
在选取的特征图f
s
上计算得到的整合的第k组标签特征第k组标签整合的特征维度为并进一步得到在选取的特征图f
s
上所有标签组的整合标签组特征
在选取的多层特征图上计算标签组k的整合标签特征取均值计算得到标签组k的最终相关语义特征和所有标签组的最终相关语义特征
[0089]
其中，其中，表示实数域；
[0090]
其中，s为选取的参与计算的阶层个数，取值域为{1，2，3，4}。
[0091]
作为本申请改进的技术方案，将标签和对应标签组的最终相关语义特征拼接起来得到标签分类特征输入全连接层经过sigmoid激活函数计算，阈值判断计算得到该标签在样本t中的出现情况，包括：
[0092]
根据标签与标签组对应关系π，配对最终第i个标签的相关语义特征和第i个标签所属于的第k标签组的最终相关语义特征签所属于的第k标签组的最终相关语义特征维度均为维度均为表示实数域；
[0093]
通过拼接与得到用于标签i分类的特征f
′
i
，f
′
i
的维度为的维度为表示实数域；
[0094]
将f
′
i
输入一个全连接层，全连接层的输入为f
′
i
，输出一个实数q，将q输入进 sigmoid激活函数得到一个概率该概率是标签i在样本t中出现的概率，该标签i在样本t中出现的概率在(0，1)之间；
[0095]
通过设置一个阈值z判断标签i是否存在于样本t中，则认为标签i在样本t中有出现，则认为标签i在样本t中没有出现，z的取值域为{0.5}。
[0096]
作为本申请改进的技术方案，标签预测，给定测试样本t，将测试样本t带入前述步骤得到样本t中所有标签的预测值，包括：
[0097]
计算选取的特征图f
s
上所有标签节点的整合标签特征与所有标签组的整合标签组特征
[0098]
得到标签节点i的最终标签语义特征和标签节点i所属的标签组k标签组k的最终标签组语义特征
[0099]
根据标签与标签组对应关系π配对将最终第i个标签的相关语义特征与其对应的第i个标签所属于的第k标签组的最终相关语义特征拼接得到最终第i个标签分类特征f
′
i
，并将其输入全连接层经过sigmoid激活函数并进行阈值判断运算，得到最终样本t中第i个标签的分类结果；
[0100]
对q个类别标签分别带入对第i个标签分类结果的计算方法计算q次可以得到样本 t中的类别标签向量
[0101]
本发明的目的之二在于提供执行发明目的之—一种电子设备，其包括处理器、存储介质以及计算机程序，所述计算机程序存储于存储介质中，所述计算机程序被处理器执行时实现前述多标签图像深度学习方法。
[0102]
有益效果
[0103]
传统多标签深度学习算法通常采用除全连接层外最终一层卷积神经网络提取到的特征作为图像通用特征，没有考虑在卷积神经网络中不同层存在着含有不同语义特征的特征图。这些特征图同样可以用来进行分类，此外相比较之前方法本方法可以建立多阶的
标签相似关系特征。本方法最终建立了一个统一模型对标签关系特征和图像通用特征进行学习，使两种特征相互促进，最终得到更加具有判别力的整合特征，从而有效的指导多标签图像分类任务，且本方法可以与主流卷积神经网络结合具有很好的可拓展性。
附图说明
[0104]
图1一种多标签图像深度学习分类方法示意图。
具体实施方式
[0105]
为使本发明实施例的目的和技术方案更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0106]
如图1所示，一种多标签图像深度学习分类方法，包括如下步骤：
[0107]
s1、获取训练数据，并根据训练数据类别获得标签关系图。具体是获取训练数据的图像文件和标签，获得标签关系图。
[0108]
s2、根据标签关系图获得所有类别标签的映射和所有标签组的映射。
[0109]
s3、构建深度卷积神经网络进行图像通用特征提取。制定从卷积神经网络中抽取指定特征图的策略。
[0110]
s4、选取的卷积神经网络不同层的特征图通过映射函数将其映射到标签和标签组映射的维度。
[0111]
s5、对选取的特征图中所有像素点计算标签和标签组在当前像素点位置的相合性评分与归一化评分。
[0112]
s6、根据图像中每个位置的标签和标签组归一化评分得到选取的特征图上整合的标签，标签组特征，通过在多层选取的层的特征图上计算整合的标签特征与标签组特征并且取其均值得到最终的标签相关语义特征与最终的标签组的相关语义特征。
[0113]
s7、将标签和对应标签组的最终相关语义特征拼接起来得到标签分类特征输入全连接层经过sigmoid激活函数计算，阈值判断计算得到该标签在样本t中的出现情况；
[0114]
s8、标签预测，给定测试样本t，将测试样本t带入s1-s7得到样本t中所有标签的预测值。
[0115]
具体的，一种多标签图像深度学习分类方法，
[0116]
建立数据集中标类别之间的关系：
[0117]
假定数据集合有q个类别标签，获取训练数据的图像文件和训练数据中的标签，得到标签集合v＝{y1，......y
i
...，y
q
}和训练样本的标签矩阵y∈{0，1}
n
×
q
，y
i
表示第i个类别标签，y
q
表示第q个类别标签，n表示样本个数，q表示总的标签个数；
[0118]
其中y
ab
表示矩阵y∈{0，1}
n
×
q
中的第a行b列的元素；y
ab
＝1表示第a个样本含有第b个类别标签，否则y
ab
＝0，a为1到n之间的正整数，b为1到q之间的正整数。
[0119]
对标签的共现关系建立图g＝(v，e)，v表示类别标签集合，即 v＝{y1，......y
i
...，y
q
}，y
i
表示第i个类别标签，y
q
表示第q个类别标签，q表示总的类别标签个数；i为1到q之间的正整数。e表示边集，即e＝{e1，e2，...，e
m
}，e
m
表示两两标签节点之间连接的
边，一共有m条边。将图g中所有标签节点的邻接关系建立成一个邻接矩阵a∈{0，1}
q
×
q
，根据边集e得到矩阵a中的所有元素a
ij
，a
ij
的取值域为 {0，1}，a
ij
＝1表示标签节点i，j在边集e中存在相互连接的边同时也表示标签节点i，j在多标签数据集中有共现关系，a
ij
＝0表示第i个类别标签y
i
和第j个类别标签y
j
在边集e 中不存在相互连接的边同时也表示第i个类别标签y
i
和第j个类别标签y
j
在多标签数据集中没有共现关系。
[0120]
模型构建与训练：
[0121]
(1-1)通过建立数据集中标类别之间的关系建立一张标签类别关系图，并且优化目标函数得到标签组和标签的低维映射。
[0122]
公式一表示的是两个标签节点映射表示和之间的一阶相似性约束：
[0123][0124]
其中，v
i
表示在边集e中的任意的一条边上的标签y
i
；
[0125]
v
j
表示标签y
i
的所在边上的另一个标签y
j
；
[0126]
为v
i
对应标签节点映射表示；
[0127]
为v
j
对应标签节点映射表示；
[0128]
其中，i，j∈{1，2，
…
，q}。
[0129]
公式二表示的是两个标签节点映射表示和以共同邻居为媒介计算的二阶相似性约束，α为上下文嵌入的权衡参数取值域为{0.1，1，5，10}，v
i
∈v表示类别标签集合中第 i个标签节点，δ
ij
为衡量标签节点v
i
生成的上下文节点集v
j∈
c
i
质量的函数。c
i
为依据标签节点v
i
生成的上下文节点集，此处v
i
的上下文节点表达的是标签节点v
i
ξ跳之内的邻居节点，ξ的取值域为{5，10}。
[0130][0131]
对于两个标签节点映射表示和高阶相似性如公式三定义，β为权衡参数取值域为{0.1，1，5，10}，为高斯分布，为第k个标签组的标签组映射k∈{1，...k}，π
ik
表示第i个标签之间和标签组k之间的从属关系取值范围为[0，1]，为第k个组的协方差矩阵。k为标签组个数取值域为{5，7，9}，表示实数域。通过优化三种相似性约束公式可以得到q个类别标签的映射和k个标签组的映射表示和k个标签组的映射表示与的维度均为de的取值域为{128，256，512}，表示实数域。
[0132][0133]
在图g中针对每一个标签节点v
i
进行采样，采样路径长度设置为l，l的取值域为 {2，5，10}，γ为每个节点经过随机行走采样经过的次数，γ的取值域为{5，10}。通过 deepwalk初始化标签节点映射和上下文映射通过公式四至公式六更新π
ik
，∑
k
。γ
ik
表示的是第i个标签和标签组k之间的路径。n
k
表示采样路径中所有标签节点和标签组k之间路径的总和。
[0134][0135][0136][0137]
根据一阶相似性约束，二阶相似性约束和高阶相似性约束得到最终损失函数公式七
[0138][0139]
通过最小化损失函数公式七求解出所有类别标签的映射上下文映射标签组分配π内任意第i行k列元素为π
ik
，π
ik
的取值决定了第i个标签和第k个标签组之间的从属关系。每个标签有k个标签从属关系值，若π
ik
的取值为标签i在这k个标签从属关系值中的最大值则认为标签i属于标签组k，对于每一个标签都在π中查找其最大的标签从属关系值就可以得到每个标签所属于的标签组，i为1 到q之间的正整数，k为1到k之间的正整数，表示实数域，所有标签组的映射所有标签组的协方差矩阵ξ，
[0140]
(1-2)输入多标签图像样本t并将t进行裁剪得到长宽为224通道数为3的图像，输入resnet-101卷积神经网络，resnet-101是由4个阶层组成，这4个阶层所生成的特征图将作为备选。输入样本t在每个阶层输出的特征图为作为备选。输入样本t在每个阶层输出的特征图为表示实数域，其中w为特征图的宽度，h为特征图的长度，d为特征图的通道数，s为当前所提取的阶层编号，s的取值域为{1，2，3，4}，w，h的取值域为{7，14，28，56}，d的取值域为 {256，512，1024，2048}。
[0141]
(1-3)提取resnet-101中选取的阶层的特征图f
s
，通过映射矩阵对f
s
进行映射，表示实数域，将选取的的特征图f
s
映射到标签和标签组映射的维度de。
[0142]
(1-4)通过w，h确定选取的的特征图中像素点的位置由公式八与公式九计算任意第i个标签在当前选取的的特征图f
s
上像素点中的相合性评分和任意第k个标签组在当前选取的的特征图f
s
上像素点中的相合性评分w表示在选取出的特征图中的水平位置，取值域为{0，1，
…
，w}，h表示在选取出的特征图中的垂直位置，取值域{0，1，
…
，h}；
[0143]
c表示相合性评分计算函数，f
s，(w，h)
表示选取的特征图f
s
在坐标位置w，h上的特征向量维度为向量维度为表示实数域。
[0144]
表示第i个标签映射，i的取值域为{1，2，
…
，q}；表示第k个标签组映射，k的取值域为{1，2，
…
，k}。
[0145]
通过公式九与公式十一得到当前像素点中第i个标签在选取的特征图f
s
上的归一化评分第k标签组在选取的特征图f
s
上的归一化评分x表示选取的特征图f
s
中的任意像素点位置水平坐标，取值域为{0，1，
…
，w}；y表示选取的特征图f
s
中的任意像素点位置垂直坐标，取值域为{0，1，
…
，h}。
[0146][0147][0148][0149][0150]
(1-5)通过公式十二得到在选取的的特征图f
s
上计算得到的整合的第i个标签特征维度为维度为表示实数域。这样可以得到在选取的特征图f
s
上所有标签节点的整合标签特征
[0151][0152]
通过公式十二得到在选取的的特征图f
s
上计算得到的整合的第k组标签特征维度为维度为表示实数域这样可以得到在选取的的特征图f
s
上所有标签组的整合标签组特征
[0153][0154][0155][0156]
对选取的的每个特征图f
s
通过公式八到公式十二计算每个f
s
上的整合标签特征与整合标签组特征通过公式十四和公式十五在多层选取特征图上计算整合标签和标签组特征在所有选取层上取均值计算得到标签和标签组的最终相关语义特征s为选取的参与计算的阶层个数，取值域为{1，2，3，4}。
[0157]
(1-6)将最终第i个标签的相关语义特征和通过π得到的第i个标签所属于的第 k标签组的最终相关语义特征找出进行配对。维度均为维度均为表示实数域。通过拼接二者得到用于标签i分类的特征f
′
i
，f
′
i
的维度为的维度为表示实数域。将f
′
i
输入一个全连接层，全连接层的输入为f
′
i
，输出一个实数q，将q输入进sigmoid激活函数得到一个值在(0，1)之间的标签i在样本t中出现的概率通过设置一个阈值z判断标签i是否存在于样本t中，则认为标签i在样本t中有出现，则认为标签i 在样本t中没有出现。z的取值域为{0.5}。
[0158]
标签预测：
[0159]
(2-1)给定测试样本t，t是含有多标签信息的图像数据。
[0160]
(2-2)通过(1-1)获取所有q个标签的映射和所有k组标签组映射。
[0161]
(2-3)对于数据集中所有的q个标签经过q次(1-4)和(1-5)的计算得到标签i和标签组k的最终相关语义特征
[0162]
(2-4)通过(1-6)根据标签与标签组对应关系π配对将最终第i个标签的相关语义特征与其对应的第i个标签所属于的第k标签组的最终相关语义特征拼接得到最终第i个标签分类特征f
′
i
，并将其输入全连接层经过sigmoid激活函数并进行阈值判断运算，得到最终样本t中第i个标签的分类结果，对q个类别标签分别带入对第i个标签分类结果的计算方法计算q次可以得到样本t中的类别标签向量
[0163]
上述方法有效解决学习多层特征中丰富的语义信息，建立标签相似性利用学习标签相似性。
[0164]
本申请的另一目的还提供一种电子设备，其包括处理器、存储介质以及计算机程序，所述计算机程序存储于存储介质中，所述计算机程序被处理器执行时实现前文所述的一种多标签图像深度学习分类方法。
[0165]
综上，本申请对多标签图像数据中标签关系建模获得多阶相似性关系，并且利用卷积神经网络中多层特征；技术效果是：得到每张多标签图像中的标签分布，提升了分类性能，提高了模型分类的效率，可以用于多标签图像学习。
[0166]
本申请将多标签图像通用特征学习和标签关系建模提取特征结合；技术效果是：使图像通用特征和标签关系特征结合，共同促进，最终得到有利于提高多标签图像分类性能的统一的端到端可拓展模型。
[0167]
以上仅为本发明的实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些均属于本发明的保护范围。