一种基于标签补全和重构映射的弱标签多标签分类方法

1.本发明涉及多标签分类技术领域，尤其涉及一种基于标签补全和重构映射的弱标签多标签分类方法。


背景技术：

2.多标签分类研究旨在学习一个有效的模型，为不可见的实例预测潜在的类别标签,并且多个类别标签可能同时属于同一个实例，随着网络信息技术的发展，现代社会时时刻刻都会产生极具规模的各种数据，并且数量庞大，随之而来的是这些数据的标记问题。如何有效的对这些大规模的数据进行标记，即对大规模数据进行分类，成为现在研究的重要方向。以往的研究是单标签分类，它假设一个实例只与标签相对应的，然而多标签分类则是一个实例可能与多个标签之间相关联，这样多标签分类研究起来就很具有挑战性。
3.近年来在多标签分类中运用标签特定特征策略的算法越来越多，现有的基于标签特定特征的多标签学习方法基本上都有两个阶段的训练过程，即学习标签的特定特征和训练分类模型，并且两个阶段都是独立的。另一方面，多标签学习面临的一个重要的挑战是不完整的标签数据，也就是说，一些样本可能丢失了部分标签信息或者标签信息中具有一些噪声。在现实生活中，有很多原因可能导致标签数据的不完整，例如人为标注时的错误，或者传感器的故障等。因此，研究学者们提出了很多关于缺失标签的多标签学习算法，与此同时，近年来将标签特定特征与缺失标签相结合的多标签学习算法相继被提出。
4.然而，上述多标签学习模型的生成标签特定特征和后续训练分类模型两个阶段的解耦机制可能影响模型的性能，因此作为多标签学习的两个必不可少的部分，将学习标签特定特征和后续分类模型的训练作为一个整体考虑看起来是有利的，但现有技术中并没有相应的解决方案。


技术实现要素：

5.本发明的目的是提供一种基于标签补全和重构映射的弱标签多标签分类方法，该方法能够有效解决在建立模型时丢失实例特征信息的问题，并且将生成标签特定特征和后续训练分类模型两个阶段总结到一个框架下，进而提高多标签分类器的性能和泛化能力。
6.本发明的目的是通过以下技术方案实现的：
7.一种基于标签补全和重构映射的弱标签多标签分类方法，所述方法包括：
8.步骤1、建立实例特征信息矩阵和类别标签信息矩阵，并采用线性比例变换法进行归一化处理，形成指标处于同一数量级的多标签数据集；
9.步骤2、对类别标签信息矩阵进行随机的缺失数据处理，得到缺失标签矩阵；
10.步骤3、将实例特征空间映射到嵌入的特征空间，并且构建嵌入特征空间的标签特定特征矩阵，加入反向重构损失减少实例特征空间映射所带来的信息丢失；
11.步骤4、基于标签相关矩阵对缺失标签矩阵的信息进行补全，获得更完备的标签矩阵；
12.步骤5、结合嵌入特征矩阵、标签特定特征矩阵、标签相关矩阵以及相对应的约束正则项构建一个统一的基于标签补全和重构映射的弱标签多标签分类的模型；
13.步骤6、采用交替优化的方法分别对嵌入特征矩阵、标签特定特征矩阵和标签相关矩阵进行优化求解，得到训练好的预测模型；
14.步骤7、将从步骤1形成的多标签数据集中随机划分出的测试集作为步骤6预测模型的输入，由所述预测模型输出预测标签矩阵；
15.步骤8、将步骤7得到的预测标签矩阵与真实标签进行对比，采用两个常用的多标签分类评价指标进行对比，评估所述预测模型的性能以及有效性；其中，两个常用的多标签分类评价指标为汉明损失、精度。
16.由上述本发明提供的技术方案可以看出，上述方法能够有效解决在建立模型时丢失实例特征信息的问题，并且将生成标签特定特征和后续训练分类模型两个阶段总结到一个框架下，进而提高多标签分类器的性能和泛化能力。
附图说明
17.为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
18.图1为本发明实施例提供的基于标签补全和重构映射的弱标签多标签分类方法流程示意图；
19.图2为本发明实施例所述方法和其他四种方法在不同多标签数据集上的汉明损失评价指标的实验对比结果示意图；
20.图3为本发明实施例所述方法和其他四种方法在不同多标签数据集上的精度评价指标的实验对比结果示意图。
具体实施方式
21.下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，这并不构成对本发明的限制。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。
22.如图1所示为本发明实施例提供的基于标签补全和重构映射的弱标签多标签分类方法流程示意图，所述方法包括：
23.步骤1、建立实例特征信息矩阵和类别标签信息矩阵，并采用线性比例变换法进行归一化处理，形成指标处于同一数量级的多标签数据集；
24.在该步骤中，设为m维实例特征向量，yi∈{0,1}
l
为对应的l维标签向量；
25.构建实例特征信息矩阵记为其中n表示样本数，m表示实例特征个数；
26.构建类别标签信息矩阵y＝[y1,y2,
…yn
]
t
∈{0,1}n×
l
，其中n表示样本数，l表示标签个数；
[0027]
采用线性比例变换法进行归一化处理，形成指标处于同一数量级的多标签数据集，设为s＝{(xi,yi)|(1≤i≤n)}，其中xi＝{x
i1
,x
i2
,
…
x
im
}为实例特征向量，yi＝{y
i1
,y
i2
,
…yil
}为标签向量；
[0028]
当标签yi属于实例xi时，y
ij
＝1，否则y
ij
＝0；其中，y
ij
＝1表示第j个标签yj属于第i个实例xi；y
ij
＝0表示第j个标签yj不属于第i个实例xi，或者该值缺失；
[0029]
同时随机的将多标签数据集划分为测试集(20％)和训练集(80％)。
[0030]
步骤2、对类别标签信息矩阵进行随机的缺失数据处理，得到缺失标签矩阵；
[0031]
在该步骤中，针对完整的类别标签信息矩阵y＝[y1,y2,
…yn
]
t
∈{0,1}n×
l
，首先统计出类别标签信息矩阵中值为1的个数；
[0032]
然后随机的将部分值为1的类别标签信息矩阵删除，得到缺失标签矩阵。
[0033]
步骤3、将实例特征空间映射到嵌入的特征空间，并且构建嵌入特征空间的标签特定特征矩阵，加入反向重构损失减少实例特征空间映射所带来的信息丢失；
[0034]
在该步骤中，具体是将x的特征向量所处的实例特征空间映射到v的特征向量所处的嵌入的特征空间中，所构建的嵌入特征空间的标签特定特征矩阵为u,加入的反向重构损失为
[0035]
利用前向映射损失和反向重构损失建模的损失函数表示为：
[0036][0037]
其中，前向映射损失为反向重构损失为能构建出双向映射多标签学习基本框架；第三项和第四项λ4||u||1是必要的正则化项，用来防止模型过拟合问题；s为标签相关矩阵；
[0038]
采用加速近端梯度对于公式(1)提出的损失函数进行最小化，来实现重构损失和映射之间的互补，进而减少实例特征空间映射所带来的信息丢失。
[0039]
步骤4、基于标签相关矩阵对缺失标签矩阵的信息进行补全，获得更完备的标签矩阵；
[0040]
在该步骤中，以往的多标签学习方法大都针对的是完整标签信息的情况设计的，然而，在很多应用中，标签信息是不完整的，传统的方法不能有效的解决缺失标签的问题。
[0041]
假设为标签相关矩阵，对应的元素s
ij
就是用来表示标签yi和标签yj的相关程度；
[0042]
假设一个标签可能只与特定的标签子集相关联，因此对标签相关矩阵s进行稀疏化处理，即添加l1范数正则化；
[0043]
利用标签相关矩阵s恢复缺失标签后，步骤3中公式(1)可以优化为：
[0044][0045]
公式(2)中的第三项为通过标签相关矩阵s恢复标签信息的损失函数
项；最后一项λ5||s||1为控制模型复杂度的正则项，用于对标签相关矩阵进行稀疏化处理。
[0046]
步骤5：结合嵌入特征矩阵、标签特定特征矩阵、标签相关矩阵以及相对应的约束正则项构建一个统一的基于标签补全和重构映射的弱标签多标签分类的模型；
[0047]
在该步骤中，在多标签学习中，有效的利用标签之间的相关性可以提高模型的性能。
[0048]
为了充分利用标签相关性来提高模型的性能，在步骤4的公式(2)的模型基础上添加tr(ulu
t
)正则项来考虑标签相关性，这一项表明，当两个标签向量很相似时，对应的实例特征往往也会相似，具体为：
[0049][0050]
其中，为标签相关矩阵s的图拉普拉斯矩阵；λ1、λ2、λ3、λ4、λ5和λ6为权衡参数，分别控制反向重构损失、恢复标签信息损失、防止过拟合、模型过拟合、控制模型复杂度以及标签相关性；
[0051]
公式(3)的最后一项就是为了考虑两两标签对之间的相关性；具体的，通过计算两两系数向量之间的欧几里得距离，其中两两系数向量ui和uj之间的欧几里得距离用来表示，用来度量标签特定特征的相似性，强相关标签之间的欧几里得距离会更小，相应的权重矩阵u中对应的系数向量ui和uj会非常相似。
[0052]
步骤6、采用交替优化的方法分别对嵌入特征矩阵、标签特定特征矩阵和标签相关矩阵进行优化求解，得到训练好的预测模型；
[0053]
在该步骤中，首先将模型参数初始化，即嵌入特征矩阵v、标签特定特征矩阵u和标签相关矩阵s，其中u＝rand(d,l)表示产生d
×
l均匀分布的随机矩阵，v＝rand(m,d)表示产生m
×
d均匀分布的随机矩阵，s＝rand(l,l)表示产生l
×
l均匀分布的随机矩阵；
[0054]
然后采用交替优化的方法对步骤5建立的模型进行优化求解，具体来说：
[0055]
第一步，固定嵌入特征矩阵v，更新标签特定特征矩阵u和标签相关矩阵s：由于l1范数正则项的非光滑性，优化u和s可以采用近端梯度法解决这个问题，为了方便表述，采用φ代表公式(3)中的优化系数u和s，那么公式(3)改写为：
[0056][0057]
其中f(φ)和g(φ)分别为
[0058][0059]
g(φ)＝λ4||u||1+λ5||s||1ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)
[0060]
由公式(5)分别对u和s求导得到：
[0061][0062]
[0063]
由于公式(7)矩阵l是不对称的，因此彼此两个标签之间关联度不同，对于u的迭代结果得到：
[0064][0065][0066]
这里关于u的g(φ)项的范数，通过定义的元素软阈值得到，其中∈是阈值(非负值)，符号(|u
ij
|-∈)
+
sign(u
ij
)表示3种情况：分别为u
ij
＞∈，表达式为u
ij-∈；u
ij
＜-∈，表达式为u
ij
+∈；-∈≤u
ij
≤∈，表达式为0；
[0067]
以下为软阈值公式表达式：
[0068]
prox
∈
(u
ij
)＝(|u
ij
|-∈)
+
sign(u
ij
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(11)
[0069]
再由公式(8)更新s，对于s的迭代结果得到：
[0070][0071][0072]
这里关于s的g(φ)项的范数，通过定义的元素软阈值算子求解得到：
[0073]
prox
∈
(s
ij
)＝(|s
ij
|-∈)
+
sign(s
ij
) (14)
[0074]
第二步，固定标签特定特征矩阵u和标签相关矩阵s，更新嵌入特征矩阵v：
[0075]
此时u和s固定时，更新v的优化问题表示为：
[0076][0077]
公式(15)对v求偏导得到：
[0078]
x
t
xvuu
t-x
t
ysu
t
+λ1(x
t
xv-x
t
ysu)+λ3v＝0 (16)
[0079]
对公式(16)采用以下求解过程：
[0080]
让a＝x
t
x,b＝uu
t
,最后让c＝x
t
ysu+λ1x
t
ysu,对称矩阵a分解为pλp
t
,其中p是一个正交矩阵；对称矩阵b分解为qγq
t
，其中q是一个正交矩阵；
[0081]
则由公式(16)得到：
[0082]
x
t
xvuu
t
+λ1x
t
xv+λ3v-(x
t
ysu
t
+λ1x
t
ysu)＝0 (17)
[0083]
pλp
t
vqγq
t
+λ1pλp
t
v+λ3v-c＝0 (18)
[0084]
λp
t
vqγ+λ1λp
t
vq+λ3p
t
vq-p
t
cq＝0 (19)
[0085]
最后得到v的优化结果为：
[0086][0087]
其中表示哈达玛除法；
[0088]
依次重复第一步和第二步的操作，持续更新v、u、s，直到收敛或者迭代到最大次数，从而得到最终的迭代结果。
[0089]
步骤7、将从步骤1形成的多标签数据集中随机划分出的测试集作为步骤6预测模型的输入，由所述预测模型输出预测标签矩阵；
[0090]
在该步骤中，假设x
test
为从步骤1形成的多标签数据集中随机划分出的测试集，将测试集x
test
和步骤6训练好的模型系数矩阵v、u、s作为输入，由所述预测模型输出预测标签矩阵y
test
＝xvu。
[0091]
步骤8、将步骤7得到的预测标签矩阵与真实标签进行对比，采用两个常用的多标签分类评价指标进行对比，评估所述预测模型的性能以及有效性。
[0092]
在该步骤中，两个常用的多标签分类评价指标为汉明损失(hamming loss)、精度(average precision)；
[0093]
在该步骤中，使用汉明损失(hamming loss)、精度(average precision)这两个评价指标，在七个多标签分类的基准数据集上进行对比实验，它们分别为arts、computers、recreation、genbase、medical、cal500、social,我们可以在http://mulan.sourceforge.net/data sets-mlc.html下载这些数据集。
[0094]
对于每个数据集，使用五倍交叉验证进行系统评估，并且实验时将数据集的80％作为训练集，20％作为测试集，对所有算法进行五次重复实验，训练集用来学习模型的训练和生成，测试集用来测试学习模型的性能。
[0095]
值得注意的是，本发明实施例中未作详细描述的内容属于本领域专业技术人员公知的现有技术。
[0096]
进一步的，将本发明所述方法和现有技术中的4种常见多标签分类方法进行比较，它们分别为学习标签特定特征的多标签分类方法(llsf)、具有标签特定特征的多标签学习(lift)、一种多标签学习的懒惰学习方法(ml-knn)、一种用于联合标签补全和标签特定特征的多标签学习算法(jlcls)。如图2所示为本发明实施例所述方法和其他四种方法在不同多标签数据集上的汉明损失评价指标的实验对比结果示意图，如图3为精度评价指标的实验对比结果示意图，由图2和3可知：图中报告了五个算法在七个数据集上的实验结果。其中最佳结果以黑色加粗字体显示，汉明损失评价指标越小分类性能越好，精度评价指标大分类性能越好。从图2-图3可以直观的看到，在hl和ap上，本发明提出的分类方法在所有的数据集都表现出最佳性能，充分说明了本发明实施例所述方法的有效性和竞争性。
[0097]
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。本文背景技术部分公开的信息仅仅旨在加深对本发明的总体背景技术的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域技术人员所公知的现有技术。