一种基于稀疏学习耦合互信息的多标签特征选择方法

本发明涉及机器学习与模式识别，尤其是涉及一种基于稀疏学习耦合互信息的多标签特征选择方法。

背景技术：

1、多标签学习被广泛应用于如文本分类，图像分析，情绪检测和基因选择等领域。与其他机器学习领域的问题类似，多标签学习也受到“高维诅咒”这一问题的困扰。多标签特征选择方法可以消除不相关和冗余的特征，同时保留信息特征进行分类，可以有效的解决这一问题。而在多标签特征选择方法中，稀疏学习和基于信息论的方法在多标签分别起到了显著的效果。

2、然而，在这两种框架中存在三个问题：

3、(一)基于信息论的方法未充分利用全局变量的相关性。基于信息理论的方法通过计算变量之间的相关性对标签进行学习，如特征与每个标签之间的互信息或特征与标签之间的条件互信息。然而这些方法往往只关注低维的相关性例如：标签与标签，标签与特征或，特征之间的相关性。而事实上高维的相关性也同样会对结果造成影响：例如，一组特征与一些标签有密切的关系，但组中的每个特征与这些标签无关。基于信息理论的方法倾向于消除特征，这丢失了很多信息。

4、(二)稀疏学习的方法中随机初始化造成的次优化问题。虽然稀疏学习方法可以利用全局变量的相关性，但该类方法需要为设定的变量相关性矩阵进行随机初始化。然而，不同的随机初始化方案不仅降低了该方法的鲁棒性，而且还得到了次优解。

5、(三)稀疏学习的方法中对于标签的设定难以反应标签的重要程度。多标签数据集的标签是逻辑标签，不能反映每个标签的重要程度。

6、以往的稀疏学习方法认为每个标签的重要程度相同，这影响了特征和标签之间的相关性的进一步评估的准确性。因此，这类方法可能无法获得一个最优的特征子集。

技术实现思路

1、本发明的目的是提供一种基于稀疏学习耦合互信息的多标签特征选择方法，同时部分解决了稀疏学习方法中由随机初始化策略引起的普遍存在的次优解问题，将信息论方法引入到稀疏学习中以获得准确的特征相关性评价。

2、为实现上述目的，本发明提供了一种基于稀疏学习耦合互信息的多标签特征选择方法，包括以下步骤：

3、s1、输入特征矩阵x、标签矩阵y及超参数α、β、γ、δ，选择特征数k，根据输入的特征矩阵x和标签矩阵y初始化标签相关矩阵z和特征相关矩阵w；

4、s2、根据特征矩阵x计算对角矩阵a以及相似矩阵s，并计算特征矩阵x的图拉普拉斯相似矩阵lx；

5、s3、通过目标函数更新标签相关矩阵z和特征相关矩阵w，迭代n次，目标函数达到收敛条件后，得到更新后的标签相关矩阵zn和更新后的特征相关矩阵wn；

6、s4、根据wn的2-范数得到被选择的k个特征。

7、优选的，步骤s1中，根据输入的特征矩阵x和标签矩阵y初始化标签相关矩阵z和特征相关矩阵w的方法为：计算初始的标签相关矩阵c和初始的特征相关矩阵d，并使z＝c，w＝d，其中，

8、ci,j＝i(li；lj)

9、di,j＝i(fi；lj)

10、ci，j表示矩阵c中第i行、第j个元素，di，j表示矩阵d中第i行、第j个元素，i为互信息，li表示第i个标签，fi表示第i个特征，lj表示第j个标签，fj表示第j个特征。

11、优选的，步骤s2中，相似矩阵s的计算公式如下：

12、

13、si，j表示矩阵s中第i行、第j个元素，e为自然对数，σ为超参数，np(xwj.)代表矩阵xw中距离第j个向量最近的p个向量构成的集合；

14、对角矩阵a的计算公式为：

15、

16、其中，aii为第i行、第i个元素；

17、图拉普拉斯相似矩阵lx计算公式如下：

18、lx＝a-s。

19、优选的，步骤s3中，通过目标函数更新矩阵z和w包括：

20、目标函数为：

21、

22、其中，均为福比尼乌斯范数，||w||2，1为2-1范数，tr代表矩阵的迹；

23、通过在kkt条件下对目标函数求导，标签相关矩阵z的更新公式如下：

24、

25、特征相关矩阵w的更新公式如下：

26、

27、其中，t代表第t次迭代的结果，xt，yt为矩阵x，y的转置。

28、优选的，步骤s3中，迭代n次，目标函数达到收敛条件包括：根据迭代过程中的wn，zn计算目标函数的值fn，通过fn计算cver：

29、cver＝|fn-fn-1|/fn-1

30、当cver小于0.001时，目标函数收敛。

31、优选的，步骤s4中，根据wn的2-范数得到被选择的k个特征包括：计算wn的2-范数||wni.||2，其中，i为更新后特征相关矩阵wn的第i行，选择||wni.||2最大的k个特征。

32、因此，本发明采用上述一种基于稀疏学习耦合互信息的多标签特征选择方法，其技术效果如下：

33、(1)本发明部分解决了稀疏学习方法中由随机初始化策略引起的普遍存在的次优解问题，并通过消融实验验证了该方法的可靠性。

34、(2)本发明将信息论方法引入到稀疏学习中以获得准确的特征相关性评价：通过相关性重构特征以及标签矩阵，然后将标签相关性矩阵和特征相关性矩阵集成到一个考虑全局变量相关性策略的稀疏学习框架中。

35、下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

技术特征：

1.一种基于稀疏学习耦合互信息的多标签特征选择方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于稀疏学习耦合互信息的多标签特征选择方法，其特征在于，步骤s1中，根据输入的特征矩阵x和标签矩阵y初始化标签相关矩阵z和特征相关矩阵w的方法为：计算初始的标签相关矩阵c和初始的特征相关矩阵d，并使z＝c，w＝d，其中，

3.根据权利要求1所述的一种基于稀疏学习耦合互信息的多标签特征选择方法，其特征在于：步骤s2中，相似矩阵s的计算公式如下：

4.根据权利要求1所述的一种基于稀疏学习耦合互信息的多标签特征选择方法，其特征在于，步骤s3中，通过目标函数更新矩阵z和w包括：

5.根据权利要求4所述的一种基于稀疏学习耦合互信息的多标签特征选择方法，其特征在于，步骤s3中，迭代n次，目标函数达到收敛条件包括：根据迭代过程中的wn，zn计算目标函数的值fn，通过fn计算cver：

6.根据权利要求1所述的一种基于稀疏学习耦合互信息的多标签特征选择方法，其特征在于，步骤s4中，根据wn的2-范数得到被选择的k个特征包括：计算wn的2-范数||wni.||2，其中，i为更新后特征相关矩阵wn的第i行，选择||wni.||2最大的k个特征。

技术总结
本发明公开了一种基于稀疏学习耦合互信息的多标签特征选择方法，包括以下步骤：输入特征矩阵X、标签矩阵Y及超参数α、β、γ、δ，选择特征数k，初始化标签相关矩阵Z和特征相关矩阵W；根据特征矩阵X计算对角矩阵A以及相似矩阵S，并计算特征矩阵X的图拉普拉斯相似矩阵L<subgt;x</subgt;；通过目标函数更新标签相关矩阵Z和特征相关矩阵W，迭代n次，目标函数达到收敛条件后，得到更新后的标签相关矩阵Z<subgt;n</subgt;和更新后的特征相关矩阵W<subgt;n</subgt;；根据W<subgt;n</subgt;的2‑范数得到被选择的k个特征。本发明采用上述的一种基于稀疏学习耦合互信息的多标签特征选择方法，实验证明了方法的有效性，本方法同时部分解决了稀疏学习方法中由随机初始化策略引起的普遍存在的次优解问题。

技术研发人员：高万夫,潘涵林,郝娉婷,李永豪
受保护的技术使用者：吉林大学
技术研发日：
技术公布日：2024/1/14