一种多核低冗余表示学习的多视图子空间聚类方法

1.本发明属于多视图聚类技术领域，具体涉及一种多核低冗余表示学习的多视图子空间聚类方法。


背景技术：

2.多视图子空间聚类算法主要通过寻找多个视图间的互补信息来构造一个子空间表示矩阵。在近期所提出的大多数多视图子空间聚类方法中，原始数据通常作为模型的输入。然而，原始数据包含着大量的冗余信息，严重影响了模型的性能；同时，大多数方法只学习了多个视图之间共享的公共信息，忽略了视图间的差异性信息。


技术实现要素：

3.本发明克服了上述技术的不足，提供了一种多核低冗余表示学习的多视图子空间聚类方法。首先定义几种核映射生成相应的核矩阵，再利用核矩阵通过特征分解获得低冗余的数据表示代替原始数据作为目标函数的输入，减轻了原始数据所包含的冗余信息对聚类效果产生的影响，促进了模型的鲁棒性；此外，通过集成所有视图的子空间表示矩阵构建一个3阶张量，利用张量核范数探索不同视图之间的高阶相关性，同时还保留了不同视图间的差异性，进而提高了聚类准确度。
4.本发明实施方式，包括步骤：
5.通过将最小二乘回归算法扩展到遵循多视图子空间聚类算法的框架中，得到关于多视图的最小二乘回归算法的目标函数；
6.通过定义核映射获得核矩阵；
7.将所得到的核矩阵通过特征分解获得低冗余的数据表示；
8.根据低冗余数据表示，构造不同视图的子空间表示矩阵；
9.通过集成所有视图的子空间表示矩阵，构建低秩的张量子空间表示矩阵；
10.利用低秩的张量子空间表示矩阵，计算出融合子空间表示矩阵和亲和子空间表示矩阵，并将亲和子空间表示矩阵送入谱聚类算法中，计算出聚类结果。
11.进一步地，所述的关于多视图的最小二乘回归算法的目标函数为：
[0012][0013]
其中，表示原始数据，d
v
表示第v个视图的特征维数，n表示原始数据的样本个数，z
v
表示第v个视图的子空间表示矩阵，λ表示权衡参数，β
v
表示不同视图的权重系数，||
·
||
f
表示弗罗贝尼乌斯范数。
[0014]
进一步地，所述的通过定义几种核映射所得到的核矩阵为：
[0015]
[0016]
其中，i,j∈{1,2,...,n}表示实例索引，表示第v个视图的第i列向量，表示第v个视图的第s个核矩阵，(
·
)
t
表示矩阵的转置，根据m＝s*v，可知当有v个视图、s种核映射时，将会有m个相应的核矩阵，其核矩阵的集合为
[0017]
进一步地，所述的低冗余数据表示为：
[0018][0019]
其中，c表示低冗余数据表示的维度，tr(
·
)表示矩阵的迹。
[0020]
进一步地，所述的根据低冗余数据表示，构造子空间表示矩阵为：
[0021][0022]
其中，γ
p
表示不同视图的权重系数。
[0023]
进一步地，所述的集成所有视图的子空间表示矩阵，构造低秩的张量子空间表示矩阵为：
[0024][0025]
其中,表示张量核范数。
[0026]
进一步地，为求解低秩张量表示矩阵引入辅助变量所述的最终目标函数表示为：
[0027][0028]
进一步地，所述目标函数值最优时各个变量的值的求解方法包括以下：
[0029]
利用交替方向乘子算法，在其他变量不变的条件下，针对每个变量迭代求解最小化。
[0030]
固定其他变量，删除与无关的函数项，得到变量的目标函数式，将目标函数式重写为变量z
p
的目标函数式，进行求解；
[0031]
固定其他变量，删除与无关的函数项目，得到变量的目标函数式，通过基于t
‑
svd的张量核范数最小化方法，进行求解；
[0032]
固定其他变量，删除与u无关的函数项目，将目标函数式重写为变量u
p
的目标函数式，通过特征分解，进行求解；
[0033]
固定其他变量，删除与β无关的函数项目，得到变量β的目标函数式，通过柯西
‑
施瓦兹不等式，进行求解；
[0034]
固定其他变量，删除与γ无关的函数项目，得到变量γ的目标函数式，通过柯西
‑
施瓦兹不等式，进行求解；
[0035]
进一步地，利用低秩的张量子空间表示矩阵，采用来计算出融合子空间表示矩阵j(表示沿视角方向的第p个切片)，再利用融合子空间表示矩阵，采用计算出亲和子空间表示矩阵t，并将其送入谱聚类算法中，得到聚类结果。
[0036]
本发明提供的一种多核低冗余表示学习的多视图子空间聚类方法，具有以下优势：
[0037]
(1)由于原始数据中包含大量冗余信息和噪声，本发明提出使用低冗余数据表示代替原始数据作为模型的输入，进而减轻原始数据中的冗余信息对聚类效果所带来的影响。
[0038]
(2)特征分解为多视图子空间聚类算法提供了低冗余数据表示；同时，多视图子空间算法引导特征分解产生更适合聚类的低冗余数据表示。
[0039]
(3)集成所有视图的子空间表示矩阵构建张量以探索不同视图之间的高阶相关性，获得更好的聚类效果。
[0040]
(4)设计了一种数值优化算法来求解该模型。
附图说明
[0041]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0042]
图1是本发明提供的一种多核低冗余表示学习的多视图子空间聚类方法的流程图；
[0043]
图2是本发明实施例在不同数据集下的聚类准确度的趋势图。
具体实施方式
[0044]
为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
[0045]
示例性方法
[0046]
图1示意性地示出了根据本公开实施例的多核低冗余表示学习的多视图子空间聚类方法的一种示例性的处理流程100。
[0047]
如图1所示，处理流程100开始后，首先执行步骤s110。
[0048]
步骤s110、将最小二乘回归算法扩展到遵循多视图子空间聚类算法的框架中，得到关于多视图的最小二乘回归算法的目标函数：
[0049][0050]
其中，表示原始数据，d
v
表示第v个视图的特征维数，n表示原始数据的样本个数，z
v
表示第v个视图的子空间表示矩阵，λ表示权衡参数，β
v
表示不同视图的权重系数，||
·
||
f
表示弗罗贝尼乌斯范数。
[0051]
步骤s120、通过定义核映射得到相应的核矩阵：
[0052][0053]
其中，i,j∈{1,2,...,n}表示实例索引，表示第v个视图的第i列向量，表示第v个视图的第s个核矩阵，(
·
)
t
表示矩阵的转置，根据m＝s*v，可知当有v个视图、s种核映射时，将会有m个相应的核矩阵，其核矩阵的集合为
[0054]
步骤s130、利用核矩阵进行特征分解获得低冗余数据表示：
[0055][0056]
其中，c表示低冗余数据表示的维度，tr(
·
)表示矩阵的迹。
[0057]
步骤s140、根据所得到的低冗余数据表示，构造子空间表示矩阵：
[0058][0059]
其中，γ
p
表示不同视图的权重系数。
[0060]
步骤s150、集成所有视图的子空间表示矩阵，构造低秩张量子空间表示矩阵：
[0061][0062]
其中,表示张量核范数。
[0063]
步骤s160、作为示例，将步骤s150所得到的的目标函数引入辅助变量求解引入上述辅助变量后的目标函数的最小化问题，如下：
[0064]
根据得到的目标函数，通过如下优化方式得到最优解，具体步骤如下：
[0065]
步骤s1601、利用交替方向乘子算法，由于每一个视图的子空间表示矩阵
都是独立的，故固定β和γ，可将公式(6)改写为公式(7)，用于更新z
p
：
[0066][0067]
利用z
p
‑
q
p
＝z'
p
对公式(7)进行优化，得到公式(8)：
[0068][0069]
其中s.t.为约束条件。
[0070]
再利用u'
p
＝u
p
‑
u
p
q
p
对公式(8)进行优化，得到公式(9)：
[0071][0072]
由于z'
p
的对角线被强制约束为0，移除的第i列，得到优化z'
p
每一列，得到公式(10)：
[0073][0074]
公式(10)可以改写为公式(11)：
[0075][0076]
通过将公式(11)的导数设置为0，可求解z'
p
，根据z
p
‑
q
p
＝z'
p
，即可求解z
p
。
[0077]
步骤s1602、利用交替方向乘子算法，固定z
p
、β和γ，删除与无关的函数项，可将公式(6)改写为公式(12)，用于更新
[0078][0079]
通过基于t
‑
svd的张量核范数最小化方法，可求解
[0080]
步骤s1603、利用交替方向乘子算法，由于数据表示是相互独立的，故固定β和γ，可将公式(6)改写为公式(13)，用于更新u
p
：
[0081][0082]
公式(13)可以改写为公式(14)：
[0083][0084]
通过特征分解，可求解u
p
，其中u
p
是由矩阵m
p
的c个最大特征值所对应的特征向量组成的。
[0085]
步骤s1604、利用交替方向乘子算法，固定4、利用交替方向乘子算法，固定和γ，可将公式(6)写为公式(15)，用于更新β，：
[0086][0087]
通过柯西
‑
施瓦兹不等式，可求解β。
[0088]
步骤s1605、利用交替方向乘子算法，固定步骤s1605、利用交替方向乘子算法，固定和β，可将公式(6)写为公式(16)，用于更新γ：
[0089][0090]
步骤s170、利用低秩的张量子空间表示矩阵，采用来计算出融合子空间表示矩阵j(表示沿视角方向的第p个切片)，再利用融合子空间表示矩阵，采用计算出亲和子空间表示矩阵t，并将其送入谱聚类算法中，得到聚类结果；
[0091]
通过本实施方式先得到一个关于多视图的最小二乘回归算法的目标函数，然后定义核映射生成相应核矩阵，再利用核矩阵生成低冗余数据表示来代替原始数据作为多视图的最小二乘回归算法的目标函数输入，以解决原始数据含有大量冗余信息的问题。之后，再构造张量，利用张量核范数来捕获不同视图之间的高阶相关性，根据所得的低秩张量子空间表示矩阵，获得亲和子空间表示矩阵，送进谱聚类中，计算出最后的聚类结果。
[0092]
具体实施方式结果
[0093]
为了验证本发明实施例的聚类准确度，本实施方式采用两个含有标签的公开的数据集。数据集的细节描述如下：
[0094]
bbc
‑
sport数据集：包含来自bbc
‑
sport网站的737份文件，对应于五个主题领域的体育新闻，包括田径、板球、足球、橄榄球和网球。共有两个不同的视图。
[0095]
uci
‑
dights数据集：由对应10个类别的2000个数字图像组成。本实施方式提取了傅里叶系数、像素平均和形态学特征三个不同的特征来表示这些数字图像。构成三个不同视图。
[0096]
本实施方式中，采取了高斯核映射、多项式核映射、线性核映射、符号多项式核映
射和逆多项式核映射五种核映射方式，得到相应的核矩阵。正则化参数λ的取值范围是2.^{
‑
10,
‑
8,...,8,10}，低冗余数据表示的维度c的范围为{k,2k,...,20k}，其中k是类簇数量。当低冗余数据表示的维度c＝20k时，所述数据集的聚类效果最佳。图2为c＝20k时，不同数据集的聚类准确度随着正则化参数λ变化而发生变化的趋势图。bbc
‑
sport数据集和uci
‑
dights数据集均在λ＝20时，取得最好的聚类效果。
[0097]
本实施方式提出了一种多核低冗余表示学习的多视图子空间聚类方法，用于多视图聚类任务中。建立了一个基于多核和低冗余数据表示的多视图子空间聚类模型，并对该模型设计了一种替代算法进行优化来保证算法的收敛性。在两个公开数据集上的实验结果表明了本实施方法的可靠性。
[0098]
应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。