基于全局一致性和局部拓扑的多模态数据子空间聚类方法
【技术领域】
[0001] 本发明涉及计算机领域，特别是涉及一种基于全局一致性和局部拓扑的多模态数 据子空间聚类方法。
【背景技术】
[0002] 随着科技的发展和网络的日渐普及，现代社会数据的采集变得越来越容易，数据 量与日倶增，同时数据也变得越来越多样化，特别是各种多模态的数据也变得越来越常见。 基于多模态数据的学习方法也受到了越来越多的关注和研究，相比于单模态数据，多模态 数据能提供更多以及更加复杂的信息，因此基于多模态数据的学习模型通常能取得更好的 效果并具备更优的统计特性。
[0003] 在多模态学习领域，多模态数据聚类由于其处理大规模非监督数据的能力而受到 了广泛的关注和发展，多模态数据聚类的目的是利用多个模态下的特征将数据更好的聚合 到它们本身的类别之中。多模态数据聚类中的一个关键问题就是如何更好建立和利用不同 模态之间的关联信息，当前已有很多研究工作旨在解决这个问题，包括首先利用多模态下 的特征学习出一个公共特征表述，然后在公共的特征表述而非原多模态特征上做聚类，如 基于非负矩阵分解的多模态聚类方法；以及在模型训练的过程中利用不同模态下的信息增 加约束项，这些方法都可以取得不错的效果。此外基于谱聚类的子空间聚类方法也是最近 研究比较多的一个领域，该类方法通常假定相似的样本通常具有相似的自表达系数，并且 空间相近的样本可以彼此线性重构；该类方法首先需要计算得到样本的自表达矩阵，然后 将样本的自表达矩阵作为输入，利用谱聚类的方法生成最终的聚类结果，通过增加一些结 构先验信息比如结构稀疏约束和结构低秩约束等可以获得更加鲁棒的结果。
[0004] 然而，虽然当前的一些方法可以在一定程度上提高多模态数据的聚类性能，但是， 如何更好的挖掘和利用不同模态之间的相关性和差异性等信息仍然面临很大的挑战。
【发明内容】
[0005] 本发明提供的基于全局一致性和局部拓扑的多模态数据子空间聚类方法，可以获 得更好的聚类性能，增强鲁棒性。
[0006] 根据本发明的一方面，提供一种基于全局一致性和局部拓扑的多模态数据子空间 聚类方法，包括：获取各个模态数据对应的拉普拉斯矩阵；根据所述拉普拉斯矩阵构建多 模态数据子空间聚类模型；通过所述多模态数据聚类模型得到所述各个模态数据对应的自 表达矩阵；从所述各个模态数据对应的自表达矩阵中选取第一自表达矩阵；将所述第一自 表达矩阵进行聚类得到聚类结果。
[0007] 本发明实施例提供的基于全局一致性和局部拓扑的多模态数据子空间聚类方法， 获取各个模态数据对应的拉普拉斯矩阵，根据拉普拉斯矩阵构建多模态数据子空间聚类模 型，通过多模态数据聚类模型得到各个模态数据对应的自表达矩阵，从各个模态数据对应 的自表达矩阵中选取第一自表达矩阵，将第一自表达矩阵通过谱聚类方法进行聚类得到聚 类结果，可以获得更好的聚类性能，增强鲁棒性。
【附图说明】
[0008] 图1为本发明实施例提供的基于全局一致性和局部拓扑的多模态数据子空间聚 类方法流程图。
【具体实施方式】
[0009] 下面结合附图对本发明实施例提供的基于全局一致性和局部拓扑的多模态数据 子空间聚类方法进行详细描述。
[0010] 图1为本发明实施例提供的基于全局一致性和局部拓扑的多模态数据子空间聚 类方法流程图。
[0011] 参照图1，在步骤SlOl，获取各个模态数据对应的拉普拉斯矩阵。
[0012] 在步骤S102,根据所述拉普拉斯矩阵构建多模态数据子空间聚类模型。
[0013] 在步骤S103,通过所述多模态数据聚类模型得到所述各个模态数据对应的自表达 矩阵。
[0014] 在步骤S104,从所述各个模态数据对应的自表达矩阵中选取第一自表达矩阵。
[0015] 这里，第一自表达矩阵为各个模态数据对应的自表达矩阵中最优的自表达矩阵， 最优的自表达矩阵可以根据数据的先验知识获取，也可以通过验证集进行测试，从而获取 最优的自表达矩阵。
[0016] 在步骤S105,将所述第一自表达矩阵进行聚类得到聚类结果。
[0017] 进一步地，所述获取各个模态数据对应的拉普拉斯矩阵包括：
[0018] 利用高斯核函数分别计算所述各个模态数据对应的相似度；
[0019] 根据所述相似度获取所述相似度对应的相似度矩阵；
[0020] 根据所述相似度矩阵获取所述相似度矩阵对应的拉普拉斯矩阵。
[0021] 这里，为了提高算法的效率，构造相似度矩阵可以采用，但不限于，具体为k近邻 方法。具体地，利用高斯核函数分别计算各个模态数据的样本与k近邻样本之间的相似度， 构建一个相似度矩阵W 1，根据相似度矩阵W1得到其拉普拉斯矩阵L 1<3
[0022] 进一步地，所述通过所述多模态数据聚类模型得到所述各个模态数据对应的自表 达矩阵包括：
[0023] 根据公式（1)计算所述各个模态数据对应的自表达矩阵：
[0024]
[0025] 其中，Z = [Z1Z2-Zni], Z1为所述各个模态数据对应的自表达矩阵， 为所述各个模态数据的重构误差，L1S所述各个模态数据对应的拉普拉斯矩阵，
为所述各个模态数据的局部拓扑不变性，I |z| L为所述各个模态数据的全 局一致性，Il z尥为正则项，λ、β和P分别为权重参数。
[0026] 这里，将I |Ζ| |$进行替换，具体由公式（2)可知： CN 105160357 A ~P 3/3 页
[0027]
[0028] 通过交替迭代优化S和Z来最小化公式（2)。
[0029] 当各个模态数据对应的自表达矩阵Z1, i = 不变时，通过公式（3)更新S， 具体为：
[0030]
[0031] 当S不变时，更新各个模态数据对应的自表达矩阵Z1, i = 1，.. .m，具体由公式（4) 可知：
[0032]
[0033] 将公式（4)进行变形得到公式（5)，具体为：
[0034]
[0035] 进一步地，将所述第一自表达矩阵进行聚类得到聚类结果包括：
[0036] 将所述第一自表达矩阵通过谱聚类方法进行聚类得到聚类结果。
[0037] 为了进行详细的说明，将本发明提出的方法应用于五个常用的多模态聚类的数 据库上，即 Movies617、PASCAL-VOC、WiKi Text-Image、Animal、3-Sources 数据库。其中 Movies617数据库包含17个类别的共617部电影，两个模态特征分别对应1878维关键词特 征以及1398维的演员列表特征；PASCAL-V0C包含20类图像文本对，去除有多个类别属性 的样本，可以得到共5649个样本，同时考虑到一些对比方法的时间代价。取前三类样本作 为评测集，并且利用512维的Gist特征和399维的文本词频特征；WiKi Text-Image数据 库由10个类别的共2866个图像文本对构成，从每个类别中随机选取60个样本组成共600 个样本的测试集，其中文本特征利用10维的LDA特征，图像特征利用128维的SIFT特征； Animal数据库由30475个样本组成，共50类，选取前十个类别并且从每个类别中随机选取 50个样本构成测试集，取PyramidHOG (PHOG)、colorSIFT以及SURF特征作为三种模态下的 特征表达；3-Sources数据库包含从BBC、Reuters以及The Guardian上收集的共416条不 同的消息，它们被分为6个类别，其中169个三家机构都有报道的消息被用来作为我们的测 试集。
[0038] 由上可知，首先计算不同模态下的拉普拉斯矩阵，然后将所有数据集的数据输入 模型进行训练得到其不同模态下的自表达矩阵，从不同模态下的自表达矩阵中选取最优的 自表达矩阵，最后利用谱聚类方法Normalized Cut对最优的自表达矩阵进行聚类，从而得 到最优的结果，并将最优的结果作为最终的聚类结果。
[0039] 以上所述，仅为本发明的【具体实施方式】，但本发明的保护范围并不局限于此，任何 熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵 盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
【主权项】
1. 一种基于全局一致性和局部拓扑的多模态数据子空间聚类方法，其特征在于，所述 方法包括： 获取各个模态数据对应的拉普拉斯矩阵； 根据所述拉普拉斯矩阵构建多模态数据子空间聚类模型； 通过所述多模态数据聚类模型得到所述各个模态数据对应的自表达矩阵； 从所述各个模态数据对应的自表达矩阵中选取第一自表达矩阵； 将所述第一自表达矩阵进行聚类得到聚类结果。2. 根据权利要求1所述的方法，其特征在于，所述获取各个模态数据对应的拉普拉斯 矩阵包括： 利用高斯核函数分别计算所述各个模态数据对应的相似度； 根据所述相似度获取所述相似度对应的相似度矩阵； 根据所述相似度矩阵获取所述相似度矩阵对应的拉普拉斯矩阵。3. 根据权利要求1所述的方法，其特征在于，所述通过所述多模态数据聚类模型得到 所述各个模态数据对应的自表达矩阵包括： 根据下式计算所述各个模态数据对应的自表达矩阵：其中，Z = [Z1Z2…ZniLZ1为所述各个模态数据对应的自表达矩阵，为所述 各个模态数据的重构误差，L1为所述各个模态数据对应的拉普拉斯矩阵为 所述各个模态数据的局部拓扑不变性，I |z| L为所述各个模态数据的全局一致性，IIZ尥为 正则项，λ、β和P分别为权重参数。4. 根据权利要求1所述的方法，其特征在于，将所述第一自表达矩阵进行聚类得到聚 类结果包括： 将所述第一自表达矩阵通过谱聚类方法进行聚类得到聚类结果。
【专利摘要】本发明提供的基于全局一致性和局部拓扑的多模态数据子空间聚类方法，包括：获取各个模态数据对应的拉普拉斯矩阵；根据所述拉普拉斯矩阵构建多模态数据子空间聚类模型；通过所述多模态数据聚类模型得到所述各个模态数据对应的自表达矩阵；从所述各个模态数据对应的自表达矩阵中选取第一自表达矩阵；将所述第一自表达矩阵进行聚类得到聚类结果。本发明可以获得更好的聚类性能，增强鲁棒性。
【IPC分类】G06K9/62, G06F17/30
【公开号】CN105160357
【申请号】CN201510546959
【发明人】赫然, 胡包钢, 樊艳波
【申请人】中国科学院自动化研究所
【公开日】2015年12月16日
【申请日】2015年8月31日