基于多模态信息融合与图聚类的跨媒体话题检测方法、装置制造方法
【专利摘要】本发明公开了一种基于多模态信息融合与图聚类的跨媒体话题检测方法、装置，其中该方法包括：步骤一，进行文本信息、视频内容预处理；步骤二，进行文本融合及高层特征提取，获取文本信息相似度；步骤三，进行视频相似片段检测，获取视觉信息相似度；步骤四，根据文本信息相似度、视觉信息相似度并融合数据的时间信息计算最终数据相似度；步骤五，根据最终数据相似度进行图融合、图聚类，完成话题检测。该方法有效避免了对时间轴的硬量化带来的过分割与过生成的问题以及现有话题检测方法无法移植到来自不同媒体源的多模态数据的话题检测问题。
【专利说明】基于多模态信息融合与图聚类的跨媒体话题检测方法、装
【技术领域】
[0001]本发明涉及多媒体数据中的话题检测技术，特别是涉及一种基于多模态信息融合与图聚类的跨媒体话题检测方法。
【背景技术】
[0002]社交网络与社交媒体的快速发展，以及在社交网络和社交媒体上面数据的高速传播，使得从网络数据中进行话题检测成为信息处理领域的研究热点之一。合理有效的按照话题组织网络数据，一方面可以方便用户浏览网络数据，提高用户体验，使他们能更快更准确的找到想要了解的社会现实话题，另一方面有利于网络管理员与政府相关部门进行信息管理。
[0003]目前，大多数进行话题检测的方法，按照研究对象大体可分为三类:
[0004](I).只关注来自单一媒体源的具有多种模态信息的多媒体数据，如网络视频。
[0005](2).只关注来自单一媒体源的单一模态的数据，如只关注新闻文本或微博数据。
[0006](3).关注来自不同媒体源的特定模态的数据，如只关注新闻文本和微博数据。
[0007]但在实际网络数据中，来自不同媒体源的多种模态数据往往共生存在。而且单一媒体源的信息容量、接受群体有限，单一媒体源的数据往往无法很好的体现社会现实话题。来自不同媒体源的不同模态的数据包含更加丰富多样的信息，具有一定程度的互补性，可以为话题提供更加全面的描述。
[0008]但是，不同数据源之间具有多种模态信息的数据，数据与数据之间具有各种各样的关联性，如数据各种模态信息的相似性、数据产生时间等，而且这种关联性具有多对多的结构。不同媒体数据源包含多种数据模态，但是不是所有的数据源的数据都含有所有潜在的数据模态(数据不完整性)，比如，新闻文本可能只包含文本信息，个别视频没有周边文本信息。而且，不同媒体源的数据同一模态的信息特点差异也很大(数据不整齐性)，如，信息容量、数据量化后的维度、信噪比等多个层面。这样的数据不完整性与不整齐性，必然会影响数据表示，进而影响话题检测效果。
[0009]在现有进行话题检测的方法中并没有提供很好的解决数据不完整性与不整齐性的思路。同时，现有方法往往按照某种规则划分时间片段，对每个时间段内数据分别进行无监督聚类，然后根据内容相似性对不同时间段内所得的聚类结果进行连接得到话题，如图1所示。这种解决思路在执行过程中存在着话题过分割(划分时间片段导致，话题具有时间连续性)与过生成(不同时间段内结果进行连接导致)之间的折中问题，以及对噪声敏感(往往由聚类方法引起)的问题。因此需要采取一种对时间进行软量化然后直接融入数据相似度计算的思路，以有效避免硬量化带来过分割与过生成的问题。对于噪声敏感问题，主要是由于聚类方法的选取引起的，现有用于话题检测的聚类方法往往对噪声不鲁棒，从而导致整个话题检测系统对于噪声较为敏感。而且现有话题检测方法无法移植到来自不同媒体源的多模态数据的话题检测问题上。
【发明内容】
[0010]本发明所要解决的技术问题在于提供一种基于多模态信息融合与图聚类的跨媒体话题检测方法及其装置，用于有效避免对时间轴的硬量化带来的过分割与过生成的问题以及现有话题检测方法无法移植到来自不同媒体源的多模态数据的话题检测问题。
[0011]为了实现上述目的，本发明提供了一种基于多模态信息融合与图聚类的跨媒体话题检测方法，其特征在于，包括:
[0012]步骤一，进行文本信息、视频内容预处理；
[0013]步骤二，进行文本融合及高层特征提取，获取文本信息相似度；
[0014]步骤三，进行视频相似片段检测，获取视觉信息相似度；
[0015]步骤四，根据文本信息相似度、视觉信息相似度并融合数据的时间信息计算最终数据相似度；
[0016]步骤五，根据最终数据相似度进行图融合、图聚类，完成话题检测。
[0017]所述的跨媒体话题检测方法，其中，所述步骤二中，包括:利用余弦距离计算两个数据点间的文本信息相似度，公式如下:
【权利要求】
1.一种基于多模态信息融合与图聚类的跨媒体话题检测方法，其特征在于，包括: 步骤一，进行文本信息、视频内容预处理； 步骤二，进行文本融合及高层特征提取，获取文本信息相似度； 步骤三，进行视频相似片段检测，获取视觉信息相似度； 步骤四，根据文本信息相似度、视觉信息相似度并融合数据的时间信息计算最终数据相似度； 步骤五，根据最终数据相似度进行图融合、图聚类，完成话题检测。
2.根据权利要求1所述的跨媒体话题检测方法，其特征在于，所述步骤二中，包括:利用余弦距离计算两个数据点间的文本信息相似度，公式如下:
Sim1ii = cos ine{d\ ,d]) 其中: Sim/表示第i个数据和第j个数据在文本层面的文本信息相似度； <表示第i个数据的文本高层特征； <表示第j个数据的文 本高层特征。
3.根据权利要求1或2所述的跨媒体话题检测方法，其特征在于，所述步骤三中，包括:将视频信息相似度定义为视频重复关键帧的数目；
Sim^.二# NDK(J1J) 其中: Sim/衰示第i个数据与第j个数据在视觉信息层面的视觉信息相似度； #NDK(i, j)表示第i个数据的视频与第j个数据的视频重复关键帧的数目。
4.根据权利要求3所述的跨媒体话题检测方法，其特征在于，所述步骤四中，包括:采用Jaccard相似度计算两个数据点k近邻的数据集的相似度作为两个节点的实际相似度:
TVf⑷η聯)
iJ — ivf ㈨ Uiv;W.jV _ N^imNrj {k)
iJ — Nj(mN]{k) 其中: N；r(k)表示第i个节点文本信息相似度排名最高的k个数据点集合，不包含i节点本身； N/(k断'第j个节点文本信息相似度排名最高的k个数据点集合，不包含j节点本身； Ok)衰示第i个节点视觉信息相似度排名最高的k个数据点集合，不包含i节点本身；Nf (k)轰示第j个节点视觉信息相似度排名最高的k个数据点集合，不包含j节点本身；
表示第i个节点和第j个节点在文本信息层面的Jaccard相似度； Jj表示第i个节点和第j个节点在视觉信息层面的Jaccard相似度。
5.根据权利要求4所述的跨媒体话题检测方法，其特征在于，所述步骤四中，包括:对数据进行时序约束:
6.根据权利要求5所述的跨媒体话题检测方法，其特征在于，所述步骤五中，包括:获取不同模态信息图的边权重:
v^ ij ~ aij.H =Oy-Jl 其中: <为第i个数据与第j个数据在文本模态信息相关图上的边权重； V ^第i个数据与第j个数据在视觉模态信息相关图上的边权重。
7.一种基于多模态信息融合与图聚类的跨媒体话题检测装置，其特征在于，包括: 预处理模块，用于进行文本信息、视频内容预处理； 融合提取模块，连接预处理模块，用于进行文本融合及高层特征提取，获取文本信息相似度； 第一相似度计算模块，连接预处理模块，用于进行视频相似片段检测，获取视觉信息相似度； 第二相似度计算模块，连接融合提取模块、第一相似度计算模块，用于根据文本信息相似度、视觉信息相似度并融合数据的时间信息计算最终数据相似度； 融合聚类模块，连接第二相似度计算模块，用于根据最终数据相似度进行图融合、图聚类，完成话题检测。
8.根据权利要求7所述的跨媒体话题检测装置，其特征在于，所述融合提取模块利用余弦距离计算两个数据点间的文本相似度，公式如下:
Sim1ij = Cosineid1j ,cf:) 其中: Sim/表示第i个数据和第j个数据在文本层面的文本信息相似度；<表示第i个数据的文本高层特征； <表示第j个数据的文本高层特征。
9.根据权利要求7或8所述的跨媒体话题检测装置，其特征在于，所述第一相似度计算模块将视频信息相似度定义为视频重复关键帧的数目；
Sim〉=#NDK(i,j) 其中: Sim/表示第i个数据与第j个数据在视觉信息层面的相似度； #NDK(i, j)表示第i个数据的视频与第j个数据的视频重复关键帧的数目。
10.根据权利要求9所述的跨媒体话题检测装置，其特征在于，所述第二相似度计算模块采用Jaccard相似度计算两个数据点k近邻的数据集的相似度作为两个节点的实际相似度:
11.根据权利要求10所述的跨媒体话题检测装置，其特征在于，所述第二相似度计算模块对数据进行时序约束:
12.根据权利要求11所述的跨媒体话题检测装置，其特征在于，所述融合聚类模块获取不同模态信息图的边权重:
wij = aIj.Jy
^ij =aIj-jI
其中: <为第i个数据与第j个数据在文本模态信息相关图上的边权重； <是第i个数据与第j个数 据在视觉模态信息相关图上的边权重。
【文档编号】G06K9/00GK103995804SQ201410203087
【公开日】2014年8月20日 申请日期:2014年5月14日 优先权日:2013年5月20日
【发明者】黄庆明, 张艳雁, 褚令洋, 李国荣, 王树徽, 张维刚 申请人:中国科学院计算技术研究所