面向图像分享网站图片的多重配对相似度确定方法
【专利摘要】本发明公开一种面向图像分享网站图片的多重配对相似度确定方法，包括如下步骤：第一步，提取图片的上下文属性特征和图像视觉特征；第二步，随后计算属性取值之间的相似度，由属性内和属性间两部分组成；所述的属性内相似度，是指仅考虑此属性自身，相似度由自身物理意义或属性值共生矩阵来计算；所述的属性间相似度，是指考虑除此属性x外，其他属性对该属性取值相似度的影响；第三步，然后将属性值相似度转换成图片相似度；第四步，再利用图片相似度进行图像分享网站图片集的分析，包括图片聚类、图片标注、网络分析和图片发掘。
【专利说明】面向图像分享网站图片的多重配对相似度确定方法
【技术领域】
[0001]本发明涉及图像处理【技术领域】，具体的说，涉及的是一种面向图像分享网站图片的多重配对相似度确定方法。
【背景技术】
[0002]在如今的信息时代，互联网上众多的图片分享社区(如Flickr, Tumblr, Instagram等)每天都产生了海量的用户上传图片，如何有效地管理与检索这些图片开始得到了人们的重视。传统的图片搜索引擎主要使用图片周边的宏信息(metadata)，尤其是其中的文字(textual)信息来进行检索，并取得了一定的效果。当遇到文字标注不完备或不存在的情况时，就需要使用图片的视觉(visual)信息来辅助检索功能。在机器视觉领域，语义鸿沟(semantic gap)是一个很著名的概念,它指出低层的视觉特征与高层的语义特征之间存在着很大的区别。
[0003]针对海量的互联网图片，目前研究的主要方向是使用图模型或概率模型来进行分析。图模型的方法主要分两类。第一类是传播模型(graph propagation),即从初始查询开始，通过对时间、地点、文字和视觉特征量化并计算相似度，进而找到最相近的图片、关键词或用户。重复这一过程，得到与查询最相近的图片集，通过它们的标注信息即可为查询图片进行标注。第二类是分割模型(graph partition)，主要想法是使用图分割算法，把图片分类成几种。根据图模型的不同建立方法(如二部图或三部图)和不同的分割算法(最小切Mincut、隐狄利克雷分布LDA等)，算法有很多种演变。
[0004]另一个引人注目的发展是社交网络信息在图片搜索中的应用。许多图片搜索网站都存在社交网络的特征，用户可以通过分享或喜欢朋友上传的图片来进行互动，社交网络的出现大大影响了用户对图片的获取和分析结果。目前也有一些方法对这方面进行了研究。
[0005]针对图像聚类、图像标注、标签网络分析等内容，学术界进行了广泛的尝试。但是很少的工作能够做到把这些问题统一到一个框架中。
【发明内容】
[0006]针对现有技术中的缺陷，本发明的目的是提供一种面向图像分享网站图片的多重配对相似度确定方法，可以用于图像聚类、图像标注、标签网络分析等。
[0007]本发明针对图像聚类、图像标注、标签网络分析等内容，指出“相似度”这一概念是所有问题中共通的核心内容。为此，引用Wang et al.2011年的一篇文章”Coupled nominalsimilarity in unsupervised learning，，中提出的配对相似度(coupled similarity)的概念。配对相似度的构成包括两方面，其一是取决于属性内取值的相似度(如标签是一个属性，barack和obama常常共同出现，他们的相似度会很高)，另一个是取决于不同属性间协同关系的相似度(如”香蕉”和”梨”两个标签，他们对应的图片在颜色上会很相似)。配对相似度通过衡量这两种相似度共同作用的结果，最后获得两个目标(这里是图片)之间的相似度。
[0008]在原始的配对相似度确定方法中，每个物体与属性之间的关系是--对应关系
(如每张图片对应一个上传时间)。但在社交网络图片分析这一应用中，图片与标签之间的关系是一个一对多关系，一张图片可能包含着几个甚至几十个标签。为此，本发明设计了一个针对物体与属性取值间一对多关系的改进方法。
[0009]除图片-图片相似度外，本发明也可以得到每个属性不同取值之间的相似度，如两个标签的相似度或两个用户的相似度等。这些相似度一起构成了整体系统的基础，进而应用于图像聚类、图像标注等问题上。
[0010]本发明通过以下技术方案实现的，本发明在计算图片相似度时，考虑其每项属性的相似度，综合考虑属性内相似度(Inter-coupled similarity)和属性间相似度(Intra-coupled similarity)。
[0011]具体的，一种面向图像分享网站图片的多重配对相似度确定方法，包括如下步骤:
[0012]第一步，提取图片的上下文属性特征和图像视觉特征；
[0013]第二步，随后计算属性取值之间的相似度，由属性内和属性间两部分组成；
[0014]第三步，然后将属性值相似度转换成图片相似度；
[0015]第四步，再利用图片相似度进行图像分享网站图片集的分析，包括图片聚类、图片标注、网络分析和图片发掘。
[0016]所述的属性内相似度Sf (知Oy)，代表属性f的两个取值ai; Bj间的相似度，是指仅
考虑此属性自身，相似度由自身物理意义(图像视觉特征)或属性值共生矩阵(标签)来计
笪
[0017]所述的属性间相似度^⑷巧.)，代表属性f的两个取值ai; Bj的相似度，考虑除此
属性(记为属性f)外，其他属性对该属性取值相似度的影响。计算属性f上的两个取值％和a]的相似度，其过程为:
[0018](1)根据整体数据集，分别获得％和a」对应的所有图片；
[0019](2)对这些图片，获得其在其他属性中的一个(记为属性g)上的取值分布；
[0020](3)计算Si和a」对应于属性g上取值分布的相似度ay)；
[0021](4)重复以上(1)-(3)步骤，直到遍历所有的属性，最后求平均，即得到％和\.的相似度
[0022]本发明中，图片与属性的对应关系不只存在一对一对应(图片对应上传用户和图片对应上传时间等),还存在有一对多对应(图片对应标签)。存在一对多对应的关系时,每个图片对应的该属性特征被看作一个向量。首先计算单个属性取值之间的相似度，再使用候选淘汰机制计算向量间的相似度。
[0023]所述的单个属性取值之间的相似度，其方法参照权利要求2，即δ/β 531 (at,aj)= S1ZiailUj),表示属性间相似度，δ广S5〖(a￡,ay)表示单个属性取值之间的相似度。[0024]所述的候选淘汰机制，对两个图片对应的属性向量A(a1;...，am)和B(b1;...，bn)，计算其相似度S)，其步骤为:
[0025](I)遍历A和B中的每个属性值,获得相似度最高的一对属性值Bi和bj ；
[0026](2)总相似度#——(Α β)中增加屮和bj的相似bjh
[0027](3)分别从A和B中剔除Bi和bj ；
[0028](4)重复(1)-(3)直到A或B为空。
[0029]本发明提供的方法，可以用于图片聚类、图片标注、图片发掘、网络分析等，核心均在于多重配对相似度的确定，可以分别使用了 k-modes，KNN等算法加以辅助。
[0030]与现有技术相比，本发明具有如下的有益效果:
[0031]本发明可提供一个统计的算法框架用于以上所述的应用场景中，可提供给社交网络更人性化的图片呈现方案、图片发掘机制等。考虑到相似度为一个局部的概念，图片呈现方案可以有自顶向下和自底向上两种选择。通过把相似的图片聚类在一起，并用一幅或多幅代表图片表示，用户可更直观地了解到整体图片集的内容和构成。
【专利附图】
【附图说明】
[0032]通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显:
[0033]图1为本发明方法流程图；
[0034]图2是本发明的原始数据实例；
[0035]图3是本发明的系统界面示意图；
[0036]图4是本发明的聚类结果与现有代表算法的结果的比较；
[0037]图5是本发明得到的标签网络结果；CP为本发明结果，I为按相似图像推荐，T为热门标签推荐，M为现有方法结果比较。
[0038]图6是本发明的图像标注性能与现有方法的比较。
【具体实施方式】
[0039]下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。
[0040]如图1所示，本实施例提供一种对图片分享网站中用户上传的图片进行自动分析，进而实现聚类、标注、发掘等功能的方法。图像分享网站(以Flickr为例)是由用户分享图片，并与其他用户交流的社区网站。这种网站中的图片除本身的视觉信息外，还包含丰富的上下文信息，包括用户、标签、上传时间、评论、转发等。利用这些信息，可以更好地理解社交网络中与图像相关的语义层面的行为。为此，本实施例中使用一种基于多重配对相似度(Mult1-Entrance Coupled Object Similarity,MeCOS)的方法，确定图片之间、标签之间、用户之间的相似度，进而实现了一种更好的图像内容呈现与发掘方式。
[0041]本实施例中，多重配对相似度的方法具体步骤为:[0042]1.以Flickr群组为例，得到一个群组里的图片，并获得所有图片的属性(即上下文信息，如用户、标签、时间等)，提取图像特征(颜色、纹理、SIFT等)。
[0043]2.对每个属性的所有取值,计算其两两之间的属性内相似度(Intra-coupledAttribute Value Similarity)和属性外相似度(Inter-coupled Attribute ValueSimilarity)。二者相乘得到属性值相似度(Coupled Attribute Value Similarity)。
[0044]3.针对一对多映射的情况,计算两两属性向量之间的相似度(Coupled AttributeVector Similarity)。
[0045]4.遍历所有属性,得到两两图片间的相似度(Coupled Object Similarity)。
[0046]5.利用2-4中得到了不同层面上的相似度，进行图像聚类、图像标注、标签网络分析、图像发掘等应用。
[0047]应用实例
[0048]如图2所示，本实施例针对图片分享网站中的图片分析，使用Flickr群组进行训练与测试。Flickr群组是由有相同兴趣的用户自发组织形成的社交团体，主要行为包括分享图片、建立讨论与评论等。本实施例共选用了 7个Flickr群组，内容包含自然、旅游、艺术、新闻等不同的主题。
[0049]本实施例包括如下步骤:
[0050]第一步骤，爬取Flickr群组的图片内容与图片属性，每个群组选用最新上传的3000张图片。为了分析图片分享网站中的图片，对每张图片提取了以下几种属性:
[0051](I)视觉特征:包括颜色直方图、颜色矩、LBP、SIFT等特征描述子，用于对颜色、形状、纹理等不同方向进行图像视觉特征的描述；
[0052](2)用户:上传此图片的用户；
[0053](3)标签:描述图片的文字标签；
[0054](4)上传时间:用于分析与时序相关的事件等。
[0055]第二步骤，实施上述的多重配对相似度确定方法(MeCOS)计算图片间相似度与属性间相似度。
[0056]具体实施过程中，标签属性与图片为多对一关系，故采用属性向量的形式计算相似度，其他属性均采用属性值的形式计算相似度。
[0057]整个系统的原始数据可由信息表〈U，A，V，f>表示。其中U=Iu1, uj代表目标物体集合;A={a1;...，an}代表所有属性的集合-,Vj是属性a]的所有可能取值的集合；fj:U- Vj指目标物体在某属性上取值这一映射。
[0058]针对与物体间存在多对一映射关系的属性，设其为Ak，增加定义T=Vk ；
【权利要求】
1.一种面向图像分享网站图片的多重配对相似度确定方法，其特征在于包括如下步骤: 第一步，提取图片的上下文属性特征和图像视觉特征，二者共同组成图像的属性向量; 第二步，随后计算属性取值之间的相似度，由属性内和属性间两部分组成； 所述的属性内相似度SfK α7.)，代表属性f的两个取值ai，Bj间的相似度，是指仅考虑此属性f自身，相似度由自身物理意义或属性值共生矩阵来计算； 所述的属性间相似度吩如^斤代表属性f的两个取值ai; Bj间的相似度，是指考虑除此属性f外，其他属性对该属性取值相似度的影响； 第三步，然后将属性值相似度转换成图片相似度； 第四步，再利用图片相似度进行图像分享网站图片集的分析，包括图片聚类、图片标注、网络分析和图片发掘。
2.根据权利要求1所述的面向图像分享网站图片的多重配对相似度确定方法，其特征是，所述的属性间相似度计算属性f上的两个取值％和a]的相似度，其过程为: (1)根据整体数据集，分别获得％和a]对应的所有图片； (2)对这些图片，获得其在其他属性中的一个属性g上的取值分布； (3)计算％和aj对应于属性g上取值分布的相似度6^(化屮)； (4)重复以上(1)-(3)步骤，直到遍历所有的属性，最后求平均，即得到％和ad勺相似度奶屮,~),.'
3.根据权利要求2所述的面向图像分享网站图片的多重配对相似度确定方法，其特征是，所述图片与属性的对应关系不只存在一对一对应，还存在有一对多对应，存在一对多对应的关系时，每个图片对应的该属性特征被看作一个向量，首先计算单个属性取值之间的相似度，再使用候选淘汰机制计算向量间的相似度。
4.根据权利要求3所述的面向图像分享网站图片的多重配对相似度确定方法，其特征是，所述的单个属性取值之间的相似度，其方法参照权利要求2，即8lfe~S3\ai, a/)= S1Ziail aj), Sfiai, α；).表示属性间相似度，α；)表示单个属性取值之间的相似度。
5.根据权利要求3所述的面向图像分享网站图片的多重配对相似度确定方法，其特征是，所述的候选淘汰机制，对两个图片对应的属性向量A (a1;...，am)和B(b1;...，bn)，其步骤为: (1)遍历A和B中的每个属性值，获得相似度最高的一对属性值ai和1^.； (2)总相似度#__(Αβ)中增加屮和bj的相似度為).， (3)分别从A和B中剔除ai和bj；` (4)重复(1)-(3)直到A或B为空。
6.根据权利要求1-5任一项所述的面向图像分享网站图片的多重配对相似度确定方法，其特征是，所述图片聚类、图片标注、图片发掘、网络分析，在采用多重配对相似度确定的同时，分别使用了 k-modes, KNN算法加以辅助。
【文档编号】G06F17/30GK103577537SQ201310442438
【公开日】2014年2月12日 申请日期:2013年9月24日 优先权日:2013年9月24日
【发明者】徐哲, 张娅 申请人:上海交通大学