一种基于视觉词典优化和查询扩展的图像检索方法与流程

本发明涉及一种图像检索方法，特别是涉及一种基于视觉词典优化和查询扩展的图像检索方法。
背景技术：
：视觉词典方法(BagofVisualWords,BoVW)通过视觉词典将图像的局部特征量化为词频向量进行检索，既能利用图像局部信息，又能达到比局部特征直接检索更快的速度，成为当前图像检索的主流方法。但是基于BoVW的图像检索方法存在以下问题：一是当前生成视觉词典的聚类算法时间效率低、计算量大，使得BoVW难以应用于大规模数据集；二是由于聚类算法的局限性和图像背景噪声的存在，使得视觉词典中存在不包含目标信息的视觉单词，严重影响视觉词典质量；三是没有充分利用初次检索结果中的有用信息，使得检索效果不理想。针对视觉词典生成效率低问题，Philbin等将KD-Tree引入K-means中提出近似K-Means利用KD-Tree对聚类中心构建索引目录，加速寻找最近聚类中心以提高聚类效率。Nister等提出了层次K-means将时间复杂度降为，但是该方法忽略了特征维数d对聚类效率的影响。为此，研究者们提出基于降维的聚类方法，如主成分分析、自组织特征映射等，主要思路是利用降维算法对高维特征数据进行降维，再用聚类算法对降维后的特征点进行聚类。此外，Mclachlan通过构造混合概率分布函数来拟合数据集，但是该方法需要待聚类数据的先验知识，而且其聚类准确率依赖于密度函数的构造质量。因此，本发明的第一个特点是利用基于密度的聚类方法生成视觉词典，既不需要设置初始聚类中心也不用设计目标函数，避免了初值选取对聚类结果的影响，而且有效提高了视觉词典生成效率。不包含目标信息的视觉单词类似于文本中的“是”、“的”、“了”等停用词，这里称其为“视觉停用词”，去除“视觉停用词”不仅能缩小词典规模，还能提高检索准确率。针对“视觉停用词”去除问题，Sivic等认为“视觉停用词”与其出现的频率存在一定关系，提出一种基于词频的去除方法。Yuan等通过统计视觉短语(即视觉单词组合)的出现概率滤除无用信息，Fulkerson等则利用信息瓶颈准则滤除一定数量的视觉单词。但是，上述方法仅在视觉单词层面考虑如何过滤“视觉停用词”。因此，本发明的第二个特点是利用视觉单词与图像语义概念之间的相互关系度量视觉单词包含的语义信息，能更加准确地去除“视觉停用词”。为利用初次检索结果中的有用信息，丰富原有查询的信息量，Perd'och等提出平均查询扩展策略，将初始检索结果的图像特征平均值作为新的查询实例，结合二次检索结果对初次检索得到的图像进行重排序。Shen等[13]对查询图像的K近邻进行多次检索，对多次检索结果进行重排序得到最终检索结果。Chum等则利用查询图像和检索结果中的上下文语义信息提出了自动查询扩展方法，有效提高了检索准确率。然而，现有的查询扩展方法依赖于较高的初始准确率，在初始准确率较低时，初始检索结果中的不相关图像会带来负面影响。因此，本发明的第三个特点是通过连接图查找与查询图像相关的图像作为扩展项，并对初始检索结果进行重排序，降低了初始检索中不相关图像的影响，提高了图像检索准确率。技术实现要素：本发明克服了现有技术中，当前图像检索存在检索准确率低、抗干扰能力差等问题，提供一种提高图像检索准确率为目的的基于视觉词典优化和查询扩展的图像检索方法。本发明解决其技术问题所采用的技术方案是：一种具有以下步骤的基于视觉词典优化和查询扩展的图像检索方法，包括如下步骤：一种基于视觉词典优化和查询扩展的图像检索方法，其特征在于，包括：提取训练图像的SIFT特征，利用基于密度的聚类方法对SIFT特征进行聚类，生成由视觉单词组成的视觉词典组；利用卡方模型获取视觉单词与各目标图像类别相关性；结合相关性和视觉单词词频过滤掉与目标图像类别无关的视觉停用词，获得优化后的视觉词典；提取查询图像的SIFT特征，将训练图像和查询图像的SIFT特征与优化后的视觉词典进行映射匹配，得到各自的视觉词汇直方图，将查询图像的视觉词汇直方图与训练图像的视觉词汇直方图进行相似性匹配，得到初始检索结果；根据视觉词汇直方图之间的相似性确定互相关图像，找到与查询图像相关的密度最大子图；利用最大密度子图查找算法在连接图中查找查询图像的信任图像，对初始检索结果进行重排序，得到最终检索结果。所述提取训练图像的SIFT特征，利用基于密度的聚类方法对SIFT特征进行聚类，生成由视觉单词组成的视觉词典组，包括：利用局部特征提取算子从训练图像中提取SIFT特征；通过利用基于密度的聚类方法对SIFT特征进行聚类，聚类得到的每个聚类中心代表一个视觉单词，所述视觉单词组成视觉词典；提取查询图像的SIFT特征，将SIFT特征映射到距离最近的视觉单词中，统计得到查询图像的视觉词汇直方图。所述基于密度的聚类方法指通过寻找合适的密度峰值点确定聚类中心，所述聚类中心满足以下条件：聚类中心的密度大于临近数据点的密度；与其它密度更大的数据点距离相距较远。所述利用基于密度的聚类方法对SIFT特征进行聚类，包括：步骤1，对待聚类的数据集中数据点xi，定义ρi表示数据点xi的局部密度，定义δi表示距xi最近且密度更高点的距离；ρi表达式如下所示：ρi=Σjχ(dij-dc)]]>其中，dij为数据集S的数据点xi与xj的距离，dc是设定的距离阈值，局部密度ρi实质是S中与xi距离不超过dc的数据点个数；δi表达式如下所示：δi=minj:ρj>ρi(dij)ρi<ρmaxmaxj(dij)ρi=ρmax]]>其中，δi的物理意义是在局部密度大于ρi的数据点中寻找与xi最近点的距离，其值越大，表示xi与其它高密度点距离越远，则xi越有可能成为聚类中心；当xi为密度最大点时，δi等于与xi相距最远点的距离，该值远远大于其它高密度点的δ值；步骤2，定义γi＝ρiδi作为选取聚类中心的衡量指标，对进行降序排列，选取前若干个数据点作为聚类中心。所述利用卡方模型获取视觉单词与各目标图像类别相关性，通过如下计算公式实现：xi2=Σk=12Σj=1m(N·nkj-nk+·n+j)2N·nk+·n+j]]>其中，卡方值代表视觉单词wi与各图像类别间统计相关性的大小，卡方值越大说明wi与各图像类别相关性越大，卡方值越小说明视觉单词wi与各图像类别相关性越小；n1j表示图像类别Cj中包含wi的图像数目，n2j表示图像类别Cj中不包含wi的图像数目，wi出现的频次独立于图像类别Cj,nk+分别表示图像集中包含wi和不包含wi的图像数目；n+j表示图像类别Cj中的图像数目，N为图像集中图像总数目。所述结合相关性和视觉单词词频过滤掉与目标图像类别无关的视觉停用词，通过对卡方值进行加权并过滤加权后的卡方值实现，加权后的卡方值的表达式如下：x~i2=xi2tf(wi)]]>其中，tf(wi)表示视觉单词wi的词频,表示wi的卡方值，表示wi加权后的卡方值。所述根据视觉词汇直方图之间的相似性确定互相关图像，找到与查询图像相关的密度最大子图，利用最大密度子图查找算法在连接图中查找查询图像的信任图像，对初始检索结果进行重排序，得到最终检索结果，包括：步骤1，利用初始检索结果图像中前k幅图像的任一图像i的视觉词汇直方图fi进行相似性匹配得到k近邻图像集Nk(i)，定义互为对方的k近邻图像集中元素的图像对为互相关图像Rk(i,i')，如下：Rk(i,i')＝i∈Nk(i')∩i'∈Nk(i)步骤2，根据Rk(i,i')构造图G＝(V,E,W)；其中，V表示顶点集，每一个顶点表示一幅图像，E表示由连接顶点的边组成的集合，W中的元素为边的权重，k为近邻数目，任意两图像i和i'之间的连接权重计算公式如下所示：w(i,i′)=Nk(i)∩Nk(i′)kif(i,i′)∈Rk(i,i′)0otherwise]]>步骤3，根据连接权重在图G＝(V,E,W)中寻找与查询图像相关的密度最大子图；步骤4，将密度最大子图顶点所代表的图像依据与查询图像的相关性大小进行降序排列，选取前Nc幅图像作为新的查询图像，计算扩展查询结果与查询图像的相似性si，如下：si=min{βn||fi-fn||22σn2|,n=1,2,...,Nc}]]>其中，fi为图像i的视觉词汇直方图，图像β＝0.99，步骤5，根据si的大小进行重排序得到最终检索结果。本发明具有如下有益效果：(1)利用基于密度的聚类方法对SIFT特征进行聚类生成视觉词典，相比传统方法既不需要设置初始聚类中心也不用设计目标函数，而且有效提高了视觉词典的生成效率和质量；(2)通过卡方模型分析视觉单词与图像目标的相关性，去除不包含目标信息的视觉单词，增强视觉词典的分辨能力；(3)根据视觉词汇直方图之间的相似性确定互相关图像，构建无向连接图，降低噪声对查找信任图像的不利影响；(4)利用最大密度子图查找算法在连接图中查找查询图像的信任图像，对初始检索结果进行重排序，有效提高了图像检索准确率。本发明涉及基于视觉词典优化和查询扩展的图像检索方法，利用基于密度的聚类方法对SIFT特征进行聚类生成视觉词典，利用基于密度的聚类方法提高视觉词典的生成效率，并通过卡方模型分析视觉单词与图像目标的相关性，去除不包含目标信息的视觉单词，增强视觉词典的分辨能力，同时采用基于图结构的查询扩展方法对初始检索结果进行重排序，从而提高图像检索的准确率。相比现有方法，本发明的图像检索性能得到了进一步提升。为今后的图像检索技术提供了重要的理论依据和具体的实现方案。以下结合附图及实施例对本发明作进一步详细说明，但本发明的一种基于视觉词典优化和查询扩展的图像检索方法不局限于实施例。附图说明图1是本发明基于视觉词典优化和查询扩展的图像检索方法中视觉词典法流程图；图2是本发明基于视觉词典优化和查询扩展的图像检索方法的主流程图；图3是本发明基于视觉词典优化和查询扩展的图像检索方法整体流程图；图4是本发明基于视觉词典优化和查询扩展的图像检索方法中基于图结构的查询扩展方法流程图；图5是本发明基于视觉词典优化和查询扩展的图像检索方法中视觉词典规模对图像检索MAP值影响的示意图；图6是本发明基于视觉词典优化和查询扩展的图像检索方法中去除停用词数目对图像检索MAP值影响的示意图；图7是本发明基于视觉词典优化和查询扩展的图像检索方法在Oxford5K和Oxford5K+Paris6K数据库上的图像检索MAP值的示意图；图8是本发明基于视觉词典优化和查询扩展的图像检索方法中EVD+GBQE方法在Oxford5K+Paris6K数据库上的检索结果。具体实施方式具体的，如下将分三部分对发明进行说明，包括：实施前提、详细的实施方式和具体的操作过程及具体的实施例。第一部分实施前提包括建立视觉词典模型；第二部分对应于本发明的步骤，给出整体流程和每一步的具体操作方法；第三部分给出一个具体的例子，并对所得结果进行分析。一、建立视觉词典模型一幅图像有成百上千个局部特征，如果以单个局部特征为单位建立索引，在检索时需要对所有局部特征逐一匹配，这样不仅极大地增加了检索时间开销，而且影响了系统的实用性。为降低图像检索的时间开销，Sivic等借鉴文本检索领域的词袋法(BagofWords,BoW)提出了视觉词典法(BagofVisualWords,BoVW)，其流程图如图1所示。首先，利用局部特征提取算子从训练图像中提取大量局部特征(一般为SIFT特征，SIFT，Scale-invariantfeaturetransform，即尺度不变特征变换，是用于图像处理领域的一种描述。这种描述具有尺度不变性，可在图像中检测出关键点，是一种局部特征描述子)；然后，通过应用聚类算法对局部特征进行聚类，聚类得到的每个聚类中心代表一个视觉单词，由这些视觉单词组成视觉词典；最后，提取查询图像的局部特征，将局部特征映射到距离最近的视觉单词中，统计得到查询图像的视觉词汇直方图。视觉词典法通过视觉词典将图像的局部特征量化为视觉词汇直方图，利用视觉词汇直方图进行检索不仅利用了图像的局部信息，又能达到比局部特征直接检索更快的速度，成为当前图像检索的主流方法，同时也广泛应用于场景分类、视频语义概念检测、物体检测与识别等方面。二、详细的实施方式和具体的操作过程如图2和3所示，本发明的实施过程包括如下步骤：步骤201，提取训练图像的SIFT特征，利用基于密度的聚类方法对SIFT特征进行聚类，生成由视觉单词组成的视觉词典组。具体的，传统的聚类算法需要设计目标函数，反复迭代计算达到最优，而基于密度的聚类算法(Density-BasedClustering,DBC)通过寻找合适的密度峰值点确定聚类中心，认为聚类中心同时满足以下2个条件：(1)聚类中心的密度大于临近数据点的密度；(2)与其它密度更大的数据点距离相距较远。对待聚类的数据集中数据点xi，定义ρi表示数据点xi的局部密度，δi表示距xi最近且密度更高点的距离，其表达式如式(1)、式(2)所示：ρi=Σjχ(dij-dc)---(1)]]>其中，dij为数据点xi与xj的距离，dc是设定的距离阈值，局部密度ρi实质是S中与xi距离不超过dc的数据点个数。δi={minj:ρj>ρi(dij)ρi<ρmaxminj(dij)ρi=ρmax---(2)]]>其中，δi的物理意义是在局部密度大于ρi的数据点中寻找与xi最近点的距离，其值越大，表示xi与其它高密度点距离越远，则xi越有可能成为聚类中心；当xi为密度最大点时，δi等于与xi相距最远点的距离，该值远远大于其它高密度点的δ值。为便于选取合适的聚类中心，定义γi＝ρiδi作为衡量指标，显然，当γi值越大，数据点xi越有可能是聚类中心，因此选取聚类中心时只需对进行降序排列，选取前k个数据点作为聚类中心即可。基于密度的聚类算法物理意义清晰，不需要任何先验信息，只需设置合适的距离阈值dc即可完成聚类。步骤202，利用卡方模型获取视觉单词与各目标图像类别相关性；结合相关性和视觉单词词频过滤掉与目标图像类别无关的视觉停用词，获得优化后的视觉词典。具体的，在文本处理中通常根据停用词表过滤文本中的停用词，然而在BoVW中，视觉单词并不像文本中的单词那样存在确定的实体，因此无法构造“视觉停用词”表，但是它们之间具有相同的特性：(1)具有较高的词频；(2)与目标相关性不大。针对以上特性，可以利用卡方模型(Chi-squareModel)统计视觉单词与各目标图像类别之间的相关性，根据相关性的大小过滤与目标图像类别无关的视觉单词。假设视觉单词wi出现的频次独立于图像类别Cj，其中则视觉单词wi与图像集中各图像类别之间的相互关系可由表1描述：表1视觉单词w与各目标类别统计关系C1C2…CmTotal包含wi的图像数目n11n12…n1mn1+不包含wi的图像数目n21n22…n2mn2+Totaln+1n+2…n+mN其中，n1j为图像类别Cj中包含wi的图像数目，n2j表示图像类别Cj中不包含wi的图像数目，nk+,k＝1,2分别表示图像集中包含wi和不包含wi的图像数目，n+j为图像类别Cj中的图像数目，N为图像集中图像总数目。则表1中视觉单词wi与各图像类别的卡方值可由式(3)计算：xi2=Σk=12Σj=1m(N·nkj-nk+·n+j)2N·nk+·n+j---(3)]]>卡方值就代表了wi与各图像类别间统计相关性的大小，卡方值越大说明视觉单词wi与各图像类别相关性越大，反之亦然。考虑到部分视觉单词只出现在很少图像中，具有较强的类别区分能力，但是由于其词频较低导致卡方值较小，因此对卡方值赋予权重如下：x~i2=xi2tf(wi)---(4)]]>其中，tf(wi)为视觉单词wi的词频。由此，依据式(4)计算各视觉单词加权后的卡方值然后过滤值较小的视觉停用词。步骤203，提取查询图像的SIFT特征，将训练图像和查询图像的SIFT特征与优化后的视觉词典进行映射匹配，得到各自的视觉词汇直方图，将查询图像的视觉词汇直方图与训练图像的视觉词汇直方图进行相似性匹配，得到初始检索结果。具体的，去掉“视觉停用词”后，将图像的SIFT特征与优化后的视觉词典进行映射匹配，得到视觉词汇直方图，利用图像的视觉词汇直方图进行检索即可得到初始检索结果。步骤204，根据视觉词汇直方图之间的相似性确定互相关图像，找到与查询图像相关的密度最大子图；利用最大密度子图查找算法在连接图中查找查询图像的信任图像，对初始检索结果进行重排序，得到最终检索结果。具体的，由于图像噪声的存在，初始检索结果中会存在一些与查询图像无关的检索图像，因此需要对初始检索结果中的图像进行甄别，选出与查询图像相关的图像作为新的查询图像，具体流程如图4所示：利用初始检索结果图像中前k幅图像的任一图像i的视觉词汇直方图fi进行相似性匹配得到k近邻图像集Nk(i)，定义互为对方的k近邻图像集中元素的图像对为互相关图像Rk(i,i')：Rk(i,i')＝i∈Nk(i')∩i'∈Nk(i)(5)根据式(5)构造图G＝(V,E,W)，其中，V为顶点集，每一个顶点表示一幅图像，E是由连接顶点的边组成的集合，W中的元素为边的权重，k为近邻数目，图像i,i'之间的连接权重计算如式(6)所示：w(i,i′)=Nk(i)∩Nk(i′)kif(i,i′)∈Rk(i,i′)0otherwise---(6)]]>然后在图G＝(V,E,W)中寻找与查询图像相关的密度最大子图G'，将子图顶点所代表的图像依据与查询图像的相关性大小进行降序排列，选取前Nc幅图像作为新的查询图像，计算扩展查询结果与查询图像的相似性si：si=min{βn||fi-fn||22σn2|,n=1,2,...,Nc}---(7)]]>其中，fi为图像i的视觉词汇直方图，β＝0.99，最后，根据si的大小进行重排序得到最终检索结果。三、具体实施例本发明在Oxford5K图像集上进行实施，此外，引入Paris6K数据库作为干扰图像，以验证本发明在复杂环境下的鲁棒性。为了验证基于密度聚类算法(简称DBC)的有效性，设置距离阈值dc＝0.013，利用DBC进行聚类生成不同规模的视觉词典，分析视觉词典的规模大小对检索平均准确率(MAP)的影响，并与近似K-Means(AKM)方法进行实验对比，实验结果如图5所示：可以看出，当单词数目较小时，视觉词典的目标分辨能力不强，随着视觉单词数量k不断增加，其目标分辨能力逐渐增强，MAP值也逐渐增加，当词典规模大于10K时，MAP值增长速度逐渐变慢。对比DBC和AKM方法的MAP曲线可以看出，DBC方法的MAP值均高于AKM，这是因为AKM对初始聚类中心的选择敏感且容易陷入局部极值，而DBC的聚类思想不同于基于划分的聚类方法，既不需要设置初始聚类中心也不用设计目标函数，而是根据聚类中心具有密度大且与其它高密度点距离较远的特性寻找适合的数据点作为聚类中心，避免了初值选取对聚类结果的影响，而且不需要任何先验信息，只需设置合适的距离阈值dc即可完成聚类。随后，为验证卡方模型去除“视觉停用词”的有效性，实验利用DBC生成规模M＝10000的视觉词典，然后通过卡方模型滤除一定数目的“视觉停用词”，并与未去除“视觉停用词”的图像检索MAP值进行对比，实验结果如图6所示。对比图5中的MAP曲线不难看出，当去除“视觉停用词”数目S<1200时，随着S逐渐增加，视觉词典的目标分辨能力得到有效提高，并在S＝1200时MAP值达到最大值75.81％。但是，当S>1200时，随着“视觉停用词”滤除数目增加，使得一些代表性较强的视觉单词被去除，导致图像检索MAP值逐渐降低，并最终低于未去除“视觉停用词”的MAP值。而视觉词典规模M发生变化时，滤除“视觉停用词”的最佳数目也会随着变化，当M较小时，聚类准确率较低，使得包含目标信息的视觉单词中噪声SIFT特征数目较多，“视觉停用词”数目较少，因此单词停用率较低；随着词典规模M逐渐变大，聚类准确率随之增加，使得包含目标信息的视觉单词中噪声SIFT特征数目逐渐减少，“视觉停用词”的数目逐渐增加，因此视觉单词停用率逐步增加。而且不同的图像集中背景噪声均不一样，因此，在具体应用时需根据实际情况设置滤除“视觉停用词”的数目。然后，在词典规模为10000，去除“视觉停用词”数目S＝1200的情况下对查询图像进行检索，将初始检索结果与平均扩展查询方法(AQE)、K近邻重排序方法(K-NearestNeighborsRe-ranking,KNNR)、区分扩展查询方法(DiscriminativeQueryExpansion,DQE)和本发明的基于图结构查询扩展方法(Graph-BasedQueryExpansion,GBQE)进行实验对比，实验结果如表2所示。表2不同查询扩展方法的图像检索MAP值对比(％)从表2中不难看出，经过查询扩展后的检索MAP值均高于初始检索结果，说明查询扩展方法能利用初始检索结果中的有用信息，以此提高检索性能。其中，AQE利用初始检索结果的前k幅图像的特征平均值作为新的查询实例进行检索，而KNNR方法分别对这k幅图像进行扩展查询，更为有效地利用了扩展图像的细节信息，但是AQE和KNNR方法依赖于较高的初始准确率，没有分析新的查询实例与查询图像之间的相关性。DQE通过线性支持向量机(SupportVectorMachine,SVM)分析扩展项与查询图像的相关性，并根据相关性大小为其分配权重，减少无关扩展项的负面影响，检索性能优于AQE和KNNR方法，然而DQE仅考虑了查询图像与扩展项的单向相关性，并没有考虑利用扩展项是否能检索到查询图像。GBQE方法根据训练图像的互相关图像构建连接图，定义图像对的k近邻中包含相同近邻的数目作为连接权重，降低了图像中噪声对连接权重的影响，然后将与查询图像相关的密度最大子图的顶点图像作为扩展项进行扩展查询，有效去除了无关扩展项对检索结果的影响，此外，连接图可离线构造，减少了在线检索时间，并可以对新的查询图像进行增量更新。实验结果表明GBQE方法检索性能优于其它方法。为进一步验证本文方法的性能，从Paris6K数据库中随机选取1000幅图片作为干扰图像，将本发明方法(EVD+GBQE)与基于空间特征扩展和区分扩展查询方法(SPAUG+DQE)、基于上下文近义词和查询扩展图像检索方法(CSVW+QE)和基于显著度分析的图像检索方法(S-sim)进行试验对比，实验结果如图7所示：对比图7中的数据可知，采用本发明方法(EVD+GBQE)较之其它三种方法有更好的表现。S-sim方法通过对图像显著区域分析，有效降低了图像背景噪声的不利影响，由于没有利用初始检索结果对查询图像进行有效扩展，加入大量干扰图像后其检索性能明显下降；CSVW+QE方法利用视觉单词的上下文信息增强单词对图像内容的表达能力，然而CSVW+QE依赖较高的初始查准率，当无关图像增加时，其检索性能逐渐下降；SPAUG+DQE结合视觉单词的上下文信息对局部特征进行扩展，并根据查询图像与扩展项的相关性大小分配权重，降低了无关扩展项的不利影响，使得其抗干扰能力强于CSVW+QE和S-sim，但是一幅图像包含大量的局部特征，对局部特征进行扩展的计算和时间开销均较大，导致实用性不强；EVD+GBQE则采用无需迭代寻优的聚类方法生成视觉词典，提高了词典生成效率，再利用卡方模型滤除不包含目标信息的视觉单词，增强了词典的语义分辨能力，然后通过连接图查找与查询图像相关的图像作为扩展项并进行扩展查询，根据扩展查询结果对初始检索结果重排序，实验结果表明，EVD+GBQE在复杂环境下仍具有较好的表现，实用性更强。图8给出了本文方法在Oxford5K+Paris6K数据库上的图像检索结果，不难看出，本发明可以将初始检索结果中无关图像剔除，从而检索得到更多与查询图像相关的图像。以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。当前第1页1 2 3