一种图像检索方法
【专利摘要】本发明公开了一种图像检索方法，属于多媒体信息检索、模式识别等智能信息处理领域。本发明通过在初次检索后利用几何验证得到正确匹配的相关图像，将相关图像与查询图像的文档向量进行权重调整构成新的查询向量，进而得到扩展的查询，进行新的检索得到检索结果。该方法在查询向量中增加了相关图像中存在的隐性视觉单词的权重，提高了查询图像与相关匹配图像中相同视觉单词的权重从而大大提高了检索效率。
【专利说明】一种图像检索方法
【技术领域】
[0001]本发明属于多媒体信息检索、模式识别等智能信息处理领域。具体涉及一种用于目标检索的扩展查询检索方法。
【背景技术】
[0002]基于视觉词袋模型的目标检索技术成为近年来的研究热点。视觉词袋模型预先利用训练图像的局部特征形成“视觉词表”，并利用该“视觉词表”对图像局部特征进行量化，将相似的图像局部特征近似的表示为它们的聚类中心-“视觉单词”。由此，图像被表示为一组“视觉单词”的集合。随后，人们利用倒排索引表存储图像的“视觉单词”，并利用文本检索中的TF-1DF模型对图像进行检索。
[0003]由于在提取查询图像局部特征过程中的漏检和局部特征到视觉单词量化过程中的误差累积造成的视觉单词的不精准性，造成的了检索效果的不理想。学者们对此进行了诸多改进。Chum等人提出对检索后的结果进行几何验证，通过仿射变换确定前N幅检索结果中正确的M幅检索结果图像，并将此M幅图像与查询图像相结合，调整查询向量进行扩展查询，重新进行检索以提高检索效率。Philbin等人提出软量化概念，通过将每个局部特征映射成为一个加权的视觉单词集合，允许将量化阶段丢失的特征包含进来，根据局部特征空间邻近型选择词汇来获得视觉单词的集合。Yang等人利用查询目标的视觉上下文信息来补偿基于视觉词袋模型查询目标表达的不确定性。
[0004]由此可见查询目标视觉单词的准确性极大的影响了检索效率。在扩展查询中利用了初次检索结果中正确匹配图像的视觉单词以扩展查询视觉单词的范围，增加了查询目标的隐性视觉单词，但是同时也增加了许多与查询目标不相关的视觉单词。
[0005]参考文献
[0006]1.J.Philbin, 0.Chum, M.1sard, J.Sivic, and A.Zisserman.0bject retrievalwith large vocabularies and fast spatial matching.1n Proc.CVPR,2007.[0007]2.J.Sivic and A.Zisserman，Video Google:A Text Retrieval Approachto Object Matching in Videos, Proc.Ninth Int’l Conf.Computer Vision，2003，pp.1470-1478.[0008]3.David G.Lowe.0bject Recognition from Local Scale-1nvariant Features.The Proceedings of the7th IEEE International Conference on Computer Vision.Corfu，Greece:1EEE Computer Society Press,1999:1150-1157.
【发明内容】
[0009]本发明的目的在于提出一种在查询过程中通过对盲反馈获取的初次检索相关图像集合进行分析，在新的查询向量中提高相关视觉单词权重并减小非相关视觉单词权重的图像检索方法来进行新的检索，以提高检索效率。
[0010]本发明的总体思想如下:首先通过视觉词袋模型训练图像的局部特征形成“视觉词表”，并利用该“视觉词表”将图像量化成视觉单词的集合。之后，利用文本检索中的TF-1DF模型将图像库中所有图像转化成为文档向量d。在进行检索时，根据用户划定的感兴趣区域，将查询图像的感兴趣区域组成的局部特征集合转化成查询文档向量d,，与图像库中所有图像对应的文档向量进行比较排序，得到初次检索结果图像集合R。然后利用查询图像和初次检索结果中的前m幅图像进行几何验证，得到正确匹配的相关图像η幅(Ν< =Μ)。随后，根据查询文档向量d,与η幅相关图像文档向量屯，d2...，dn构建新的查询文档向量d/，利用d/与图像库中所有图像对应的文档向量进行比较排序，得到新的检索结果集合R’。
[0011]具体创新点:本方法通过利用对初次检索结果进行几何验证后得到的正确匹配图像集合，结合查询图像感兴趣区域对查询向量进行调整，扩展了新查询向量中相关视觉单词的?目息量，进而在新的检索中提闻检索效率。
[0012]本发明的具体方法步骤为:
[0013]I提取图像库中所有图像的局部特征，每幅图像得到一个局部特征集合，所有图像的局部特征集合形成局部特征训练集合，利用视觉词袋模型从局部特征训练集合中得到视觉词表，利用视觉词表将图像转化成视觉单词集合；
[0014]2利用TF-1DF模型将图像对应的视觉单词集合量化成文档向量；
[0015]3结合视觉词表，利用TF-1DF模型将查询图像感兴趣区域的局部特征集合量化成查询文档向量dq;
[0016]4将查询文档向量d,与图像库中所有图像对应的文档向量进行相似度匹配，得到初次检索结果图像集合R ;
[0017]5将查询图像与检`索结果R中相似度最高的前m幅图像进行几何验证，得到正确匹配的相关图像η幅，η < = m ;
[0018]6根据查询文档向量dq与η幅相关图像的文档向量屯，d2...，dn构建新的查询文档向量d/，公式表示如下:
【权利要求】
1.一种图像检索方法，其特征在于，包括以下步骤: 1.1提取图像库中所有图像的局部特征，每幅图像得到一个局部特征集合，所有图像的局部特征集合形成局部特征训练集合，利用视觉词袋模型从局部特征训练集合中得到视觉词表，利用视觉词表将图像转化成视觉单词集合； 1.2利用TF-1DF模型将图像对应的视觉单词集合量化成文档向量； 1.3结合视觉词表，利用TF-1DF模型将查询图像感兴趣区域的局部特征集合量化成查询文档向量dq ； 1.4将查询文档向量d,与图像库中所有图像对应的文档向量进行相似度匹配，得到初次检索结果图像集合R ; 1.5将查询图像与检索结果R中相似度最高的前m幅图像进行几何验证，得到正确匹配的相关图像η幅，η < = m ; 1.6根据查询文档向量dq与η幅相关图像的文档向量屯，d2，...，<构建新的查询文档向量d/，公式表示如下:
2.如权利要求1所述的方法，其特征在于:步骤1.4所述的相似度指两个向量间的余弦距离。
3.如权利要求1所述的方法，其特征在于:步骤1.5所述的几何验证是利用随机抽样一致性来计算两幅图像之间的仿射变换矩阵，如果能够得到仿射变换矩阵，说明两幅图像满足仿射变换，即两幅图像能够正确匹配；如果得不到仿射变换矩阵，则说明两幅图像之间不存在正确匹配。
【文档编号】G06F17/30GK103488664SQ201310159170
【公开日】2014年1月1日 申请日期:2013年5月3日 优先权日:2013年5月3日
【发明者】黄祥林, 吕慧, 曹学会, 杨丽芳, 张建生, 张枫, 韩笑 申请人:中国传媒大学, 新华通讯社