专利名称：：基于图像哈希的大规模图像库检索方法
技术领域：
：本发明属于图像检索
技术领域：
，涉及到基于内容的图像检索方法，特别涉及到一种基于图像哈希的大规模图像库检索方法。
背景技术：
：基于内容的图像检索自上世纪九十年代出现以来一直倍受研究者关注，出现了很多优秀的技术和方法，研究热点主要集中于图像特征表示、相似性度量和人工反馈等。准确、快速地搜索是衡量基于图像检索方法优劣的两个重要指标。现有检索方法通过提取图像的低层特征对图像内容进行描述，然后利用特征比对判断是否为相似图像。为了提高搜索的准确率，提取的图像特征往往成百上千维，当图像库达到几十万或者海量时，必然需要庞大的存储空间保存图像的特征库。另外，每一次搜索都需要将查询特征与特征库中的所有特征进行比对、排序，极大的降低了搜索速度。为了降低特征存储空间，提高搜索速度，有研究提出用哈希序列作为图像特征。这类研究主要解决如何构造低维二值模式，也就是如何生成哈希序列的问题。一个最经典同时应用也比较广泛的算法是locality-sensitivehashing(LSH)方法，[P.IndykandR.Motwani.ApproximateNearestNeighbors:TowardsRemovingtheCurseofDimensionality.InSTOC，1998.]该方法利用随机映射产生二值哈希序列。该技术的优点是，当哈希序列的比特数增加时，随机映射能够保留原始输入数据之间的距离在一个范围内。但其缺点是，为了保留原始输入数据之间的距离趋势，所需的哈希比特往往比较多。为了克服LSH的缺点，语义哈希(SemanticHashing)方法，[R.R.SalakhutdinovandG.E.Hinton丄earningaNonlinearEmbeddingbyPreservingClassNeighborhoodStructure.InAISTATS，2007.]和谱哈希(SpectralHashing)方法，[Y.Weiss,A.Torrelba，andR.Fergus.SpectralHashing.InNIPS，2008]利用机器学习的方法寻找合适的哈希函数，建立哈希构造机制。这两个方法在近似搜索降低哈希比特方面比LSH方法更优秀，其中谱哈希方法证明，只利用32比特哈希值就能以较高的准确率搜索出相关图像。但这两种方法的缺点是，不能被直接应用到核空间，而且根据经验预先假定原始输入数据的分布规律，例如谱哈希方法认为输入数据在欧氏空间中服从均匀分布。这一假定没有任何理论依据。为了克服谱哈希和语义哈希方法的缺点，基于核的LSH方法(KernelizedLocal-SensitiveHashing,KLSH)方法[BrianKulisandTrevorDarrell.LearningtoHashwithBinaryReconstructiveEmbeddings.InNeuralInformationProcessingSystems(NIPS)，2009]利用坐标下降法对哈希函数进行学习，将哈希方法扩展到核函数空间。但KLSH随机选择训练样本构造哈希函数，虽然操作简单，但当样本分布不均匀时，随机选择样本会导致核函数加权系数误差偏大。
发明内容本发明要解决的技术问题是针对海量图像检索存在的图像特征库存储空间大，检索速度慢的问题，克服LSH，SemanticHashing,SpectralHashing和KLSH方法存在的不足，提出一种基于图像哈希的大规模图像库检索方法。本发明的技术方案是对于图像库中的图像，采用特征描述符提取特征向量，作为检索特征。通过已知标签的训练样本，利用优化方法求得超球面分类面，并由此构造哈希函数。根据哈希函数，对特征库中的每个特征向量产生一串哈希序列，将特征向量映射到汉明空间中。对于每一幅查询图像，计算其与待检索图像哈希序列之间的汉明距离，利用距离大小衡量待检索图像与查询图像之间的相似性，返回相似度高的图像。具体实现步骤包括(1)建立图像库I={InI2，...，IJ，其中包含N幅图像。从图像库中挑选M幅(M<N)包含同一对象的图像，组成训练库T={1\，T2，...，TM}。(2)对于图像库I和训练库T中的每一幅图像，利用Gist描述符提取图像的纹理特征，每一幅图像用一个高维特征向量表示。图像库对应的所有特征向量组成图像特征库GI={GIpGIy...，GIN}，特征库中的每个特征向量GIi，(1《i《N)和图像库中的每幅图像Ii，(1《i《N)—一对应。训练库对应的所有特征向量组成训练特征库GT二{G1\，GT2，...，GTj，特征库中的每个特征向量GTi，(1《i《M)和训练库中的每幅图像Ti，(1《i《M)——对应。(3)对于训练特征库中的M个特征向量GT=(GT"GT2，.，GTM}，利用K均值聚类将其聚成c类，得到C组聚类样本S={SnS2，...，SJ。(4)对于每一组聚类样本Si，(1《i《C)，定义基于核函数的超球面分类函数其中叫是Si，(1《i《C)中包含的样本数;ai是mi维向量，通过训练得到;K(Xx)是核函数，选择径向基核函数。根据已知的训练样本Si，(1《i《C)，求解如下方程得到a,:约束条件为aiXi>1，i=1，2，...，mi从而确定最优超球面分类面，该分类面是能最大限度的包含所有聚类样本的最小分类面。(5)根据已求得的超球面分类函数P(x)=化(x)，P2(x)，...，Pc(xM，定义哈希函数H(x)=讽(x)，H2(x)，…，Hc(xM，其中对于特征库中的每个特征向量GIi，(l《i《N)，利用哈希函数簇H(x)=伤Jx)，H2(x)，，Hc(x)}生成长度为C的哈希序列HIi=(H山，，HcIJ，(1《i《N)。(6)对于查询图像Q，提取其Gist特征向量GQ后，利用哈希函数H(x)=(x)，H2(x)，，Hc(x)}构造其对应的哈希序列HQ=雖，HCQ}。《(X)二E"i^"(X,x)(7)对于查询哈希序列HQ={H^...，HCQ}和图像特征库的每个哈希序列HIi=(H山，，HcIJ，(1《i《N)，计算它们之间的汉明距离DHi=Exor(HIi，HQ)，(1《i《N)，根据距离大小判断图像库中图像与查询图像之间的相似性。关于Gist特征向量的提取可参考文献[AudeOliva，AntonioTorralba，Modelingtheshapeofthescene:aholisticrepresentationofthespatialenvelope,InternationalJournalofComputerVision,Vol.42(3):145-175,2001]。本发明的效果和益处是本发明提出一种基于图像哈希的大规模图像库检索方法，通过对已知标签的图像特征进行聚类，确定最优超球面分类面，构造哈希函数。这种哈希函数构造方法克服了LSH方法需要哈希函数多的问题；解决了语义哈希和谱哈希方法不能扩展到核空间的问题，同时也完善了KLSH方法计算哈希函数时对样本的选择问题。图1是一种基于图像哈希的大规模图像库检索方法的流程示意图。图2是本发明用于建立训练图像库的样本图像图。图3是其中4幅查询图像在24比特哈希值时检索返回的20幅图像，分两行显示，其中第一行最左边是查询图像图。图4是本发明不同哈希比特对应的检索准确率曲线图。图5是本发明不同哈希比特对应的检索召回率曲线图。具体实施例方式以下结合技术方案和附图详细叙述本发明的具体实施方式。步骤1.图像库中包含5000幅1024X768像素的待检索图像，来源于公开的牛津大学建筑图像库。从中取出200幅用户感兴趣的图像作为训练图像，这200幅训练图像应包含同一对象，但允许对象的尺寸、角度、颜色和图像光强不同。部分训练图像样本如图2所示。图像库网址为:htt。〃www.robots,ox.ac.uk/vgg/data/oxbuildings/index,html步骤2.因为Gist描述符主要是提取图像的纹理特征，故，在此我们将5000幅待检索图像I=仏，I2，...，15。。。}和200幅训练图像T={1\，T2，...，T2。。}由彩色图像变为灰度图像，并将其縮放至512X512像素。对I和T中的每一幅图像，在4个尺度，8个方向进行滤波，滤波后的图像进行4X4分块，获得其512维的Gist特征。待检索特征库和训练特征库分别为GI={GInGI2，，GI5。。。}和GT={Gl\，GT2，，GT200}。Gist特征的提取过程可采用公开的matlab代码htt。//people,csail.mit.edu/torralba/code/s。atialenvelo。e/步骤3.对于步骤2中200幅训练图像生成的训练特征GT={Gl\，GT2，...，GT2。。}，利用k均值聚类法将其聚成16类。对于每一组聚类样本Si，(1《i《16)，定义超球面分类函数《(xhJ]Qr,X(^x)唭中mi是Si，(1《i《16)中包含的样本数；ai是nii维向量，通过训练得到；K(Xi，X)是核函数，选择径向基核函数。根据已知的训练样本Si，(1《i《16)，在约束条件为aiXi>1，i=1，2，，mi下，求解方程min(llKf)得到ai。ai确定后，该类的超球面分类函数《0)=2>,"力就确定了。依此类推，求解其他聚类样本的超i=l球面分类函数。叫步骤4.根据步骤3中求得的超球面分类函数《(力=2>,^",力，定义哈希函数为…H丄其中H=讽，H:1S"i《(A,力〉0附ii=1以上内容是结合最佳实施方案对本发明所作的进一步详细说明，不能认定本发明的具体实施只限于这些说明。本领域的技术人员应该理解，在不脱离由所附权利要求书限定的情况下，可以在细节上进行各种修改，都应当视为属于本发明的保护范围。权利要求一种基于图像哈希的大规模图像库检索方法，其特征在于包括如下步骤1)建立图像库I＝{I1，I2，...，IN}，其中包含N幅图像；从图像库中挑选M幅(M＜N)包含同一对象的图像，组成训练库T＝{T1，T2，...，TM}；2)对于图像库I和训练库T中的每一幅图像，利用Gist描述符提取图像的纹理特征，每一幅图像用一个高维特征向量表示；图像库对应的所有特征向量组成图像特征库GI＝{GI1，GI2，...，GIN}，特征库中的每个特征向量GIi，(1≤i≤N)和图像库中的每幅图像Ii，(1≤i≤N)一一对应；训练库对应的所有特征向量组成训练特征库GT＝{GT1，GT2，...，GTM}，特征库中的每个特征向量GTi，(1≤i≤M)和训练库中的每幅图像Ti，(1≤i≤M)一一对应；3)对于训练特征库中的M个特征向量GT＝{GT1，GT2，...，GTM}，利用K均值聚类将其聚成C类，得到C组聚类样本S＝{S1，S2，...，SC}；4)对于每一组聚类样本Si，(1≤i≤C)，定义基于核函数的超球面分类函数<mrow><msub><mi>P</mi><mi>i</mi></msub><mrow><mo>(</mo><mi>x</mi><mo>)</mo></mrow><mo>=</mo><munderover><mi>Σ</mi><mrow><mi>i</mi><mo>=</mo><mn>1</mn></mrow><msub><mi>m</mi><mi>i</mi></msub></munderover><msub><mi>α</mi><mi>i</mi></msub><mi>K</mi><mrow><mo>(</mo><msub><mi>x</mi><mi>i</mi></msub><mo>,</mo><mi>x</mi><mo>)</mo></mrow></mrow>其中mi是Si，(1≤i≤C)中包含的样本数；αi是mi维向量，通过训练得到；K(xi，x)是核函数，选择径向基核函数；根据已知的训练样本Si，(1≤i≤C)，求解如下方程得到αi<mrow><mi>min</mi><mrow><mo>(</mo><mfrac><mn>1</mn><mn>2</mn></mfrac><msup><mrow><mo>|</mo><mo>|</mo><msub><mi>α</mi><mi>i</mi></msub><mo>|</mo><mo>|</mo></mrow><mn>2</mn></msup><mo>)</mo></mrow></mrow>约束条件为αi·xi＞1，i＝1，2，...，mi从而确定最优超球面分类面，该分类面是能最大限度的包含所有聚类样本的最小分类面；5)根据已求得的超球面分类函数P(x)＝{P1(x)，P2(x)，...，PC(x)}，定义哈希函数H(x)＝{H1(x)，H2(x)，...，HC(x)}，其中<mrow><msub><mi>H</mi><mi>i</mi></msub><mrow><mo>(</mo><mi>x</mi><mo>)</mo></mrow><mo>=</mo><mi>sign</mi><mrow><mo>(</mo><msub><mi>P</mi><mi>i</mi></msub><mrow><mo>(</mo><mi>x</mi><mo>)</mo></mrow><mo>)</mo></mrow><mo>=</mo><mfencedopen='{'close=''><mtable><mtr><mtd><mn>1</mn></mtd><mtd><msub><mi>P</mi><mi>i</mi></msub><mrow><mo>(</mo><mi>x</mi><mo>)</mo></mrow><mo>></mo><mo>=</mo><mn>0</mn></mtd></mtr><mtr><mtd><mn>0</mn></mtd><mtd><mi>else</mi></mtd></mtr></mtable></mfenced></mrow>对于特征库中的每个特征向量GIi，(1≤i≤N)，利用哈希函数簇H(x)＝{H1(x)，H2(x)，...，HC(x)}生成长度为C的哈希序列HIi＝{H1Ii，...，HCIi}，(1≤i≤N)；6)对于查询图像Q，提取其Gist特征向量GQ后，利用哈希函数H(x)＝{H1(x)，H2(x)，...，HC(x)}构造其对应的哈希序列HQ＝{H1Q，...，HCQ}；7)对于查询哈希序列HQ＝{H1Q，...，HCQ}和图像特征库的每个哈希序列HIi＝{H1Ii，...，HCIi}，(1≤i≤N)，计算它们之间的汉明距离DHi＝∑xor(HIi，HQ)，(1≤i≤N)，根据距离大小判断图像库中图像与查询图像之间的相似性。全文摘要一种基于图像哈希的大规模图像库检索方法，属于图像检索
技术领域：
，涉及基于内容的图像检索方法。其特征是从待检索的图像库中选取与查询图像相关的训练图像；分别提取待检索图像、训练图像和查询图像的Gist特征。利用K均值聚类法将训练特征聚成C类；对每类样本特征，计算其超球面分类函数由此定义哈希函数为计算待检索图像特征和查询图像特征的哈希序列；并计算查询图像哈希序列与待检索图像哈希序列之间的汉明距离；设定阈值d，返回相似的图像。本发明的效果和益处是克服了LSH方法哈希函数数量多的问题；解决了谱哈希法和语义哈希法不能扩展到核空间的问题，同时也完善了KLSH方法计算哈希函数时对样本的选择问题。文档编号G06K9/62GK101710334SQ200910220599公开日2010年5月19日申请日期2009年12月4日优先权日2009年12月4日发明者付海燕,孔祥维,杨德礼,郭艳卿申请人:大连理工大学