基于最优k均值哈希算法的大规模图像库检索方法【专利摘要】一种基于最优K均值哈希算法的大规模图像库检索方法，包括：从待检索图像库中选取部分图像作为训练图像集，首先提取训练集图像的GIST特征；对训练集的特征数据进行特征值分配预处理；将经过预处理的特征数据划分成多个子空间；对每一个子空间训练出该子空间的码本和码本的编码；对待检索图像库和查询图像中特征数据的处理与训练过程对应，分别提取检索图像和查询图像的GIST特征，然后计算待检索图像和查询图像特征的哈希编码，之后计算待检索图像特征编码和查询图像特征编码两者之间的汉明距离，由此快速检索相似图像。本发明具有很好的普适性，既减少了数据的存储空间又提高了查询的检索效率。【专利说明】基于最优K均值哈希算法的大规模图像库检索方法【
技术领域：
】[0001]本发明属于图像检索【
技术领域：
】，更具体地涉及一种基于内容的图像检索方法，尤其涉及一种基于最优K均值哈希算法的大规模图像库检索方法。【
背景技术：
】[0002]随着互联网的快速发展，互联网上的图片数据日益增多，如何快速、准确地为用户提供所需要的图片资源显得越来越重要。基于内容的图像检索(Content-BasedImageRetrieval,CBIR)技术应运而生，受到了许多研究者的关注。一般来说CBIR系统主要包括两部分的核心研究内容，一是有效的图像特征表述，二是高效检索算法。通过提取图像的特征对图像内容进行描述，例如GIST特征(具体内容可以参见文章AudeOlivaandAnton1Torralba,“Modelingtheshapeofthescene:aholisticrepresentat1nofthespatialenvelope，，，Internat1nalJournalofComputerVis1n,42(3),2001),然后利用高效的检索算法进行特征比对判断是否为相似图像。[0003]其中，对于检索算法，主要包括:基于树的检索算法、基于向量量化的检索算法和基于哈希的检索算法。基于树的检索算法利用超平面递归地划分整个数据空间，在数据比较低维的情况下效果很好，但是当数据维度比较高的时候，基于树的检索算法会退化成穷尽搜索。基于向量量化的方法是一种有效的检索算法，此类方法将数据量化到码本以降低数据空间的势，并用码字之间的距离来近似原始数据之间的距离。基于哈希的检索算法的主要思想是将原始数据映射成汉明空间中的二进制数值串，数据之间的相似度可以利用它们在汉明空间的二进制数值串之间的汉明距离来度量。基于哈希的高效检索算法有两个主要优点:一是可以减少数据存储空间；二是可以提高检索效率。[0004]局部敏感哈希(Locality-SensitiveHashing,LSH)(例如可以参考文章MayurDatar,NicoleImmorlica,P1trIndykandVahabS.Mirrokni,“Locality-sensitivehashingschemebasedonp-stabledistribut1ns，，，InProceedingsofthetwentiethannualsymposiumoncomputat1nalgeometry,ACM,2004)利用从满足p-stable的分布上随机产生投影函数来对原始数据分别进行投影，再把投影后的数据阈值化为O和1，这样就得到了原始数据的编码。但是由于LSH的投影函数是数据无关的，随机产生的，并且产生的投影函数可能彼此是相关的，因此LSH编码的效果不是很理想。为了克服LSH的缺点，谱哈希(SpectralHashing,SH,例如可以参考文章YairWeiss,Anton1Torralba,andRobFergus,“SpectralHashing”，InNIPS,2008)基于谱图分割,利用机器学习的方法通过阈值化数据的相似图拉普拉斯的特征向量的子集来计算哈希编码。迭代量化(ITQ)利用最小化数据编码和原始数据之间的误差的方法来学习哈希函数，也取得了很好的检索效果。[0005]基于向量量化的方法由于比较小的畸变误差，所以检索效果比哈希方法要好，但是它检索速度不及哈希方法。K均值哈希(KH)(例如可以参考文章KaimingHe,FangWen,JianSun,“K-meanshashing:anaffinity-preservingquantizat1nmethodforlearningbinarycompactcodes”,InCVPR,2013)是一种比较新颖的哈希检索方法，KH将基于向量量化的方法和基于哈希的方法结合起来，通过最小化量化误差和仿射误差来训练哈希函数编码数据；但是在KH中，在码本和码本的编码在初始化之后，只有码本在更新而码本的编码不更新，这将降低编码的有效性。【
发明内容】[0006]为了克服上述KH的缺陷，本发明提出了一种基于最优K均值哈希算法的大规模图像库检索方法，以解决针对海量图像检索时存在的图像特征库存储空间大、检索速度慢的问题。[0007]作为本发明的一个方面，本发明提出了一种基于最优K均值哈希算法的大规模图像库检索方法，包括以下步骤:[0008]提取查询图像和待检索图像库中选取的训练集中的图像的GIST特征，[0009]将所述GIST特征映射到汉明空间，[0010]计算所述查询图像的哈希编码与所述待检索图像库中每一幅图像的哈希编码之间的汉明距离，利用距离大小来衡量所述查询图像与所述待检索图像库中图像之间的相似性，返回相似度高的图像。[0011]其中，所述提取查询图像和待检索图像库中选取的训练集中的图像的GIST特征和将所述GIST特征映射到汉明空间的步骤包括:[0012]对所述查询图像和待检索图像库中选取的训练集中的图像提取GIST特征；[0013]利用所述训练集中的图像的GIST特征，训练得到码本和码本的编码；[0014]根据训练得到的所述码本和码本编码，对所述查询图像和待检索图像库中的图像的GIST特征进行处理，得到所述查询图像和待检索图像库中的图像的哈希编码，将其特征向量映射到汉明空间中。[0015]作为本发明的另一个方面，本发明还提供了一种基于最优K均值哈希算法的大规模图像库检索方法，包括以下步骤:[0016]训练过程，提取待检索图像库中选取的训练集中的图像的GIFT特征，利用得到的GIST特征来训练得到码本和码本的编码；[0017]待检索图像库编码过程，利用所述训练过程中得到的码本和码本的编码来计算待检索图像库中的图像的完整编码；[0018]查询过程，提取查询图像的GIFT特征，利用所述训练步骤得到的码本和码本的编码来计算所述查询图像的完整编码，并计算所述查询图像的编码与所述待检索图像库中每一幅图像的编码之间的汉明距离，利用距离大小来衡量所述查询图像与所述待检索图像库中图像之间的相似性，返回待检索图像库中与查询图像汉明距离最小的L个图像作为检索结果，其中L为用户预先设定的正整数。[0019]其中，所述训练过程进一步包括:[0020]步骤Sll:从待检索图像库D=(D17D2,...,DJ中选取部分图像T=IT1,T2,...Tj作为训练集，其中N为待检索图像库的大小，η为训练集的大小，η^Ν:[0021]步骤S12:对所述训练集T中的图像提取d维的GIST特征，其中图像Τ,.的GIST特征记为Xi，X1eKd，将训练集中所有图像的GIST特征组成矩阵X，XeMnxd，X的第i行由Xi构成；[0022]步骤S13:对所述训练集中图像的GIST特征进行特征值分配预处理，计算均值μ和投影矩阵P；[0023]步骤S14:将经过预处理之后的特征数据均匀地划分为m个子空间，特征矩阵X在第u个子空间的数据记为X(U)，其中I<u<m，特征&在第u个子空间的数据记为Xf如下式所示，Xip为Xj的第P维，I≤P≤d,t为子空间的维数，t=d/m,【权利要求】1.一种基于最优K均值哈希算法的大规模图像库检索方法，包括以下步骤:提取查询图像和待检索图像库中选取的训练集中的图像的GIST特征，将所述GIST特征映射到汉明空间，计算所述查询图像的哈希编码与所述待检索图像库中每一幅图像的哈希编码之间的汉明距离，利用距离大小来衡量所述查询图像与所述待检索图像库中图像之间的相似性，返回相似度高的图像。2.根据权利要求1所述的基于最优K均值哈希算法的大规模图像库检索方法，其中所述提取查询图像和待检索图像库中选取的训练集中的图像的GIST特征和将所述GIST特征映射到汉明空间的步骤包括:对所述查询图像和待检索图像库中选取的训练集中的图像提取GIST特征；利用所述训练集中的图像的GIST特征，训练得到码本和码本的编码；根据训练得到的所述码本和码本编码，对所述查询图像和待检索图像库中的图像的GIST特征进行处理，得到所述查询图像和待检索图像库中的图像的哈希编码，将其特征向量映射到汉明空间中。3.一种基于最优K均值哈希算法的大规模图像库检索方法，包括以下步骤:训练过程，提取待检索图像库中选取的训练集中的图像的GIFT特征，利用得到的GIST特征来训练得到码本和码本的编码；待检索图像库编码过程，利用所述训练过程中得到的码本和码本的编码来计算待检索图像库中的图像的完整编码；查询过程，提取查询图像的GIFT特征，利用所述训练步骤得到的码本和码本的编码来计算所述查询图像的完整编码，并计算所述查询图像的编码与所述待检索图像库中每一幅图像的编码之间的汉明距离，利用距离大小来衡量所述查询图像与所述待检索图像库中图像之间的相似性，返回待检索图像库中与查询图像汉明距离最小的L个图像作为检索结果，其中L为用户预先设定的正整数。4.根据权利要求3所述的基于最优K均值哈希算法的大规模图像库检索方法，其中所述训练过程进一步包括:步骤Sll:从待检索图像库D=(D17D2,...,DJ中选取部分图像T=IT1,T2，...TJ作为训练集，其中N为待检索图像库的大小，η为训练集的大小，η^Ν；步骤S12:对所述训练集T山的图像提取d维的GIST特征，其山图像Ti的GIST特征记为Xi，XiGRd将训练集中所有图像的GIST特征组成矩阵X，XeIRd，X的第i行由Xi构成；步骤S13:对所述训练集中图像的GIST特征进行特征值分配预处理，计算均值μ和投影矩阵P;步骤S14:将经过预处理之后的特征数据均匀地划分为m个子空间，特征矩阵X在第u个子空间的数据记为X(U)，其中I彡u彡m，特征在第u个子空间的数据记为，如下式所示，Xjp为Xj的第P维，I<P<d,t为子空间的维数，t=d/m,步骤S15:在每一个子空间内分别计算该子空间的码本C(u)和码本的编码，其中u为第u个子空间。5.根据权利要求4所述的基于最优K均值哈希算法的大规模图像库检索方法，其中对所述训练集中图像的GIST特征进行特征值分配预处理，计算均值μ和投影矩阵P的步骤进一步包括:步骤S131:对训练集图像的GIST特征先做PCA旋转，保存均值μ和中间投影矩阵尹，均值的计算公式如下:将每一个Xi减去均值μ，得到f=X1-μ，此时由$组成的特征矩阵记为文，计算协方差矩阵Σ=又又，其中叉’为又的转置，对矩阵Σ进行特征分解得到Σ=戸八’，即得到中间投影矩阵豆，并保存Λ对角线上的元素，即特征值；步骤S132:设置m个桶，每个桶对应一个子空间，每个桶的最大容量为d/m;不重复地选取A(i，i)中最大的特征值，并把它分配到具有最小的特征值乘积且没有达到最大容量的桶中，直到所有的特征值Λ(i，i)都分配到各个桶中；最后得到每个桶中每个特征值在A中的位置索引，其中对于位置(i，i)，其索引用索引向量I保存；步骤S133:将中间投影矩阵戶的每一列，按照索引向量I重新排序，构成最后的投影矩阵P。6.根据权利要求4所述的基于最优K均值哈希算法的大规模图像库检索方法，其中在每一个子空间内分别计算该子空间的码本C(U)和码本的编码的步骤进一步包括:步骤S151:初始化子空间内的码本，对于第u个子空间，随机选择子空间X(U)内的2b个数据作为初始码本C(U)，其中e(u)eJ^2bxm，其每一行为一个码字，b=k/m,为每个子空间的编码位数；步骤S152:初始化子空间内码本的编码，利用PCA哈希对码本进行初始化编码，具体如下，首先利用PCA将码本降到b维，假设降维后的码本为Cf，CfeR2bxb，则对码本的初始编码为满足:步骤S153:初始化放缩常量α，利用下式计算α其中SeK1为利用PCA将子空间X(u)降到b维的结果；Ise{-l，l}nXb为S的PCA哈希编码，η为训练集中图像的个数；步骤S154:更新码本C(U)和码本的编码Ig)，使得下式取最小值，其中，C(X(U))表示C(u)中离最近的码字，Ci,Cj分别代表码本C(U)中第i，j个码字，即C(U)的第i，j行；I(Ci)和I(Cj)分别代表码字Ci，Cj的编码，即(6)的第i，j行；Wij=Π?Π/η2,ni；rij分别代表Ci和Cj形成的簇中训练数据的个数^(Ci,Cj)为Ci和Cj的欧氏距离，//(/(^),/(^,))=^-^0,,(/(^),Kcj))，Dh(Kci),I(Cj))为I(Ci)和I(Cj)之间的汉明距离；λ为权重系数。7.根据权利要求6所述的基于最优K均值哈希算法的大规模图像库检索方法，其中步骤154中优化计算式采用如下迭代的方法，直到收敛:第一步，将训练数据按照最近邻规则分配到最近的码字c(X(u))形成的簇中，并用c(X(u))的编码来更新^u)的编码I(Af>)。第二步，固定码本的编码和训练数据的编码，利用下式来求得最优的码本或码字，第三步，固定码本和训练数据的编码，利用下式求得最优的码本的编码，求得最优的I(cJ之后，将其用O进行二值化，即得到更新后的码本的编码，Tr(Kcj)It(Cj))表示I(Cj)It(Cj)的迹。8.根据权利要求3所述的基于最优K均值哈希算法的大规模图像库检索方法，其中所述的待检索图像库编码过程进一步包括:步骤S21:对待检索图像库中的每一幅图像提取d维的GIST特征。假设提取的第r幅待检索图像库中图像的gist特征为yr€Md；步骤S22:利用步骤S13中训练得到的均值μ和投影矩阵P对yr进行预处理，具体操作为:先将^减去均值μ，然后利用投影矩阵进行旋转，即(y「y)P;步骤S23:将经过预处理的特征I均匀地划分为m个子空间，记第u个子空间为yf)，其中I≤u≤m,如下式所示，y为yr的第p维，I≤p≤d,t=d/m,为子空间的维数，步骤S24:计算特征^在每个子空间的子编码，记第u个子空间yf0的子编码为Su；步骤S25:将特征K在每个子空间的子编码拼接成对K的完整编码H(K)=(S1,Sg，...，Sjjj)O9.根据权利要求8所述的基于最优K均值哈希算法的大规模图像库检索方法，其中所述计算特征It在每个子空间的子编码的步骤进一步包括:步骤S241:利用最近邻规则计算在第u个子空间中离5^1)欧氏距离最近的码字O;步骤242:将码字?u))的编码I(?u)))作为在第u个子空间的子编码su，即Su=I(c(y[)))。10.根据权利要求3所述的基于最优K均值哈希算法的大规模图像库检索方法，其中所述查询过程进一步包括:步骤S31:对查询图像提取GIST特征q；步骤S32:利用步骤S13中训练得到的均值μ和投影矩阵P对q进行预处理，具体操作为:先将q减去均值μ，然后利用投影矩阵进行旋转，即(q-y)P;步骤S33:将经过预处理的特征q均匀地划分为m个子空间，记第u个子空间为q(u)，I≤u≤m,如下式所示，qp为q的第P维，I≤P≤d,t=d/m,为子空间的维数，步骤S34:计算特征q在每I」工⑷的子编码，记第U个子空间(^)的子编码为su;步骤S35:将特征q在每个子空间的子编码拼接成对q的完整编码H(q)=(Sl，s2，...，S)'步骤S36:计算查询图像编码H(q)与待检索图像库中每一个图像编码H(yJ之间的汉明距离Dh(H(q)，H(yr)):其中，I≤r≤N,H(q)[j]和H(yr)[j]分别表示H(q)和H(yr)的第j位，十表示异或操作，k为总的编码位数；步骤S37:根据查询图像编码H(q)与待检索图像库中图像编码H(L)之间的汉明距离Dh(H(q)，H(L))，返回待检索图像库中与查询图像汉明距离最小的L个图像作为检索结果。11.根据权利要求10所述的基于最优K均值哈希算法的大规模图像库检索方法，其中所述的计算特征q在每个子空间的子编码的步骤进一步包括:步骤S341:利用最近邻规则计算在第u个子空间中离(^)欧氏距离最近的码字c(q(u));步骤342:将码字c(q(u))的编码I(c(q(u)))作为q在第U个子空间的子编码su，即Su=I(c(q(u)))。12.根据权利要求3所述的基于最优K均值哈希算法的大规模图像库检索方法，其中L=1000。【文档编号】G06F17/30GK104199923SQ201410440852【公开日】2014年12月10日申请日期:2014年9月1日优先权日:2014年9月1日【发明者】郭勤振,曾智,张树武申请人:中国科学院自动化研究所