一种图像检索的方法及装置的制造方法
【专利摘要】本发明适用于信息技术领域，提供了一种图像检索的方法及装置，包括：获取每张样本图片的第一描述子和输入图片的第二描述子；将所述第一描述子和所述第二描述子分别由Fisher向量形式转换成只包含“0”和“1”的向量形式；分别计算转换后的所述第二描述子与每个转换后的所述第一描述子的相似度，根据计算结果对所述样本图片进行筛选，得到所述输入图片的检索结果。本发明将图片的描述子由Fisher向量转换为只包含元素“0”和元素“1”的向量，以在进行向量内积运算之前对图片进行初步筛选，减少了进行向量内积运算的样本图片数量，从而在大规模的图片检索系统中大大地提升了图像检索的运算速度，提高了检索效率。
【专利说明】
一种图像检索的方法及装置
技术领域
[0001]本发明属于信息技术领域，尤其涉及一种图像检索的方法及装置。
【背景技术】
[0002]随着数字技术、传感技术和网络技术的飞速发展，图片的数量越来越多，内容也越来越丰富，基于内容的图像检索方式开始发展起来，由最初的基于颜色信息和形状信息生成描述子以进行检索，发展到基于BOW (bag of words)模型进行检索，通过特征点提取，并对提取的特征点进行聚类后生成直方图，以作为每幅图片的描述子，用于进行相似度匹配，完成图像检索。
[0003]基于BOW模型，现有技术利用高斯混合模型(Gaussian Mixture Model，GMM)产生Fisher向量形式的描述子，然而，随着图片数量的增加，为了不影响检索的精度，生成Fisher向量所要用到的高斯模型的个数也需要增加，导致最后Fisher向量的维度是线性增长的，从而影响了图像检索的效率。
【发明内容】
[0004]本发明实施例的目的在于提供一种图像检索的方法及装置，旨在解决现有技术中由于图片数量增加，图像检索的效率受影响的问题。
[0005]本发明实施例是这样实现的，一种图像检索的方法，包括:
[0006]获取每张样本图片的第一描述子和输入图片的第二描述子；
[0007]将所述第一描述子和所述第二描述子分别由Fisher向量形式转换成只包含“O”和“I”的向量形式；
[0008]分别计算转换后的所述第二描述子与每个转换后的所述第一描述子的相似度，根据计算结果对所述样本图片进行筛选，得到所述输入图片的检索结果。
[0009]本发明实施例的另一目的在于提供一种图像检索的装置，包括:
[0010]获取单元，用于获取每张样本图片的第一描述子和输入图片的第二描述子；
[0011]转换单元，用于将所述第一描述子和所述第二描述子分别由Fisher向量形式转换成只包含“O”和“ I”的向量形式；
[0012]检索单元，用于分别计算转换后的所述第二描述子与每个转换后的所述第一描述子的相似度，根据计算结果对所述样本图片进行筛选，得到所述输入图片的检索结果。
[0013]本发明实施例将图片的描述子由Fisher向量转换为只包含元素“O”和元素“ I”的向量，以在进行向量内积运算之前对图片进行初步筛选，减少了进行向量内积运算的样本图片数量，从而在大规模的图片检索系统中大大地提升了图像检索的运算速度，提高了检索效率。
【附图说明】
[0014]图1是本发明实施例提供的图像检索的方法的实现流程图；
[0015]图2是本发明实施例提供的图像检索的方法S102的具体实现流程图；
[0016]图3是本发明实施例提供的图像检索的方法S103的具体实现流程图；
[0017]图4是本发明实施例提供的图像检索的装置的结构框图。
【具体实施方式】
[0018]为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0019]图1示出了本发明实施例提供的图像检索的方法的实现流程，详述如下:
[0020]在SlOl中，获取每张样本图片的第一描述子和输入图片的第二描述子。
[0021]首先，基于BOW模型对样本图片和输入图片分别依次进行特征提取和特征聚类，得到每张图片的描述子，该描述子用Fisher向量形式进行表示。
[0022]其中，可以采用特征点提取的方式，例如，尺度不变特征转换(Scale-1nvariantfeature transform，SIFT)算法，SURF (Speeded Up Robust Features)算法等，对输入图片进行特征提取，其中，SIFT特征具有旋转不变形、尺度不变性、以及对亮度变化保持不变性等良好特性。同时，由于图片颜色信息也具备一定的区分度，因此，也可以对输入图片进行颜色特征提取。此外，还可以对输入图片进行整个图像或者某一部分图像的方向梯度直方图(Histograms of Oriented Gradients, HOG)特征提取。
[0023]在本实施例中，采用GMM，选取一定数量的高斯函数，利用提取到的特征点训练GMM的各个参数。其中，用X= {xt，t = 1，…，T}表示从图片中提取到的特征向量，GMM的参数为λ = Iwi, μ;，Σ i，i = 1，…，N}，W1、μ^ΡΣ i分别表示高斯函数i的权重、均值向量和协方差矩阵，所述N为高斯函数的个数。
[0024]而基于GMM的Fisher向量生成在很多研究工作中相应提到，根据数据库图片(即样本图片)的规模，选择适当的GMM数量N，对于图像的特征提取产生D维的特征向量(例如，SIFT特征向量为128维，SURF特征向量为64维，颜色特征向量为96维)，最后生成的Fisher向量维度为(2*D+1)*N-1，而一般在实际应用中，由于忽略了 O阶信息，因此最后的实际向量维度为2*D*N。
[0025]从以上描述可以看出，图片数量的增长会间接导致GMM数量N的增长，而对于大规模的图像检索，通常最后向量的维度是上万维，计算图片相似度的时候采用向量内积的计算方式，这样无疑会因为维度过高，图片数量过大而大大降低运算的效率。因此，在S102中，对Fisher向量进行转换，以简化图片的相似度计算复杂度:
[0026]在S102中，将所述第一描述子和所述第二描述子分别由Fisher向量形式转换成只包含“O”和“I”的向量形式。
[0027]作为本发明的一个实施例，可以将Fisher向量转换成同维度的只包含元素“O”和“I”的向量(以下简称01向量)，其转换方法如下:
[0028]将所述Fisher向量中大于或等于O的元素置I，并将所述Fisher向量中小于O的元素置O，得到每张所述样本图片的第三描述子和所述输入图片的第四描述子。
[0029]具体地，通过如下公式重置Fisher向量描述子:
[0030]f (z) = (sign (Z)+1)/2 (z # 0)
[0031]对于z = 0，我们直接令f (z) = 1，通过上式处理，便可生成与Fisher向量同维度的01向量，由此，每张样本图片Fisher向量形式的第一描述子被转换成01向量形式的第三描述子，输入图片Fisher向量形式的第二描述子被转换成01向量形式的第四描述子。
[0032]从统计学的角度来讲，在一定程度上，分布相似的相同长度的一组数据应该具备类似的均值，因此，进一步地，作为本发明的另一实施例，还可以通过图2所示方法，将Fisher向量转换为维度更低的01向量:
[0033]在S201中，将所述Fisher向量等分成M份，所述M为大于I的整数。
[0034]在S202中，对每一份所述Fisher向量取均值。
[0035]在S203中，若所述均值大于或等于0，则在该均值所在位置置1，若所述均值小于0，则在该均值所在位置置0，得到每张所述样本图片的第五描述子和所述输入图片的第六描述子。
[0036]由此，每张样本图片Fisher向量形式的第一描述子被转换成01向量形式的第五描述子，输入图片Fisher向量形式的第二描述子被转换成01向量形式的第六描述子，且第六描述子的向量维度要低于第四描述子的向量维度。
[0037]需要说明的是，将Fisher向量转换成同维度的01向量，以及将Fisher向量转换成更低维度的01向量，这两种转换过程可以同时进行，也可以不分次序地先后进行。
[0038]对于生成的M维向量，可以将其分为几个块，每个块以建立表的方式来维护，这样在后续计算过程中，可以通过查表来减少计算工作量。
[0039]在S103中，分别计算转换后的所述第二描述子与每个转换后的所述第一描述子的相似度，根据计算结果对所述样本图片进行筛选，得到所述输入图片的检索结果。
[0040]在通过S102将Fisher向量进行转换之后，基于转换后的向量对样本图片进行初步筛选、过滤，减少样本图片的数量，再将剩余的样本图片与输入图片进行向量内积，从而得到检索结果。
[0041]优选地，当Fisher向量分别被转换为同维度的01向量和更低维度的01向量时，S103的执行过程如图3所示:
[0042]在S301中，分别计算所述输入图片的第六描述子与每张所述样本图片的第五描述子的第一相似度，对所述第一相似度低的所述样本图片进行过滤。
[0043]首先，比对更低维度的01向量之间的相似度。对于数以十万甚至百万计的样本图片来说，运行低维度的内积运算速度比直接进行上万维的向量的内积运算速度要快得多，优选地，所述M可以为64，以更好地在运算速度与过滤精度之间保持平衡。根据内积运算的结果，计算出第六描述子与不同样本图片的第五描述子之间的第一相似度，并将第一相似度低于预设阈值的样本图片进行过滤。
[0044]在S302中，分别计算所述输入图片的第四描述子与过滤后的每张所述样本图片的第三描述子的第二相似度，对所述第二相似度低的所述样本图片进行再次过滤。
[0045]在经过S301对样本图片进行过滤之后，对与Fisher向量同维度的01向量进行相似度计算，即，将输入图片的第四描述子与过滤后的每张样本图片的第三描述子进行相似度计算。具体地，可以对二者的01向量进行按位异或，统计运算结果中为I的位的个数，个数越多则认为两幅图片的相似度越高，将运算结果中为I的位的个数作为第二相似度，并将第二相似度低于预设阈值的样本图片进行再次过滤。
[0046]在S303中，分别对所述输入图片的第二描述子与再次过滤后的每张所述样本图片的第一描述子做向量内积，得到所述输入图片匹配检索结果。
[0047]在经过S302对样本图片进行再次过滤之后，再用剩下的为数不多的样本图片直接与输入图片进行向量内积，并将计算结果最优的样本图片匹配为该输入图片的检索结果O
[0048]在本实施例中，通过实验证明，进行64位运算所花费的时间是最短的，进行与Fisher向量同维度的01向量的按位异或运算的时间其次，直接进行向量内积所花的运算时间最长。虽然采用S301和S302两次的筛选过程会增加额外的排序运算，但是对比于只进行向量的内积运算，随着样本图片数量的增长，排序运算所耗费的时间对最终运算时间的影响作用就大大降低，因此，总的说来，对于大规模的图片检索来说，本方案可以在一定程度上改善检索效率，且实验结果证明本方案会带来检索精度的略微提高。
[0049]本发明实施例将图片的描述子由Fisher向量转换为只包含元素“O”和元素“ I”的向量，以在进行向量内积运算之前对图片进行初步筛选，减少了进行向量内积运算的样本图片数量，从而在大规模的图片检索系统中大大地提升了图像检索的运算速度，提高了检索效率。
[0050]对应于上文实施例所述的图像检索的方法，图4示出了本发明实施例提供的图像检索的装置的结构框图，为了便于说明，仅示出了与本实施例相关的部分。
[0051 ] 参照图4，该装置包括:
[0052]获取单元41，获取每张样本图片的第一描述子和输入图片的第二描述子。
[0053]转换单元42，将所述第一描述子和所述第二描述子分别由Fisher向量形式转换成只包含“O”和“I”的向量形式。
[0054]检索单元43，分别计算转换后的所述第二描述子与每个转换后的所述第一描述子的相似度，根据计算结果对所述样本图片进行筛选，得到所述输入图片的检索结果。
[0055]可选地，所述转换单元42具体用于:
[0056]将所述Fisher向量中大于或等于O的元素置I，并将所述Fisher向量中小于O的元素置O，得到每张所述样本图片的第三描述子和所述输入图片的第四描述子。
[0057]可选地，所述转换单元42还用于:
[0058]将所述Fisher向量等分成M份，所述M为大于I的整数。
[0059]对每一份所述Fisher向量取均值。
[0060]若所述均值大于或等于0，则在该均值所在位置置1，若所述均值小于0，则在该均值所在位置置0，得到每张所述样本图片的第五描述子和所述输入图片的第六描述子。
[0061]可选地，所述M为64。
[0062]可选地，所述检索单元43包括:
[0063]第一过滤子单元，分别计算所述输入图片的第六描述子与每张所述样本图片的第五描述子的第一相似度，对所述第一相似度低的所述样本图片进行过滤。
[0064]第二过滤子单元，分别计算所述输入图片的第四描述子与过滤后的每张所述样本图片的第三描述子的第二相似度，对所述第二相似度低的所述样本图片进行再次过滤。
[0065]第三过滤子单元，分别对所述输入图片的第二描述子与再次过滤后的每张所述样本图片的第一描述子做向量内积，得到所述输入图片匹配检索结果。
[0066]以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
【主权项】
1.一种图像检索的方法，其特征在于，包括: 获取每张样本图片的第一描述子和输入图片的第二描述子； 将所述第一描述子和所述第二描述子分别由Fisher向量形式转换成只包含“O”和“I”的向量形式； 分别计算转换后的所述第二描述子与每个转换后的所述第一描述子的相似度，根据计算结果对所述样本图片进行筛选，得到所述输入图片的检索结果。2.如权利要求1所述的方法，其特征在于，所述将所述第一描述子和所述第二描述子分别由Fisher向量形式转换成只包含“O”和“I”的向量形式包括: 将所述Fisher向量中大于或等于O的元素置I，并将所述Fisher向量中小于O的元素置O，得到每张所述样本图片的第三描述子和所述输入图片的第四描述子。3.如权利要求2所述的方法，其特征在于，所述将所述第一描述子和所述第二描述子分别由Fisher向量形式转换成只包含“O”和“I”的向量形式还包括: 将所述Fisher向量等分成M份，所述M为大于I的整数； 对每一份所述Fisher向量取均值； 若所述均值大于或等于O，则在该均值所在位置置1，若所述均值小于O，则在该均值所在位置置O，得到每张所述样本图片的第五描述子和所述输入图片的第六描述子。4.如权利要求3所述的方法，其特征在于，所述M为64。5.如权利要求3或4所述的方法，其特征在于，所述分别计算转换后的所述第二描述子与每个转换后的所述第一描述子的相似度，根据计算结果对所述样本图片进行筛选，得到所述输入图片的检索结果包括: 分别计算所述输入图片的第六描述子与每张所述样本图片的第五描述子的第一相似度，对所述第一相似度低的所述样本图片进行过滤； 分别计算所述输入图片的第四描述子与过滤后的每张所述样本图片的第三描述子的第二相似度，对所述第二相似度低的所述样本图片进行再次过滤； 分别对所述输入图片的第二描述子与再次过滤后的每张所述样本图片的第一描述子做向量内积，得到所述输入图片匹配检索结果。6.一种图像检索的装置，其特征在于，包括: 获取单元，用于获取每张样本图片的第一描述子和输入图片的第二描述子； 转换单元，用于将所述第一描述子和所述第二描述子分别由Fisher向量形式转换成只包含“O”和“I”的向量形式； 检索单元，用于分别计算转换后的所述第二描述子与每个转换后的所述第一描述子的相似度，根据计算结果对所述样本图片进行筛选，得到所述输入图片的检索结果。7.如权利要求6所述的装置，其特征在于，所述转换单元具体用于: 将所述Fisher向量中大于或等于O的元素置I，并将所述Fisher向量中小于O的元素置O，得到每张所述样本图片的第三描述子和所述输入图片的第四描述子。8.如权利要求7所述的装置，其特征在于，所述转换单元还用于: 将所述Fisher向量等分成M份，所述M为大于I的整数； 对每一份所述Fisher向量取均值； 若所述均值大于或等于O，则在该均值所在位置置1，若所述均值小于O，则在该均值所在位置置O，得到每张所述样本图片的第五描述子和所述输入图片的第六描述子。9.如权利要求8所述的装置，其特征在于，所述M为64。10.如权利要求8或9所述的装置，其特征在于，所述检索单元包括: 第一过滤子单元，用于分别计算所述输入图片的第六描述子与每张所述样本图片的第五描述子的第一相似度，对所述第一相似度低的所述样本图片进行过滤； 第二过滤子单元，用于分别计算所述输入图片的第四描述子与过滤后的每张所述样本图片的第三描述子的第二相似度，对所述第二相似度低的所述样本图片进行再次过滤； 第三过滤子单元，用于分别对所述输入图片的第二描述子与再次过滤后的每张所述样本图片的第一描述子做向量内积，得到所述输入图片匹配检索结果。
【文档编号】G06F17/30GK105989128SQ201510083238
【公开日】2016年10月5日
【申请日】2015年2月13日
【发明人】王仕强, 冯良炳, 赵永刚
【申请人】深圳先进技术研究院