专利名称：搜索图像的方法和装置的制作方法
技术领域：
本发明涉及计算机图像处理技术，特别地涉及一种搜索图像的方法和装置。
背景技术：
当今社会，随着电子计算机和互联网的飞速发展，计算机视觉逐渐被人们所重视，其应用在人们生活的各个领域，涉及电子商务，安防监控，工业检测，人工智能等诸多方面，而其展现的惊人能力也为人赞叹。其中，计算机数字图像处理是其极为重要和基础的一个方面，通过对图像进行计算机分析，能够解决诸多凭借人眼，人脑不能解决或不能迅速解决的问题。 图像搜索通常是指在图库中选择与被比图像具有较高相似性的图库图像。该相似性越高，说明搜索图像的准确性越高。当计算机图像处理出现以前，传统的图像搜索还停留在由人眼进行比对，在图库图像数量巨大的情况下，人工的方式难以查到在图库中与被比图像最为接近的一幅或多幅图像。随着计算机视觉及计算机图像处理的出现，方法由传统的人工方式改变为计算机搜索图像，其中通过计算机对图像进行分析，得到图像的各种特征，同时与图像库中的图像进行比对，最终搜索到一样或者相似的目标图像信息。但是由于受图像拍摄环境复杂度以及图像库的丰富程度的影响，目前计算机搜索图像的准确性也比较低。
发明内容
有鉴于此，本发明提供一种搜索图像的方法和装置，能够提高从图库中搜索与被比图像相似的图库图像的准确性。为实现上述目的，根据本发明的一个方面，提供了一种搜索图像的方法。本发明的搜索图像的方法包括针对具有预设的统一尺寸并且灰度化之后的图库图像，进行HOG特征分布计算并统计得到该图库图像的梯度直方图特征向量，并且进行SIFT密度特征分布计算得到多个特征点，以及将该图库图像分成多个子图像，对于包含的所述特征点的密度大于密度预设值的子图像，对该子图像内的特征点进行SIFT角度特征计算并按预设的角度步长统计得到该图库图像的角度直方图特征向量；针对具有所述预设的统一尺寸并且灰度化之后的被比图像，同样进行上述计算以得到该被比图像的梯度直方图特征向量和角度直方图特征向量；根据所述被比图像的梯度直方图特征向量和角度直方图特征向量分别与所述图库图像的梯度直方图特征向量和角度直方图特征向量之间在赋范线性空间的距离确定所述被比图像与所述图库图像的相似度，根据该相似度从所述图库中选择与所述被比图像具有相似性的图库图像。可选地，进行HOG特征分布计算并统计得到该图库图像的梯度直方图特征向量包括将图库图像分成A行B列图块，A、B表示自然数，其中各行的各个图块与相邻图块有重叠；计算每个图块内每个像素的梯度；按预设的梯度方向角度步长统计每个图块内的像素的梯度得到该图块的梯度直方图特征向量；将所述图库图像中的每个图块的梯度直方图特征向量级联得到该图库图像的梯度直方图特征向量。可选地，进行HOG特征分布计算并统计得到该图库图像的梯度直方图特征向量包括将图库图像分成A行B列图块，A、B表示自然数，其中各行的各个图块与相邻图块有重叠；将每个图块分成C行D列子图块，C、D表示自然数；计算每个子图块内每个像素的梯度；按预设的梯度方向角度步长统计每个子图块内的像素的梯度得到该子图块的梯度直方图特征向量；针对各个所述图块，将该图块的每个子图块的梯度直方图特征向量级联得到该图块的梯度直方图特征向量；将所述图库图像中的每个图块的梯度直方图特征向量级联得到该图库图像的梯度直方图特征向量。可选地，C=D=2。可选地，所述预设的梯度方向角度步长为40°。 可选地，A=B=3。可选地，所述将该图库图像分成多个子图像包括将该图库图像分成E行F列子图像；所述子图像包含的所述特征点的密度，是该子图像包含的特征点的个数与该子图像所在图库图像包含的特征点的个数的比值；所述密度预设值为1/(EXF)。可选地，所述预设的角度步长为20°。可选地，所述赋范线性空间为欧氏空间。可选地，在对所述图库图像进行灰度化之前，所述方法还包括对所述图库图像进行等比缩放的步骤，其中，判断若所述图库图像的宽度和高度都大于预设长度，则将二者缩小并保持图像的宽高比不变，而且二者中的较小者缩小至预设长度。可选地，所述预设长度属于区间[500，800]，单位为像素。可选地，在进行所述HOG特征分布计算以及所述SIFT密度特征分布计算之前，所述方法还包括对经过所述等比缩放的步骤之后的图库图像进行双边滤波处理。根据本发明的另一方面，提供了一种搜索图像的装置。本发明的搜索图像的装置用于在图库中选择与被比图像具有相似性的图库图像，该装置包括保存模块，用于保存图库图像的梯度直方图特征向量和角度直方图特征向量；所述图库图像是灰度化之后的图像，并且具有预设的统一尺寸；预处理模块，用于针对具有所述预设的统一尺寸的被比图像，进行灰度化得到被比图像的灰度图；特征计算模块，用于针对被比图像的灰度图，进行HOG特征分布计算并统计得到该被比图像的梯度直方图特征向量，并且进行SIFT密度特征分布计算得到多个特征点，以及将该被比图像分成多个子图像，对于包含的所述特征点的密度大于密度预设值的子图像，对该子图像内的特征点进行SIFT角度特征计算并按预设的角度步长统计得到该被比图像的角度直方图特征向量；匹配模块，用于根据所述被比图像的梯度直方图特征向量和角度直方图特征向量分别与所述图库图像的梯度直方图特征向量和角度直方图特征向量之间在赋范线性空间的距离确定所述被比图像与所述图库图像的相似度，根据该相似度从所述图库中选择与所述被比图像具有相似性的图库图像。进一步地，所述预处理模块还用于判断若图像的宽度和高度都大于预设长度，则将二者缩小并保持图像的宽高比不变，而且二者中的较小者缩小至预设长度；对所述等比缩放模块处理之后的图像进行双边滤波处理。根据本发明的技术方案，通过提取SIFT密度特征较大的图像区域来计算该区域的SIFT角度特征，排除了噪声对图像SIFT特征提取的影响，同时增强了图像可用特征的权重和SIFT特征提取的鲁棒性。而通过HOG特征分布计算，能够获得图像的全局特征。本实施例中，在计算SIFT特征时对图像进行了划分并且进行了按区间的统计，这些划分方式和步长都具有较好的搜索效果并且不至于计算量过大。所以总体来说采用本发明实施例的技术方案能够比较快地在图库中找到与被比图像尽可能相似的图库图像，从而提高了从图库中搜索与被比图像相似的图库图像的准确性。
附图用于更好地理解本发明，并不构成对本发明的不当限定。其中
图I是根据本发明实施例的搜索图像的方法的主要步骤的示意图；图2A和图2B是根据本发明实施例的SIFT密度特征较大的图像区域的示意图；图3是根据本发明实施例的确定图像缩放后的高度和宽度的逻辑流程的示意图；图4是根据本发明实施例的一种得出图库图像的梯度直方图特征向量的步骤的示意图；图5是根据本发明实施例的计算HOG特征的过程中对图像进行有重合的分块的示意图；图6是根据本发明实施例的另一种得出图库图像的梯度直方图特征向量的步骤的不意图；图7是根据本发明实施例的得出图库图像的角度直方图特征向量的步骤的示意图；以及图8是根据本发明实施例的搜索图像的装置的主要模块的示意图。
具体实施例方式以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识至IJ，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。图I是根据本发明实施例的搜索图像的方法的主要步骤的示意图。如图I所示，本发明实施例的搜索图像的方法主要包括步骤Sll至步骤S14。步骤Sll :建立图库数据库。在本步骤中，对于具有预设的统一尺寸的图库图像，先将它们灰度化，然后进行HOG特征分布计算并统计得到该图库图像的梯度直方图特征向量，并且进行SIFT密度特征分布计算得到多个特征点，以及将该图库图像分成多个子图像，对于包含的特征点的密度大于密度预设值的子图像，对该子图像内的特征点进行SIFT角度特征计算并按预设的角度步长统计得到该图库图像的角度直方图特征向量。这样，图库数据库中包含了每张图库图像的梯度直方图特征向量和角度直方图特征向量。这里的SIFT是指尺度不变特征转换(Scale-invariant feature transform),HOG是指方向梯度直方图(Histograms of Oriented Gradients)。HOG特征分布计算、SIFT密度特征分布计算、SIFT角度特征计算都可采用现有的算法来完成，这里不再赘述。
步骤S12 :计算被比图像的梯度直方图特征向量和角度直方图特征向量。该计算方式与步骤Sll中计算每张图库图像的梯度直方图特征向量和角度直方图特征向量的方式相同。在计算之前同样要将被比图像调整为图库图像的尺寸并且灰度化。步骤S13 :确定被比图像与图库图像的相似度。在本步骤中，计算被比图像的梯度直方图特征向量、角度直方图特征向量与每一图库图像的梯度直方图特征向量、角度直方图特征向量之间的欧氏距离，以该欧氏距离作为被比图像与图库图像的相似度。可以看出，该欧氏距离越小，相似度越高。步骤S14 :选择与被比图像具有相似性的图库图像。本步骤的选择依据即为步骤S13中计算得到的相似度，可以对该相似度进行排序，然后选择一个或多个相似度最高的图库图像。
从图I所示的步骤可以看出，通过选取SIFT密度特征较大的图像区域(即子图像)计算该区域的SIFT角度特征，能够获得图像中最能够体现该图像特点的数据。以下结合图2加以说明。图2A和图2B是根据本发明实施例的SIFT密度特征较大的图像区域的示意图。例如图2A所示，左边杯子中的区域21、区域22，右边杯子中的区域23、24都是SIFT密度特征较大的图像区域，说明杯子上面的图案和把手的形状最能体现该杯子的特点。又如图2B所示，瓶贴部位25是SIFT密度特征较大的图像区域，说明瓶贴部位最能体现该瓶子的特点。通过提取SIFT密度特征较大的图像区域来计算该区域的SIFT角度特征，排除了噪声对图像SIFT特征提取的影响，同时增强了图像可用特征的权重和SIFT特征提取的鲁棒性。而通过HOG特征分布计算，能够获得图像的全局特征。因此综合起来能够在图库中找到与被比图像尽可能相似的图库图像，从而提高了从图库中搜索与被比图像相似的图库图像的准确性。对于图库来说，新加入的图像应当被调整得与图库原有图像具有统一的尺寸。对于被比图像也是如此。此时需要对图像进行等比缩放操作，这样可以将图像缩放到合适的大小从而有助于提高计算的效率。在确定图像缩放后的高度和宽度时，具体可以按图3所示的逻辑流程进行。图3是根据本发明实施例的确定图像缩放后的高度和宽度的逻辑流程的示意图。如图3所示，先取图像的高度(以H表示)和宽度(以W表示)中的较小者(步骤S30)然后判断该较小者是否大于预设阈值(步骤S31)。该阈值优选地可采用[500，800]，单位是像素。若是，进入步骤S32，否则不作缩放处理，直接进行步骤Sll中的HOG特征分布计算和SIFT密度特征分布计算。在步骤S32中，判断图像的高度和宽度哪个较小。若宽度较小则进入步骤S33，即作如下计算scale=W/T, W'=T, H' = H/scale ;若高度较小则进入步骤S34,即作如下计算scale = H/T,H'=T,ff' = W/scale。其中W'和H'分别表示缩放之后的宽度和高度，T表示步骤S31中的预设的阈值。在确定了图像缩放后的高度和宽度之后，可以采用线性插值的方式来进行图像的缩放。例如先进行X方向的线性插值，然后进行Y方向的线性插值。可按如下公式计算/(R1) -+；
X2-X1X2-X1X2-X1JC2-X权利要求
1.一种搜索图像的方法，用于在图库中选择与被比图像具有相似性的图库图像，其特征在于，该方法包括 针对具有预设的统一尺寸并且灰度化之后的图库图像，进行HOG特征分布计算并统计得到该图库图像 的梯度直方图特征向量，并且进行SIFT密度特征分布计算得到多个特征点，以及将该图库图像分成多个子图像，对于包含的所述特征点的密度大于密度预设值的子图像，对该子图像内的特征点进行SIFT角度特征计算并按预设的角度步长统计得到该图库图像的角度直方图特征向量； 针对具有所述统一尺寸并且灰度化之后的被比图像，同样进行上述计算以得到该被比图像的梯度直方图特征向量和角度直方图特征向量； 根据所述被比图像的梯度直方图特征向量和角度直方图特征向量分别与所述图库图像的梯度直方图特征向量和角度直方图特征向量之间的在赋范线性空间的距离确定所述被比图像与所述图库图像的相似度，根据该相似度从所述图库中选择与所述被比图像具有相似性的图库图像。
2.根据权利要求I所述的方法，其特征在于，进行HOG特征分布计算并统计得到该图库图像的梯度直方图特征向量包括 将图库图像分成A行B列图块，A、B表示自然数，其中各行的各个图块与相邻图块有重置; 计算每个图块内每个像素的梯度； 按预设的梯度方向角度步长统计每个图块内的像素的梯度得到该图块的梯度直方图特征向量； 将所述图库图像中的每个图块的梯度直方图特征向量级联得到该图库图像的梯度直方图特征向量。
3.根据权利要求I所述的方法，其特征在于，进行HOG特征分布计算并统计得到该图库图像的梯度直方图特征向量包括 将图库图像分成A行B列图块，A、B表示自然数，其中各行的各个图块与相邻图块有重置; 将每个图块分成C行D列子图块，C、D表示自然数； 计算每个子图块内每个像素的梯度； 按预设的梯度方向角度步长统计每个子图块内的像素的梯度得到该子图块的梯度直方图特征向量； 针对各个所述图块，将该图块的每个子图块的梯度直方图特征向量级联得到该图块的梯度直方图特征向量； 将所述图库图像中的每个图块的梯度直方图特征向量级联得到该图库图像的梯度直方图特征向量。
4.根据权利要求3所述的方法，其特征在于，C=D=2。
5.根据权利要求3所述的方法，其特征在于，所述预设的梯度方向角度步长为40°。
6.根据权利要求2至5中任一项所述的方法，其特征在于，A=B=3。
7.根据权利要求1、2或3所述的方法，其特征在于， 所述将该图库图像分成多个子图像包括将该图库图像分成E行F列子图像；所述子图像包含的所述特征点的密度，是该子图像包含的特征点的个数与该子图像所在图库图像包含的特征点的个数的比值； 所述密度预设值为I/(EXF)。
8.根据权利要求7所述的方法，其特征在于，所述预设的角度步长为20°。
9.根据权利要求I所述的方法，其特征在于，所述赋范线性空间为欧氏空间。
10.根据权利要求I所述的方法，其特征在于，在对所述图库图像和被比图像进行灰度化之前，所述方法还包括对所述图库图像和所述被比图像进行等比缩放至所述统一尺寸的步骤。
11.根据权利要求10所述的方法，其特征在于，在所述统一尺寸中，图像的高度和宽度中的较小者的长度属于区间[500，800]，单位为像素。
12.根据权利要求10或11所述的方法，其特征在于，在进行所述HOG特征分布计算以及所述SIFT密度特征分布计算之前，所述方法还包括 对经过所述等比缩放的步骤之后的图库图像或被比图像进行双边滤波处理。
13.一种搜索图像的装置，用于在图库中选择与被比图像具有相似性的图库图像，其特征在于，该装置包括 保存模块，用于保存图库图像的梯度直方图特征向量和角度直方图特征向量；所述图库图像是灰度化之后的图像，并且具有预设的统一尺寸； 预处理模块，用于针对具有所述预设的统一尺寸的被比图像，进行灰度化得到被比图像的灰度图； 特征计算模块，用于针对被比图像的灰度图，进行HOG特征分布计算并统计得到该被比图像的梯度直方图特征向量，并且进行SIFT密度特征分布计算得到多个特征点，以及将该被比图像分成多个子图像，对于包含的所述特征点的密度大于密度预设值的子图像，对该子图像内的特征点进行SIFT角度特征计算并按预设的角度步长统计得到该被比图像的角度直方图特征向量； 匹配模块，用于根据所述被比图像的梯度直方图特征向量和角度直方图特征向量分别与所述图库图像的梯度直方图特征向量和角度直方图特征向量之间在赋范线性空间的距离确定所述被比图像与所述图库图像的相似度，根据该相似度从所述图库中选择与所述被比图像具有相似性的图库图像。
14.根据权利要求13所述的装置，其特征在于，所述预处理模块还用于判断若图像的宽度和高度都大于预设长度，则将二者缩小并保持图像的宽高比不变，而且二者中的较小者缩小至预设长度；对所述等比缩放模块处理之后的图像进行双边滤波处理。
全文摘要
本发明提供一种搜索图像的方法和装置，能够提高从图库中搜索与被比图像相似的图库图像的准确性。该方法包括计算被比图像和图库图像的梯度直方图特征向量、角度直方图特征向量，根据被比图像和图库图像的梯度直方图特征向量的欧氏距离以及被比图像和图库图像的角度直方图特征向量的欧氏距离确定被比图像与图库图像的相似度，根据该相似度从图库中选择与被比图像具有相似性的图库图像。
文档编号G06K9/64GK102779157SQ20121018318
公开日2012年11月14日 申请日期2012年6月6日 优先权日2012年6月6日
发明者井振刚, 甘永洲, 邓正平 申请人:北京京东世纪贸易有限公司