基于sift特征的海量图像实时检索方法
【专利摘要】基于SIFT特征的海量图像实时检索方法，包括图像SIFT特征抽取、SIFT基因生成、特征匹配，SIFT基因生成分为三步，依次为特征KEY生成、特征重要信息VALUE生成、特征点压缩。在从SIFT特征到SIFT基因映射过程中采用了特征降维方法，将128维的特征向量降至26维，同时在SIFT基因形成的过程中进行特征点压缩处理，大大降低了特征存储空间，特征匹配时合理地利用特征重要性程度信息进行简单的对比相加运算，将特征匹配计算复杂度降至O(n)级别，实现了海量图像实时检索需求。
【专利说明】基于SIFT特征的海量图像实时检索方法
【技术领域】
[0001]本发明涉及多媒体信息处理领域，具体地说，是涉及一种基于SIFT特征的海量图像实时检索方法。
【背景技术】
[0002]图像检索技术从基于文本的检索发展到基于内容的检索技术，取得了较大进展，尤其是SIFT特征的提出，可以说是21世纪以来计算机视觉领域特征研究的最重要成果。但是基于内容的图像检索技术，面对巨大的、实时扩展、时刻变化的图像数据库，受到存储空间和计算复杂度的限制。海量图像的实时检索在当下存在较大的困难和挑战。
[0003]目前在海量图像检索方面，主要通过两种方式来提高检索效率，第一种在搜索方法和索引方法上面做改进，对检索算法、特征存储数据结构、索引存储结构及方式进行改进和优化；第二种采用时兴的分布式处理模式，将特征抽取、存储和索引等任务分配给一个超大集群处理。这些为海量图像检索效率带来了一定程度的提升，但是依然需要庞大的硬件条件支撑，并未能从本质上优化海量图像特征存储空间，改进图像实时检索的计算复杂度。
[0004]为此，针对目前多媒体技术、传感技术、互联网技术的发展，对海量图像检索的时效性需求，本发明提出一种基于SIFT特征的海量图像实时检索方法，将SIFT特征进行压缩存储，并设计基于SIFT基因的高效特征匹配算法，以解决当前海量图像检索时特征存储空间灾难和计算复杂度高的问题。
【发明内容】
[0005]本发明要解决的技术问题是提供一种基于SIFT特征的优化特征存储、高效特征匹配的海量图像实时检索方法。
[0006]为解决目前海量图像检索时图像特征存储空间大、特征计算复杂度高、检索速度慢的问题，本发明提供一种基于SIFT特征的海量图像实时检索方法，该方法包括如下。
[0007]步骤A图像的SIFT特征抽取
从图像检索的目标出发，微观上的相似并不能引发人眼视觉上的认同，因此为不影响图像检索性能，可以将图像作一定比例的缩放再进行SIFT特征抽取，例如将图像面积缩放至25000像素，由此可以减少低层次特征点的个数；
采用SIFT算法的特征抽取4步曲，抽取图像稳定特征点，并将每一个特征点采用128维的特征向量表示。
[0008]步骤B SIFT基因生成
由SIFT算法抽取的图像特征，每幅图像大概包含500个左右的特征点，每个特征点128维的向量，由此从存储的角度看，每幅图像的SIFT特征达到了500*128*sizeof (double) =500K字节，当前硬件条件下，无法满足海量图像检索需求。
[0009]为此，本发明提出SIFT基因的概念，从存储上看，SIFT基因是一个32位的无符号整型数据，其高26位存储的是特征点的特征信息(简称KEY，对应的是特征点128维向量)，低6位存储的是特征点的重要性程度(简称VALUE，由特征点的尺度和相同KEY的出现次数决定)。
[0010]BOl 生成 KEY
采用采用特征降维方法，如主成分分析(简称PCA)，将SIFT特征的高维向量转换到低维空间。通过大量的SIFT特征向量训练，得到(PCA)降维参数，将128维的向量，降低到26维。
[0011]对26维向量的每一维进行O、I置标。依次扫描26维向量,对于每一维，如果其值大于0，则置SIFT基因中对应位为1，否则置为O。
[0012]B02 生成 VALUE
SIFT特征点尺度是指该特征点是在哪个图像尺度下计算出来的，尺度不同，特征对于图像检索的重要程度就存在差异，本发明假设，特征点从原图计算出来的，其尺度为0，从半图(长和宽都为原图一半的图像)，其尺度为1，依次类推。在分辨率为25000像素的情况下，SIFT特征点的尺度取值为0、1、2、3、4、5，对应SIFT基因中后6位存储位，于是VALUE位对应的取值即反应了该尺度在图像检索时的重要程度，例如定义各尺度的VALUE值依次为1、
2、4、8、16、32。
[0013]B03特征点压缩
合并KEY相同的特征点，KEY不变，VALUE相加，由此减少了图像特征点的数量。
[0014]步骤C图像特征匹配
将每一幅图像特征按照SIFT基因中KEY值升序排列，SIFT基因中KEY值相同的特征称为有效特征，其特征匹配算法的核心思想是两幅图像中所有相同KEY对应最小的VALUE值相加即为图像的相似度，其算法如下所示:
记任意两幅图像P1、Pj的有效特征依次为P1M (Kil, Vil), (Ki2, Vi2),…，(Kin, Vin) >，Pj=< (Kjl, Vjl), (KJ2, Vj2),…，(KJn, Vjn) >，则其重要性信息 VijGO=Iiiin (Vik, Vjk),图像相似度 D= Σ J5Vij (k)。
[0015]由此可见，图像相似度计算时间复杂度为0(n)，大大降低了特征匹配的计算复杂度。
[0016]本发明技术方案提供的基于SIFT特征的海量图像实时检索方法，根据微观特征对图像检索的弱需求性，借助HASH思想，压缩SIFT特征点个数，并将SIFT特征向量映射成一个整型数据，即SIFT基因，设计高性能匹配算法，解决了 SIFT特征存储量大、特征匹配计算复杂度高的，导致海量图像检索相应时间长的问题。
【专利附图】
【附图说明】
[0017]图1为本发明实施例提供的基于SIFT特征的海量图像实时检索方法流程图。具体实施方案
[0018]为使本发明实施例的目的、技术方法、及优点更加清楚明白，以下结合附图对本发明实施例提供的技术方案进行详细说明。
[0019]步骤A图像的SIFT特征抽取
将图像面积缩放至25000像素，对图像所有尺度和位置进行扫描，识别具有稳定尺度和旋转不变形的特征点，采用DifTerence-Of-Gaussian函数检测；采用细节模型，计算每个特征点的位置、尺度、主曲率比例等参数，去除移动不稳定的特征点(如低对比度点和图像边缘点等)。
[0020]根据局部图像梯度，计算每一个关键点的方向，关键点方向参数由关键点梯度大小和方向来描述，关键点的方向设定:在关键点的领域内采样构成一个方向直方图(梯度直方图)，梯度直方图的统计范围是(Γ360，每10度为一个方向，总共36个方向，统计得到的直方图的峰值所在的方向代表关键点的主方向。
[0021]确认关键点位置、尺度、方向等参数后，每个关键点由128维特征向量描述。由此完成图像特征点抽取，以及对应特征点的描述。
[0022]步骤B SIFT基因生成
构建一个32位无符号整型数组，其高26位作为SIFT基因的KEY，低6位作为SIFT基因的VALUE，描述SIFT基因的重要性。
[0023]用大量SIFT特征训练，获得PCA降维参数，将128维向量降低到26维。扫描26维向量，如果第i维的值大于零，则设置KEY的第i位为1，否则值为O。
[0024]SIFT特征点的尺度表明了该特征点是在何种图像尺度下计算获得的，特征点的尺度越大，表达的信息就越宏观，越适合用来做图像检索，为此用特征点尺度来反应特征点重要性。例如，规定特征点从原图计算获得的，则其尺度是0，从半图(长、宽为原图一半的图像)计算获得的，则其尺度是1，依此类推。将特征点的尺度值依次与SIFT基因中VALUE的0、1、2、3、4、5位对应，VALUE对应位的取值反应了尺度值在图像检索中的重要性程度，如VALUE位的取值依次为1、2、4、8、16、32。
[0025]至此，将SIFT特征转换成SIFT基因存储，大大降低了特征存储空间，但在向SIFT基因映射过程中，会存在大量KEY值相同的特征点，对这些特征点按照“相同KEY，KEY不变，对应VALUE位相加”的规则处理，在一定程度上降低了特征点的数量。
[0026]步骤C特征匹配
将图像特征按照SIFT基因中KEY值升序排列，SIFT基因中KEY值相同的特征称为有效特征，其匹配算法如下所示:
记任意两幅图像P1、Pj的有效特征依次为P1M (Kil, Vil), (Ki2, Vi2),…，(Kin, Vin) >，Pj=< (Kjl, Vjl), (KJ2, Vj2),…，(KJn, Vjn) >，则其重要性信息 VijGO=Iiiin (Vik, Vjk),图像相似度 D= Σ J5Vij (k)。
[0027]由此不仅在特征存储空间上降低了图像特征存储，在特征匹配的计算复杂度方面也达到了 O (η)级的优化。
【权利要求】
1.基于SIFT特征的海量图像实时检索方法，其特征在于，包括如下步骤: 步骤A:图像SIFT特征抽取； 步骤B:SIFT基因生成；B01，生成KEY ;B02，生成VALUE ;B03，特征点压缩； 步骤C:图像特征匹配。
2.根据权利要求1所述的基于SIFT特征的海量图像实时检索方法，其特征在于，为减少低层次特征点的个数，将图像进行一定比例的缩放后再进行特征抽取，例如将图像面积缩放至25000像素；采用SIFT特征抽取4步曲，抽取图像的稳定特征点，并将这些特征点采用128维的特征向量表示。
3.根据权利要求1所述的基于SIFT特征的海量图像实时检索方法，其特征在于，为降低海量图像SIFT特征存储压力，提出SIFT基因结构，用于存储128维特征向量；SIFT基因是一种设计结构，不仅体现了图像内容的区分性，并且可以反应出每个特征点对图像的重要性程度，其从存储上看是一个32位的无符号整型数据，其高26位用于存储SIFT特征，低6位用于存储特征的重要性信息。
4.根据权利要求1和权利要求2所述的基于SIFT特征的海量图像实时检索方法，其特征在于，采用特征降维方法，将128维的特征向量降至26维。
5.根据权利要求3和权利要求4所述的基于SIFT特征的海量图像实时检索方法，其特征在于，将降维后的SIFT特征按位映射到SIFT基因的高26位中。
6.根据权利要求5所述的基于SIFT特征的海量图像实时检索方法，其特征在于，降维后的SIFT特征到SIFT基因高26位的映射，其映射规则是，对26维SIFT特征向量的每一维进行O、I置标；对于每一维，如果值大于0，则置SIFT基因对应位为1，否则置为O。
7.根据权利要求1和权利要求5所述的基于SIFT特征的海量图像实时检索方法，其特征在于，采用特征点尺度来描述特征对图像检索的重要性程度，将特征点尺度划分6个层次，依次对应SIFT基因的低6位。
8.根据权利要求7所述的基于SIFT特征的海量图像实时检索方法，其特征在于，为每一个特征点尺度赋予不同的权重值，这些权重值存储在所对应位VALUE值内。
9.根据权利要求1所述的基于SIFT特征的海量图像实时检索方法，其特征在于，对特征点进行压缩处理，合并KEY相同的特征点，VALUE相加。
10.根据权利要求1所述的基于SIFT特征的海量图像实时检索方法，其特征在于，根据特征的VALUE值计算特征的相似度，将图像左右相同KEY的最小VALUE值相加得到图像的相似度。
【文档编号】G06F17/30GK104375990SQ201310346542
【公开日】2015年2月25日 申请日期:2013年8月12日 优先权日:2013年8月12日
【发明者】程涛 申请人:北京拓尔思信息技术股份有限公司