专利名称：一种结合图像灰度与梯度的改进sift特征提取方法
技术领域：
本发明涉及图像特征提取技术领域，尤其涉及一种可以准确方便地用于后续的图 像匹配的结合图像灰度与梯度的改进Sift特征提取方法。
背景技术：
随着图像搜索技术的不断发展，如何提取两幅相似图像中的局部不变特征显得日 益重要。这种特征需在图像的各种变化(包括几何形变、位置、光照变化等)中保持一定的 稳定性。目前已有的局部特征提取方法很多，包括SIFT、SURF、MSER等。有研究表明sift 是其中性能最好的一个。
经典的sift特征提取方法由D. G.. Lowel999年提出，2004年完善总结。是目前 特征提取领域中使用最为广泛，也是最为有效的一种方法。其在描述图像的局部特征方面 具有以下几个特点对旋转、尺度缩放、亮度变化具有不变性，对视角变化、仿射变换、噪声 也保持一定程度的稳定性；独特性好，信息量丰富，适用于在海量特征数据库中进行快速、 准确的匹配；多量性，即使少数的几个物体也可以产生大量sift特征向量；高速性，经优化 的sift算法可以达到实时的要求；可扩展性，可以很方便的与其他形式的特征向量进行联I=I ο
在sift算子提出后，有很多研究者对之提出了改进，有的对其1 维向量进行PCA 降维(PCA-SIFT)，有的对其提取速度进行改进，提出快速算法(SURF)，有的根据sift点的 对比度和主曲率计算显著度，对sift特征点进行裁剪，只取前η个显著度高的点作为有效 特征。这些改进都没有触及到sift算子本身对图像的表达能力。本发明提出一种结合灰 度与梯度的sift特征提取方法，从本质上提高了从图像中抽取信息的能力，以应付各种恶 劣的图像变化环境。
Sift特征虽然在实践中体现出比较好的稳定性，但也存在一定的不足。表现为当 图像中的前景物体发生颜色反转时特征描述向量会引起剧烈变化。比如当一幅图像经过反 色处理后，在原图上基本找不到对应的sift特征点。这种不足在图像搜索领域表现尤为突 出。比如用户输入一幅具有丰富sift特征的图像，内容为一个白色背景上的黑色图案，在 图像库中进行Sift特征匹配时，库中那些内容为黑色背景上的白色图案的图像即使人眼 觉得图案看起来一模一样也匹配不上。发明内容
本发明的目的在于针对现有技术的不足，提供一种结合图像灰度与梯度的改进 Sift特征提取方法，该方法可以让不同底色不同颜色的Sift特征区域互相都能匹配上。
本发明的目的是通过以下技术方案来实现的一种结合图像灰度与梯度的改进 sift特征提取方法，它包括以下步骤
(1)输入图像；
(2)提取灰度图像的原始sift特征对于输入图像，先建立高斯差分金字塔，通过3尺度空间的搜索确定局部极值点，在极值点的邻域内计算其主方向，再计算其1 维向量 的描述符；
(3)计算基于梯度图像的sift特征对于输入图像，先提取输入图像的梯度图，然 后建立高斯差分金字塔，通过尺度空间的搜索确定局部极值点，在极值点的邻域内计算其 主方向，再计算其1 维向量的描述符；
(4)将灰度和梯度的sift特征进行融合如果梯度特征点在自己的尺度范围内 不包含任何灰度特征点，则添加该梯度点特征，否则只将灰度点的权重增加，不记录该梯度点ο
本发明的有益效果是本发明作为对图像sift特征提取的一种改进方法，扩展了 其在类似于反色图像的特征匹配中的不变性。应用于计算两幅图像的相似度时将会获得更 全面更准确的结果。若应用在相似图像的搜索中，也将能搜索出更多更可靠的结果。同时， 本发明还将促进研究具有更多不变性的sift特征提取的方法。
图1是系统框架图2是基于灰度的sift计算流程图3是基于梯度的sift计算流程图4是灰度与梯度特征融合流程图。
具体实施方式
下面以一幅图像作为输入，结合附图进一步详细的说明特征提取的步骤。整个系 统的框架及流程见图1所示。对于输入图像，将分别计算其灰度和梯度的sift特征，再将 两部分的特征融合作为新的特征向量输出。
具体来说，本发明结合图像灰度与梯度的改进sift特征提取方法，包括以下步 骤
1、输入图像。
2、提取灰度图像的原始sift特征。
图像的Sift特征本身具有一些良好的特性，我们希望在自己提取的特征中继续 保留这种特性，所以原始灰度图像的sift特征将作为我们的基础。
灰度sift特征的提取如图2所示，对于输入图像，先建立其高斯差分金字塔，通过 尺度空间的搜索确定局部极值点，在极值点的邻域内计算其主方向，再计算其1 维向量 的描述符。
建立高斯差分金字塔的方法是利用不同尺度的高斯差分(DoG)核与原图卷积得 到一组卷积图像，将第一幅卷积图由一个因子2下采样再用高斯差分核卷积。如此反复。这 样得到的金字塔共0组(下采样的次数)，每组有S层(高斯核的尺度个数)。极值点检测 的方法是必须满足在图像二维平面空间和DoG尺度空间同时满足局部最小或最大。
极值点主方向的计算方法为以该点为中心的8X8邻域窗口内采样，并用直方图 统计邻域像素的梯度方向，取直方图的峰值作为该点的主方向。当存在另一个相当于主峰 值80%能量的峰值时，则将此方向记录为该极值点的辅方向。这样一个极值点可能包含一个主方向和多个辅方向。
极值点的特征描述向量计算方法为以极值点为中心取16X16的窗口，将此窗口 划分为4X4的块。统计每块中八个梯度方向的累计梯度幅值。这样就生成了一个1 维 的向量。
3、计算基于梯度图像的sift特征
梯度sift特征的提取入图3所示，在灰度特征的流程上多了一步图像梯度图的提 取。其余步骤类似。
针对图像反色之后不能匹配的问题，我们发现，虽然图像本身的灰度已经发生了 剧烈变化，但其梯度图上的变化却非常小。这点让我们很自然地想到，将原图做边缘预处理 之后再提取sift特征，再将这些sift特征与原始特征做一定的融合，这样就很大程度上扩 展了 Sift算子的不变性。
为了计算合适的梯度图像，我们选取了标准的sobel算子。该算子计算简单而有 效。在获得的梯度图上我们将图像中每个点的梯度大小与阈值进行比较，将小于阈值的点 置为0，以达到去除小噪声的目的。将处理后的梯度图作为输入，求取sift特征描述符。
所以，原图的边缘梯度图计算方法为用sobel算子对原图做滤波预处理，边缘数 量因子设为2。梯度图上会产生很多噪声点，需要对梯度图进行去噪，方法为将小于某阈值 的梯度点置为O。
本发明中求取的梯度图不限于使用sobel算子，任何基于梯度的微分算子都能满 足效果，包括I^ewitt、Roberts、拉普拉斯算子等。
在梯度图上求取sift特征点时，为了去除掉部分不稳定极值点和噪声点，需要将 计算极值点时的邻域范围从3X3扩大到5X5大小。同时提高过滤条件中的对比度阈值和 主曲率阈值。
4、将灰度和梯度的sift特征进行融合。
梯度特征点与灰度特征点做如下融合如果梯度特征点在自己的尺度范围内不包 含任何灰度特征点，则添加该梯度点特征，否则只将灰度点的权重增加，不记录该梯度点。
基于灰度的sift特征是提取图像上特征点在其邻域内的梯度分布信息，而基于 梯度的sift特征提取事实上获得的是图像上特征点在其邻域内的四阶梯度分布信息。高 阶的梯度分布信息将更加丰富，并且更加稳定，不易受到干扰。不过在这两部分提取出的特 征信息中会有比较多的信息冗余，因此我们需要采用一定的策略将两者有效地统一起来。
本发明采取的策略是对所有特征点赋予一个权值。初始化时将所有特征点的权重 置为1。依次考察所有的梯度特征点，计算在每个特征点的尺度范围内是否存在灰度特征 点，若存在则将其权重增加到该特征点尺度范围内所有特征点(包括灰度特征点和梯度特 征点)上。若不存在则记录该梯度特征点。每个需要记录的梯度特征点都将作为新的特征 共特征匹配使用。
两部分特征融合的步骤入图4所示，遍历所有的梯度特征点，通过判断每个梯度 点在其尺度范围内是否存在灰度特征点，采取两个不同的步骤有灰度特征点时将灰度特 征点的权重更新，没有时则记录下该梯度特征点，如此循环直到所有的梯度特征点都判断 完毕。
融合时采用的特征点的尺度为每个特征点在精确定位时确定的金字塔尺度空间的尺度。尺度范围为在二维图像平面内，以该关键点为中心，尺度大小为半径的圆形区域。 每个灰度特征点和梯度特征点的权重都初始化为1，每个梯度特征点不被记录时，其权重将 增加到该特征点尺度范围内所有特征点(包括灰度特征点和梯度特征点)上。每个需要记 录的梯度特征点都将作为新的特征。
权利要求
1.一种结合图像灰度与梯度的改进Sift特征提取方法，其特征在于，它包括以下步骤(1)输入图像。(2)提取灰度图像的原始sift特征对于输入图像，先建立高斯差分金字塔，通过尺度 空间的搜索确定局部极值点，在极值点的邻域内计算其主方向，再计算其1 维向量的描 述符。(3)计算基于梯度图像的sift特征对于输入图像，先提取输入图像的梯度图，然后建 立高斯差分金字塔，通过尺度空间的搜索确定局部极值点，在极值点的邻域内计算其主方 向，再计算其1 维向量的描述符。(4)将灰度和梯度的sift特征进行融合如果梯度特征点在自己的尺度范围内不包含 任何灰度特征点，则添加该梯度点特征，否则只将灰度点的权重增加，不记录该梯度点。
2.根据权利要求1所述结合图像灰度与梯度的改进sift特征提取方法，其特征在于， 所述步骤(1)和O)中，所述建立高斯差分金字塔的方法是利用不同尺度的高斯差分DoG 核与原图卷积得到一组卷积图像，将第一幅卷积图由一个因子2下采样再用高斯差分核卷 积。如此反复，这样得到的金字塔共0组，每组有S层。其中，0为下采样的次数，S为高斯 核的尺度个数。
3.根据权利要求1所述结合图像灰度与梯度的改进sift特征提取方法，其特征在于， 所述步骤(1)和( 中，所述通过尺度空间的搜索确定局部极值点的方法是必须满足在图 像二维平面空间和DoG尺度空间同时满足局部最小或最大。
4.根据权利要求1所述结合图像灰度与梯度的改进sift特征提取方法，其特征在于， 所述步骤(1)和O)中，所述在极值点的邻域内计算其主方向的方法为以该点为中心的 8X8邻域窗口内采样，并用直方图统计邻域像素的梯度方向，取直方图的峰值作为该点的 主方向。当存在另一个相当于主峰值80%能量的峰值时，则将此方向记录为该极值点的辅 方向。这样一个极值点可能包含一个主方向和多个辅方向。
5.根据权利要求1所述结合图像灰度与梯度的改进sift特征提取方法，其特征在 于，所述步骤(1)和O)中，所述计算其1 维向量的描述符的方法为以极值点为中心取 16X16的窗口，将此窗口划分为4X4的块。统计每块中八个梯度方向的累计梯度幅值。这 样就生成了一个1 维的向量。
6.根据权利要求1所述结合图像灰度与梯度的改进sift特征提取方法，其特征在于， 所述步骤O)中，所述提取输入图像的梯度图的方法为用sobel算子对原图做滤波预处 理，边缘数量因子设为2。梯度图上会产生很多噪声点，需要对梯度图进行去噪，方法为将小 于某阈值的梯度点置为O。
全文摘要
本发明公开了一种结合图像灰度与梯度的改进sift特征提取方法，该方法分别计算输入图像灰度和梯度的sift特征，再将两部分的特征融合作为新的特征向量输出；本发明作为对图像sift特征提取的一种改进方法，扩展了其在类似于反色图像的特征匹配中的不变性，应用于计算两幅图像的相似度时将会获得更全面更准确的结果；若应用在相似图像的搜索中，也将能搜索出更多更可靠的结果。
文档编号G06K9/48GK102043960SQ201010577610
公开日2011年5月4日 申请日期2010年12月3日 优先权日2010年12月3日
发明者曾凡涛, 王海洋, 郑聃, 黄琦 申请人:杭州淘淘搜科技有限公司