基于尺度不变特征变换的低维度特征模型图像处理方法与流程

本发明涉及一种基于尺度不变特征变换的低维度特征模型图像处理方法，涉及图像特征提取，可用于图像特征匹配、图像检索等领域。

背景技术：

特征提取是图像处理中的一个概念。它指的是使用计算机提取图像信息，决定每个图像的点是否属于一个图像特征。特征提取的结果是把图像上的点分为不同的子集，这些子集往往属于孤立的点、连续的曲线或者连续的区域。

在各个不同的应用场合，业界存在多种图像特征提取算法，一般分为全局特征和局部特征，目前比较常用并且比较成熟的全局特征有颜色特征、纹理特征、形状特征、空间关系特征。局部特征主要是指点的特征，点特征在保留图像信息的同时，大幅度降低了特征提取所需要的时间，SIFT算法是比较经典的局部特征提取算法，是由D.G.Lowe在文献[1]中提出。SIFT特征是图像的局部特征，其对光照变化、目标远近变化、目标旋转、视角变换以及部分遮挡具有较好的鲁棒性，同时SIFT特征的独特性好，具有很强的鉴别能力。

在文献[1]中，作者提出了一种局部特征描述子，SIFT特征匹配算法可以处理两幅图像之间发生平移、旋转、仿射变换情况下的匹配问题，具有很强的匹配能力。总体来说，SIFT算子具有以下特性：

(1)SIFT特征是图像的局部特征，对平移、旋转、尺度缩放、亮度变化、遮挡和噪声等具有良好的不变性，对视觉变化、仿射变换也保持一定程度的稳定性。

(2)独特性好，信息量丰富，适用于在海量特征数据库中进行快速、准确的匹配。

(3)多量性，即使少数的几个物体也可以产生大量SIFT特征向量。

(4)速度相对较快，经优化的SIFT匹配算法甚至可以达到实时的要求。

(5)可扩展性强，可以很方便的与其他形式的特征向量进行联合。

虽然SIFT特征提取算法得到了业界的普遍认可，但在实际应用中可以发现它存在着一些缺点。SIFT特征有三个重要的缺点。

(1)在SIFT特征提取过程中的细节处理时，对于关键点方向的求解方法不够精确，而关键点的不精确将直接导致最终结果会存在偏差。

(2)SIFT是图像的局部特征，而一副图像中只有局部信息是不够全面的，所以有必要对所提取出来的局部特征增加一些全局特征。

(3)SIFT特征提取将会提取出大量的描述子，并且这些描述子都是128维的向量，过于复杂的描述子中存在冗余，所以对这些描述子的去冗余是很有必要的。

由于SIFT存在着特征抽取耗时较长和获得的特征占用空间较大且存在一定的信息冗余等不足，针对不同的应用场景，很多学者对SIFT提出了不同的改进算法来克服SIFT在各领域的不足，但这些方法都只是克服了SIFT算法某一方面的性能，不具有普遍性。

PCA-SIFT是由Y.Ke发表于Computer Vision and Pattern Recognition的一种基于SIFT改进算法，该算法是通过一组典型图像进行SIFT特征抽取和主成分分析得到的投影矩阵，然后使用该投影矩阵实现了SIFT的特征降维，从而降低特征的占用空间去除信息冗余最终生成64维的特征描述子，但该算法的算法性能却比较一般。

SURF是Herbert Bay发表于Computer vision and image understanding期刊上的一种SIFT改进算法，该算法是使用积分图进行算法加速，从而减少了算法的运算时间，它的耗时大概是SIFT算法的三分之一，但SURF却牺牲了抗尺度变换，抗旋转变换等方面的性能。

文献[2]中作者提出了一种基于SIFT的NMI改进方法，该算法利用SIFT算法用于获得图像的特征点的坐标和向量矩阵。然后根据NMI算法和对匹配特征点的获得通过设定阈值来确定是否匹配，提高了匹配的精度和速度。但这并没有解决特征描述子的信息冗余问题。

缩略语和关键术语定义

DCT Discrete Cosine Transform 离散余弦变换

DoG Difference of Gaussians 高斯差分

HOG Histogram of Oriented Gridients 梯度方向直方图

ISIFT Improved SIFT 改进尺度不变特征变换

NMI Normalized Moment of Inertia 归一化转动惯量

PCA-SIFT Principle Component Analysis SIFT SIFT主成分分析法

SIFT Scale-invariant Feature Transform 尺度不变特征变换

SURF Speeded Up Robust Features 加速稳健特征

参考文献

[1]David G.Lowe Distinctive Image Features from Scale-Invariant Keypoints.January 5,2004.

[2]G.Xu and C.Ma,"SIFT-NMI Algorithm for Image Matching,"Control,Automation and Systems Engineering(CASE),2011International Conference on,Singapore,2011,pp.1-4.

[3]王忠丰基于离散余弦变换的二值特征描述子应用[期刊论文]-中国科技信息2015(11)

[4]杨进.刘建波.赵静.YANG Jin.LIU Jian-bo.ZHAO Jing基于离散余弦变换的图像局部特征描述子[期刊论文]-计算机工程2012(14)

[5]白廷柱.侯喜报.BAI Ting-zhu.HOU Xi-bao基于SIFT算子的图像匹配算法研究[期刊论文]-北京理工大学学报2013(6)

技术实现要素：

发明目的：为了克服现有技术中存在的不足，本发明提供一种基于尺度不变特征变换的低维度特征模型图像处理方法，在保证SIFT原有的良好局部特征的基础上，出于更加准确得描述特征点描述子和降低SIFT描述子维度的目的，本发明结合了局部图像的空间关系特征和DCT变换对SIFT进行改进，从而可以更准确的描述特征描述子，并使得最终描述子的维度为65维。

技术方案：为实现上述目的，本发明采用的技术方案为：

一种基于尺度不变特征变换的低维度特征模型图像处理方法，包括如下步骤：

(1)对输入图像建立尺度空间，生成DoG(高斯差分金字塔)空间

定义原始输入图像为I(x,y)，根据文献[1]的处理过程生成对应的DoG空间D(x,y,σ)，其中σ表示尺度空间坐标，DoG空间如图1所示；DoG空间包含了原始输入图像在各个尺度σ下的像素差分值，我们可以通过高斯差分金字塔看出图像上的像素值变化情况；DoG空间描绘的是目标的轮廓。

(2)在DoG空间中检测出所有局部极值点

得到DoG空间后，需要提取DoG空间中各个尺度下的极值点，这些极值点就是图像关键点的候选点；为了寻找DoG空间的极值点，每一个像素都要和它所有的相邻点比较，看看是否是它的图像域和尺度域的相邻点的极大值或极小值；中间的检测点和它同尺度的8个相邻点和上下相邻尺度对应的9×2个点共26个点比较，以确保在尺度空间和二维图像空间都检测到极值点。

(3)滤除不好的局部极值点，实现对关键点的初步定位

对上一步提取出的极值点需要作进一步的过滤处理，按照文献[1]中提到的方法，给定一个阈值t，过滤掉对比度小于t的极值点，使得保留下来的极值点更健壮，并用这些极值点作为图像的关键点；除此外，由于DoG值对噪声和边缘较为敏感，因此在前面DoG尺度空间中检测到的关键点还要经过进一步的检验才能精确定位，根据文献[1]的处理方法，利用DoG函数在尺度空间的Taylor展开对DoG函数进行曲线拟合，最后得到较为精确的关键点位置。

(4)滤除边缘响应的局部极值点，实现对关键点的准确定位

仅仅去除低对比度的极值点对于极值点的稳定性经常是不够的，因为DoG函数在图像边缘有较强的边缘响应，所以还要排除边缘响应；文献[1]中提到DoG函数的极值点在横跨边缘的方向有较大的主曲率，而在垂直边缘的H方向有较小的主曲率。

其中：D_xx表示DoG金字塔中某一尺度的像素在x方向两次求导，D_xy表示DoG金字塔中某一尺度的像素先在x方向一次求导、再在y方向一次求导，D_yx表示DoG金字塔中某一尺度的像素先在y方向一次求导、再在x方向一次求导，D_yy表示DoG金字塔中某一尺度的像素在y方向两次求导。

主曲率可以通过计算该点位置尺度的2×2的Hessian矩阵得到，导数由采样点相邻差来估计。极值点的主曲率与H的特征值成正比，为了避免直接的计算这些特征值，而只是考虑它们之间的比率，令α为H的最大特征值，β为H的最小特征值，则：

α＝rβ

Tr(H)＝D_xx+D_yy

Det(H)＝D_xx×D_yy-D_xy+D_yx

在α和β相等时达到最小，随着r的增长而增长；按照文献[1]的处理方法，当时，将关键点保留，反之剔除。

(5)包括步骤(51)、(52)和(53)

(51)统计关键点领域梯度直方图，得到关键点的主方向和大小

通过尺度不变性求极值点，可以使其具有缩放不变的性质，利用关键点领域像素的梯度方向分布特性，可以为每个关键点指定方向参数方向，从而使描述子对图像旋转具有不变性。

求出关键点领域内各个像素的梯度后，需要根据这些像素的梯度求解出关键点的主方向，在文献[1]中确定关键点主方向就是采用梯度直方图统计法，统计关键点为原点，一定区域内的图像像素对关键点方向生成所作的贡献。

梯度直方图以每10度方向为一个柱，共36个柱，柱所代表的方向为像素点梯度方向，柱的长短代表了梯度幅值；在梯度直方图中，其峰值所对应的方向就是关键点的主方向，其大小即为关键点大小。

至此，已经求出了每个关键点三个信息：位置、尺度、方向，同时也使得关键点具备平移、缩放、和旋转不变性。

(52)对关键点领域按其主方向进行旋转，得到关键点领域内各个像素点旋转后的梯度方向和大小，按旋转后各个像素点的位置和方向排列生成128维SIFT描述子

有了图像的关键点信息还不能描述一副图像，还需要根据关键点信息生成关于关键点的描述子，按文献[1]中的方法，将每个关键点描述成128维的向量来描述这个关键点。图5是一个描述子生成的一个简单事例。其中描述子由2×2×8维向量表征，也即是2×2个8方向的方向直方图组成。种子点由8×8单元组成。每一个小格都代表了特征点邻域所在的尺度空间的一个像素，箭头方向代表了像素点的梯度方向，箭头长度代表该像素的幅值。然后在4×4的窗口内计算8个方向的梯度方向直方图。

绘制每个梯度方向的累加可形成一个种子点，如图6所示：一个关键点由4个种子点的信息所组成。最后得到的128维向量是16×8一次排序得到的一个向量。

(53)对128维SIFT描述子作DCT变换，并对变换后的序列进行取舍以生成低维向量

生成的128维描述子之后，文献[1]是就此结束，用这128维的描述子来描述对应的关键点，但是实际应用中用这么大维数去描述关键点显然是过于复杂了。

本发明希望对这128维向量进行降维，于是本发明通过对每个4×4×8的描述子中每8个值作DCT变换，然后舍掉变换后的后一半数，最后形成一个4×4×4的描述子；具体方法为：首先将128维SIFT描述子按顺序分为16组序列{A_i}，i＝1,2,…,16，每组序列包括8个数据，记为A_i＝{a_i1,a_i2,a_i3,a_i4,a_i5,a_i6,a_i7,a_i8}；然后对A_i作DCT变换，得到C_i＝{c_i1,c_i2,c_i3,c_i4,c_i5,c_i6,c_i7,c_i8}，取C_i的前四个数构成C_i'＝{c_i1,c_i2,c_i3,c_i4}，16组序列重新构成64维向量。

通过实验验证这种方法对描述子的影响并不大，因为对一个序列作DCT变换，原序列中大部分的信息都集中在DCT变换后序列中的前端，所以舍掉变换后序列的后一部分对原序列的信息量影响并不大。

(6)对于步骤(53)生成的64维向量还不够全面，它仅仅是描述了关键点领域的局部信息，本发明增加了一种能够描述关键点领域的全局信息即关键点领域的NMI值。包括步骤(61)、(62)和(63)

(61)求取关键点领域的质量和重心，具体方法为：记某关键点领域内像素点(i,j)的像素值为K(i,j)，将各个像素值视为物理学中平面物体的质点质量，则该关键点领域的质量为该关键点领域的重心为：

其中：1≤i≤N为该关键点领域的x轴取值范围，1≤j≤N为该关键点领域的y轴取值范围。

(62)求取关键点领域绕其重心旋转的转动惯量，具体方法为：

(63)对转动惯量进行标准化，得到关键点领域的NMI特征为：

图像的质量和重心具有RST不变性，但图像的质量不具备灰度不变特征，图像的归一化转动惯量的这些特性兼具，所以可以把关键点领域的NMI值作为该关键点描述子的另一部分特征。

(7)将步骤(5)得到的64维向量和步骤(6)得到的NMI特征组合为一个65维向量，作为一个关键点的描述子。

优选的，该方法中涉及的像素点的梯度、幅值和角度的求解方法为：如图3所示，将像素点O(x,y)上、左、下和右四个相邻点分别标记为A、B、C和D，将像素点O左上、左下、右下和右上四个相邻点分别标记为a、b、c和d；在文献[1]中是利用A、B、C和D求解像素点O的梯度；而在本发明中，先使用A、B、C和D求解像素点O的梯度为gradI₁(x,y)，再使用a、b、c和d求解像素点O的梯度为gradI₂(x,y)，最后使用gradI₁(x,y)和gradI₂(x,y)的平均值作为像素点O的梯度：

像素点O的梯度为：

像素点O的幅值为：

像素点O的角度为：

其中：I₁为求解gradI₁(x,y)所使用到的像素函数，I₂为求解gradI₂(x,y)所使用到的像素函数。

有益效果：本发明提供的基于尺度不变特征变换的低维度特征模型图像处理方法，可以适应多种场合，不仅降低了特征描述子的维度，使得ISIFT的应用更加方便，同时增强了特征描述子对图像描述的准确性。

附图说明

图1为高斯金字塔示意图，图中Octave表示高斯金字塔的层；

图2为极值点示意图，图中Scale表示高斯金字塔的图像尺度；

图3为梯度计算示意图；

图4为关键点梯度直方图求解关键点梯度示意图；

图5为关键点描述子生成示意图一；

图6为关键点描述子生成示意图二；

图7为DCT降维过程示意图；

图8为本发明的实施流程图；

图9为图像匹配系统框图；

图10为ISIFT特征提取图；

图11为SIFT特征提取匹配图；

图12为ISIFT特征提取匹配图。

具体实施方式

下面结合附图对本发明作更进一步的说明。

一、本案涉及的改进点

(一)梯度方向改进

在SIFT特征提取过程中，关键点的大小和方向的准确性对后续关键点描述起着至关重要的作用，然而这方面很少被引起重视，现有技术的做法都是通过关键点的上下左右四个点求得关键点的梯度方向和大小，事实上，当一个关键点被旋转过后，它的上下左右四个点毫无疑问会发生变化，而此时它的梯度方向和大小会跟着变化，这显然对关键点的大小和方向存在负面的影响。本发明通过采用关键点相邻的8个点来求其梯度方向和大小，并通过实验证明起到了良好的作用。

梯度求解方法：

如图3，对于图像中的像素点O，一般是利用A、B、C和D求解像素点O的梯度。在本发明中，先用A、B、C和D求像素点O的梯度gradI₁(x,y)，然后再用a、b、c和d求像素点O的梯度gradI₂(x,y)，最后用d1、d2的平均值作为像素点O的梯度。

(二)增加关键点领域NMI

对于图像中所提取出来的关键点，SIFT算法是通过关键点某一领域所有像素点的梯度与关键点梯度的相关性来描述这一个关键点，这显然不够全面的，因为当两个关键点的领域像素点梯度和关键点梯度有着相同的关系时并不能被认为是同一个关键点，所以有必要对关键点增加描述信息，本发明通过引入物理学中转动惯量的原理来增加关键点的描述，把关键点的某领域看作是一个平面物体，其中各个像素点对应着实际物体各个位置的质点，像素点的像素值则表示实际物体中质点的质量。所以，对于同一幅图像，它的转动惯量并不会因为图像被旋转而改变，如果对转动惯量再进行归一化，那它将同时不受伸缩和灰度变化的影响。这大大增加了描述子的稳定性。

通过实验证明，图像的质量和重心具有RST不变性，但图像的质量不具备灰度不变特征，图像的归一化转动惯量的这些特性兼具，所以可以计算局部图像的这些特征来作为描述子的初步特征。

(三)描述子去冗余

一般而言，一幅图像用SIFT算法能提取出上百个关键点，每个关键点的维度是128维的，要存取该图像的特征就要耗费大量的空间，如果要对这些特征进行计算也是比较耗时的。提取出来的关键点一般是质量比较高的，对于一幅图像是不可或缺的，所以想要对减少图像特征所占用的空间，就要从降低关键点的维度去考虑。本发明通过对每个4×4×8的描述子中每8个值作DCT变换，然后舍掉变换后的后一半数，最后形成一个4×4×4的描述子，并通过实验验证这种方法对描述子的影响并不大，因为对一个序列作DCT变换，原序列中大部分的信息都集中在DCT变换后序列中的前端，所以舍掉变换后序列的后一部分对原序列的信息量影响并不大。

对16×8的特征描述子分别进行DCT变换，然后舍弃掉后面的4个元素，最后生成64维的特征描述子，其过程如图7：

最后把关键点的NMI特征和DCT变换后的64维描述子合并成一个65维的特征描述子，也就是本发明所要求的特征描述子。

二、本案的实施过程

基于上述分析，我们提出的ISIFT特征提取流程图8所示，包括如下步骤：

(1)对输入图像建立尺度空间，生成DoG空间；

(2)在DoG空间中检测出所有局部极值点；

(3)滤除不好的局部极值点，实现对关键点的初步定位；

(4)滤除边缘响应的局部极值点，实现对关键点的准确定位；

(5)包括步骤(51)、(52)和(53)：

(51)统计关键点领域梯度直方图，得到关键点的主方向和大小；像素点的梯度、幅值和角度的求解方法为：将像素点O(x,y)上、左、下和右四个相邻点分别标记为A、B、C和D，将像素点O左上、左下、右下和右上四个相邻点分别标记为a、b、c和d，先使用A、B、C和D求解像素点O的梯度为gradI₁(x,y)，再使用a、b、c和d求解像素点O的梯度为gradI₂(x,y)，最后使用gradI₁(x,y)和gradI₂(x,y)的平均值作为像素点O的梯度：

像素点O的梯度为：

像素点O的幅值为：

像素点O的角度为：

其中：I₁为求解gradI₁(x,y)所使用到的像素函数，I₂为求解gradI₂(x,y)所使用到的像素函数；

(52)对关键点领域按其主方向进行旋转，得到关键点领域内各个像素点旋转后的梯度方向和大小，按旋转后各个像素点的位置和方向排列生成128维SIFT描述子；

(53)对128维SIFT描述子作DCT变换，并对变换后的序列进行取舍以生成低维向量，具体方法为：首先将128维SIFT描述子按顺序分为16组序列{A_i}，i＝1,2,…,16，每组序列包括8个数据，记为A_i＝{a_i1,a_i2,a_i3,a_i4,a_i5,a_i6,a_i7,a_i8}；然后对A_i作DCT变换，得到C_i＝{c_i1,c_i2,c_i3,c_i4,c_i5,c_i6,c_i7,c_i8}，取C_i的前四个数构成C_i'＝{c_i1,c_i2,c_i3,c_i4}，16组序列重新构成64维向量；

(6)包括步骤(61)、(62)和(63)：

(61)求取关键点领域的质量和重心，具体方法为：记某关键点领域内像素点(i,j)的像素值为K(i,j)，将各个像素值视为物理学中平面物体的质点质量，则该关键点领域的质量为该关键点领域的重心为：

其中：1≤i≤N为该关键点领域的x轴取值范围，1≤j≤N为该关键点领域的y轴取值范围；

(62)求取关键点领域绕其重心旋转的转动惯量，具体方法为：

(63)对转动惯量进行标准化，得到关键点领域的NMI特征为：

(7)将步骤(5)得到的64维向量和步骤(6)得到的NMI特征组合为一个65维向量，作为一个关键点的描述子。

为了验证本发明所提出的特征提取算法的有效性，可以搭建一个图像匹配系统，其系统框图如图9：

通过输入两幅图像，分别对这两幅图像按ISIFT算法提取出图像特征，然后找出两幅图像最相近的特征点作为匹配点。

以下是本发明所提出的特征提取算法与SIFT算法提取出的图像特征图以及图像特征对比图如图10。

由图11和图12可以看出，本文所提出的ISIFT特征提取的效果比SIFT特征提取的效果要好一点。并且ISIFT特征点的描述子只是SIFT描述子的一半。

以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。