专利名称：联合多尺度sift和区域不变矩特征的配准控制点提取方法
技术领域：
本发明涉及一种图像配准控制点提取方法，属于图像处理领域。
背景技术：
图像配准是指产生一个空间校准的图像集合或者匹配某一景物的图像的过程。在许多图像处理应用中，我们需要对获得的同一对象的多种观测数据进行综合比较和分析。例如城市演变、洪水监测、地形图的修正以及在导航制导中图像与地图的匹配等应用中，要求所使用的图像在空间上是相互配准的。然而实际情况往往不够理想。因此，多传感器图像配准成为了遥感图像应用中必不可少的重要环节。配准控制点提取是图像配准过程中的关键技术，最终配准结果的计算是在其基础之上完成的。因而，能否提取稳定、可靠的配准控制点，直接决定多传感器图像最终的配准精度。
目前，配准控制点包括两种类型，即狭义特征点和广义特征点。狭义特征点是针对点本身来定义的，其位置本身具有常规的属性意义，比如边缘点、角点、交叉点等；而广义特征点是基于区域定义的，它本身的位置不必具备具体的特征意义，只代表满足一定特征条件的特征区域的位置信息。广义特征点是用来表征邻域局部特性的位置度量，它用来作为具有一定特征的局部区域位置的标识。
相对广义特征点而言，狭义点特征的方法计算简单，且易于匹配，具有较快的配准速度，因而得到了广泛应用。常用的方法有Moravec算子、Harris算子、Forstner算子和SUSAN算子等。但通常，这类点特征的提取多是基于临域梯度信息，而没有利用到灰度信息，当存在噪声等其他因素时，会影响梯度的计算结果，因而在配准精度上有所欠缺。
SIFT算法是一种提取局部特征的算法，充分利用图像多尺度特性，提取位置、尺度、旋转不变量，匹配能力较强。但SIFT算法着存在不足由于只利用了局部梯度信息描述特征点，计算局部梯度时采用简单的差分方法，没有考虑区域灰度信息，因而易受噪声的影响而产生误差，提取的特征点对中存在很多错误匹配。
发明内容
本发明为了解决在图像配准过程中，如何提取稳定、可靠的特征点的技术难题，提供了一种联合多尺度SIFT和区域不变矩特征的配准控制点提取方法。
本发明的步骤如下 步骤一、分别提取两幅待配准图像的所有关键点，并获得每个关键点的特征向量； 对每幅图像中所有关键点的提取方法及其特征向量的获得过程为 步骤A、对每幅图像进行不同尺度下连续的高斯滤波，生成高斯尺度空间；再进行相邻层相减，得到高斯差分空间；并在高斯差分空间中检测极值点，所述的极值点作为候选关键点，初步确定候选关键点的位置和所在尺度； 步骤B、通过拟合三维二次函数以进一步确定候选关键点的位置和所在尺度，同时去除候选关键点中低于设定的对比度阈值的候选关键点和边缘响应点，获得每幅图像中所有关键点； 步骤C、分别在以步骤B获得的每个关键点为中心的邻域窗口内进行采样，计算得到每个关键点处梯度的模值和方向； 步骤D、对每一个关键点求得特征向量，也就是以任意一个关键点为中心取16×16的窗口，对窗口内像素梯度进行高斯加权，然后将360°圆周划分为八个方向区域，在每4×4的小块内统计所述八个方向中各个方向上点的个数，得到八个方向上的统计直方图，进而得到所述的关键点的特征向量； 步骤二、通过关键点的特征向量选取两幅待配准图像的匹配点对，并获得匹配点对的欧式巨离EUVi； 采用关键点的特征向量的欧式距离来作为两幅待配准图像中每对关键点的相似性判定度量；即为遍历一幅图像中的所有关键点，针对每个关键点在另一幅图像中寻找欧式距离最近的两个关键点，如果最近欧式距离与次近欧式距离的比值小于比例阈值，获得最近欧式距离的两个关键点组成匹配点对，并将所述的匹配点对的最近欧式距离记为EUVi； 步骤三、求得所有匹配点对的HU氏不变矩的欧氏距离EUH； 其中每个匹配点对的HU氏不变矩的欧氏距离EUH的获得过程为分别在两幅待配准图像上以匹配点对中的两个关键点为中心开取16×16的窗口，计算两个窗口的HU氏不变矩，接下来计算获得所述匹配点对的HU氏不变矩的欧氏距离EUH； 步骤四对匹配点对进行加权，从而得到最终配准控制点； 首先对每个匹配点对进行加权，逐一采用每个匹配点对的欧式距离EUVi对其HU氏不变矩的欧氏距离EUH进行加权，记fi＝EUVi·EUHi，其中i为匹配点对的序号； 其次对获得的所有匹配点对相对应的fi进行排序，选取最小的三个fi对应的三个匹配点对中的两个关键点分别作为两幅图像的最终配准控制点。
本发明与现有技术相比，具有如下优点 (1)使用基于局部灰度信息的HU氏矩，通过利用抗噪性更强的局部灰度信息，有效弥补了SIFT技术易受噪声等因素影响的缺陷。
(2)利用了SIFT的多尺度特性和不变矩的区域灰度特性，对于存在较大旋转角、较大平移差别的多传感器图像，均能提取出了稳定、可靠的配准控制点。
图1为在高斯差分空间中检测极值点的示意图，其中a为尺度。
具体实施例方式具体实施方式
一本实施方式如图1所示，本实施方式的步骤如下 步骤一、分别提取两幅待配准图像的所有关键点，并获得每个关键点的特征向量； 对每幅图像中所有关键点的提取方法及其特征向量的获得过程为 步骤A、对每幅图像进行不同尺度下连续的高斯滤波，生成高斯尺度空间；再进行相邻层相减，得到高斯差分空间；其中得到高斯差分空间的步骤如下 二维高斯函数定义如下 其中x，y分别为空间横纵坐标，σ为高斯正态分布的方差； 在不同尺度下的高斯尺度空间是由图像与高斯核卷积得到 L(x，y，σ)＝G(x，y，σ)*I(x，y)(2) 高斯差分空间的计算公式为 D(x，y，σ)＝(G(x，y，kσ)-G(x，y，σ))*I(x，y) ＝L(x，y，kσ)-L(x，y，σ) (3) 并在高斯差分空间中检测极值点，寻找高斯差分空间极值点时，是将每一个采样点与它所有的相邻点进行比较，所述的采样点是相邻点中的最大值或是最小值，则将所述的采样点作为候选关键点；如图1所示，中间的检测点和它同尺度的8个相邻点和上下相邻尺度对应的9×2个点共26个点比较，以确保在尺度空间和二维图像空间都检测到极值点。所述的极值点作为候选关键点，初步确定候选关键点的位置和所在尺度； 步骤B、通过拟合三维二次函数以进一步确定候选关键点的位置和所在尺度，同时去除候选关键点中低于设定的对比度阈值的候选关键点和边缘响应点，获得每幅图像中所有关键点； 由高斯差分算子较强边缘响应而产生的不稳定的边缘响应点，即一个定义不好的高斯差分算子的极值在横跨边缘的地方有较大的主曲率，而在垂直边缘的方向有较小的主曲率。
根据主曲率来去除边缘响应点，方法如下 求候选关键点主曲率，主曲率是通过一个2×2的Hessian矩阵H求出 其中，Dxx、Dyy分别为候选关键点的xx、yy方向二阶导数，Dxy、Dyx分别为候选关键点的混合偏导数； 候选关键点的主曲率和H的特征值成正比，令α为最大的特征值，β为最小的特征值，α＝rβ，则 其中Tr(H)为H矩阵的迹，Det(H)为H矩阵的秩，r为最大的特征值与最小特征值的比；带入候选关键点的最大的特征值α，最小的特征值β，并检测 符合则保留所述的候选关键点，不符合则去除。
步骤C、分别在以步骤B获得的每个关键点为中心的邻域窗口内进行采样，计算得到每个关键点处梯度的模值和方向； 关键点的方向是直方图统计邻域像素的梯度方向，而梯度方向是通过梯度方向直方图来得到。梯度方向直方图的范围是0~360度，其中每10度一个柱，总共36个柱。直方图的峰值则代表了该关键点处邻域梯度的主方向，即作为该关键点的方向。在梯度方向直方图中，当存在另一个相当于主峰值80％能量的峰值时，则将这个方向认为是该关键点的辅方向。一个关键点可能会被指定具有多个方向(一个主方向，一个以上辅方向)，这可以增强匹配的鲁棒性。
步骤D、对每一个关键点求得特征向量，也就是以任意一个关键点为中心取16×16的窗口，对窗口内像素梯度进行高斯加权(越靠近关键点的像素梯度方向信息贡献越大)，然后将360°圆周划分为八个方向区域，在每4×4的小块内统计所述八个方向中各个方向上点的个数，得到八个方向上的统计直方图，得到八个方向上的统计直方图，进而得到一个八维向量，而在16×16窗口上，则共得到4×4×8＝128维特征向量，最后将特征向量的长度归一化，进而得到所述的关键点的特征向量； 步骤二、通过关键点的特征向量选取两幅待配准图像的匹配点对，并获得匹配点对的欧式距离EUVi； 采用关键点的特征向量的欧式距离来作为两幅待配准图像中每对关键点的相似性判定度量；即为遍历一幅图像中的所有关键点，针对每个关键点在另一幅图像中寻找欧式距离最近的两个关键点，如果最近欧式距离与次近欧式距离的比值小于比例阈值，获得最近欧式距离的两个关键点组成匹配点对，并将所述的匹配点对的最近欧式距离记为EUVi； 其中欧式距离的公式为 其中，计算欧式距离的关键点的特征向量分别为 V1＝(x1，x2，...，x128)T、V2＝(y1，y2，...，y128)T。
步骤三、求得所有匹配点对的HU氏不变矩的欧氏距离EUH； 其中每个匹配点对的HU氏不变矩的欧氏距离EUH的获得过程为分别在两幅待配准图像上以匹配点对中的两个关键点为中心开取16×16的窗口，计算两个窗口的HU氏不变矩，接下来计算获得所述匹配点对的HU氏不变矩的欧氏距离EUH； HU氏不变矩所需的七个不变的特征是通过归一化的中心矩ηpq来计算 其中归一化的中心矩ηpq定义为 ηpq＝μpq/μ00.(8) 其中
f(x，y)表示二维m×n的数字图像； 通过归一化的中心矩得到七个对平移、旋转以及尺度不变的特征，即
步骤四对匹配点对进行加权，从而得到最终配准控制点； 首先对每个匹配点对进行加权，逐一采用每个匹配点对的欧式距离EUVi对其HU氏不变矩的欧氏距离EUH进行加权，记fi＝EUVi·EUHi，其中i为匹配点对的序号； 其次对获得的所有匹配点对相对应的fi进行排序，选取最小的三个fi对应的三个匹配点对中的两个关键点分别作为两幅图像的最终配准控制点。
权利要求
1.联合多尺度SIFT和区域不变矩特征的配准控制点提取方法，其特征在于它的步骤如下
步骤一、分别提取两幅待配准图像的所有关键点，并获得每个关键点的特征向量；
对每幅图像中所有关键点的提取方法及其特征向量的获得过程为
步骤A、对每幅图像进行不同尺度下连续的高斯滤波，生成高斯尺度空间；再进行相邻层相减，得到高斯差分空间；并在高斯差分空间中检测极值点，所述的极值点作为候选关键点，初步确定候选关键点的位置和所在尺度；
步骤B、通过拟合三维二次函数以进一步确定候选关键点的位置和所在尺度，同时去除候选关键点中低于设定的对比度阈值的候选关键点和边缘响应点，获得每幅图像中所有关键点；
步骤C、分别在以步骤B获得的每个关键点为中心的邻域窗口内进行采样，计算得到每个关键点处梯度的模值和方向；
步骤D、对每一个关键点求得特征向量，也就是以任意一个关键点为中心取16×16的窗口，对窗口内像素梯度进行高斯加权，然后将360°圆周划分为八个方向区域，在每4×4的小块内统计所述八个方向中各个方向上点的个数，得到八个方向上的统计直方图，进而得到所述的关键点的特征向量；
步骤二、通过关键点的特征向量选取两幅待配准图像的匹配点对，并获得匹配点对的欧式距离EUVi；
采用关键点的特征向量的欧式距离来作为两幅待配准图像中每对关键点的相似性判定度量；即为遍历一幅图像中的所有关键点，针对每个关键点在另一幅图像中寻找欧式距离最近的两个关键点，如果最近欧式距离与次近欧式距离的比值小于比例阈值，获得最近欧式距离的两个关键点组成匹配点对，并将所述的匹配点对的最近欧式距离记为EUVi；
步骤三、求得所有匹配点对的HU氏不变矩的欧氏距离EUH；
其中每个匹配点对的HU氏不变矩的欧氏距离EUH的获得过程为分别在两幅待配准图像上以匹配点对中的两个关键点为中心开取16×16的窗口，计算两个窗口的HU氏不变矩，接下来计算获得所述匹配点对的HU氏不变矩的欧氏距离EUH；
步骤四对匹配点对进行加权，从而得到最终配准控制点；
首先对每个匹配点对进行加权，逐一采用每个匹配点对的欧式距离EUVi对其HU氏不变矩的欧氏距离EUH进行加权，记fi＝EUVi·EUH，其中i为匹配点对的序号；
其次对获得的所有匹配点对相对应的fi进行排序，选取最小的三个fi对应的三个匹配点对中的两个关键点分别作为两幅图像的最终配准控制点。
2.根据权利要求1所述的联合多尺度SIFT和区域不变矩特征的配准控制点提取方法，其特征在于步骤一中步骤A得到高斯差分空间的步骤如下
二维高斯函数定义如下
其中x，y分别为空间横纵坐标，σ为高斯正态分布的方差；
在不同尺度下的高斯尺度空间是由图像与高斯核卷积得到
L(x，y，σ)＝G(x，y，σ)*I(x，y)(2)
高斯差分空间的计算公式为
D(x，y，σ)＝(G(x，y，kσ)-G(x，y，σ))*I(x，y)
＝L(x，y，kσ)-L(x，y，σ) (3)
3.根据权利要求1所述的联合多尺度SIFT和区域不变矩特征的配准控制点提取方法，其特征在于步骤一中步骤A在高斯差分空间中检测极值点，即寻找高斯差分空间极值点时，是将每一个采样点与它所有的相邻点进行比较，所述的采样点是相邻点中的最大值或是最小值，则将所述的采样点作为候选关键点。
4.根据权利要求1所述的联合多尺度SIFT和区域不变矩特征的配准控制点提取方法，其特征在于步骤一中步骤B中边缘响应点的去除的方法如下
求候选关键点主曲率，主曲率是通过一个2×2的Hessian矩阵H求出
其中，Dxx、Dyy.分别为候选关键点的x、y方向二阶导数，Dxy、Dyx分别为候选关键点的混合偏导数；
候选关键点的主曲率和H的特征值成正比，令α为最大的特征值，β为最小的特征值，α＝rβ，则
其中Tr(H)为H矩阵的迹，Det(H)为H矩阵的秩，r为最大的特征值与最小特征值的比；带入候选关键点的最大的特征值α，最小的特征值β，并检测
符合则保留所述的候选关键点，不符合则去除。
5.根据权利要求1所述的联合多尺度SIFT和区域不变矩特征的配准控制点提取方法，其特征在于步骤二中的欧式距离的公式为
其中，计算欧式距离的关键点的特征向量分别为Vi＝(x1，x2，...，x128)T、V2＝(y1，y2，...，y128)T。
6.根据权利要求1所述的联合多尺度SIFT和区域不变矩特征的配准控制点提取方法，其特征在于步骤三中计算的HU氏不变矩所需的七个不变的特征是通过归一化的中心矩ηpq来计算
其中归一化的中心矩ηpq定义为
ηpq＝μpq/μ00.(8)
其中f(x，y)表示二维m×n的数字图像；
通过归一化的中心矩得到七个对平移、旋转以及尺度不变的特征，即
全文摘要
联合多尺度SIFT和区域不变矩特征的配准控制点提取方法，它涉及图像处理领域。它解决了在图像配准过程中，如何提取稳定、可靠的特征点的技术难题。首先利用高斯核函数对图像进行连续滤波，结合下采样方法，生成高斯差分尺度空间，寻找并计算局部极值的空间和尺度坐标。然后利用方向梯度信息构成关键点的特征向量，通过欧氏距离获得初步匹配的关键点对；进而以初选关键点为中心计算局部区域HU氏不变矩特征，结合欧氏距离筛选出最终精确有效的配准控制点。该方法结合了SIFT算法的多尺度特性和图像局部区域灰度不变矩特征，能够有效地提高了多传感器图像配准控制点对提取的稳定性和可靠性。
文档编号G06T7/00GK101714254SQ20091030981
公开日2010年5月26日 申请日期2009年11月16日 优先权日2009年11月16日
发明者谷延锋, 刘保学, 王晨, 张晔 申请人:哈尔滨工业大学