基于尺度不变Harris特征的图像配准方法和装置与流程

本申请涉及图像处理领域，尤其是一种基于尺度不变Harris特征的图像配准方法和装置。

背景技术：

图像配准是指针对在不同的时段、从不同视角、使用相同或不同的成像系统、对同一场景拍摄的有重叠区域的图像进行几何校准的过程。图像配准技术主要用于军事、遥感、测绘、医学、计算机视觉等领域。随着无人机技术的快速发展，无人机以高分辨率、高灵活性、高效率和低成本的优势被广泛应用于自然灾害区域评估、资源勘查、遥感测绘、环境保护等多个方面，因此无人机遥感图像的配准与拼接受到了广泛的重视，许多国家和单位都开展了无人机图像配准相关技术的研究。

现在常用的无人机遥感图像配准方法主要有基于SIFT特征(尺度不变特征转换，Scale-invariant feature transform)的方法和基于SURF特征(加速稳健特征，Speeded Up Robust Features)的方法。基于SIFT特征的方法利用高斯差分金字塔来检测特征点，使用邻域像素的梯度分布来确定特征点的主方向和生成特征向量；基于SURF特征的方法利用积分图像近似计算Hessian响应来检测特征点，使用邻域像素的Haar小波响应来确定特征点的主方向和生成特征向量。但是基于SIFT特征的方法计算复杂，实时性较差；基于SURF特征的方法检测到的特征点数目较少，配准精度不高，尤其在无人机遥感图像重叠不规律、重叠区域较小的情况下，配准精度严重下降。

技术实现要素：

本申请提供一种基于尺度不变Harris特征的图像配准方法和装置，解决现有图像配准方法实时性差、配准精度低的问题。

根据本申请的第一方面，本申请提供一种基于尺度不变Harris特征的图像配准方法，包括如下步骤：

步骤一，分别将参考图像以及待配准图像与具有多个不同尺度的高斯核进行卷积操作，滤除高频噪声并构建若干层高斯金字塔；

步骤二，使用拉普拉斯算子对步骤一中生成的高斯金字塔的每一层进行滤波，锐化图像边缘；

步骤三，对步骤二中滤波后的高斯金字塔的每一层进行Harris角点检测，从金字塔顶层向下找到各层相互对应的Harris角点作为特征点，其具体包括以下过程：

对步骤二中滤波后的金字塔的顶层进行Harris角点检测，得到顶层的Harris角点，其中，设定顶层为第k层；

依据第k层的Harris角点P_k(x_k,y_k)，在第k-1层设定一个圆形搜索范围，范围中心点位置为(2x_k,2y_k)，半径r＝σ，σ是第k-1层的模糊尺度；在该搜索范围内查找Harris角点，找到与第k层的角点P_k(x_k,y_k)的Harris响应值最接近的Harris角点P_k-1(x_k-1,y_k-1)，则Harris角点P_k-1(x_k-1,y_k-1)就是第k-1层中与第k层Harris角点P_k(x_k,y_k)相对应的特征点；

按照上述方法遍历至高斯金字塔的底层，逐层寻找与上一层相互对应的Harris角点，并形成特征点链，直至遍历顶层所有的Harris角点；每条特征点链中底层对应的Harris角点就是稳定的尺度不变特征点；

步骤四，为两个金字塔底层对应的尺度不变特征点确定主方向，并生成特征向量；

步骤五，对步骤四中已生成特征向量的特征点对进行粗匹配，得到匹配后的特征点对；

步骤六，剔除步骤五中匹配后的特征点对中的误匹配点对，并利用剔除误匹配点后的特征点对计算参考图像和待配准图像之间的单应变换矩阵H；

步骤七，利用步骤六中求取的单应变换矩阵H将参考图像和待配准图像转换到同一坐标系下，然后对坐标变换后的参考图像和待配准图像进行融合、拼接，完成图像配准。

优选的，所述的步骤四中，利用特征点邻域像素的梯度方向分布特性，为两个金字塔底层对应的尺度不变特征点确定主方向，并使用SIFT特征描述生成特征向量。

优选的，所述的步骤五中，使用基于欧氏距离的最近邻双向匹配方法和k-d树搜索策略，对步骤四中已生成特征向量的特征点对进行粗匹配，得到匹配后的特征点对。

优选的，所述的步骤六中，使用RANSAC算法剔除误匹配点。

优选的，所述步骤七中，利用加权平滑算法对坐标变换后的图像进行融合、拼接。

根据本申请的第二方面，本申请提供一种基于尺度不变Harris特征的图像配准装置，包括：

构建模块，用于分别将参考图像以及待配准图像与具有多个不同尺度的高斯核进行卷积操作，滤除高频噪声并构建若干层高斯金字塔；

滤波模块，用于使用拉普拉斯算子对步骤一中生成的高斯金字塔的每一层进行滤波，锐化图像边缘；

查找模块，用于对滤波后的高斯金字塔的每一层进行Harris角点检测，从金字塔顶层向下找到各层相互对应的Harris角点作为特征点；所述查找模块具体包括：

角点检测模块，用于对滤波后的金字塔的顶层进行Harris角点检测，得到顶层的Harris角点，其中，设定顶层为第k层；

特征点确定模块，用于依据第k层的Harris角点P_k(x_k,y_k)，在第k-1层设定一个圆形搜索范围，范围中心点位置为(2x_k,2y_k)，半径r＝σ，σ是第k-1层的模糊尺度；在该搜索范围内查找Harris角点，找到与第k层的角点P_k(x_k,y_k)的Harris响应值最接近的Harris角点P_k-1(x_k-1,y_k-1)，则Harris角点P_k-1(x_k-1,y_k-1)就是第k-1层中与第k层Harris角点P_k(x_k,y_k)相对应的特征点；

角点遍历模块，用于按照上述方法遍历至高斯金字塔的底层，逐层寻找与上一层相互对应的Harris角点，并形成特征点链，直至遍历顶层所有的Harris角点；每条特征点链中底层对应的Harris角点就是稳定的尺度不变特征点；

生成模块，用于为两个金字塔底层对应的尺度不变特征点确定主方向，并生成特征向量；

匹配模块，用于对已生成特征向量的特征点对进行粗匹配，得到匹配后的特征点对；

变换模块，用于剔除步骤五中匹配后的特征点对中的误匹配点对，并利用剔除误匹配点后的特征点对计算参考图像和待配准图像之间的单应变换矩阵H；

拼接模块，用于利用所述单应变换矩阵H将参考图像和待配准图像转换到同一坐标系下，然后对坐标变换后的参考图像和待配准图像进行融合、拼接，完成图像配准。

优选的，所述生成模块用于利用特征点邻域像素的梯度方向分布特性，为两个金字塔底层对应的尺度不变特征点确定主方向，并使用SIFT特征描述生成特征向量。

优选的，所述匹配模块用于使用基于欧氏距离的最近邻双向匹配装置和k-d树搜索策略，对已生成特征向量的特征点对进行粗匹配，得到匹配后的特征点对。

优选的，所述变换模块用于使用RANSAC算法剔除误匹配点。

优选的，所述拼接模块用于利用加权平滑算法对坐标变换后的图像进行融合、拼接。

相对于现有技术，本发明建立高斯金字塔，在高斯金字塔上检测Harris角点作为特征点，使得Harris角点具备一定尺度不变性。并且在检测Harris角点前先用拉普拉斯算子对图像边缘进行锐化，提高了Harris角点检测的精度和效率，降低了算法的运算时间，同时可以得到大量分布均匀的特征点，使用基于欧氏距离的最近邻双向匹配方法可以有效地减小特征点的误匹配，提高配准精度。本发明能够提高图像配准的精度，降低配准时间，尤其在遥感图像重叠率较小的情况下，相比于现有配准算法优势更佳明显。

本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明一种实施例的基于尺度不变Harris特征的图像配准方法的流程图；

图2为本发明一种实施例在步骤三中寻找各层对应Harris角点的示意图；

图3为本发明一种实施例的基于尺度不变Harris特征的图像配准装置的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。

一种基于尺度不变Harris特征的图像配准方法，该方法应用于无人机遥感图像的配准，也可以扩展应用到其他图像，如卫星图像、医学图像等图像的配准。如图1所示，其包括如下步骤：

S101：分别将参考图像以及待配准图像与具有多个不同尺度的高斯核进行卷积操作，滤除高频噪声并构建若干层高斯金字塔；

为了便于说明，可将参考图像标注为Ir，待配准图像标注为Is。分别将参考图像、待配准图像与模糊尺度σ＝0.6的高斯核进行卷积，将卷积后的图像作为各自金字塔的底层(第1层)图像，对底层(第1层)图像进行降采样，将采样结果与模糊尺度σ＝1.2的高斯核进行卷积，卷积后生成的图像作为金字塔的第2层，对第2层图像进行降采样，将采样结果与模糊尺度σ＝2.4的高斯核进行卷积，卷积后生成的图像作为金字塔的第3层，同理，可以得到金字塔的第4层、第5层……第n层。例如，一共建立4层高斯金字塔。

上述高斯核函数的尺度以及高斯金字塔的层数需要结合实际需要合理确认，不限于上述示例中的数值。

S102：使用拉普拉斯算子对生成的高斯金字塔的每一层进行滤波，锐化图像边缘；

对于图像I(x,y)，拉普拉斯算子可表示为：

可以近似为：

则可以使用如下拉普拉斯模板：

S103：对滤波后的高斯金字塔的每一层进行Harris角点检测，从金字塔顶层向下找到各层相互对应的Harris角点作为特征点，其具体包括以下过程：

S113：对步骤二中滤波后的金字塔的顶层进行Harris角点检测，得到顶层的Harris角点，其中，设定顶层为第k层；

S123：依据第k层的Harris角点P_k(x_k,y_k)，在第k-1层设定一个圆形搜索范围，范围中心点位置为(2x_k,2y_k)，半径r＝σ，σ是第k-1层的模糊尺度；在该搜索范围内查找Harris角点，找到与第k层的角点P_k(x_k,y_k)的Harris响应值最接近的Harris角点P_k-1(x_k-1,y_k-1)，则Harris角点P_k-1(x_k-1,y_k-1)就是第k-1层中与第k层Harris角点P_k(x_k,y_k)相对应的特征点；

S133：按照上述方法遍历至高斯金字塔的底层，逐层寻找与上一层相互对应的Harris角点，并形成特征点链，直至遍历顶层所有的Harris角点；每条特征点链中底层对应的Harris角点就是稳定的尺度不变特征点。

如图2所示，从金字塔的顶层开始，对第4层的每个Harris角点P₄(x₄,y₄)，在第3层设定一个圆形搜索范围，范围中心点位置为(2x₄,2y₄)，半径r＝σ，σ是第3层的模糊尺度等于2.4。搜索范围中的Harris角点，找到与第4层Harris角点P₄(x₄,y₄)的Harris响应值最接近的Harris角点P₃(x₃,y₃)，Harris角点P₃(x₃,y₃)就是第3层中与第4层Harris角点P_k(x_k,y_k)相对应的特征点。

最后，按照上述方法在第2层、第1层，逐层寻找各层相互对应的Harris角点，形成特征点链，直至遍历顶层(第4层)所有的Harris角点。底层(第1层)对应的Harris角点就是稳定的尺度不变特征点。

S104：为两个金字塔底层对应的尺度不变特征点确定主方向，并生成特征向量。

利用特征点邻域像素的梯度方向分布特性，为S103中得到的尺度不变特征点确定主方向，并使用SIFT描述符生成特征向量，本实施例可以使用128维的SIFT特征向量。

S105：对已生成特征向量的特征点对进行粗匹配，得到匹配后的特征点对。

对确定了主方向和生成了特征向量的特征点，使用基于欧氏距离的最近邻双向匹配方法和k-d树搜索策略对特征点进行匹配，得到粗匹配的特征点对。

假设特征点的特征向量为N维，步骤四中本例特征向量为128维，则N＝128，两个特征点的特征向量d_i和d_j之间的欧氏距离可表示为：

取参考图像中的特征点，在待配准图像中找出与该特征点的欧氏距离最小的两个特征点，如果最近的距离除次近的距离小于比例阈值，例如0.5，则认为距离最近的这对特征点是匹配的特征点。同理，可以在参考图像中寻找与待配准图像中特征点相匹配的特征点，只有满足双向匹配的特征点对才是最终的匹配特征点对。

S106：剔除匹配后的特征点对中的误匹配点对，并利用剔除误匹配点后的特征点对计算参考图像和待配准图像之间的单应变换矩阵H。

对于S105中生成的特征点对，使用RANSAC算法剔除误匹配点，并迭代求取变换矩阵H，算法流程如下：

1.随机选取4组匹配特征点组成一个随机样本，利用该样本计算变换矩阵H的初值H₀；

2.使用Leven-berg-Marquardt算法最小化代价函数，迭代精炼变换矩阵H；

3.使用2中求取的H去适配对极线附近的区域，进一步精炼特征点对；

4.反复迭代过程2和3，直到对应的特征点对数目稳定，便可以得到精炼后的变换矩阵H和特征点对。

S107：利用所求取的单应变换矩阵H将参考图像和待配准图像转换到同一坐标系下，然后对坐标变换后的参考图像和待配准图像进行融合、拼接，完成图像配准。

在计算出参考图像I_r和待配准图像I_s之间的单应变换矩阵H后，便可将参考图像I_r和待配准图像I_s转换到同一坐标系下，从而完成图像拼接。加权平滑算法具有计算量小，融合效果好的优点，可以使用加权平均算法完成图像的拼接。

本发明实施例还提供一种基于尺度不变Harris特征的图像配准装置，如图3所示，其包括：

构建模块201，用于分别将参考图像以及待配准图像与具有多个不同尺度的高斯核进行卷积操作，滤除高频噪声并构建若干层高斯金字塔；

滤波模块202，用于使用拉普拉斯算子对步骤一中生成的高斯金字塔的每一层进行滤波，锐化图像边缘；

查找模块203，用于对滤波后的高斯金字塔的每一层进行Harris角点检测，从金字塔顶层向下找到各层相互对应的Harris角点作为特征点；所述查找模块203具体包括：

角点检测模块，用于对滤波后的金字塔的顶层进行Harris角点检测，得到顶层的Harris角点，其中，设定顶层为第k层；

特征点确定模块，用于依据第k层的Harris角点P_k(x_k,y_k)，在第k-1层设定一个圆形搜索范围，范围中心点位置为(2x_k,2y_k)，半径r＝σ，σ是第k-1层的模糊尺度；在该搜索范围内查找Harris角点，找到与第k层的角点P_k(x_k,y_k)的Harris响应值最接近的Harris角点P_k-1(x_k-1,y_k-1)，则Harris角点P_k-1(x_k-1,y_k-1)就是第k-1层中与第k层Harris角点P_k(x_k,y_k)相对应的特征点；

角点遍历模块，用于按照上述方法遍历至高斯金字塔的底层，逐层寻找与上一层相互对应的Harris角点，并形成特征点链，直至遍历顶层所有的Harris角点；每条特征点链中底层对应的Harris角点就是稳定的尺度不变特征点；

生成模块204，用于为两个金字塔底层对应的尺度不变特征点确定主方向，并生成特征向量；

匹配模块205，用于对已生成特征向量的特征点对进行粗匹配，得到匹配后的特征点对；

变换模块206，用于剔除步骤五中匹配后的特征点对中的误匹配点对，并利用剔除误匹配点后的特征点对计算参考图像和待配准图像之间的单应变换矩阵H；

拼接模块207，用于利用所述单应变换矩阵H将参考图像和待配准图像转换到同一坐标系下，然后对坐标变换后的参考图像和待配准图像进行融合、拼接，完成图像配准。

在一种实施例中，所述生成模块204用于利用特征点邻域像素的梯度方向分布特性，为两个金字塔底层对应的尺度不变特征点确定主方向，并使用SIFT特征描述生成特征向量。

在一种实施例中，所述匹配模块205用于使用基于欧氏距离的最近邻双向匹配装置和k-d树搜索策略，对已生成特征向量的特征点对进行粗匹配，得到匹配后的特征点对。

在一种实施例中，所述变换模块206用于使用RANSAC算法剔除误匹配点。

在一种实施例中，所述拼接模块207用于利用加权平滑算法对坐标变换后的图像进行融合、拼接。

上述基于尺度不变Harris特征的图像配准装置的实施例的具体说明，可以参见基于尺度不变Harris特征的图像配准方法部分的实施例，在此不再赘述。

本技术领域技术人员可以理解，本发明中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地，具有本发明中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地，现有技术中的具有与本发明中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。

以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。