遥感影像配准方法、装置及系统与流程

本发明涉及遥感影像处理技术领域，特别涉及多源遥感影像配准的方法、装置和系统。

背景技术：

图像配准是指将不同时间、不同传感器或者不同条件下获取的有重叠区域的两幅图像进行几何校准的过程。图像配准技术是遥感图像处理、图像拼接、变化监测、多传感器影像融合等领域的基础。图像配准的方法大致可以分为两类：基于灰度信息的图像配准方法和基于特征信息的图像配准方法。

基于灰度的图像配准方法容易实现，只需要获取其灰度信息，建立待配准影像和基准影像之间的相似性度量函数，利用某一种搜索算法，寻找出使得相似性度量函数达到最优值。但这种算法具有以下局限性：1、灰度匹配不具有旋转不变的特性；2、在最优值搜索过程中需要巨大的计算量；3、对于重纹理和弱纹理区域，灰度匹配不具有抗干扰的能力。

基于特征的图像配准方法首先从图像中提取边缘、角点、轮廓和区域中心等特征，然后对特征点进行描述并找到他们之间的对应关系。这种方法所提取的特征是图像的局部特征，在局部区域进行分析，从而大大减少了图像处理过程的运算量。而且特征对于旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定性。但是，特征匹配容易出现同名点在影像上分布不均匀的情况，使得影像配准的精度分布不均匀。

技术实现要素：

本发明申请的目的在于针对现有的影像配准技术的不足，将全局配准和局部配准、灰度配准和特征配准的优势结起来，提出一种影像配准方法、装置、系统和计算机可读存储介质，以高时效、高精度的配准效果实现多源遥感影像配准。

为实现上述目的，本发明申请提出一种影像配准方法，包括：

接收待配准影像和基准影像；

对待配准影像和基准影像进行全局粗匹配，以确定待配准影像和基准影像之间的仿射变换关系；

在待配准影像上提取种子点；

根据所获得的种子点和所确定的仿射变换关系，在基准影像上寻找匹配点作为种子点的同名点；

将种子点和对应的同名点作为影像配准的控制点数据，以实现待配准影像和基准影像的配准。

本发明申请提出一种影像配准装置，包括：影像接收单元、粗匹配单元、种子点提取单元、同名点确定单元和配准单元，其中，

影像接收单元设置成接收待配准影像和基准影像；

粗匹配单元设置成对待配准影像和基准影像进行全局粗匹配，以确定待配准影像和基准影像之间的仿射变换关系；

种子点提取单元设置成在待配准影像上提取种子点；

同名点匹配单元设置成根据所获得的种子点和所确定的仿射变换关系，在基准影像上获得匹配点作为种子点的同名点；

配准单元设置成将匹配的种子点和对应的同名点作为影像配准的控制点数据，以实现待配准影像和基准影像的配准。

本发明申请提出一种影像配准系统，包括：

处理器；

存储有计算机可读指令的计算机可读存储介质，所述计算机可读存储介质连接到所述处理器；

所述处理器配置为执行从计算机可读存储介质加载的所述计算机可读指令以执行以下操作：

接收待配准影像和基准影像；

对待配准影像和基准影像进行全局粗匹配，以确定待配准影像和基准影像之间的仿射变换关系；

在待配准影像上提取的种子点；

根据所获得的种子点和所确定的仿射变换关系，在基准影像上获得匹配点作为种子点的同名点；

将种子点和对应的同名点作为影像配准的控制点数据，以实现待配准影像和基准影像的配准。

本发明申请还提出一种计算机可读存储介质，所述计算机可读存储介质存储有指令，所述指令在一个或多个处理器上运行时执行以下操作：

接收待配准影像和基准影像；

对待配准影像和基准影像进行全局粗匹配，以确定待配准影像和基准影像之间的仿射变换关系；

在待配准影像上提取种子点；

根据所获得的种子点和所确定的仿射变换关系，在基准影像上获得匹配点作为种子点的同名点；

将种子点和对应的同名点作为影像配准的控制点数据，以实现待配准影像和基准影像的配准。

本发明的技术方案与现有技术相比具有如下优点：

1、利用特征匹配算法进行全局快速匹配，从而缩小了局部匹配的搜索范围，大大提高了影像间的匹配效率。

2、通过全局匹配获得待配准影像与基准影像间的仿射变换关系后，可保持旋转不变性，再进行灰度匹配，克服了灰度匹配不具有旋转不变性的弊端。

3、利用特征点提取算子在待配准影像上寻找的种子点时，首先对待配准影像进行格网划分，在每个格网内进行特征点提取，有效避免特征匹配中特征点分布不均匀的弊端。而后对种子点进行灰度匹配，有效规避了重纹理和弱纹理区的情况。

4、金字塔由粗到细逐层匹配，减小了搜索范围和计算量，因此提高了影像间匹配效率。

附图说明

图1示出本发明实施例的影像配准技术方案的实现流程。

图2示出根据本发明实施方式的遥感影像配准方法的流程图。

图3示出了图2中确定待配准影像和基准影像之间的仿射变换关系的流程图。

图4示出了图2中根据所获得的种子点和所确定的仿射变换关系，在基准影像上寻找种子点的同名点的流程图。

图5示出了根据本发明实施方式的遥感影像配准装置的框图。

图6示出了根据本发明实施方式的遥感影像配准系统的框图。

图7示出了接收的待配准影像和基准影像。

图8示出了待配准影像局部的金字塔分解示意图。

图9示出在待配准影像上提取的种子点的示意图以及在基准图像确定的同名点的示意图。

图10(a)示出了由种子点和搜索半径确定的待配准影像上的区域；图10(b)示出了种子点的对应同名点在基准影像相应金字塔层上可能存在的感兴趣区域；图10(c)示出了已变换到待配准影像坐标系下的感兴趣区域的示意图。

图11示出了根据本发明实施方式的遥感影像配准结果的示意图。

具体实施方式

下面结合附图将结合附图对本发明的实施方式做进一步详细描述。

影像配准是指将不同时间、不同传感器或者不同条件下获取的有重叠区域的两幅影像进行几何校准的过程。图1示出本发明实施例的影像配准技术方案的实现流程。本发明的影像配准技术方案的实现流程包括：确定待配准影像和基准影像的坐标变换关系；在待配准影像上提取种子点；在基准影像上确定种子点的对应同名点；以及基于种子点和对应的同名点进行高精度配准。在确定待配准影像和基准影像的坐标变换关系的环节中，对待配准影像和基准影像分别进行金字塔分解，在金字塔的顶层通过进行全局匹配获得待配准影像和基准影像的仿射变换关系。在基准影像上确定种子点的对应同名点的环节中，对待配准影像进行特征提取，并从特征点中选取种子点。在确定同名点的环节中，基于所确定的仿射变换关系和提取的种子点，在金字塔分解的各层上，进行从粗到精的匹配，以在基准影像上获得匹配点作为种子点的同名点。最后，基于种子点和对应的同名点对进行高精度配准。

图2示出根据本发明实施方式的遥感影像配准方法的流程图。该方法包括：100、接收待配准影像和基准影像；200、对待配准影像和基准影像进行全局粗匹配，以确定待配准影像和基准影像之间的仿射变换关系；300、在待配准影像上提取种子点；400、根据所获得的种子点和所确定的仿射变换关系，在基准影像上寻找匹配点作为种子点的同名点；500、将种子点和对应的同名点作为影像配准的控制点数据，以实现待配准影像和基准影像的配准。

图3示出了确定待配准影像和基准影像之间的仿射变换关系的实施例。可选地，在步骤200中，对待配准影像和基准影像进行全局粗匹配，以确定待配准影像和基准影像之间的仿射变换关系包括：

210、对接收的待配准影像和基准影像分别进行金字塔分解。

金字塔分解是本领域内已有的图像处理方法，因此本发明不再对此进行详细的描述。本发明也不旨在对具体的金字塔分解算法作出限定，例如，可以使用高斯金字塔、小波金字塔或者其他合适的金字塔分解算法对待配准影像和基准影像分别进行金字塔分解。

220、在金字塔的顶层，利用sift特征匹配算法进行全局快速匹配，得到多对全局匹配的同名点对。

在进行sift特征匹配时，sift算法首先在尺度空间进行极值关键点检测，并精确计算关键点的位置和所处的尺度，然后将关键点邻域梯度的主方向定义为关键点的特征方向，以实现算子对尺度和方向的无关性，生成特征描述向量，形成特征描述符。

其次，利用关键点的sift特征向量中描述符的欧氏距离作为基准影像和待配准影像的相似性测度来进行特征匹配，即针对基准影像中的每个关键点的sift特征描述符，计算其与待配准影像的所有关键点的sift特征描述符的欧式距离，找到其中的最邻近欧式距离d1与次最邻近欧式距离d2，并将满足下式的关键点对定义为一个正确的匹配关键点对。

其中，d是小于1的阈值。优选地，d取0.49。

应注意的是，利用sift特征匹配算法进行全局快速匹配仅是本发明申请的一个优选的实施例。其他的特征提取和匹配算法同样可以被应用来在金字塔分解的顶层上进行全局快速匹配来获得全局匹配的同名点对。

230，利用所述多对全局匹配的同名点对，计算待配准影像和基准影像之间的坐标变换关系。

坐标变换关系即两幅图像之间的变换矩阵。变换矩阵包括两幅图像间的平移、旋转和缩放关系，即仿射变换关系。通过变换矩阵能够找到一幅图像中的点在另一幅图像中的位置，即

或x'＝hx(2)

其中，x'＝(x',y')^t和x＝(x,y)^t是一对sift匹配点对的像素坐标，h为变换矩阵。h矩阵有8个未知参数，所以至少需4对匹配点对才能估计h矩阵。将sift匹配的特征点集代入到方程中，利用最小二乘原理求解h矩阵，从而得到待配准影像和基准影像之间的仿射变换关系。

可选地，在步骤300中，在待配准影像上提取的种子点包括：综合考虑影像大小和设定的种子点的数量两个因素，对待配准影像进行格网划分；并在待配准影像的每个格网内利用harris算子提取一个特征点作为种子点。

可选地，本发明申请可以通过对待配准影像进行均匀的格网划分使得同名点在影像上的分布更加均匀。

本发明申请利用harris算子在待配准影像上选取种子点。harris算子是由c.harris和m.j.stephens在1988年提出的一种点特征算子。harris角点提取主要包括以下几个步骤：

(1)计算每个像素的相关矩阵m

式中，ix为x方向的差分，iy为y方向的差分，为高斯函数。

(2)计算每个像素的harris角点响应：

r＝(m11m22-m12m21)²-k(m11+m22)²(4)

其中，k＝0.04。

(3)在划分的格网范围内寻找极大值点，若hariss角点响应大于阈值，则视为特征点。

同样，应注意的是，利用hariss算子提取种子点仅仅是本发明申请的一个优选的实施例。其他的角点提取算子同样可以被应用来提取种子点。

图4示出了根据所获得的种子点和所确定的仿射变换关系，在基准影像上寻找的种子点的同名点的流程图。可选地，在步骤400中，根据所获得的种子点和所确定的仿射变换关系，在基准影像上寻找种子点的同名点包括：

410，根据设定的搜索半径以及所确定的待配准影像和基准影像之间的仿射变换关系，确定所提取的种子点的对应同名点在基准影像相应金字塔层上可能存在的感兴趣区域，并读取金字塔层上的感兴趣区的灰度值。

420，将基准影像中的所述感兴趣区域通过所确定的仿射变换关系，变换到待配准影像坐标系下，进而保持其旋转不变性。

430，根据匹配半径，确定种子点在待配准金字塔层上的匹配区域，并读取金字塔层上的所述匹配区域的灰度值。

440，根据搜索半径确定已变换到待配准影像坐标系下的所述感兴趣区域的对应搜索范围，并以待配准影像的所述匹配区域作为模板，利用相似性系数作为衡量指标在金字塔层上的所述对应搜索范围内进行灰度模板匹配。

450，将灰度模板匹配的结果作为下一层金字塔匹配的初始值，直到在金字塔底层的原始图像上找到种子点的精确的同名点。

可选地，搜索半径和匹配半径都是由用户可设置的参数。

本发明还提供一种影像配准装置，如图5所示。所述装置包括影像接收单元、粗匹配单元、种子点提取单元、同名点确定单元和配准单元。影像接收单元设置成接收待配准影像和基准影像。粗匹配单元设置成对待配准影像和基准影像进行全局粗匹配，以确定待配准影像和基准影像之间的仿射变换关系。种子点提取单元设置成在待配准影像上提取种子点。同名点匹配单元设置成根据所获得的种子点和所确定的仿射变换关系，在基准影像上寻找匹配点作为种子点的同名点。配准单元设置成将种子点和对应的同名点作为影像配准的控制点数据，以实现待配准影像和基准影像的配准。

可选地，粗匹配单元设置成通过下述方式对待配准影像和基准影像进行全局粗匹配，以来确定待配准影像和基准影像之间的仿射变换关系：

对接收的待配准影像和基准影像分别进行金字塔分解；

在金字塔的顶层，利用sift特征匹配算法进行全局快速匹配，得到多对全局匹配的同名点对；

利用所述多对全局匹配的同名点对，计算待配准影像和基准影像之间的仿射变换关系。

可选地，种子点提取单元设置成通过下述方式在待配准影像上提取种子点：综合考虑影像大小和设定的种子点的数量两个因素，对待配准影像进行格网划分；并在待配准影像的每个格网内利用harris算子提取一个特征点作为种子点。

可选地，同名点确定单元设置成通过下述方式在基准影像上寻找种子点的同名点：

根据设定的搜索半径以及所确定的待配准影像和基准影像之间的仿射变换关系，确定所提取的种子点的对应同名点在基准影像相应金字塔层上可能存在的感兴趣区域，并读取金字塔层上的所述感兴趣区域的灰度值；

将基准影像中的所述感兴趣区域通过所确定的仿射变换关系，变换到待配准影像坐标系下，进而保持其旋转不变性；

根据匹配半径，确定种子点在待配准影像金字塔层上的匹配，并读取该金字塔层上的所述匹配区域的灰度值；

根据搜索半径确定已变换到待配准影像坐标系下的所述感兴趣区域的对应搜索范围，并以待配准影像的所述匹配区域作为模板，利用相似性系数作为衡量指标在金字塔层上的所述对应搜索范围内进行灰度模板匹配；

将灰度模板匹配的结果作为下一层金字塔匹配的初始值，直到在金字塔底层的原始图像上找到种子点的精确的同名点。

本发明还提供一种影像配准系统，如图6所示。所述系统包括处理器和存储有计算机可读指令的计算机可读存储介质，所述计算机可读存储介质连接到所述处理器；所述处理器配置为执行从计算机可读存储介质读入所述计算机可读指令来执行以下操作：

接收待配准影像和基准影像；对待配准影像和基准影像进行全局粗匹配，以确定待配准影像和基准影像之间的仿射变换关系；在待配准影像上提取的种子点；根据所获得的种子点和所确定的仿射变换关系，在基准影像上获得匹配点作为种子点的同名点；将种子点和对应的同名点作为影像配准的控制点数据，以实现待配准影像和基准影像的配准。

可选地，对待配准影像和基准影像进行全局粗匹配，以确定待配准影像和基准影像之间的仿射变换关系包括：

对接收的待配准影像和基准影像分别进行金字塔分解；

在金字塔的顶层，利用sift特征匹配算法进行全局快速匹配，得到多对全局匹配的同名点对；

利用所述多对全局匹配的同名点对，计算待配准影像和基准影像之间的仿射变换关系。

可选地，在待配准影像上提取的种子点的操作包括：综合考虑影像大小和设定的种子点的数量两个因素，对待配准影像进行格网划分；以及在待配准影像的每个格网内利用harris算子提取一个特征点作为种子点。

可选地，根据所获得的种子点和所确定的仿射变换关系，在基准影像上寻找种子点的同名点的操作包括：

根据搜索半径以及所确定的待配准影像和基准影像之间的仿射变换关系，确定所提取的种子点的对应同名点在基准影像相应金字塔层上可能存在的感兴趣区域，并读取金字塔层上的所述感兴趣区域的灰度值；

将基准影像中的所述感兴趣区域通过所确定的仿射变换关系，变换到待配准影像坐标系下，进而保持其旋转不变性；

根据匹配半径，确定种子点在待配准影像金字塔层上的匹配区域，并读取金字塔层上的灰度值；

根据搜索半径确定已变换到待配准影像坐标系下的所述感兴趣区域的对应搜索范围，并以待配准影像的所述匹配区域作为模板，利用相似性系数作为衡量指标在金字塔层上的所述对应搜索范围内进行灰度模板匹配；

将灰度模板匹配的结果作为下一层金字塔匹配的初始值，直到在金字塔底层的原始图像上找到种子点的精确的同名点。

本发明申请还提供一种计算机可读存储介质，所述计算机可读存储介质存储有用于执行影像配准的指令，所述指令在一个或多个处理器上运行时执行以下操作：

接收待配准影像和基准影像；

对待配准影像和基准影像进行全局粗匹配，以确定待配准影像和基准影像之间的仿射变换关系；

在待配准影像上提取种子点；

根据所获得的种子点和所确定的仿射变换关系，在基准影像上获得匹配点作为种子点的同名点；

将种子点和对应的同名点作为影像配准的控制点数据，以实现待配准影像和基准影像的配准。

可选地，对待配准影像和基准影像进行全局粗匹配，以确定待配准影像和基准影像之间的仿射变换关系的操作包括：

对接收的待配准影像和基准影像分别进行金字塔分解；

在金字塔的顶层，利用sift特征匹配算法进行全局快速匹配，得到多对全局匹配的同名点对；

利用所述多对全局匹配的同名点对，计算待配准影像和基准影像之间的坐标变换关系。

可选地，在待配准影像上提取种子点的操作包括：

综合考虑影像大小和设定的种子点的数量两个因素，对待配准影像进行格网划分；并

在待配准影像的每个格网内利用harris算子提取一个特征点作为种子点。

可选地，根据所获得的种子点和所确定的仿射变换关系，在基准影像上寻找种子点的同名点的操作包括：

根据设定的搜索半径以及所确定的待配准影像和基准影像之间的仿射变换关系，确定所提取的种子点的对应同名点在基准影像相应金字塔层上可能存在的感兴趣区域，并读取金字塔层上的所述感兴趣区域的灰度值；

将基准影像中的所述感兴趣区域通过所确定的仿射变换关系，变换到待配准影像坐标系下，进而保持其旋转不变性；

根据设定的匹配半径，确定种子点在待配准影像金字塔层上的匹配区域，并读取该金字塔层上的所述匹配区域的灰度值；

根据搜索半径确定已变换到待配准影像坐标系下的所述感兴趣区域的对应搜索范围，并以待配准影像的所述匹配区域作为模板，利用相似性系数作为衡量指标在金字塔层上的所述对应搜索范围内进行灰度模板匹配；

将灰度模板匹配的结果作为下一层金字塔匹配的初始值，直到在金字塔底层的原始图像上找到种子点的精确的同名点。

配准过程实现示例说明

下面通过示例的方式说明本发明的配准方法实现的流程以及相应的中间结果。

在配准处理的开始，即在步骤100处，接收待配准影像和基准影像，如图7所示，其中图7(a)为待配准图像，该待配准影像是多光谱影像的实验数据；图7(b)为基准图像，该基准影像是全色影像的实验数据。

在步骤200处，对待配准影像和基准影像进行全局粗匹配，以确定待配准影像和基准影像之间的仿射变换关系。在该步骤中，首先，对接收待配准影像和基准影像进行金字塔分解，如图8所示，其中图8(a)中的方框示出了待配准影像的一个局部。图8(b)示出了该局部的金字塔分解示意图，基准影像的金字塔分解类似，因此未示出；然后，在金字塔的顶层，利用sift特征匹配算法进行全局快速匹配，得到多对全局匹配的同名点对；最后，有利用所述多对全局匹配的同名点对，计算待配准影像和基准影像之间的坐标变换关系。

在步骤300处，在待配准影像上提取种子点。具体地，通过对待配准影像进行格网划分；并在待配准影像的每个格网内利用harris算子提取一个特征点作为种子点。如图9(a)所示为在待配准的影像上提取的种子点的示意图。

在步骤400处，根据所获得的种子点和所确定的仿射变换关系，在基准影像上寻找匹配点作为种子点的同名点。如图9(b)示出了在基准影像上确定的同名点的示意图。

如前所描述的，步骤400具体包括步骤410、420、430、440、以及步骤450。在步骤410中，根据设定的搜索半径r以及所确定的待配准影像和基准影像之间的仿射变换关系，确定所提取的种子点的对应同名点在基准影像相应金字塔层上可能存在的感兴趣区域，并读取金字塔层上的感兴趣区的灰度值，如图10所示，其中图10(a)中的正方形区域中心的“+”为种子点，长箭头表示搜索半径r，图10(b)中的方框对应的基准影像区域是搜索半径对应的感兴趣区域，将该感兴趣区域保存到处理器的存储器中。

在步骤420中，将基准影像中的所述感兴趣区域通过所确定的仿射变换关系，变换到待配准影像坐标系下，进而保持其旋转不变性。图10(c)所示为将图10(b)的方框内的感兴趣区域已变换到待配准影像坐标系下的示意图。

在步骤430中，根据匹配半径r，确定种子点在待配准影像的金字塔层上的匹配区域，并读取金字塔层上的所述匹配区域的灰度值，如图10(a)所示，其中图10(a)中的短箭头表示匹配半径r，且匹配半径r小于搜索半径r。

在步骤440中，根据搜索半径确定已变换到待配准影像坐标系下的所述感兴趣区域的对应搜索范围，并以待配准影像的所述匹配区域作为模板，利用相似性系数作为衡量指标在金字塔层上的所述对应搜索范围内进行灰度模板匹配，如图10的(c)中示出的图像区域为所述感兴趣区域的对应搜索范围，而由红线围成的区域对应于模板。

在步骤450中，将灰度模板匹配的结果作为下一层金字塔匹配的初始值，直到在金字塔底层的原始图像上找到种子点的精确的同名点。

在步骤500处，将种子点和对应的同名点作为影像配准的控制点数据，以实现待配准影像和基准影像的配准。

图11示出了配准结果的示意图，其中图11(a)示出了校正后的待配准图像与基准影像的卷帘图；图11(b)示出了图11(a)中的卷帘图的局部放大图。

本发明申请采用的影像配准方法，结合全局配准和局部配准的优势，结合区域配准和特征配准的特点，达到可见光近红外谱段间配准精度(1σ)<0.3个像元，可见光近红外谱段与中波红外谱段间配准精度(1σ)<1个像元，配准时间<1分钟(在多核cpu/gpu环境下)。

本发明申请支持多源遥感影像配准，如航空影像与航天影像之间的自动配准、可见光近红外谱段间的自动配准以及可见光近红外谱段与热红外谱段异源波段间的自动配准。

虽然本发明的技术方案以多源遥感影像的配准作为实施例，但是上述实施例并不旨在限制本发明的保护范围，本发明的技术方案同样适用于一般的图像配准。

本领域技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件完成，所述程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等。可选地，上述实施例的全部或者部分步骤也可以使用一个或多个集成电路来实现。相应地，上述实施例中的各模块或单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本发明不限于任何特定形式的硬件或软件的结合。

当然，本发明还可以有其他多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员可根据本发明做出各种相应地改变和变形，但这些改变和变形都应属于本发明的保护范围。