一种超高分辨率遥感图像中高层建筑特征点匹配方法与流程

本发明属于数字图像处理技术领域，涉及一种多时相遥感图像特征点配准方法，尤其涉及一种多时相超高分辨率遥感图像中高层建筑特征点配准方法，其为在分析多时相遥感图像视角差异的基础上利用特征点对周围图像块的相似性分析特征点对的匹配性。

背景技术：

多时相遥感图像配准是遥感图像变化检测、信息融合的基础。城市遥感图像分析中，一方面，随着遥感技术的发展，遥感图像的分辨率越来越高；另一方面，为提高城市土地利用效率，高层建筑越来越普遍。在超高分辨率的遥感图像中，不同拍摄视角下，高层建筑的形态及在图像中的位置发生较为明显的变化，同时对周围地物形成遮挡，高层建筑周围的图像也可能发生一定变化，这些对特征点的匹配形成干扰，减少了建筑物上正确匹配特征点对的数量。

基于特征的多时相遥感图像配准过程，典型步骤包括：(1)提取特征：主要特征包括点特征、线特征和区域特征，其中点特征研究偏多，主要利用点周围的灰度变化检测特征点，先后出现了Forstner、Gabor、SUSAN、Harris、SIFT和SURF等特征，其中SIFT和SURF等特征点具有良好的局部不变性，在图像配准中得到广泛应用；线特征和区域特征主要是利用直线提取技术和区域分割技术获得图像中包含的主要直线和区域。(2)特征匹配：主要根据所提取特征的描述方式来匹配特征，形成特征对，如点特征SIFT和SURF利用特征点周围灰度变化的相似性，线特征利用直线方向、直线之间空间关系等的相似性，区域特征利用区域面积、形状等的相似性。(3)特征对筛选：针对特征匹配中部分错误匹配的特征对，采用马氏距离、RANSAC等方式去除。(4)空间变换：利用正确匹配的特征对，计算空间变换模型，利用空间变换模型对待匹配图像进行变换，使得参考图像和待匹配图像一致，其中典型的空间变换模型包括仿射变换、透视变换、多项式变换等。

在不同视角的超高分辨率城市遥感图像中，中高层建筑会在图像呈现不同形态。此时中高层建筑的侧面在图像中表现形状存在差异，在中高层建筑物侧面获得特征，同时这些中高层建筑对周围地物造成遮挡，也对特征选取造成影响，导致获得的可匹配特征少。中高层建筑的顶部尽管在图像中的位置存在差异，但是其基本结构特征、颜色特征保留较好，是特征提取与匹配的重点区域。因中高层建筑物的高度存在差异，导致中高层建筑物屋顶的特征间不能服从同一空间变换，在特征对筛选阶段，部分已正确匹配的特征对被去除。本发明针对这部分已正确匹配的特征对展开分析，以保留这部分已正确匹配的特征对，增加特征对的数量，为后续的信息融合和变化检测等提供更多更好的信息。

本发明所提出的特征点匹配方法主要分为三部分，第一部分，提取特征点并初步匹配；第二部分，严格筛选出少量正确匹配的特征点对，并利用正确匹配的特征点对，分析视角变化信息；第三部分，结合视角变化信息，对初步匹配的特征点对重新筛选，并分析特征点对周围图像块的相似性验证特征对的匹配性。

技术实现要素：

本发明所要解决的技术问题在于提供一种超高分辨率遥感图像中高层建筑特征点匹配方法。该方法针对不同视角下高层建筑在高分辨率遥感图像中发生的位置变化，导致高层建筑上匹配的特征点对少的问题，利用参考图像和待匹配图像间存在的视角差异信息一致，筛选出特征角度变化相同的特征点对，并利用特征点对周围图像块的相似性进行验证，以得到更多的匹配正确的落在高层建筑上的特征点对。

为实现上述目的，本发明所述超高分辨率遥感图像中高层建筑特征点匹配包括如下步骤：

步骤(1)、提取特征点：将两个时相的超高分辨遥感图像，一个视为参考图像，一个视为待匹配图像，两图均经过几何校正，且具有相同的分辨率，分别在两个图像中提取具有局部不变性的特征点；

步骤(2)、特征点初匹配：结合特征点的描述特性，对参考图像和待匹配图像中的特征点进行匹配，获得初始匹配特征点对集，该集合中的特征点对包含较多的错误匹配；

步骤(3)、特征点对严格筛选(一次筛选)：对初始匹配特征点对集中的特征点对严格筛选，获得更为准确的一次筛选特征点对集，该集合中所包含的特征点对基本匹配正确；

步骤(4)、图像视角差异信息和图像位置差异信息分析：利用一次筛选特征点对集，采用统计的方式，寻找两图像间的视角差异信息，得到两图像间的正确特征点对间存在的角度，同时，利用图像内最高建筑物和图像分辨率信息获得图像位置差异；

步骤(5)、利用图像视角差异和图像位置差异二次筛选特征对：在初始匹配特征点对集中，将满足图像视角差异和图像位置差异的特征点对筛选出来，得到二次筛选特征点对集；

步骤(6)、特征点对周围图像块的相似性分析：针对二次筛选特征点对集中的每一对特征点，在其周围取图像块，采用互信息的方式分析对应图像块的相似性；

步骤(7)、特征点对验证：如果特征点对周围任一图像块的相似性满足阈值，则认为特征点对匹配，否则认为特征点对不匹配，从二次筛选特征点对集中去除，得到新的正确匹配的特征对集。

其中，步骤(4)中，所述图像视角差异信息分析时，选择特征对角度集中的区域作为图像视角差异，区域取值范围建议在10度-15度内。

其中，步骤(4)中，所述图像位置差异信息分析时，主要指高层建筑等地物，其受拍摄视角影响，在图像中呈现的最大位置差异，该最大位置差异在2倍的最高建筑物高度/图像分辨率内，可根据两图的视角差异进一步缩小该差异的值。

其中，步骤(6)中，所述特征点对周围图像块为9个图像块：1)以特征点为中心的1个图像块；2)特征点分别位于图像块左右上下边缘的中心的4个图像块；3)特征点分别位于图像块的4个顶点的4个图像块。

本发明的原理在于：一种超高分辨率遥感图像中高层建筑特征点匹配方法，拟处理的遥感图像对，均经过几何校正，且具有相同分辨率，其步骤具体的解释如下：

步骤(1)、提取特征点：遥感图像配准中，具有局部不变性的特征点能获得较多较稳定的特征点，选择在两图像中采用SIFT、SURF等多种特征点提取方式获得较多的特征点，从而获得较多的候选特征点；

步骤(2)、特征点初匹配：结合特征点的描述特性，对不同方式下提取的特征点分别进行匹配，获得初始匹配特征点对集，该集合中的特征点对包含较多的错误匹配；

步骤(3)、特征点对严格筛选(一次筛选)：对初始匹配特征点对集中的特征点对采用RANSAC、马氏距离等方法去除错误匹配的特征点对，同时一些正确的点对也被删除，但经过严格筛选后，在获得的一次筛选特征点对集中，所包含的特征点对基本匹配正确；

步骤(4)、图像视角差异信息和图像位置差异信息分析：两图像的视角固定，所以对于落在高层建筑上的特征点对，所形成的角度是固定，而一次筛选特征点对集中的点对基本匹配正确，所以可以采用统计的方式，将角度相对集中的区域视为两图像间的视角差异信息；同时，高层建筑物在图像中因拍摄视角导致的位置差异，是由建筑物高、视角差异和图像分辨率共同决定的，视角差异所形成的位置差异最大为2倍的建筑物高/图像分辨率；

步骤(5)、利用图像视角差异和图像位置差异二次筛选特征对：在初始匹配特征点对集中，逐一分析特征点对，如果特征点对所形成的角度差异与图像视角差异基本一致，同时特征点对的位置差异在图像位置差异范围内，将该特征点对放入二次筛选特征点对集中；

步骤(6)、特征点对周围图像块的相似性分析：高层建筑在不同的视角图像中，其顶部相对稳定，在图像中变现具有较好的一致性，但是由于拍摄视角不同，顶部周围的地物又有差异，因此，落在建筑顶部的特征点对，其局部具有较好的相似性，本发明采用特征点周围图像块的方式来比较和发现局部的相似性，并采用互信息的方式来判断图像块的相似性；

步骤(7)、特征点对验证：如果特征点对周围任一图像块的相似性满足阈值，则认为特征点对匹配，否则认为特征点对不匹配，从二次筛选特征点对集中去除，得到新的正确匹配的特征对集。

本发明的有益效果：

1.能基于图像分析不同拍摄视角下图像视角差异信息；

2.能获得更多的正确匹配的特征对，特别是高层建筑上的特征点对；

3.基于匹配建筑物特征点对建筑物进行信息融合和变化检测处理。

附图说明

图1为一种超高分辨率遥感图像中高层建筑特征点匹配方法流程图；

图2为参考图像例子；

图3为待配准图像例子；

图4为以特征点为中心的图像块(图中黑点为特征点)；

图5为以特征点为边缘中心点的图像块(图中黑点为特征点)；

图6为以特征点为角点的图像块(图中黑点为特征点)；

图7为图像特征点配准情况。

具体实施方式

下面结合附图以及具体实施方式进一步说明本发明，本发明主要包含的步骤有：提取特征点、特征点初匹配、特征点对严格筛选(一次筛选)、图像视角差异信息和图像位置差异信息分析、利用图像视角差异和图像位置差异二次筛选特征对、特征点对周围图像块的相似性分析、特征点对验证。对于高层建筑密集的城市区域，以某区域的两个时刻拍摄的同分辨率超高分辨率多光谱遥感图像为例，如图2和图3所示(已转化为黑白图像显示)，因拍摄角度不同，导致建筑物在图像中的位置有所偏差，受高层建筑高度差异和拍摄视角差异影响，难以筛选出高层建筑上特征点对。本发明利用两个时相下图像的视角差一定，筛选出部分特征点对并进行验证。下面以图2和图3中的图像为例，对本发明的具体实施步骤进行详细地说明。

如图1所示，本发明的实现共分为7个主要步骤，分别为：

(1)从参考图像I₁和待配准图像I₂中，提取点特征

本发明在两个时相的遥感图像中，选择其中一幅作为参考图像I₁，另一幅作为待配准图像I₂。

本发明选择具有局部不变性的点特征，包括SIFT、SURF和Harris-Laplace，分别获得特征点集P1_ST、P1_SF、P1_HL、P2_ST、P2_SF、P2_HL，其中P1_ST、P1_SF、P1_HL表示从I₁中提取的SIFT、SURF和Harris-Laplace特征点，P2_ST、P2_SF、P2_HL表示从I₂中提取的SIFT、SURF和Harris-Laplace特征点。

(2)特征点初匹配

结合特征点自身描述特性匹配特征点，即将特征点集P1_ST与特征点集P2_ST匹配、特征点集P1_SF与特征点集P2_SF匹配、特征点集P1_HL与特征点集P2_HL匹配，得到初始匹配特征点对集C_ST、C_SF、C_HL，分别对应SIFT、SURF和Harris-Laplace三类特征点获得的特征点对，这些特征点对部分正确匹配，部分错误匹配。

(3)特征点对严格筛选(一次筛选)

采用RANSAC方法，利用特征点对是否符合一致的变换对初始匹配特征点对集C_ST、C_SF、C_HL中的特征点对进行一次筛选，可以结合图像畸变情况，选择仿射变换、透视变换等，本发明建议选择透视变换。筛选后获得一次筛选特征点对集F，F中正确匹配的特征点对占比多，仅存在少数或不存在误匹配特征点对。对F的描述如下：

F＝{<P₁₁，P₂₁>，<P₁₂，P₂₂>，<P₁₃，P₂₃>，...，<P_1n，P_2n>}

即，F中包含n对特征点对，其中<P_1i，P_2i>(i＝1，2，...，n)表示一特征点对，特征点P_1i表示来自参考图像I₁，特征点P_2i表示来自待匹配图像I₂。P_1i、P_2i包含了特征点的位置信息，分别用<x_1i，y_1i>和<x_2i，y_2i>表示。

(4)图像视角差异信息和图像位置差异信息分析

从一次筛选特征点对集F中取出每对特征点对的位置信息，分别计算每对特征点对间的角度，得到角度集合{β₁，β₂，...，β_n}，其中β_i(i＝1，2，...，n)对应F中第i对特征点对。以第i对特征点对为例，该特征点对的位置信息分别为<x_1i，y_1i>和<x_2i，y_2i>，采用以下公式计算该特征点对的角度β_i：

其中atag为arctag函数，进一步通过以下判断和公式，将β_i转化为0-360度范围：

如果x_1i-x_2i＜0，则β_i＝β_i+180；

如果x_1i-x_2i＞0，且y_1i-y_2i＜0，则β_i＝β_i+360。

以区间B，寻找特征点对角度较为集中的区间[A，A+B]，即，{β₁，β₂，...，β_n}落在区间[A，A+B]内数量最多，若区间B跨越0度或360度时，可进一步采用分段统计。可将该区域的中间角度视为两幅图像中存在的图像视角差。

[A，A+B]＝arg maxnum{β_i}(i＝1，2，..，n)

因视角差是拍摄角度差异形成的，而两幅图像的拍摄角度是固定的，且两幅图像经过了校正，所以正确特征点对间的角度较为一致，建议将区间B设置为10-15度。

计算两幅图像中特征点对最大距离Dis_max，已知图像中最高建筑的高度为H米，图像中最高建筑在不同视角下所拍摄的图像，位置偏离最大为其中R为图像的分辨率。可根据视角差异信息进一步缩小Dis_max。

(5)利用图像视角差异和图像位置差异二次筛选特征对

在初始匹配特征点对集中，依次从C_ST、C_SF、C_HL取出每一对特征点对，假设该点对在图像I₁和图像I₂中位置分别为<x_1i，y_1i>和<x_2i，y_2i>，以步骤(4)中的图像视角差和特征点对最大距离作为约束条件，获得二次筛选特征点对集，具体为：

1)采用步骤(4)中的方法，获得特征点对间存在的角度α；

2)计算以下公式计算两点的距离Dis_pr：

3)如果角度α处在区间[A，A+B]，且Dis_Pr小于Dis_max，则将该特征点对放入二次筛选特征点对集。

(6)特征点对周围图像块的相似性分析

针对特征点对周围的图像块，采用计算图像块互信息的方式验证二次筛选特征点对集中的每一对特征点对的相似性。如果特征点周围任意图像块相似，即图像块的互信息满足条件，则认为特征点对相似。假设二次筛选特征点对集中某特征点对在图像I₁和图像I₂中位置分别为<x_1i，y_1i>和<x_2i，y_2i>，取特征点周围9个图像块过程具体为：

1)特征点为图像块的中心，共1个图像块，如图4所示，在图像I₁和图像I₂中分别记为B₁₁和B₂₁；

2)特征点为图像块的边缘中心，共4个图像块，如图5所示，在图像I₁和图像I₂中分别记为B₁₂和B₂₂、B₁₃和B₂₃、B₁₄和B₂₄、B₁₅和B₂₅；

3)特征点为图像块角点，共4个图像块，如图6所示，在图像I₁和图像I₂中分别记为B₁₆和B₂₆、B₁₇和B₂₇、B₁₈和B₂₈、B₁₉和B₂₉。

其中B_pq(p＝1，2；q＝1，2，...，9)表示图像I_p中第q个图像块，图像块大小为Size_Blk。分别计算两幅图像中对应各图像块的互信息，共可获得9个图像块的互信息{MI₁，MI₂，...，MI₉}。

(7)特征点对验证

设定一个阈值B_MI，如果特征点对的任意图像块对的互信息大于阈值T_MI，即

则认为该特征点对是匹配的。图2和图3特征点匹配结果如图7所示，其原理在于不同视角下高层建筑的屋顶(特别是平面屋顶)相对于高层建筑的侧面具有更好的呈现稳定性，但在图像中的位置有所偏移，表现在图像中其周围地物发生一定变化。利用屋顶呈现的稳定性，通过特征点周围的图像块找到屋顶所在的图像块来匹配特征点。

本发明所提供的多时相超高分辨率遥感图像配准方法主要是为了提高城区高层建筑上特征点对的匹配性而专门提出。但显然，本多时相遥感图像配准方法适用于多类型的遥感图像，如全色、多光谱、高光谱、SAR、红外等。

本发明未详细公开的部分属于本领域的公知技术。

以上对本发明所提供的同区域多视角下超高分辨率城市高层建筑遥感图像特征点匹配方法进行了详细说明，但显然本发明的具体实现形式并不局限于此。对于本技术领域的一般技术人员而言，在不背离本发明的权利要求范围的情况下对它进行的各种显而易见的改变都在本发明的保护范围之内。