一种尺度不变特征与几何特征融合的多模态高分影像配准方法与流程

[0001]
本发明涉及卫星遥感影像处理技术领域，更具体的说是涉及一种尺度不变特征和几何特征融合的遥感影像自动配准技术。


背景技术：

[0002]
多源多尺度多时相(多模态)高分遥感影像是通过不同传感器所获取，各种遥感影像具有自身的特征和优势，将遥感数据应用于影像镶嵌、三维建模、变化检测等方面是遥感行业应用的一个重要趋势。为了充分有效地利用多模态影像信息，则需要在地理空间上对它们进行高精度的几何配准。由于成像机理的不同，多模态遥感影像间往往存在显著的非线性灰度差异，因此多模态遥感影像之间的配准及同名点匹配成为一个难点问题。
[0003]
目前，遥感影像的配准方法较多，但主要分为：基于特征的方法和基于灰度的方法。
[0004]
基于特征的方法首先通过在影像间提取特征，其特征包括点特征、线特征、面特征，然后寻找特征之间的相似性进行匹配与配准。大多数学者都针对单一特征进行同名点匹配进而完成影像配准，而对于多模态影像辐射特性和几何特性较大时，有相关研究表明，匹配正确的单一特征点较少，有些情况下甚至没有匹配点。这些方法对于几何变形具有较好的鲁棒性，但对具有灰度差异较大的多模态遥感影像而言，共有特征提取并正确匹配是一个较大难题。
[0005]
基于灰度的方法则主要是建立一种相似性测度准则，采用模板匹配的策略在影像间进行同名点的识别。一般常用的相似性测度包括了相关系数、互信息、归一化互信息等。基于灰度的方法配准精度较高，但需要利用图像的全部灰度信息，耗时较多，同时由于多模态高分影像对同一地物的反射率不同，导致出现不同的灰度信息，所以较难适用于多模态高分影像的自动配准。
[0006]
此外，随着影像空间分辨率的提高，影像细节特征越发明显，影像自动配准的干扰增多。鉴于此，本发明则提出一种尺度不变特征与几何特征融合的多模态高分遥感影像配准技术。首先，提取影像间的尺度不变特征，同时将自适应阈值canny与分块harris算子相结合提取几何特征，用稳定性较好的sift描述子对尺度不变特征点与几何特征点进行描述，然后利用flann方法与双向匹配进行粗匹配，采用改进的ransac寻求更多的同名点，最后利用分段线性变换模型实现多模态高分遥感影像的配准。


技术实现要素：

[0007]
本发明的目的是提供一种尺度不变特征与几何特征融合的多模态高分遥感影像配准技术，该发明能够解决多模态高空间分辨率影像间的非线性灰度差异，能够自动快速在影像间获取较多的几何特征和尺度不变特征同名点对，并通过分段线性模型实现影像的高精度配准。
[0008]
为了实现上述目的，本发明采用如下技术方案实现：主要包括尺度不变特征点和几何特征点提取、特征描述符匹配、影像配准三部分。
[0009]
1.尺度不变特征和几何特征生成步骤如下：
[0010]
s1：设参考影像i1的分辨率信息为r1，感测影像i2的分辨率信息为r2，判断影像i1与i2的分辨率是否一致，若不一致，将感测影像i2分辨率重采样至参考影像i1分辨率r1；
[0011]
s2：利用sift提取尺度不变特征点；
[0012]
s3：采用自适应阈值的canny算子分别提取参考影像i1与感测影像i2边缘特征，记为c1和c2；
[0013]
s4：采用分块的提取策略，利用harris算子在边缘特征c1和边缘特征c2中提取大量且分布均匀的边缘特征点，具体是将参考影像和感测影像的边缘特征图像划分为若干个互不重叠、规则的块，在每个图像块中，计算每个像素的harris强度值q，并根据强度值q进行从大到小排序，选择q值较大的点作为该图像块的几何特征点；
[0014]
s5：采用sift对几何特征点和尺度不变特征点生成128维描述符；
[0015]
s6：记参考影像i1与感测影像i2的所有特征点集合分别为p
i1
(i＝1,2,3,
…
,m)与p
i2
(j＝1,2,3,
…
,n),参考影像i1与感测影像i2的描述符集合分别为d
i1
(i＝1,2,3,
…
,n)与d
i2
(j＝1,2,3,
…
,m)；
[0016]
2.特征描述符匹配步骤如下：
[0017]
s7：传统特征点描述符依据欧式距离比值法完成粗匹配，而本发明为了剔除一些误匹配点，以获得较多的粗匹配点对，采用交叉双向匹配完成特征点的粗匹配；
[0018]
s8：在经过上述粗匹配后，依然存在较多误匹配点，传统方法采用ransac方法，但此方法采用全随机的数据选取方式选取初始匹配点，且迭代次数较多，运算时间较长，匹配准确度依然有待提高。本发明提出一种改进的ransac，通过加入特征点邻域归一化互信息作为新的约束条件，即：通过计算粗匹配点对邻域归一化互信息，选取其中归一化互信息值较大的特征点构建新的匹配点集合，获得数量更多正确匹配点。
[0019]
s9：利用上述步骤获得的同名点较多，但依然无法全部覆盖参考影像和感测影像，为此本发明在参考影像边界区域产生一定数量的格网点，并利用单应性变换矩阵约束进行影像边界格网点匹配，以增强多模态高分影像的配准精度。
[0020]
3.影像配准步骤如下：
[0021]
s10：综上利用获取的同名点对和匹配影像边界格网点构建不规则三角网，对每个三角网区域利用仿射变换进行校正，消除局部变形，获得高精度的配准影像。
[0022]
本发明方法与现有技术相比：
[0023]
针对多模态高分遥感影像间的非线性灰度差异造成误匹配点较多、配准精度较低的问题，本发明构建了一种局部特征与几何特征相结合的配准方法，影像间的边缘几何结构特征反映了局部信息的强度变化，能反应多模态高分影像的共有属性，与传统配准方法灰度相似性相结合，能有效加强多模态影像之间的匹配。实验分析表明，该技术有效提高了配准的精度，且具有良好的普适性和鲁棒性。
附图说明
[0024]
图1为本发明提供的整体流程图；
[0025]
图2为本发明提供的归一化互信息约束示意图；
[0026]
图3为本发明部分数据自适应阈值canny边缘提取结果图；
[0027]
图4为本发明尺度不变特征点与几何特征点提取结果图；
[0028]
图5为本发明提供多模态高分影像实验数据；
[0029]
图6为本发明提供的影像匹配结果图；
[0030]
图7为本发明提供的配准结果及棋盘格精度验证结果图；
[0031]
表1为本发明提供的多模态高分影像实验数据详细信息；
[0032]
具体实施方式
[0033]
下面将结合本发明中的附图，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0034]
以下步骤为尺度不变特征和几何特征生成部分：
[0035]
step 1：设参考影像i1的分辨率信息为r1，感测影像i2的分辨率信息为r2，判断影像i1与i2的分辨率是否一致，若不一致，将感测影像i2分辨率重采样至参考影像i1分辨率r1；
[0036]
step 2：利用经典sift提取参考影像i1与感测影像i2局部特征点；
[0037]
step 3：采用自适应canny提取参考影像i1与感测影像i2边缘特征，记为c1和c2；
[0038]
step 4：采用分块的提取策略，利用harris算子在边缘特征c1和c2中提取大量且分布均匀的边缘特征点，具体是：
[0039]
(1)将参考影像和感测影像的边缘特征图像c1和c2划分为若干个互不重叠、规则的块，其中c1和c2中块的大小为边缘特征图像长宽的1/2；
[0040]
(2)在每个图像块中，计算每个像素的harris强度值q，若q值是局部极大值，则该像素点是特征点；
[0041]
(3)为了使几何特征点均匀地分布在影像上，根据强度值q进行从大到小排序，选择q值较大的点作为该图像块的几何特征点。
[0042]
step 5：采用稳定性与鲁棒性较好的sift高维描述子对几何特征点和尺度不变特征点生成128维描述符；
[0043]
step 6：记参考影像i1与感测影像i2的所有特征点集分别为p
i1
(i＝1,2,3,
…
,m)与p
i2
(j＝1,2,3,
…
,n),参考影像i1与感测影像i2的描述符集合分别为d
i1
(i＝1,2,3,
…
,n)与d
i2
(j＝1,2,3,
…
,m)；
[0044]
以下步骤为特征描述符匹配部分：
[0045]
step 7：传统特征点描述符依据欧式距离比值法完成粗匹配，而本发明为了剔除一些误匹配点，以获得较多的粗匹配点对，采用快速flann方法与交叉双向匹配完成特征点的粗匹配；
[0046]
step 8：在经过上述粗匹配后，依然存在较多误匹配点，传统方法采用ransac模型，但此模型采用全随机的数据选取方式选取初始匹配点，且迭代次数较多，运算时间较长。本发明提出一种改进的ransac方法，具体是：
[0047]
(1)改进的ransac模型采用计算特征点邻域归一化互信息作为新的约束条件，归一化互信息公式定义如下：
[0048][0049]
其中，h(a)为参考图像特征点邻域信息熵，h(b)为感测影像特征点邻域信息熵，h(a,b)为特征点邻域联合熵。联合熵表达式如下：
[0050]
h(a,b)＝-∑
x,y
p(x,y)log(p(x,y))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0051]
(2)首先在以粗匹配点的坐标为中心，在其周围建立n*n邻域，利用特征点邻域的灰度信息计算匹配点对的归一化互信息，选取归一化互信息值较大的特征点构建新的匹配点集，特征点邻域的归一化互信息可以判断匹配点的相关性，归一化互信息值越大，相互包含的信息量越多，表明两区域越相关；
[0052]
(3)采用ransac模型获得数量较多的同名点，为后续多模态高分影像配准提高精度。
[0053]
step9：利用上述步骤获得的同名点较多，但依然无法全部覆盖参考影像和感测影像，为此本发明在参考影像边界区域产生一定数量的格网点，并利用单应性变换矩阵约束进行影像边界格网点匹配，以增强多模态高分影像的配准精度。
[0054]
以下步骤为影像配准部分：
[0055]
step 10：综上利用获取的同名点对和匹配影像边界格网点构建不规则三角网，对每个三角网区域利用仿射变换进行校正，消除局部变形，获得高精度的配准影像。
[0056]
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，该方案所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于该方案所示的这些实施例，而是要符合与本发明所公开的原理和新颖特点相一致的最宽的范围。