一种迭代三角网络约束下的异源遥感影像可靠匹配方法与流程

本发明涉及遥感影像处理技术领域，尤其是涉及一种异源遥感影像的特征匹配方法。

背景技术：

卫星遥感是人类观察、分析、描述所居住的地球环境的有效手段。为了更好的对地物进行描述和分析，融合多传感器、多分辨率、多光谱、多时相的遥感数据对其进行综合处理，成为遥感图像处理的热点。更为重要的是，多源遥感影像的融合对国家重大环境与灾害监测，军事应用等应急响应方面具有显著的意义。随着遥感技术的发展，sar、红外等新型传感器的不断涌现，为同一地区的对地观测提供了多种数据源。现有的遥感影像配准方法，大致可以分为基于灰度的配准方法和基于特征的匹配方法。基于灰度的匹配方法大多都利用影像的灰度信息，但是由于异源影像不同的成像机理，导致两种影像的灰度之间存在复杂的关系，故大多基于灰度的匹配方法很难得到令人满意的匹配结果。而基于特征的匹配方法不直接利用灰度信息，因此，该类方法成为异源图像匹配的主要研究方法。

基于特征的匹配方法所采用的特征基元一般包含点特征、线特征和面特征。点特征一般包括角点、高曲率点等，通常采用各种角点检测算法提取。然而点特征不易精确定位，且点特征含有的信息有限，匹配困难。线特征和面特征含有更多信息、更为稳定，本发明从面特征出发，研究基于分割的异源影像匹配方法。然而，基于分割的匹配方法存在以下问题：(1)几乎所有的基于分割的匹配方法很大程度上依赖于分割结果。一方面，即使存在成功的分割算法，使得对某些影像得到好的匹配结果，但对任意影像而言，将单次分割得到的目标特征，作为影像匹配的基元，往往导致匹配失败。因此，多次分割与匹配策略是需要的。(2)在实际情况中，由于异源影像存在辐射、几何差异的影响，分割后的目标会出现断裂、连接、多对多的现象，无法利用单纯的形状相似性或sift特征进行描述和匹配，具体情况如图1所示。

图2所示为模拟的异源影像能分割出同名面目标的情况，图2(a)所示为最理想情况，即异源影像分割出的面目标一一对应，只存在放大、缩小、旋转、平移等情况，这样可以根据形状相似性测度来对同名目标进行配对。图2(b)为次理想情况，异源影像分割出的面目标存在一对多或者多对一的关系，这样首先可以根据相似性测度算法对那些一对一的面目标进行配对，再根据邻近关系对多对一或者一对多的目标进行筛选。图2(c)也是真实分割时最可能出现的情况，即异源影像分割出的面目标存在多对多的关系，这样单纯利用形状相似性测度算法或通过邻近关系进行判断都不能得到正确的同名区域配对。图2(d)所示为另一种复杂情况，即异源影像分割出的面目标既存在多对多的关系，又存在部分目标缺失的情况，图2(d)中左边黑色矩形目标和右边黑色矩形目标在异源影像中互不存在。图2(e)所示为复杂情况，即异源影像分割出的面目标既存在多对多关系，又存在目标扩散的情况，图2(e)中右图黑色矩形框所示，为两目标相隔太近，进行水平集演化时由于噪声等影响，往往容易连成一片，这样的目标利用形状相似性测度算法是无法得到同名区域配对的。

针对上述问题，本发明提出了一种迭代三角网络约束下的异源遥感影像可靠匹配方法，旨在解决匹配结果依赖分割算法以及分割目标不完备的问题。

技术实现要素：

针对上述问题，本发明提出了一种迭代三角网络约束下的异源遥感影像可靠匹配方法，其特征在于，包括以下步骤：

步骤1，对基准影像和待匹配影像预处理；

步骤2，分别对步骤1所得预处理后的基准影像和待匹配影像，进行水平集分割得到面分割结果；

步骤3，对获得的基准影像和待匹配影像面分割结果进行判断，获得形状相似的匹配面目标，并记录在集合中；

步骤4，从集合中任意选择三对匹配面目标，利用三对面目标的质心点分别构建虚拟三角形，并对这两个虚拟三角形进行相似性判断，获得全等性测度值大于一定阈值的两个相似三角形，记为基准三角形；

步骤5，从集合中加入新的面目标质心点，对步骤4中的基准三角形进行“三角形生长”以构建三角网，并获取最优匹配三角网，最优匹配三角网中三角形的顶点即为匹配同名点对；

步骤6，计算步骤5中匹配同名点对的残差和均方根误差，迭代的剔除残差大于一定阈值的匹配同名点对，如果匹配同名点对大于α1且均方根误差小于β1个像素，则根据所得匹配同名点对获得匹配后影像，否则返回执行步骤2-步骤6，直到匹配同名点对满足要求。

进一步的，步骤2中获得面分割结果的实现方式如下，

a)对步骤1所得预处理后的基准影像和待匹配影像，利用otsu算法进行初始分割，获得分割阈值t*，利用此阈值来初始化零水平集函数，即其中i为待分割影像：

b)对预处理后的基准影像和待匹配影像进行水平集分割，基于如下水平集能量函数获得面分割结果，

其中，ω表示r²的有限开子集，r表示实数集，μ，v为非负常数，(x,y)为像素坐标，u0(x，y)为待分割影像，c1，c2为u0(x，y)在演化曲线c内外的均值，▽φ为φ的梯度；hε(z)和δε(z)分别是海氏(heaviside)函数h(z)和狄拉克(dirac)函数δ(z)的正则化形式，h(z)和δ(z)的公式如下所示：

hε(z)和δε(z)函数的公式如下所示：

上述公式(1)的最小化问题可以通过求解能量泛函对应的euler-lagrange方程来实现，最后可以得到如下的水平集演化方程：

φ(0,x,y)＝φ0(x,y)inω(4)

其中，表示水平集函数φ(x,y)对时间t求偏导数，表示φ(x,y)的曲率，公式(4)为初始条件，其中φ(0,x,y)表示0时刻的水平集函数，即零水平集函数像素(x,y)为有限开子集ω中的元素，而公式(3)中灰度均值c1和c2可分别在每次迭代中采用如下方式进行更新：

上式(3)中φ的解即为图像面分割结果。

进一步的，步骤3中利用形状曲线相似性测度算法对获得的基准影像和待匹配影像面分割结果进行判断。

进一步的，步骤4中对虚拟三角形进行相似性判断的实现方式如下，

假设基准影像上三对匹配面目标的质心点分别是待匹配影像上三对匹配面目标的质心点分别是则它们构成的虚拟三角形分别记为和三角形对应的三条边的长度分别为和分别表示点到的距离和点到的距离，利用如下三角形全等性测度对两个三角形是否相似进行判定：

由上述公式可知，两个三角形的全等性测度q越大，它们的全等性越好。

进一步的，步骤4中全等性测度值的阈值为0.8，将全等性测度值大于0.8的两个相似三角形，记为基准三角形。

进一步的，步骤5中获取最优匹配三角网的具体实现方式如下，

假设基准影像与待匹配影像中新加入的质心点分别为和且新加入的质心点为距离基准三角形最近的质心点，则新加入的质心点与步骤3中的基准三角形之间可以构成三对新的三角形，基准影像上新构成的三角形分别记为和待匹配影像上新构成的三角形分别记为和分别判断这三对新的三角形是否满足全等性测度阈值要求，若满足相似条件，则认为新加入的目标对是正确配准对，否则为错误配准；如果新加入的质心点和为正确的匹配点对，则连接该点和步骤4中基准三角形中离它最近的两点构成新的基准三角形；按照上述生长准则一直到添加完所有质心点为止，所构成的三角网为最优匹配三角网。

进一步的，步骤6中所述均方根误差的计算公式如下，

其中，m为匹配同名点对数，(xi,yi)为待匹配影像上点的坐标，(xi,yi)为对应点的参考影像坐标。

进一步的，步骤1中所述预处理为高斯滤波处理。

本发明具有如下优点和有益效果：

针对分割目标出现缺失、粘连或目标多对多等不完备情况，提出了一种基于全局约束的三角网优化匹配方法，核心在于三角网迭代生长和优化匹配，有效的解决了分割目标重复且多对多的情况。与经典的基于形状曲线匹配的方法相比，具有更好的鲁棒性。

附图说明

图1为本发明实施例匹配流程图。

图2为本发明实施例基准影像和待匹配影像面目标分割结果不完备情况分析示意图；其中，(a)最理想情况-分割目标一对一；(b)次理想情况-分割目标一对多；(c)复杂情况-分割目标多对多；(d)复杂情况-分割目标多对多且存在缺失；(e)复杂情况-分割目标多对多且存在扩散。

图3为本发明实施例中基于三角形生长的匹配算法。

具体实施方式

本发明技术方案可采用计算机软件技术实现自动运行流程。以下结合附图和实施例详细说明本发明技术方案。如图1，实施例的技术方案的流程包括以下步骤：

步骤1，对基准影像和待匹配影像预处理：

基准影像和待匹配影像必须有某部分为同名区域；实施例分别对基准影像和待匹配影像进行滤波处理，包括对两幅影像进行高斯滤波，可采用高斯滤波器进行滤波处理。

步骤2，分别对步骤1所得预处理后的基准影像和待匹配影像，进行水平集分割，得到面分割结果，具体包括以下步骤：

a)对步骤1所得预处理后的基准影像和待匹配影像，利用otsu算法进行初始分割，获得分割阈值t*，利用此阈值来初始化零水平集函数，即其中i为待分割影像：

b)对预处理后的基准影像和待匹配影像进行水平集分割，基于如下水平集能量函数获得面分割结果，

其中，ω表示r²的有限开子集，r表示实数集，μ，v为非负常数，(x,y)为像素坐标，u0(x，y)为待分割影像，c1，c2为u0(x，y)在演化曲线c内外的均值，▽φ为φ的梯度。hε(z)和δε(z)分别是海氏(heaviside)函数h(z)和狄拉克(dirac)函数δ(z)的正则化形式。h(z)和δ(z)的公式如下所示：

hε(z)和δε(z)函数的公式如下所示：

上述公式(1)的最小化问题可以通过求解能量泛函对应的euler-lagrange方程来实现，最后可以得到如下的水平集演化方程：

φ(0,x,y)＝φ0(x,y)inω(4)

其中，表示水平集函数φ(x,y)对时间t求偏导数，表示φ(x,y)的曲率，公式(4)为初始条件，其中φ(0,x,y)表示0时刻的水平集函数，即零水平集函数像素(x,y)为有限开子集ω中的元素，而公式(3)中灰度均值c1和c2可分别在每次迭代中采用如下方式进行更新：

上式(3)中φ的解即为图像面分割结果。

步骤3，利用形状曲线相似性测度算法[1]对获得的基准影像和待匹配影像面分割结果进行判断，获得形状相似的匹配面目标；

单个目标形状相似性的初步筛选，具体如下：

假设基准影像表示为io，待匹配影像表示为is，基准影像经过分割后有no个目标，待匹配影像分割后有ns个目标，分别统计计算io和is中no和ns个目标的面积和紧凑度等，利用这些特征排除掉一些绝不可能的匹配。

一般情况下，对象的面积表示对象内部所有像素个数的和。如果要求对象对应到实地的面积则需要再乘以每一个像元对应的实地面积δ²，δ²根据分辨率获得：

其中pij表示对象r内部的像素，位于影像的第i行j列，在这里pij＝1。

紧凑度也可以称为圆度，它是度量区域形状常用的一种度量量，定义如下：

其中，周长为边界的像素个数，区域越接近于圆形，c1越近于1；区域形状越细长，c1则越小。

上述紧凑度是针对圆形而言的，还有一种方法是以正方形为基础的，定义如下：

本发明采用下述方法进行初步排除，待匹配对象之间形状紧凑度之差不大于阈值：

其中，c1a、c2a是对象a的两个圆度值，c1b、c2b是对象b的圆度值；和表示对象之间形状紧凑度之差的阈值。

经过上述初步筛选后，采用穷举法计算io和is中可能相似的区域，构成候选匹配组。

然后采用形状曲线相似性度量[1]，在候选匹配组中获得最终的面目标匹配对，本实施例的阈值ts选择经验值0.5，形状曲线相似性的计算公式如下。

式中为多边形a外边界的第i采样点到质心的距离，为所有的均值，表示多边形b由第j点为起点后第i点到质心的距离，为所有的均值。

对于io中的no个对象，计算每一个区域目标与is相似的区域目标，将其记录在集合中，允许存在多对多的映射。

[1]杜娟，一种抗旋转尺度变异的遥感影像快速配准方法研究[d],武汉大学硕士学位论文，2010.

步骤4，利用三对面目标的质心点分别构建虚拟三角形，并对这两个虚拟三角形进行相似性判断：

从中任意选择三对匹配面目标，利用三对面目标的质心点分别构建虚拟三角形，并对这两个虚拟三角形进行相似性判断。假设基准影像上三对面目标的质心点分别是待匹配影像上三对面目标的质心点分别是则它们构成的虚拟三角形分别记为和三角形对应的三条边的长度分别为和分别表示点到的距离和点到的距离，则如果两个三角形完全相同，应该满足如下公式：

但实际情况下，得到的虚拟三角形不可能完全相等，因此公式(13)应该改写为：

本发明实施例中利用如下三角形全等性测度对两个三角形是否相似进行判定：

由上述公式可知，两个三角形的全等性测度q越大，它们的全等性越好，本发明实施例中测度值为经验值0.8。本发明实施例选择初始的3对匹配点的原则是按照像素的横、纵坐标大小依次选取。值得注意的是，如果经过上述判断，选择的3对可能匹配点构成的虚拟三角形不相似，那么需要重新选择三对可能匹配点构成新的虚拟三角形。

步骤5，三角形生长匹配算法，获取匹配的点对：

在得到了上述一组匹配的三角形后(称为基准三角形)，还需要将其周围的质心点加进来构建三角网，一起计算全局的空间关系，这里称为“三角形生长”。同时，定义新加入的质心点为距离上述匹配的三角形最近的质心点，且两个质心点对应的面对象具有全局统一的相似性。假设基准与待匹配影像中新加入的质心点分别为和则新加入的质心点与上一步中的基准三角形之间可以构成三对新的三角形，光学影像上新构成的三角形分别记为和sar影像上新构成的三角形分别记为和分别判断这三对新的三角形是否满足公式(15)条件，若满足相似条件，那么可认为新加入的目标对是正确匹配对，否则为错误匹配。新加入质心点和如果为正确的匹配点对，则连接该点和上述基准三角形中离它最近的两点构成新的基准三角形。

图3给出了三角形生长匹配的示意图。假设po1，po2，po3表示光学影像上基准三角形的三个顶点(即从中任意选择的三对匹配目标的质心点)，ps1，ps2，ps3表示sar影像上基准三角形的三个顶点，基准三角形用阴影表示。po4，po5，po6和ps4，ps5，ps6表示光学与sar影像上待匹配的质心点。po4，ps4离基准三角形较近，因此在第一次生长时，它将与基准三角形构成新的三个三角形，经过判断，这三个三角形都相似，因此，po4，ps4是一对正确的同名匹配点。待匹配质心点用五角星表示，当前匹配质心点用圆圈表示。此时，po1，po3，po4和ps1，ps3，ps4将组成新的基准三角形，po5和ps5为新的待匹配点，通过三角形相似性判断，po5和ps5为错误的匹配，则删除此点，此时po6和ps6为新的待匹配点，按照上述生长准则一直到添加完所有质心点为止，所构成的三角网为最优匹配三角网，三角网中三角形的顶点即为匹配同名点对。

步骤6，误差剔除与迭代

本发明通过计算匹配同名点对的残差和均方根误差(rootmeansquareerror,rmse)，迭代地剔除残差较大的匹配同名点对，直到rmse的值小于1个像素。

其中，m为匹配同名点对数，(xi,yi)为待匹配影像上点的坐标，(xi,yi)为对应点的参考影像坐标。

根据上式判断步骤5所得匹配结果是否满足匹配精度要求，如果匹配同名点对大于3且均方根误差小于1个像素，则输出步骤5所得匹配结果影像，否则调节步骤2中阈值t^*的值，返回执行步骤2重新进行水平集分割，直到匹配结果影像满足精度要求且迭代次数少于10次。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。