一种Delaunay三角网约束下的影像匹配粗差剔除方法及装置与流程

本发明涉及图像匹配领域，更具体地说，涉及一种delaunay三角网约束下的影像匹配粗差剔除方法。

背景技术：

本发明涉及摄影测量与计算机视觉领域，提出一种基于delaunay三角网约束的影像匹配粗差剔除方法。影像匹配是摄影测量和计算机视觉领域的基础研究内容，其目标是从两张或者多张重叠影像中找出数量足够、位置精确的同名点。由于成像角度、光照变化等因素影响，影像匹配结果中往往包含大量错误匹配点，直到影响后续应用。因此，粗差剔除是实现可靠影像匹配的关键步骤。

目前，常用的粗差剔除方法包括全局几何约束、局部几何信息和局部辐射约束三类。其中，全局几何约束一般从初始匹配结果中估计一个合理的变换模型，然后检查匹配点是否与估计的变换模型相兼容：如果兼容，当前匹配点对被归为正确匹配；否则，被标记为错误匹配。全局几何约束一般适用于高内点率的初始匹配点粗差剔除，并且依赖于一个事先定义的几何变换模型进行决策。随着初始匹配的外点率提高，全局几何约束的计算复杂度呈几何级数的增涨。局部几何约束利用待验证匹配点与邻域点之间的连接关系，构建局部范围内稳定约束关系。与全局几何约束相比较，局部几何约束能够更好的拟合局部几何变形，并且不需要全局变换模型参数估计，具有更好的抗噪声能力。但是，这类算法对粗差的区分能力比不上基于模型参数估计的全局几何约束算法。局部辐射约束利用待验证匹配点局部区域或与其邻域点之间线局部区域的辐射信息构建约束关系。与局部几何约束相比，局部辐射约束的粗差剔除能力更强。这类算法往往和局部几何约束结合使用，用于提高局部几何约束的粗差剔除性能。

对于高错误率的初始匹配，结合局部约束和全局几何约束的优势，可以得到高效、高精度匹配结果：局部几何约束和局部辐射约束具有高抗噪声能力；全局几何约束对外点具有更高的区分能力。但是，粗差剔除的目的是在尽可能剔除所有外点的情况下，保留足够多的内点。因此，在粗差剔除过程中，最有可能是外点的初始匹配点应该最先被剔除，以免影响对其他正确匹配点的分析和判断。另外，大部分采用k最近邻构建局部连接的方案存在两个重要缺陷：难以确定合适的k最近邻数量；k最近邻点可能构成非稳定的局部连接。由此可见，十分有必要设计更合适的初始匹配粗差剔除方法。

技术实现要素：

本发明为解决上述问题，提供了一种delaunay三角网约束下的影像匹配粗差剔除方法及装置。其中，本发明的delaunay三角网约束下的影像匹配粗差剔除方法包含如下步骤：

s1、对于任意两张需要进行影像匹配的具有重叠区域的影像所构成的影像对，基于sift算法分别提取这两张影像的初始匹配点，得到初始匹配点集合；

s2、基于所述初始匹配点集合，采用于delaunay三角网构建局部连接关系；

s3、基于步骤s2所构建的局部连接关系，利用线段描述子构建局部辐射约束：

s4、基于步骤s2所构建的局部连接关系，利用空间角度顺序构建局部几何约束；

s5、进行基于局部辐射约束和局部几何约束的粗差剔除和全局约束的匹配结果优化。

进一步地，在本发明的delaunay三角网约束下的影像匹配粗差剔除方法中，步骤s1具体包括如下步骤：

假设p和q分别表示影像匹配对i1和i2提取的特征点；基于步骤s1所得到的初始匹配点集合c＝{(pi,qi):i＝1,2,...,n}，n表示特征点的匹配的对数，特征点pi∈p，特征点qi∈q；delaunay三角网采用无向图g＝{v,e}表示；其中v和e分别表示顶点和边集合；利用影像i1的初始匹配点构建delaunay三角网g1，即每个匹配点pi定义一个顶点vi∈v，得到顶点集合v＝{vi:i＝1,2,...,n}；任意三角形满足delaunay三角网的空圆属性；同时，利用初始匹配点的对应关系，利用影像i2的初始匹配点构建g1的对应匹配图g2；同理，可以利用影像i2的初始匹配点构建delaunay三角网g2，并根据匹配点对应关系构建影像i1的对应匹配图g1。

进一步地，在本发明的delaunay三角网约束下的影像匹配粗差剔除方法中，步骤s3具体包含如下步骤：

s31、计算线段描述子量化对应边的相似性：对于delaunay三角网中的任意一条边e＝(pi,pj)，利用下述步骤构建线段描述子：

s311、利用u个内点将顶点pi和pj组成的线段li,j的局部区域划分为u个圆形区域di。圆形区域的圆心为内点，半径为d/(u+1)；其中，u为大于1的正整数；

s312、利用sift算法计算每个圆形区域di的梯度直方图hi和主方向wi；

s313、对于影像i1和i2中的两个线段li,j和l'i,j，计算对应圆形区域di和d'i的梯度直方图差值和主方向差值那么，线段li,j和l'i,j的相似性值dline(li,j,l'i,j)按照公式计算：

其中，λ为组合系数，其取值范围为(0,1)；

s32、根据步骤s2中delaunay三角网构建的局部连接关系和步骤s31中线段描述子构建的相似性值，得到基于线段描述子的局部辐射约束：

对于无向图g1中的任意一个顶点v1i∈v1，搜索其直接连接顶点集合list1i＝{v1j:v1j∈v1,j≠i}；同样，对于无向图g2中的对应顶点v2i∈v2，得到对应顶点集合list2i＝{v2j:v2j∈v2,j≠i}，那么，初始匹配点(pi,qi)的不相似性值按照下面公式计算：

其中，是连接无向图g1中顶点v1i和v1j的线段；是连接无向图g2中顶点v2i和v2j的线段；dline(·)计算对应线段的距离；n表示集合list1i和list2i的元素数量，scorepho的取值构成线段描述子的局部辐射约束。

进一步地，在本发明的delaunay三角网约束下的影像匹配粗差剔除方法中，步骤s4具体包含如下步骤：

对于无向图g1中的任意一个顶点v1i∈v1，搜索其直接连接顶点集合list1i＝{v1j:v1j∈v1,j≠i}；定义局部极坐标系：极点为v1i，极轴水平向右，利用顶点v1i和其任一邻域点v1j的坐标值可以计算对应的极角a1i,1j；然后从顶点集合list1i得到极角集合alist1i＝{a1i,1j}，并根据角度值按照逆时针方向排序；顶点v1i的角度顺序o1i定义为极角集合alist1i中顶点的编号顺序；同样，可以得到无向图g2中对应顶点v2i∈v2的角度顺序o2i；

按照下面公式计算匹配点(pi,qi)的不相似性值：

其中，dced(·)用于计算两个角度顺序的距离；n表示集合list1i和list2i的元素数量；scoregeo的取值构成线段描述子的局部几何约束。

进一步地，在本发明的delaunay三角网约束下的影像匹配粗差剔除方法中，步骤s5具体包含如下步骤：

s51、基于局部辐射约束，采用分层策略进行粗差剔除：首先计算每个顶点的不相似性值scorepho，并按照降序排列；然后迭代剔除不相似性值最大的顶点，并更新delaunay三角网中关联顶点的不相似性值，直到所有顶点的不相似性值小于给定的阈值tpho；

s52、基于局部几何约束，同样采用分层策略进行粗差剔除：首先计算每个顶点的不相似性值scoregeo，并按照降序排列；然后迭代剔除不相似性值最大的顶点，并更新delaunay三角网中关联顶点的不相似性值，直到所有顶点的不相似性值小于给定的阈值tgeo；

s53、经过上述步骤，得到外点列表olist1；然后，采用交叉验证策略进行结果优化，即构建delaunay三角网g2和对应匹配图g1，按照步骤s51和s52的处理流程得到外点列表olist2；那么，如果初始匹配点包含在其中任何一个外点列表，则该匹配点标记为外点；

s54、基于步骤s51-s53进行粗差剔除后，采用基于ransac算法的基本矩阵估计作为全局几何约束，对保留的匹配点进一步粗差剔除，得到最终优化后的高精度匹配结果。

根据本发明的另一方面，本发明为解决其技术问题，所提供的delaunay三角网约束下的影像匹配粗差剔除装置，具有计算机存储介质，用于存储计算机指令，所述计算机指令用于实现上述的delaunay三角网约束下的影像匹配粗差剔除方法。

本发明的技术关键点在于：

1、利用delaunay三角网的高效动态更新和连接结构稳定的良好几何特性进行离散初始匹配点组织，构建匹配点的局部连接关系；

2、基于delaunay三角网和对应匹配图构建的局部连接关系，利用线段描述子和空间角度顺序建立局部辐射和几何约束，用于粗差剔除；

3、本发明将粗差剔除问题转化为分析delaunay三角网和对应匹配图的相似性问题，并采用分层策略和交叉验证策略实现粗差渐进式剔除。

实施本发明的delaunay三角网约束下的影像匹配粗差剔除方法及装置，具有以下优点：

1、当初始匹配外点率较高时，本发明的局部辐射和几何约束能够作为预处理，提高初始匹配的内点率，进而提高全局几何约束的稳健性；

2、本发明采用的分层策略和交叉验证策略，能够实现最先剔除高概率的外点，降低其对正确匹配的影响。同时，尽可能的提高匹配结果的精度；

3、在delaunay三角网和对应匹配图框架下，本发明一方面将粗差剔除问题转化为分析对应连接的相似性问题。同时，基于对应三角形稳定的几何结构，可以进一步引导实现匹配扩展，获得更多高精度的匹配点。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明的delaunay三角网约束下的影像匹配粗差剔除方法一实施例的流程图；

图2是利用初始匹配点构建的对应匹配图；

图3是构建线段描述子的原理示意图；

图4是利用空间角度顺序构建局部辐射约束的示意图。

具体实施方式

为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。

本发明的实施方案包括五个步骤，参见图1：

s1、对于任意两张需要进行影像匹配的具有重叠区域的影像所构成的影像对，基于sift算法分别提取这两张影像的初始匹配点，得到初始匹配点集合。

本发明的输入数据为两张具有重叠区域的影像对。首先，利用sift算法分别提取两张影像的特征点，并生成特征点的128维描述子。然后，基于特征点描述子的最近距离搜索，查找每个特征点的候选匹配点。同时，结合距离比值和交叉验证策略进行初始匹配的粗差剔除，得到粗差剔除后所形成的上述初始匹配点集合。特征提取和匹配是数字摄影测量和计算机视觉领域的基本问题，本发明就不再赘述。

s2、基于所述初始匹配点集合，采用于delaunay三角网构建局部连接关系，参见图2：

对于步骤s1中提取的散乱初始匹配点，需要建立匹配点的局部连接关系，用于构建后续的局部约束。考虑到delaunay三角网具备高效动态更新和连接结构稳定的特性，本发明利用delaunay三角网进行离散初始匹配点组织，构建初始匹配点的局部连接关系。假设p和q分别表示影像匹配对i1和i2提取的特征点；基于步骤s1所述的特征匹配流程得到n个初始匹配点的集合c＝{(pi,qi):i＝1,2,...,n}，特征点pi∈p，特征点qi∈q；delaunay三角网采用无向图g＝{v,e}表示；其中v和e分别表示顶点和边集合。那么，利用影像i1的初始匹配点构建delaunay三角网g1，即每个匹配点pi定义一个顶点vi∈v，得到顶点集合v＝{vi:i＝1,2,...,n}；任意三角形满足delaunay三角网的空圆属性(任意三角形的外接圆不包含其他顶点)，参见图2的a部分。同时，利用初始匹配点的对应关系，利用影像i2的初始匹配点构建g1的对应匹配图g2，参见图2的b部分。同样地，也可以利用影像i2的初始匹配点构建delaunay三角网g2，并根据匹配点对应关系构建影像i1的对应匹配图g1。

s3、基于步骤s2所构建的局部连接关系，利用线段描述子构建局部辐射约束：

s31、线段描述子量化对应边的相似性，参见图3。

基于步骤2构建的初始匹配点局部连接关系，本发明利用线段描述子构建局部辐射约束。其中，线段相似性测度是构建局部辐射约束的基础。对于delaunay三角网中的任意一条边e＝(pi,pj)，利用图3所示的方法构建线段描述子：

s311、利用u个内点将顶点pi和pj组成的线段li,j的局部区域划分为u个圆形区域di。圆形区域的圆心为内点，半径为d/(u+1)；其中，u为大于1的正整数；

s312、利用sift算法计算每个圆形区域di的梯度直方图hi和主方向wi。梯度直方图和主方向的具体计算方法，参见文献《distinctiveimagefeaturesfromscale-invariantkeypoints》；

s313、对于影像i1和i2中的两个线段li,j和l'i,j，计算对应圆形区域di和d'i的梯度直方图差值和主方向差值那么，线段li,j和l'i,j的相似性值dline(li,j,l'i,j)可以下面按照公式计算

其中，λ为组合系数，其取值范围为(0,1)。

s32、基于线段描述子的局部辐射约束

结合步骤2的delaunay三角网构建的局部连接关系和步骤s31线段描述子构建的相似性测度，本发明设计了基于线段描述子的局部辐射约束，其核心思想是：利用待验证匹配点直接连接边的不相似性值度量匹配点属于外点的概率；不相似性值越大，匹配点属于外点的概率越大。对于无向图g1中的任意一个顶点v1i∈v1，搜索其直接连接顶点集合list1i＝{v1j:v1j∈v1,j≠i}；同样，对于无向图g2中的对应顶点v2i∈v2，得到对应顶点集合list2i＝{v2j:v2j∈v2,j≠i}。那么，初始匹配点(pi,qi)的不相似性值可以按照下面公式计算

其中，是连接无向图g1中顶点v1i和v1j的线段；是连接无向图g2中顶点v2i和v2j的线段；dline(·)计算对应线段的距离；n表示集合list1i和list2i的元素数量。由于scorepho根据影像辐射信息计算，scorepho的取值构成线段描述子的局部辐射约束。

s4、基于步骤s2所构建的局部连接关系，利用空间角度顺序构建局部几何约束，参见图4：

利用步骤s3局部辐射约束，可以剔除绝大部分错误匹配。但是，由于相似或者重复纹理的影响，局部辐射约束不能完全剔除错误匹配点。因此，本发明进一步利用空间角度顺序约束构建局部几何约束，其核心思想：在相似变换或者仿射变换下，某一目标点的邻域点在极坐标系下的空间角度顺序不变。与局部辐射约束相同，该步骤同样利用delaunay三角网构建的局部连接关系。

局部几何约束的建立过程：对于无向图g1中的任意一个顶点v1i∈v1，搜索其直接连接顶点集合list1i＝{v1j:v1j∈v1,j≠i}。定义局部极坐标系：极点为v1i，极轴水平向右。那么，利用顶点v1i和其任一邻域点v1j的坐标值可以计算对应的极角a1i,1j。因此，从顶点集合list1i可以得到极角集合alist1i＝{a1i,1j}，并根据角度值按照逆时针方向排序。顶点v1i的角度顺序o1i定义为极角集合alist1i中顶点的编号顺序。同样，可以得到无向图g2中对应顶点v2i∈v2的角度顺序o2i。因此，匹配点(pi,qi)的不相似性值可以按照下面公式计算

其中，dced(·)用于计算两个角度顺序的距离；n表示集合list1i和list2i的元素数量。为了消除旋转影响，本研究拟利用循环编辑距离算法计算角度顺序的距离。由于scoregeo根据影像的几何信息计算，scoregeo的取值构成线段描述子的局部几何约束。

s5、进行基于局部辐射约束和局部几何约束的粗差剔除和全局约束的匹配结果优化：

假定g1表示delaunay三角网，g2表示对应匹配图。基于步骤s3和步骤s4建立的局部辐射约束和局部几何约束，本发明的粗差剔除步骤如下：

s51、基于局部辐射约束，采用分层策略进行粗差剔除。首先计算每个顶点的不相似性值scorepho，并按照降序排列；然后迭代剔除不相似性值最大的顶点，并更新delaunay三角网中关联顶点的不相似性值，直到所有顶点的不相似性值小于给定的阈值tpho；

s52、基于局部几何约束，同样采用分层策略进行粗差剔除。首先计算每个顶点的不相似性值scoregeo，并按照降序排列；然后迭代剔除不相似性值最大的顶点，并更新delaunay三角网中关联顶点的不相似性值，直到所有顶点的不相似性值小于给定的阈值tgeo；

s53、经过上述步骤，得到外点列表olist1；然后，采用交叉验证策略进行结果优化，即构建delaunay三角网g2和对应匹配图g1，按照步骤s51和s52的处理流程得到外点列表olist2。那么，如果初始匹配点包含在其中任何一个外点列表，则该匹配点标记为外点。

s54、基于步骤s51-s53进行粗差剔除后，本发明采用基于ransac算法的基本矩阵估计作为全局几何约束，对保留的匹配点进一步粗差剔除，得到最终优化后的高精度匹配结果。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。