一种基于平面透视投影的倾斜影像匹配方法与流程

本发明涉及倾斜影像匹配技术领域，具体地说是一种基于平面透视投影的倾斜影像匹配方法。

背景技术：

相对于传统的航空摄影测量，倾斜摄影测量能够实现建筑物的正直影像和其立面纹理的倾斜影像相结合，大大减少了建筑物侧面纹理信息的采集工作，提高了三维建模效率。然而由于倾斜摄影独特的拍摄方式，使得倾斜影像存在几何变形大，色差大，遮挡严重，数据海量等特点，这给倾斜影像匹配带来了巨大的困难。

目前，针对倾斜影像匹配并不存在一种普遍适用的匹配方法。harris-affine、hessian–affine、mser、ibr、ebr、salient等是常用的仿射不变局部特征检测子，广泛用于影像匹配算法中，其中mser、harris-affine&hessian–affine效果最好，但它们都不具备完全仿射不变性，对倾斜影像匹配效果不佳；asift是一种具有完全仿射不变性的匹配算法，对于倾斜影像匹配效果较好，但它采取近似穷举的方法获取影像的最佳经度和纬度，效率很低；另外一些算法沿用了asift思想进行基于影像仿射变换来进行匹配，但各有优缺点。

技术实现要素：

本发明的技术任务是针对现有技术的不足，提供一种基于平面透视投影的倾斜影像匹配方法。该方法在某种程度上对影像进行了透视变换，较之asift算法对影像进行仿射变换，经过透视变换的影像之间差异会更小，更容易匹配。

本发明解决其技术问题所采用的技术方案是：

本发明的一种基于平面透视投影的倾斜影像匹配方法，包括以下步骤：

步骤1，利用原始倾斜影像s的外方位元素和内方位元素，将原始倾斜影像s通过透视投影到测区内的平均高程面hm上，获得近似的正射影像，作为平面透视投影之后的目标影像d；

步骤2，获取目标影像对之间的重叠区域，作为待匹配区域：对于两张待匹配的原始倾斜影像，通过步骤1，分别获取它们的目标影像对及其范围，根据多边形求交运算获取目标影像对之间的重叠区域四边形abcd，将重叠区域abcd作为待匹配区域；

步骤3，采用sift算法对目标影像对进行匹配，使用左右一致性检验、唯一性约束等对粗差点进行剔除，获得粗匹配结果；通过单应矩阵和基础矩阵双重约束对粗匹配结果进行筛选，获得最终的精匹配结果；

步骤4，将步骤3获得的目标影像对上的匹配点对，利用共线方程反投影至原始倾斜影像对上，作为最终匹配结果。

作为本发明进一步改进的，所述步骤1具体实现步骤如下：

步骤1.1，将原始倾斜影像s的四个角点(xi,yi)(其中i＝0,1,2,3)，通过透视投影投影至目标影像d上，对应目标影像d上的四个角点(x′i,y′i)(其中i＝0,1,2,3)；

步骤1.2，利用目标影像四个角点(x′i,y′i)，确定目标影像d的边界、宽w′和高h′，建立w′×h′的空白目标影像d；

步骤1.3，灰度填充法填充目标影像d。

作为本发明进一步改进的，步骤1.1中所述目标影像d所在的高程面固定，为整个测区内的平均高程hm；原始倾斜影像s上任意一像点(x,y)，通过公式(1)经过透视投影至目标影像d上的物方点坐标为(x，y，hm)，(x，y)为目标影像d的像点坐标(x′i,y′i)；

其中，f为焦距，a1、a2、a3、b1、b2、b3、c1、c2、c3为旋转矩阵的元素，xs、ys、zs为摄影中心坐标。

作为本发明进一步改进的，步骤1.2中，目标影像d的边界(xmax,xmin,ymax,ymin)、宽w′和高h′为：

作为本发明进一步改进的，步骤1.2中，使用比例因子s约束目标影像d的大小，使目标影像d和原始影像s之间大小一致；

其中w为原始倾斜影像s的宽度。

作为本发明进一步改进的，步骤1.3中，每一个空白目标影像d的像素点(x′,y)′，由公式(5)获得，它对应着物方点坐标(x,y,z)，利用共线方程(6)将物方点(x,y,z)反投影至原始倾斜影像s上像素点(x,y)；

作为本发明进一步改进的，步骤1.3中，采用双线性内插法计算目标影像d像素点(x′,y′)的灰度值：

g′(x′,y′)＝g(x,y)＝(1-i)*(1-j)*g(x-i,y-j)

+(1-i)*j*g(x-i,y-j+1)

+i*(1-j)*g(x-i+1,y-j)

+i*j*g(x-i+1,y-j+1)(7)

其中g′为目标影像d对应的灰度值，g为原始倾斜影像s对应的灰度值，i，j分别为像点横纵坐标的小数部分。

作为本发明进一步改进的，步骤1.3中灰度填充法具体操作如下：

从左至右，从上至下逐像素遍历目标影像d，对于空白目标影像d的每个像素点(x′,y′)，通过反投影获得它在原始倾斜影像s上的像平面坐标(x,y),并通过灰度内插获得(x,y)点的灰度值，作为目标影像d上像素点(x′,y′)的灰度值。

作为本发明进一步改进的，步骤2和步骤3中，用四边形abcd和透视投影影像d的面积比作为影像对之间的重叠度，如果重叠度大于阈值，则对影像对的重叠区域执行匹配，否则认为影像对间不存在匹配点，不对影像对进行匹配。

本发明的一种基于平面透视投影的倾斜影像匹配方法与现有技术相比，所产生的有益效果是，

本发明的技术方案是将原始的倾斜影像进行透视投影到一个平面上，对经过透视投影的影像进行匹配，获取匹配结果。相对于asift算法对影像先进行仿射变换再进行匹配的方式，本发明经过透视变换，使得影像对之间的几何差异更小，相似特征更加明显，更容易匹配。

附图说明

附图1为本发明采用的流程图。

附图2为影像平面透视投影示意图。

附图3为利用f矩阵剔除影像匹配点对粗差流程图。

附图4为平面透视投影前后对比图。

具体实施方式

为了更好的理解本发明的技术方案，下面结合附图1-4对本发明做进一步的详细说明。

本发明的实施例对三对倾斜航空影像进行匹配。参照图1，本发明实施例流程的步骤如下：

步骤1，对待匹配影像对中的每一张影像进行平面透视投影。利用原始倾斜影像s的外方位元素和内方位元素，将原始倾斜影像s通过透视投影到测区内的平均高程面hm上，获得近似的正射影像，作为平面透视投影之后的目标影像d。

实施例的步骤1中平面透视投影具体实现步骤如下：

步骤1.1，按照公式(1)将原始倾斜影像s的四个角点(xi,yi)(其中i＝0,1,2,3)，通过透视投影投影至目标影像d上的物方点(xi，yi，hm)(其中i＝0,1,2,3)，(xi,yi)对应目标影像d上的四个角点(x′i,y′i)(其中i＝0,1,2,3)。

其中，f为焦距，a1、a2、a3、b1、b2、b3、c1、c2、c3为旋转矩阵的元素，xs、ys、zs为摄影中心坐标。

步骤1.2，利用目标影像四个角点(x′i,y′i)，根据公式(2)和公式(3)分别确定目标影像d的边界，以及目标影像d的宽w′和高h′

建立w′×h′的空白目标影像d，并使用比例因子s约束目标影像d的大小，使目标影像d和原始影像s之间大小一致。

其中w为原始倾斜影像的宽度。

步骤1.3，灰度填充法填充目标影像d。从左至右，从上至下逐像素遍历目标影像d，对于空白目标影像d的每个像素点(x′,y′)，根据公式(5)获得它对应的物方点坐标(x,y,z)。

利用将物方点坐标(x,y,z)通过共线方程(6)反投影到原始影像s上，对应点(x,y)。

对原始影像s上的点(x,y)，按照公式(7)进行灰度内插，获得灰度值g(x,y)。将点(x,y)处的灰度值g(x,y)，作为目标影像d上点(x′,y′)处的灰度值g′(x′,y′)。

g′(x′,y′)＝g(x,y)＝(1-i)*(1-j)*g(x-i,y-j)

+(1-i)*j*g(x-i,y-j+1)

+i*(1-j)*g(x-i+1,y-j)

+i*j*g(x-i+1,y-j+1)(7)

其中g′为目标影像d对应的灰度值，g为原始倾斜影像s对应的灰度值，i，j分别为像点横纵坐标的小数部分。

步骤2，获取目标影像对之间的重叠区域，作为待匹配区域。对通过步骤1获得的目标影像对，通过多边形求交运算求得目标影像对之间的重叠区域，如图2所示的四边形abcd。

分别计算四边形abcd和目标影像对中每一张影像的面积比，取其中较小者作为重叠度。如果重叠度大于阈值10％，则将四边形abcd作为待匹配区域，对影像对的重叠区域abcd执行匹配，否则认为影像对间没有匹配点，不对影像对进行匹配。

步骤3，采用sift算法对目标影像对进行匹配，使用左右一致性检验、唯一性约束等对粗差点进行剔除，获得粗匹配结果。

对于粗匹配结果，参照图3，用八点法并结合ransac算法计算影像对之间的基础矩阵，根据基础矩阵剔除粗差点，设置粗差剔除距离阈值为16.0，内点比率阈值为95％。

对经过基础矩阵粗差剔除的匹配结果，计算影像对之间的单应矩阵，利用单应矩阵对匹配结果进行筛选，设置单应矩阵的粗差剔除阈值为50.0，内点比率阈值为95％。

步骤4，将步骤3获得的目标影像对上的匹配点对，按照公式(5)将其转换为物方点坐标，再按照公式(6)将其反投影至原始倾斜影像对上，作为最终匹配结果。

以下通过实验来验证本发明的有效性：

实验采用三对倾斜航空影像，影像尺寸均为4912×7360像素，影像内外方位元素准确。

评价指标：对匹配点对个数、正确率、耗时三项指标进行评价，并和asift算法进行对比。匹配点对的正确率指正确匹配点对数量与匹配点对总量的比值，通过人工检查的方法逐对检查匹配点对是否正确。

实验结果：根据评价指标，实验数据如下表所示：

表1实验结果统计表

从表1可以看出，对于同一对影像，平面透视投影匹配方法获得的匹配点数多于asift算法，耗时远远低于asift算法，两种算法获得的匹配点对正确率都很高，能够达到98％以上。对于不同的影像对匹配，平面透视投影匹配方法的稳定性较高，匹配点对数量能够得到保证，而asift算法获得的匹配点对数量变化幅度较很大。较常用的asift算法，基于平面透视投影的匹配方法无论在匹配点数量、准确率还是匹配耗时上都占优势。

综上所示，本发明提出的基于平面透视投影的倾斜影像匹配方法，在对影像进行平面透视投影变换的基础上，利用sift算法进行匹配，减小了倾斜影像之间的几何差异，提高了匹配效果。