本发明涉及测绘科学技术领域，尤其涉及一种尺度不变性的倾斜影像多视密集匹配方法。
背景技术：
在传统航空摄影测量中，生产的dem/dsm等产品是2.5维的，无法表达建筑物侧面等位置的信息。随着数字城市、智慧城市等应用领域对高精度城市三维模型的需求日益增强，倾斜摄影技术得到迅速的发展。
倾斜摄影，是在传统垂直航空摄影的基础上增加斜视方向上的相机设备，最常见的为五镜头相机系统，即朝前、后、左、右及下视同时拍摄。倾斜摄影的侧视相机能够获得传统垂直航空摄影所很难拍摄到的建筑物侧面等信息，方便了构建高精度、逼真的三维城市模型。影像密集匹配是根据立体视觉原理，对影像的每一个像素在其他影像上寻找同名像点并计算出物方三维点云的过程，是城市三维建模的关键步骤之一。但与传统的下视影像相比，倾斜影像存在比例尺差异大、视角差异大、遮挡区域大量存在等问题，给倾斜影像密集匹配造成了很大的困难。
技术实现要素：
本发明的目的是提供一种尺度不变性的倾斜影像多视密集匹配方法，克服倾斜影像因比例尺差异大、视角差异大、遮挡区域大量存在等问题对密集匹配造成的困难，可应用于高精度城市三维建模。
本发明的目的是通过以下技术方案实现的：
一种尺度不变性的倾斜影像多视密集匹配方法，包括：
采用金字塔匹配的策略，上层金字塔的匹配结果传入下层金字塔用以匹配约束；
在参考影像深度图初始化阶段，利用预先获取的空三连接点或者上层金字塔匹配获得的深度图来初始化参考影像深度图；
在参考影像像点匹配阶段，先根据参考影像初始深度图，计算参考影像上所选定像点的初始物方点，从而获得初始物方点在第一张目标影像上的反投影像点，进而计算第一张目标影像上的候选匹配点；再利用候选匹配点计算新的物方点，进而利用其他目标影像对候选匹配点进行验证，如果验证成功，则更新对应的物方点；重复以上匹配过程，直至参考影像所有像点均匹配完成，输出匹配结果；
如果当前为最底层金字塔，则匹配完毕；否则，将匹配结果传递至下层金字塔。
由上述本发明提供的技术方案可以看出，采用先提取候选匹配点、再进行候选匹配点验证的路线，结合左右双向匹配、金字塔等策略，保证了匹配点的可靠性。匹配窗口沿核线进行重采样，解决了倾斜影像视角变化问题。在沿核线采样匹配窗口时，结合当前影像对物方点的地面分辨率，对采样窗口进行缩放调整，解决了倾斜影像尺度差异问题。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
图1为本发明实施例提供的一种尺度不变性的倾斜影像多视密集匹配方法的流程图；
图2为本发明实施例提供的一种尺度不变性的倾斜影像多视密集匹配方法的示意图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。
本发明实施例提供一种尺度不变性的倾斜影像多视密集匹配方法，如图1所示，该方法采用金字塔匹配的策略，上层金字塔的匹配结果传入下层金字塔用以匹配约束，本发明实施例中，金字塔层数可设为3层，该方法主要包括如下步骤：
步骤1、数据获取。
所获取的数据包括倾斜摄影影像，以及对应的影像内外方位元素与空三连接点；其中：
所述倾斜摄影影像包含一张参考影像与若干目标影像，目标影像按与参考影像的重叠度由高到低排序(目标影像的数量应不少于两张，同时基于匹配效率考虑，目标影像的数量应取一定上限值，如8张)；
影像内方位元素包括相机焦距，外方位元素包括旋转矩阵和线元素。
步骤2、参考影像深度图初始化
本发明实施例中，在参考影像深度图初始化阶段，利用预先获取的空三连接点或者上层金字塔匹配获得的深度图来初始化参考影像深度图；具体来说，若当前为最上层金字塔则利用预先获取的空三连接点初始化参考影像深度图；若当前不为最上层金字塔，则利用上层金字塔获得的匹配结果来初始化参考影像深度图。
利用空三连接点初始化参考影像深度图的步骤如下：
在空三连接点中，搜索出所有对参考影像可见的连接点(即连接点的一个像点位于参考影像上)，计算出每个可见的连接点到参考影像摄影中心间的距离作为相应可见的连接点的深度值，再根据这些可见的连接点的像方坐标值构建参考影像上的delaunay三角网，并从delaunay三角网中内插获得参考影像上每一个像素的深度值，以此构成参考影像初始深度图。
利用上层金字塔获得的匹配结果初始化参考影像深度图的方法与上述相同，匹配结果是指物方点与其在多张目标影像上的同名像点。
步骤3、参考影像像点匹配。
本发明实施例中，在参考影像像点匹配阶段，可以对参考影像逐像点、或每隔一定间距取一个像点进行匹配。
1)根据参考影像初始深度图，计算参考影像上所选定像点的初始物方点，从而获得初始物方点在第一张目标影像上的反投影像点，进而计算第一张目标影像上的候选匹配点，主要过程如下：
对参考影像ia上的一个像点ia，在参考影像初始深度图上获取初始深度值d，并按以下公式计算其对应的初始物方点pa的物方三维坐标；
其中，(x,y,z)为初始物方点pa的物方三维坐标，(x,y)为像点ia的像方坐标，f为相机焦距，r为影像外方位元素中的旋转矩阵，(xs,ys,zs)为影像外方位元素中的线元素；
将初始物方点pa反投影至第一张目标影像ib，获得反投影像点ib1；
以反投影像点ib1为中心，沿核线在第一张目标影像ib上重采样获得条带状的搜索窗口(如图2中条纹填充的矩形所示)，并在参考影像ia上以像点ia为中心沿核线重采样获得源窗口；其中，在沿核线重采样搜索窗口时，结合像点ia的地面分辨率ria与像点ib1的地面分辨率rib1，对搜索窗口进行了倍数为ria/rib1的缩放；
以像点ia的地面分辨率ria为例，ria的计算公式如下：
采用相关系数法在搜索窗口中计算与源窗口相关系数值最大且大于阈值(例如，可以设为0.7)的位置点ib2；然后进行反向匹配，以位置点ib2为中心在第一张目标影像ib上沿核线取匹配窗口，在参考影像ia上以像点ia为中心沿核线取搜索窗口(图2中网格填充的矩形所示)，采用相关系数匹配获得位置点ib2在参考影像ia搜索区内相关系数最大的位置点，并计算相关系数最大的位置点与像点ia的距离；如果二者之间距离小于一个像素，则认为位置点ib2为ia的候选匹配点；否则，认为候选匹配点计算失败；
采用上述方式，继续计算其余像点的候选匹配点。
2)利用候选匹配点计算新的物方点，进而利用其他目标影像对候选匹配点进行验证。
本领域技术人员可以理解，第一张目标影像ib上的候选匹配点ib2也是像点ia的同名像点，但是，并不一定准确，所以需要结合其他目标影像进行验证；主要过程如下：
结合候选匹配点ib2，利用前方交会原理计算新的物方点oa；
对于其他目标影像，依次将新的物方点oa反投影至相应的目标影像上，获得相应的反投影像点；
如图2所示，目标影像ic上的反投影像点记为ic1，分别以参考影像ia上像点ia及反投影像点ic1为中心对应的在参考影像ia和目标影像ic上沿核线采样源窗口和搜索窗口；在搜索窗口中计算与源窗口相关系数值最大的位置点ic2，如果相关系数大于阈值，则认为位置点ic2为像点ia的同名像点；剩余的目标影像也采用相同的方式进行处理；
如果在其他影像上成功匹配到至少n个同名像点，则认为候选匹配点ib2验证成功；其作为像点ia在第一张目标影像ib上的同名像点，之后，利用所有同名像点采用多视前方交会更新对应的物方点。
本发明实施例中，可以设定n＝1，也即在除去第一张目标影像ib外的其他影像上成功匹配到一个同名像点则认为候选匹配点ib2验证成功。以上面的内容为例，当n＝1时，如果位置点ic2为像点ia的同名像点，则候选匹配点ib2验证成功，ib2与ic2都是像点ia的同名像点；如果剩余的目标影像也计算到相应的同名像点，则利用所有同名像点采用多视前方交会更新对应的物方点。
本发明实施例中，图2所示的示例中，对于参考影像，由于选择的目标影像都是其邻近的影像，因此参考影像位于中心，目标影像在周围均匀分布；但是，本领域技术人员可以理解，目标影像之间的空间关系由前文中提到的外方位元素决定，匹配时利用的核线关系即由此计算。
3)重复以上匹配过程1)-2)，直至参考影像所有像点均匹配完成，输出匹配结果(即所有同名像点及其对应的物方点)。
步骤4、如果当前为最底层金字塔，则匹配完毕；否则，将匹配结果传递至下层金字塔(用于初始化下层金字塔的参考影像深度图)。
本发明实施例中，匹配后用匹配结果重新计算的参考图像的深度图较步骤2中初始深度图更为准确。
本领域技术人员可以理解，上述步骤中所涉及的“阈值”与“设定值”的具体取值可以由相关技术人员根据实际情况或者经验来设定。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，上述实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是cd-rom，u盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。