物方信息约束的多视影像双向匹配策略的制作方法
【专利摘要】本发明公开了一种物方信息约束的多视影像双向匹配策略。根据影像的成像模型和输入的地面物方信息，先进行物方信息约束的多视影像正向匹配，以利用多视影像之间的信息冗余性提高匹配相似性测度计算的可靠性；然后，对多视影像正向匹配结果进行多个单立体影像的反向匹配，以有效地消除正向匹配结果中的许多误匹配点，提高多视影像匹配结果的准确性。本发明的匹配策略中各待匹配点的匹配过程互不影响，是一种并行匹配策略，非常有利于大量待匹配点的高效并行匹配。根据本发明的方法可有效地提高多视影像密集匹配的运行效率和结果可靠度，解决了先单立体影像匹配再多个匹配结果融合的传统多视影像匹配方法中效率低下和误匹配点过多的问题。
【专利说明】物方信息约束的多视影像双向匹配策略【技术领域】[0001]本发明属于摄影测量、计算机视觉和地理信息系统领域，涉及多视影像匹配过程中的搜索范围确定、匹配传播与误匹配结果的消除等方面。【背景技术】[0002]影像匹配是众多基于数字影像进行信息提取工作的关键技术，例如，遥感影像变化检测、多源影像融合、数字摄影测量、飞行器实时导航、导弹精确制导、图像数据库检索、 基于影像的三维重建、目标识别与跟踪，等等，自动、准确的影像匹配是后续信息自动、高效、准确提取的重要前提和保障。影像匹配的目的是在变换空间中寻找一种或多种变换， 使来自不同时间、不同传感器和不同视角下的同一场景的两幅或多幅影像在空间上进行对准，或者根据一幅影像中已知的模式(点、线、面或模板影像)，在另一幅或多幅影像中找到相对应的模式。[0003]随着传感器技术的发展，获取具有大重叠度的序列数字影像变得越来越容易，而且传统的双像立体影像匹配方法在影像纹理重叠、遮挡等区域存在匹配可靠度不高的问题。因此，序列影像的多视影像匹配方法的研究得到越来越多的重视。不论是双像立体影像匹配还是多视影像匹配，其中有两个基本问题需要解决:一是匹配相似性测度如何计算， 另一个是同名点搜索范围如何确定。匹配测度是判断两个像点是否为同名像点的依据，影响着匹配的稳健性和准确率；搜索范围决定了候选同名像点的数量，影响着匹配的效率和可靠性。只有很好地解决了这两个问题，才能取得高效、可靠的影像匹配结果。[0004]现有的多视影像匹配方法在搜索候选同名像点时主要采用如下两种策略:基于物方信息的物方搜索和基于像方信息的像方搜索。物方搜索策略根据地物点的最大和最小高程范围，以物方高程Z为搜索基准，从最小高程值出发，每次高程增加ΛΖ，在物方空间确定待匹配点物方搜索点的物方高程值Zi=Zmin+iX ΔΖ, i=l, 2，3，……，η，η为搜索次数，进而确定物方搜索点的三维坐标；然后，将物方搜索点投影到各搜索影像上得到像方的搜索点，进而完成待匹配点和搜索点之间相似度的计算和匹配过程的传播。但是△Z取值的大小很难精确确定，无法保证搜索点一定经过待匹配点对应的地物点；△ Z取值过大，则会漏掉正确的候选点；ΛΖ取值过小，又要花费太多的计算和搜索时间。像方搜索策略则是先根据待匹配点对应物方搜索点的最大和最小高程值，分别在各搜索影像上确定像方的搜索范围；然后以像方的搜索范围为基础，各搜索影像与基准影像分别完成双像的立体匹配。该策略在各搜索影像上获得的搜索范围并不相同，无法同时利用多幅影像的信息来计算匹配测度， 且本质上仍是多次的立体影像匹配。[0005]因此，目前的多视影像匹配策略中，物方搜索和像方搜索都是单独使用，二者缺乏有效地融合；另外，这些匹配策略中也还缺少匹配结果的准确性验证过程，误匹配点无法得到识别与消除。
【发明内容】
`[0006]本发明的目的在于针对现有多视影像匹配策略中物方像方信息独立使用、匹配结果缺乏有效性验证的不足，提出一种物方信息约束的多视影像双向匹配策略。[0007]物方信息约束的多视影像双向匹配策略包括如下步骤:[0008]步骤一，根据多视影像对应的外方位元素，以及输入的待匹配区域的最大、最小地面高程，确定基准影像上待匹配点对应地物点在物方摄影光线上搜索区间的两个端点的物方三维坐标；[0009]步骤二，将待匹配点在物方的两个搜索端点往各幅搜索影像上投影，得到各搜索影像上同名像点所在搜索核线的两个端点的像方二维坐标，基于此进行物方信息约束的多视影像正向匹配，从而确定待匹配点在各搜索影像上的同名像点；[0010]步骤三，将各搜索影像和基准影像组成多个立体像对，以各搜索影像上的同名像点为待匹配点，进行物方信息约束的反向立体影像匹配，再根据多个立体像对的反向匹配结果，对多视影像正向匹配结果进行一致性验证，从而得到最终的同名像点集合。[0011 ] 所述步骤一具体包括:[0012](I)输入具有重叠度的η幅序列航空、航天或近景摄影影像，其对应的外方位元素，及待匹配区域的最大地面高程Zmax和最小地面高程Zmin ；[0013](2)根据影像的成像模型，利用基准影像上待匹配点P的像平面坐标、输入的最大和最小地面高程，计算待匹配点对应地物点在物方摄影光线上搜索区间的最高点和最低点的物方三维坐标。[0014]所述步骤二具体包括:[0015](I)根据成像模型，将待匹配点物方的最高点和最低点往η-1幅搜索影像Sp…、 Sj>…、Slri上进行投影，得到各幅搜索影像上的候选同名点搜索核线两个端点的像平面坐标；[0016](2)根据各搜索核线的两个端点的像平面坐标，确定核线的直线方程y=kx+b，以及 X坐标的区间范围[start_Xj, end_Xj], j=l, 2,…，n_l,并以区间长度end_Xj_start_Xj最大的一幅搜索影像为主搜索影像，剩余的n-2幅影像为副搜索影像；[0017](3)从主搜索影像上的像方搜索区间内逐个取出每个像素点作为该影像上的候选同名像点，先利用双像前方交会方法计算候选点对应地物点的物方三维坐标，并将此三维坐标往各幅副搜索影像上进行投影，得到各副搜索影像上的每组η-1个候选同名像点； 然后，再利用基于灰度和SIFT特征的匹配测度计算方法，计算基准影像上待匹配点和每组 η-1个候选同名点的多像匹配相似度，并以最大相似度所对应的那组候选点，作为多像正向匹配过程所获得的待匹配点在η-1幅搜索影像上的η-1个同名像点q1、q2、…、q11-1。[0018]所述步骤 三具体包括:[0019](I)对于多视影像正向匹配得到的待匹配点在各幅搜索影像上的η-1个同名像点，以每一个同名点为待匹配点，以其所在的搜索影像为左影像、原来的基准影像Itl为右影像，组成多个单立体影像，分别进行η-1次立体影像匹配，以在影像Itl上得到η-1个反向匹配基准点P’P P’2、…、P’n-1;[0020](2)将每一个反向匹配基准点p’ j和原始待匹配点P进行列号较差的计算，如果差值在一定的阈值之内，则认为此反向匹配基准点对应的搜索影像上的同名像点V符合一致性要求，并将该同名像点加入待匹配点的同名像点集合；如果所有反向匹配基准点都和原始待匹配点不一致，则认为原始待匹配点为无效匹配点，其同名像点集合赋空值。[0021]本发明的匹配策略中各待匹配点的匹配过程互不影响，是一种并行匹配策略，非常有利于大量待匹配点的高效并行匹配。本发明的多视影像匹配策略融合使用了待匹配点的物方信息和多视影像的像方信息，匹配搜索范围由物方信息决定，但匹配过程又由像方信息完成，保证了搜索的时间效率和搜索点的有效性；且匹配结果增加了一致性验证的反向匹配过程，可有效地消除误匹配结果，提高多视影像匹配结果的可靠度，解决了先单立体影像匹配再多个匹配结果融合的传统多视影像匹配方法中效率低下和误匹配点过多的问题。【专利附图】
【附图说明】[0022]图1是本发明实施例的方法框架图；[0023]图2是本发明实施例的多视影像匹配的候选同名像点搜索示意图；[0024]图3是本发明实施例的多视影像正向匹配结果的反向一致性验证流程；[0025]图4是本发明实施例的三幅航空影像的传统多像正向匹配结果；[0026]图5是本发明实施例的三幅航空影像的基于物方信息的多像双向匹配策略的匹配结果。
【具体实施方式】
[0027]以下结合具体实施例，并参照附图，对本发明作进一步详细说明。[0028]本发明根据影像的成像模型和输入的地面物方信息，先进行物方信息约束的多视影像正向匹配，以利用多视影像之间的信息冗余性提高匹配相似性测度计算的可靠性；然后，对多视影像正向匹配结果进行多个单立体影像的反向匹配，以有效地消除正向匹配结果中的许多误匹配点，提高多视影像匹配结果的准确性。[0029]如图1所示，物方信息约束的多视影像双向匹配策略包括三部分:(1)确定待匹配点的物方搜索区间；(2)物方信息约束的多视影像正向匹配；(3)多像正向匹配结果的反向一致性验证。具体实施步骤为:[0030]第一步:确定待匹配点的物方搜索区间。[0031](I)输入具有重叠度的η幅序列航空、航天或近景摄影影像，其对应的外方位元素，及待匹配区域的最大地面高程Zmax和最小地面高程Zmin ；[0032](2)根据影像的成像模型，利用基准影像上待匹配点P的像平面坐标、输入的最大和最小地面高程，计算待匹配点对应地物点在物方摄影光线上搜索区间的最高点和最低点的物方三维坐标。[0033]若待匹配点P在基准影像Itl的像平面坐标为(xp，yp)，基准影像的外方位元素为 (為，Ym, Zj0, φ?β, com, _)，则点P在物方摄影光线上搜索区间的最闻点Pmax和最低点Pmin的物方平面坐标(X_，Ymax)、(Xniin, Yniin,)可由Znia和Zniin带入下式计算:
【权利要求】
1. 物方信息约束的多视影像双向匹配策略，其特征在于包括如下步骤:步骤一，根据多视影像对应的外方位元素，以及输入的待匹配区域的最大、最小地面高程，确定基准影像上待匹配点对应地物点在物方摄影光线上搜索区间的两个端点的物方三维坐标；步骤二，将待匹配点在物方的两个搜索端点往各幅搜索影像上投影，得到各搜索影像上同名像点所在搜索核线的两个端点的像方二维坐标，基于此进行物方信息约束的多视影像正向匹配，从而确定待匹配点在各搜索影像上的同名像点；步骤三，将各搜索影像和基准影像组成多个立体像对，以各搜索影像上的同名像点为待匹配点，进行物方信息约束的反向立体影像匹配，再根据多个立体像对的反向匹配结果， 对多视影像正向匹配结果进行一致性验证，从而得到最终的同名像点集合。
2.根据权利要求1所述的物方信息约束的多视影像双向匹配策略，其特征在于，所述步骤一的具体过程为:(1)输入具有重叠度的η幅序列航空、航天或近景摄影影像，其对应的外方位元素，及待匹配区域的最大地面高程Zmax和最小地面高程Zmin ；(2)根据影像的成像模型，利用基准影像上待匹配点P的像平面坐标、输入的最大和最小地面高程，计算待匹配点对应地物点在物方摄影光线上搜索区间的最高点和最低点的物方三维坐标。
3.根据权利要求1所述的物方信息约束的多视影像双向匹配策略，其特征在于，所述步骤二的具体过程为:(1)根据成像模型，将待匹配点物方的最高点和最低点往η-1幅搜索影像S1、…、S」、...、 Slri上进行投影，得到各幅搜索影像上的候选同名点搜索核线两个端点的像平面坐标；(2)根据各搜索核线的两个端点的像平面坐标，确定核线的直线方程y=kx+b，以及X坐标的区间范围[start_Xj, end_Xj], j=l, 2,…，n_l,并以区间长度end_Xj_start_Xj最大的一幅搜索影像为主搜索影像，剩余的n-2幅影像为副搜索影像；(3)从主搜索影像上的像方搜索区间内逐个取出每个像素点作为该影像上的候选同名像点，先利用双像前方交会方法计算候选点对应地物点的物方三维坐标，并将此三维坐标往各幅副搜索影像上进行投影，得到各副搜索影像上的每组η-1个候选同名像点；然后，再利用基于灰度和SIFT特征的匹配测度计算方法，计算基准影像上待匹配点和每组η-1个候选同名点的多像匹配相似度，并以最大相似度所对应的那组候选点，作为多像正向匹配过程所获得的待匹配点在η-1幅搜索影像上的η-1个同名像点q1、q2、…、q1"1。
4.根据权利要求1所述的物方信息约束的多视影像双向匹配策略，其特征在于，所述步骤三的具体过程为:(1)对于多视影像正向匹配得到的待匹配点在各幅搜索影像上的η-1个同名像点，以每一个同名点为待匹配点，以其所在的搜索影像为左影像、原来的基准影像Itl为右影像，组成多个单立体影像，分别进行η-1次立体影像匹配，以在影像Itl上得到η-1个反向匹配基准点 P’P P’2、…、P’n-1;(2)将每一个反向匹配基准点p’j和原始待匹配点P进行列号较差的计算，如果差值在一定的阈值之内，则认为此反向匹配基准点对应的搜索影像上的同名像点V符合一致性要求，并将该同名像点加入待匹配点的同名像点集合；如果所有反向匹配基准点都和原始待匹配点不一致，则认为原 始待匹配点为无效匹配点，其同名像点集合赋空值。
【文档编号】G01C11/04GK103604417SQ201310572332
【公开日】2014年2月26日 申请日期:2013年11月15日 优先权日:2013年11月15日
【发明者】张卡, 盛业华, 闾国年, 刘学军 申请人:南京师范大学