多尺度密集匹配方法和系统与流程

本申请实施方式涉及图像处理技术领域，尤其涉及一种基于面片(patch)匹配的多尺度密集匹配方法和系统。

背景技术：

密集匹配是图像三维重建的核心技术之一。采用该技术时，仅需要图像信息就能实现物体三维点云信息的恢复。该技术已经广泛地被应用在测绘生产、数字城市建模、虚拟现实(virtualreality，vr)、增强现实(augmentedreality，ar)等领域。采用密集匹配技术所产生的点云能与激光点云相媲美，且具有价格低、密度高的特点。

该技术还在大规模场景建模、小物体建模等许多领域有着广泛的应用。在大场景重建领域，密集匹配是算法过程中最耗时的过程。常用的算法有基于双目视觉的密集匹配和基于多视觉的密集匹配，其中基于双目视觉的密集匹配的效率较高，然而因为没有同时考虑多张影像，其鲁棒性和精度相对较低，例如基于半全局的匹配(semi-globalmatching，sgm)算法；基于多视觉的密集匹配的算法计算量大，很多算法并不适应并行、且需要较大内存进行运算，例如基于面片的三维多视角立体视觉(patch-basedmulti-viewstereo，pmvs)算法。

以上的因素都制约着密集匹配技术的实际应用范围，特别是对于大场景的重建，需要一种适合并行、鲁棒性好、内存要求低、且精度高的算法。

技术实现要素：

有鉴于现有技术中鲁棒性低、精度低、算法计算量大、不适应并行、内存要求高等技术问题，本申请提供一种基于面片匹配的多尺度密集匹配方法和系统，提高了精度、降低了内存需求、提高了效率。

本申请解决上述技术问题所采用的技术方案如下：

本申请的一个或者多个实施例公开了一种多尺度密集匹配方法，包括：

对多幅影像分别构建影像金字塔，并计算每一幅该影像的相关匹配影像集，其中每个该影像金字塔有第0到第n-1层，每一层对应于一个尺度；

分别构建每一幅该影像的深度范围；

依序从每个该影像金字塔的第n-1层开始计算该层的深度图、法向量图和可见性图，而后转换到每个该影像金字塔的下一层，并以每个该影像金字塔的上一层的深度图、法向量图和可见性图作为该层的算法的初始值，计算该层的深度图、法向量图和可见性图，直到转换到每个该影像金字塔的第0层；以及

根据所有该影像金字塔的第0层的深度图、法向量图和可见性图进行深度图融合，以生成点云。

本申请的一个或者多个实施例中，所述方法中对多幅影像分别构建影像金字塔，并计算每一幅该影像的相关匹配影像集具体包括：

以当前的该影像作为该参考影像；

根据空中三角测量的结果所产生的稀疏点云的可见性信息构建该参考影像相关的影像集；统计与该参考影像同时可见的每一幅相关影像的可见点，将该可见点投影到参考影像上并构建二维三角网，并统计出三角网总面积；以及

根据该面积将参考影像相关的影像集中的影像降序排序，并选择其中的前n张作为该参考影像的该相关匹配影像集。

本申请的一个或者多个实施例中，所述方法中构建每一幅参考影像的深度范围具体包括：根据该参考影像的可见点云来计算点云在该参考影像中的深度值，统计出该深度范围，并将得到的深度范围扩大10％得到最终的该深度范围。

本申请的一个或者多个实施例中，所述方法中依序从每个该影像金字塔的第n-1层分别计算该层的深度图、法向量图和可见性图，而后转换到每个该影像金字塔的下一层，并以每个该影像金字塔的上一层的深度图、法向量图和可见性图作为该层的算法的初始值，计算该层的深度图、法向量图和可见性图，直到转换到每个该影像金字塔的第0层具体包括：

依序从每个该影像金字塔的第n-1层分别计算该层的深度图、法向量图和可见性图；

以该相关匹配影像集中的每一幅该影像作为待匹配影像，对该参考影像作深度扫描优化；以及

而后转换到每个该影像金字塔的下一层，并以每个该影像金字塔的上一层的深度图、法向量图和可见性图作为该层的算法的初始值，计算该层的深度图、法向量图和可见性图，直到转换到每个该影像金字塔的第0层。

本申请的一个或者多个实施例中，所述方法中深度融合的过程中考虑投影误差、法向量误差和可见性信息。

本申请的一个或者多个实施例还公开了一种多尺度密集匹配系统，所述多尺度密集匹配系统包括处理器和存储器，该存储器中存储有多尺度密集匹配单元，其特征在于，该多尺度密集匹配单元实现上述的多尺度密集匹配方法。

本申请提供一种基于面片匹配的多尺度密集匹配方法和系统，采用深度融合框架进行密集匹配，同时考虑深度信息、法向量信息和可见性信息，并结合光学一致性和几何一致性约束，从而提高了精度，并且采用多尺度的策略，降低了内存需求、提高了效率。

附图说明

一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。

图1是本申请多尺度密集匹配方法的实施例的流程图；

图2是图1的多尺度密集匹配方法的步骤30的具体实施例的流程图；

图3是本申请多尺度密集匹配系统的实施例的结构框图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。

除非另有定义，本说明书所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本说明书中在本申请的说明书中所使用的术语只是为了描述具体的实施方式的目的，不是用于限制本申请。本说明书所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。

此外，下面所描述的本申请各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

以下通过附图和具体实施方式对本申请做进一步详细说明。

为了便于理解本申请，下面结合附图和具体实施方式，对本申请进行更详细的说明。除非另有定义，本说明书所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本说明书中在本申请的说明书中所使用的术语只是为了描述具体的实施方式的目的，不是用于限制本申请。

图1是本申请多尺度密集匹配方法的实施例的流程图。如图1所示，本申请实施例提供了一种多尺度密集匹配方法，包括：

步骤s10：对多幅影像g(图未示)分别构建影像金字塔p(图未示)，并计算每一幅影像g的相关匹配影像集vm(图未示)。

每幅影像g对应于一个影像金字塔p。影像金字塔p有n层(从第0层到第n-1层，其中n为整数)，每一层对应于一个“尺度”(或称“分辨率”，其中第0层对应于原始影像的分辨率)。在本申请的一个实施例中，步骤s10具体包括：

以当前的图像g作为参考影像r(图未示)；

根据空中三角测量(空三)的结果所产生的稀疏点云的可见性v(图未示)信息构建参考影像r相关的影像集，统计与参考影像r同时可见的每一幅相关影像的可见点，将该可见点投影到参考影像r上并构建二维三角网，并统计出三角网总面积；以及

将参考影像r相关的影像集中的影像按照统计出的面积降序排序，并选择其中的前n(图未示)张作为参考影像r的相关匹配影像集vm。

步骤s20：分别构建每一幅影像g的深度范围dr(图未示)。

在本申请的一个实施例中，步骤s20具体包括：根据参考影像r的可见点云来计算点云在参考影像r中的深度值，统计出深度范围，并将得到的深度范围扩大10％得到最终的深度范围dr。

步骤s30：依序从每个影像金字塔p的第n-1层开始计算该层的深度图fd(图未示)、法向量图fn(图未示)和可见性图fv(图未示)。

深度图fd中存储每一个像素的深度信息，法向量图fn中存储每个一像素的法向量，可见性图fv中存储每个一像素在相关匹配影像集vm中的可见性概率pv(图未示)。步骤s30为深度优化的过程。图2是图1的多尺度密集匹配方法的步骤30的具体实施例的流程图。如图2所示，步骤s30具体包括：

步骤s31：依序从每个影像金字塔p的第n-1层开始计算该层的深度图fd、法向量图fn和可见性图fv。。

在本申请的一个实施例中，如果当前是在影像金字塔p的第n-1层，则深度图、法向量图和可见性图的初始值按照以下方法计算：根据深度范围dr采用随机数填充参考影像r对应的深度图fd和法向量图fn、并配置可见性图fv的值为0.5。若当前是其他层，则将在上一层产生的深度图fd、法向量图fn和可见性图fv作为当前层的初始值。

步骤s32：以相关匹配影像集vm中的每一幅影像g作为待匹配影像，对参考影像r作深度扫描优化。

在本申请的一个实施例中，扫描的过程只考虑当前扫描方向的前一像素的影响。扫描的顺序为从上至下、从左到右、从下至上、从右至左，扫描4次记为一次迭代，一共可以进行5次迭代。每次扫描的初始值为上次扫描的结果，每次扫描的过程中采用期望最大(expectationmaximization，em)算法来优化深度d、法向量n和可见性v。

根据计算得到的每一像素的可见性概率pv来计算该像素采样图像集s(图未示)，其中采样图像集s为相关匹配影像集vm的子集，为相关匹配影像集vm中满足可见性概率pv高于某一个阈值的图像的集合。根据以下公式计算每一像素对应的深度d和法向量n：

其中，ρ^m为深度d、法向量n的情况下对应的影像m(图未示)的归一化积匹配代价(normalizedcrosscorrelation，ncc)的值，其计算方式为：将参考影像r中的匹配窗口通过深度d和法向量n反投影到匹配影像m上，并计算得到。

此时，如果当前是在影像金字塔p的第0层，且为迭代的最后一次，则考虑几何信息。根据深度d和法向量n，某一像素px由参考影像r投影到匹配影像m后反投影到参考影像r中的像素py，假设投影误差为ep＝|px-py|，使用下列公式：

其中，η为权值，emax为误差阈值，通常η可以取0.5，emax可以取3像素。公式(2)考虑了物体的几何信息，能大幅度提高最终点云精度。

根据得到的深度d和法向量n，使用置信度传播(beliefpropagation)算法扫描计算可见性概率pv。其中，向前、向后的消息分别为α(zl)和β(zl)：

其中，其中l表示当前扫描的像素，l-1和l+1分别表示当前扫描线上的前一像素和下一像素。p(xl|zl，dl，nl)以下面的似然函数计算：

其中，p(zl|zl-1)为变换概率。

其中，z为是否可见的概率阈值，n为常数，a为归一化系数。

最终可见性概率p(z)为：

整体优化过程包括三个迭代进行的步骤：

计算最终可见性概率p(z)；

估计深度d和法向量n；以及

重新计算α(zl)和β(zl)。

最终得到当前层的深度图fd、法向量图fn和可见性图fv。

步骤s40：转换到每个影像金字塔p的下一层，如果是每个影像金字塔p的第0层则执行步骤s50，否则以每个影像金字塔p的上一层的深度图、法向量图和可见性图作为该层的算法的初始值，计算该层的深度图、法向量图和可见性图，而后重复执行步骤s40。

重复执行步骤s40，直到每个影像金字塔p的第0层。最终得到所有影像的深度图fd、法向量图fn和可见性图fv。

由影像金字塔p的上层转换到下层时，深度d、法向量n和可见性v可由影像金字塔p的上层得到。当影像分辨率增大的情况下，内存需求升高、计算量也加大，因此可在低分辨率的影像中选取较多的相关匹配影像集vm。随着分辨率的增加，可以对影像进行分块处理，每一块根据可见性v统计其相关匹配影像集vm中可见性v大于一定概率的可见性直方图，选择前h(图未示)个出现最多的影像作为新的相关匹配影像集vm(其中h<s)，从而降低相关匹配影像的数量，以提高效率、降低内存需求、并保持合理的可见性信息。另外，随着分辨率的增大，因为初始的深度d、法向量n和可见性v是由上层的影像传递过来，具有较可靠的初值，所以可以减少迭代次数，进一步减少运算时间。在深度优化的过程中，只考虑扫描线内的关系(前一个像素)，因此非常适合图形处理器(graphicsprocessingunit，gpu)的加速计算。

步骤s50：根据所有影像金字塔p的第0层的深度图fd、法向量图fn和可见性图fv进行深度图融合，以生成点云c(图未示)。

在步骤s50的融合过程中，考虑投影误差ep(图未示)、法向量误差en(图未示)和可见性信息。其中投影误差ep与步骤s32中的含义相同，法向量误差en为法向量之间的夹角。根据可见性信息选择大于一定概率的像素进行融合，并去掉投影误差ep和法向量误差en较大(大于一定阈值)的像素。最终的深度为所有融合的像素的深度的中值。为了增加鲁棒性，在融合过程中只保留那些重叠度大于3度的点作为最终的点云c。此外，为了进一步提高效率，可以标记每个像素的深度只融合一次，以实现线性的计算时间。

本申请基于面片匹配，采用深度融合框架进行密集匹配，由于大部分时间的用来计算深度图，算法的计算时间与影像数量呈现线性关系，所以特别适合大场景重建。此外还考虑了多尺度信息，高分辨率下的初始值由低分辨率的计算结果导入，从而降低了内存需求和计算量。此外，算法充分考虑了匹配光照信息和几何信息(投影误差ep和法向量误差en)，同时考虑了影像的可见性信息，因此可获得较高的匹配精度。在高分辨率的影像上可通过分块筛选可见性信来降低匹配图像的数量，从而提高匹配速度。

图3是本申请多尺度密集匹配系统的实施例的结构框图。如图2所示，本申请实施例提供了一种多尺度密集匹配系统100。

在本申请的一个实施例中，多尺度密集匹配系统100是一种计算设备(例如服务器、电脑和移动智能终端)。多尺度密集匹配系统100包括处理器110和存储器120，存储器120中存储有多尺度密集匹配单元121。处理器110是一种集成电路芯片，例如微处理器(centralprocessingunit,cpu)、数字信号处理器(digitalsignalprocessor,dsp)、专用集成电路(applicationspecificintegratedcircuit,asic)、现成可编程门阵列(field-programmablegatearray,fpga)或其他可编程逻辑器件，用来执行存储器120中所存储的计算机程序。多尺度密集匹配单元121包括用来实现图1所示的多尺度密集匹配方法的计算机程序。

本申请实施例的多尺度密集匹配系统与上述多尺度密集匹配方法实施例基于相同的发明构思，系统的一些具体技术特征可参照方法实施例，在此不再详述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。