深度图像融合方法及系统与流程

本发明涉及图像和几何数据处理技术领域，特别涉及一种深度图像融合方法及系统。

背景技术：

在三维扫描仪中，数据后处理至关重要，数据后处理技术主要包括深度图像(也称有序点云)的匹配和融合。

深度图像匹配的方法一般都是通过迭代最近点(iterativeclosestpoints，icp)算法得到。在进行icp时，需要为数据提供初始位置信息。初始位置信息可以通过在物体表面贴标志点得到，或者根据物体表面曲率信息匹配得到，或者用户手工选取得到。icp在深度图注册方面已经非常通用，而且已经达到很好的效果。

多视点深度图像融合是三维数据后处理的关键技术，深度图像的数据融合的目的就是要去除冗余数据,生成物体的完整三维图像和几何模型。具体来讲，就是通过深度图像匹配可以得到不同视点深度图像之间的变换关系，但是将这些深度图像变换到同一坐标系后，各深度图像之间往往存在重叠区域，因此必须将它们融合成一个完整的、无冗余的、带有几何和拓扑结构的曲面表达。现有的深度图像融合采用以下两种方法：

方法1，将深度图像转化为距离场(隐函数的)形式，如果有多个深度图像重叠时只需将距离场叠加；最后再采用marchingcube(移动立方体算法)提取距离场的等值面。首先，该方法采用场，由于场非常耗费内存，因而重建物体的大小非常受到挑战；此外，重新提取等值面，需要对所有点都重新采样，不能忠实于原始数据。

方法2，将深度图转化为单幅点云，再将单幅点云合成整体点云。在同个位置会有多个角度的深度图像同时被拍到，从而会产生很多重叠数据，重叠数据通常在点云表面用圆柱面采样，圆柱的中心轴平行点的法向，半径的选择通常为深度图像的点间距，最后再采用三角剖分算法处理生成网格。该方法将深度图像转化为点云，丢失了原始数据的连接关系，在物体表面比较光滑的区域性能良好，而在曲率变化较大和深度值不连续的地方结果不理想。尤其是重新生成点与点之间的拓扑关系和三角化比较困难和费时。

基于此，针对深度图像的融合，目前仍然没有一个能取得很好效果的通用方法。

技术实现要素：

基于以上问题，本发明提供了一种用于将三维扫描仪从多个角度获取的深度图像融合为一个整体的三角网格的方法及系统。该方法利用原始深度图像的拓扑关系，考虑每个深度图像的几何数据，能够快速高效的生成一个没有缝隙完整的网格，其基于原始数据，具有高效高保真的优点。

本发明提供的一种深度图像融合方法，包括以下步骤：

s100、获取待融合的深度图像中的各个顶点的可信度；

s200、根据待融合的深度图像中的各个顶点的可信度，删除待融合的深度图像中的重叠点，得到待融合的深度图像中的各个分区域图像的拓扑信息；

s300、对分区域图像上的顶点进行深度加权处理，得到各个分区域图像的几何信息；

s400、根据分区域图像的拓扑信息和分区域图像的几何信息，对所有的分区域进行缝合，得到完整的三角网格。

作为一种可实施方式，所述步骤s100包括以下步骤：

s110、在待融合的深度图像上建立法向，计算各个顶点的法向；

顶点的法向计算过程如下：

选取顶点p，计算与顶点p相邻的四个面的法向n1、n2、n3和n4，顶点p的法向np为这四个面的求和归一化：

s120、根据各个顶点的法向计算每个顶点的可信度：

公式如下：conf_coef＝q_coef*b_coef；

其中，conf_coef∈[0,1]，b_coef∈[0,1]；

其中i为该点到边界的值，conf_coef为顶点的可信度，q_coef为扫描仪视角与物体表面法向的余弦值，b_coef为图像区域的边界可信度，bw为边界带的宽度，单位为像素，边界带内部值为1。

作为一种可实施方式，所述步骤s200包括以下步骤：

s210、选择待融合的深度图像中的其中一幅深度图像作为基准图像，查找出剩余深度图像上与所述基准图像上的各个顶点相对应的顶点；

s220、根据待融合的深度图像中的各个顶点的可信度，筛选出可信度最高的各个顶点；

s230、删除可信度最高的各个顶点中的重叠点；

s240、根据删除重叠点后的可信度最高的各个顶点，得到各个分区域图像的拓扑信息。

作为一种可实施方式，在所述步骤s230之前还包括以下步骤：

s231、对待融合的深度图像的边界和区域进行优化，恢复小孔和狭长的区域，并删除离散点。

作为一种可实施方式，在所述步骤s231之后还包括以下步骤：

s232、进行去重叠点处理。

本发明还提供了一种深度图像融合系统，包括获取模块、去重叠模块、加权模块以及缝合模块；

所述获取模块，用于获取待融合的深度图像中的各个顶点的可信度；

所述去重叠模块，用于根据待融合的深度图像中的各个顶点的可信度，删除待融合的深度图像中的重叠点，得到待融合的深度图像中的各个分区域图像的拓扑信息；

所述加权模块，用于对分区域图像上的顶点进行深度加权处理，得到各个分区域图像的几何信息；

所述缝合模块，用于根据分区域图像的拓扑信息和分区域图像的几何信息，对所有的分区域进行缝合，得到完整的三角网格。

作为一种可实施方式，所述获取模块包括第一计算单元和第二计算单元；

所述第一计算单元，用于在待融合的深度图像上建立法向，计算各个顶点的法向；

顶点的法向计算过程如下：

选取顶点p，计算与顶点p相邻的四个面的法向n1、n2、n3和n4，顶点p的法向np为这四个面的求和归一化：

所述第二计算单元，用于根据各个顶点的法向计算每个顶点的可信度：

公式如下：conf_coef＝q_coef*b_coef；

其中，conf_coef∈[0,1]，b_coef∈[0，1]；

其中i为该点到边界的值，conf_coef为顶点的可信度，q_coef为扫描仪视角与物体表面法向的余弦值，b_coef为图像区域的边界，bw为边界带的宽度，单位为像素，边界带内部值为1。

作为一种可实施方式，所述去重叠模块包括查找单元、筛选单元、第一删除单元以及获取单元；

所述查找单元，用于选择待融合的深度图像中的其中一幅深度图像作为基准图像，查找出剩余深度图像上与所述基准图像上的各个顶点相对应的顶点；

所述筛选单元，用于根据待融合的深度图像中的各个顶点的可信度，筛选出可信度最高的各个顶点；

所述第一删除单元，用于删除可信度最高的各个顶点中的重叠点；

所述获取单元，用于根据删除重叠点后的可信度最高的各个顶点，得到各个分区域图像的拓扑信息。

作为一种可实施方式，所述去重叠模块还包括优化单元；

所述优化单元，用于对待融合的深度图像的边界和区域进行优化，恢复小孔和狭长的区域，并删除离散点。

作为一种可实施方式，所述去重叠模块还包括第二删除单元；

所述第二删除单元用于在所述优化单元对待融合的深度图像的边界和区域进行优化，恢复小孔和狭长的区域，并删除离散点后，对深度图像进行去重叠点处理。

本发明的有益效果：

本发明将拓扑信息和几何信息分开，在所有原始深度图中选择质量最好的区域作为最终的拓扑信息，对分区域图像上的顶点进行深度加权处理，得到各个分区域图像的几何信息，最后根据已获得的拓扑信息和几何信息，将这些区域缝合在一起，忠实于原始数据，高效高保真。本发明采用深度图像的顶点位置数据进行计算，从而避免采样失真，而且最终融合数据尽可能保持原有的拓扑关系，在曲率变化较大和深度不连续的地方也能保持较好的结果；在匹配时点云分层能取得较好的结果，边界区域平滑过渡；由于保持了原始数据的拓扑关系，因而只有在边界区域才需要重新建立拓扑，所以节约了大量计算时间。

附图说明

图1为本发明实施例一提供的深度图像融合方法的流程图；

图2为本发明一实施例提供的去重叠点之前的深度图像；

图3为本发明一实施例提供的去重叠点之后的深度图像；

图4为本发明一实施例提供的去重叠点之后未进行融合处理的深度图像；

图5为本发明一实施例提供的进行融合处理后的深度图像；

图6为本发明一实施例提供的缝合前的深度图像；

图7为本发明一实施例提供的缝合后的深度图像；

图8为本发明实施例二提供的深度图像融合系统的结构示意图。

具体实施方式

以下结合附图，对本发明上述的和另外的技术特征和优点进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的部分实施例，而不是全部实施例。

参见图1，本发明实施例一提供的深度图像融合方法，包括以下步骤：

s100、获取待融合的深度图像中的各个顶点的可信度；

s200、根据待融合的深度图像中的各个顶点的可信度，删除待融合的深度图像中的重叠点，得到待融合的深度图像中的各个分区域图像的拓扑信息；

s300、对分区域图像上的顶点进行深度加权处理，得到各个分区域图像的几何信息；

s400、根据分区域图像的拓扑信息和分区域图像的几何信息，对所有的分区域进行缝合，得到完整的三角网格。

本发明提出了一种将三维扫描仪从多个角度获取的深度图像融合为一个整体的三角网格的方法，该方法利用原始深度图像的拓扑关系，考虑每个深度图像的几何信息，能够快速高效的生成一个没有缝隙的完整的三角网格。本发明将拓扑信息和几何信息分开，在所有原始深度图中选择质量最好的区域作为最终的拓扑信息，对分区域图像上的顶点进行深度加权处理，得到各个分区域图像的几何信息，最后根据已获得的拓扑信息和几何信息，将这些区域缝合在一起，忠实于原始数据，高效高保真。

本发明采用深度图像的顶点位置数据进行计算，从而避免采样失真，而且最终融合数据尽可能保持原有的拓扑关系，在曲率变化较大和深度不连续的地方也能保持较好的结果；在匹配时点云分层能取得较好的结果，边界区域平滑过渡；由于保持了原始数据的拓扑关系，因而只有在边界区域才需要重新建立拓扑，所以节约了大量计算时间。

具体地，上述步骤s100可以通过以下步骤实现：

s110、在待融合的深度图像上建立法向，计算各个顶点的法向；

顶点的法向计算过程如下：

选取顶点p，计算与顶点p相邻的四个面的法向n1、n2、n3和n4，顶点p的法向np为这四个面的求和归一化：

s120、根据各个顶点的法向计算每个顶点的可信度：

公式如下：conf_coef＝q_coef*b_coef；

其中，conf_coef∈[0,1]，b_coef∈[0,1]；

其中i为该点到边界的值，conf_coef为顶点的可信度，q_coef为扫描仪视角与物体表面法向的余弦值，b_coef为图像区域的边界，bw为边界带的宽度，单位为像素，边界带内部值为1。

此处需要说明的是，计算可信度conf_coef时，需要考虑两个因素，一个是三维重建时重建的质量q_coef,通常为扫描仪视角与物体表面法向的余弦值；另一个因素区域的边界b_coef，因为数据越靠近边界越不可靠。计算时，可以预设一个边界带(宽度为bw个像素)，边界带内部值为1，在边界带上越靠近边界值越小。

上述步骤s200，主要目的是根据每个顶点的可信度删除重叠点，具体可通过以下步骤实现：

s210、依次选择待融合的深度图像中的每一幅深度图像作为基准图像，查找出剩余深度图像上与基准图像上的各个顶点相对应的顶点；

s220、根据待融合的深度图像中的各个顶点的可信度，在待融合的深度图像中筛选出可信度最高的各个顶点；

s230、对可信度最高的各个顶点进行去重叠点处理；

s240、根据去重叠点处理后的可信度最高的各个顶点，得到各个分区域图像的拓扑信息。

具体效果参见图2和图3，图2为8个角度扫描得到的具有重叠数据的图像，即去重叠点之前的深度图像，图3为去重叠点之后的深度图像。

进一步地，在步骤s230之前还包括以下步骤：

s231、对待融合的深度图像的边界和区域进行优化，恢复小孔和狭长的区域，并删除离散点。关于小孔和狭长的区域可以设定某一阈值进行筛选得到，例如，定义长和宽小于某一像素值的图像区域即为小孔或狭长的区域。

更进一步地，在步骤s231后，还包括步骤s232：

s232、进行去重叠点处理。

对待融合的深度图像的边界和区域进行优化，恢复小孔和狭长的区域后有可能会出现新的重叠点，所以进一步进行去重叠点处理，可以彻底删除图像中的重叠点，减小后续的计算量。

作为一种可实施方式，上述步骤s200也可以通过以下步骤实现：

第一步：对于每一个深度图像上的所有点，在其他深度图像中找对应的点；

第二步：对于每个深度图像上的所有点，如果存在置信度比自己高的点，删除自己；

第三步：对于每个深度图像，恢复小孔和狭长区域，并删除离散点(即小区域)；

第四步，对于每个深度图像上的所有点，如果有重叠点，则删除对方点。

本发明在中所述的重叠是指空间位置相同，但属于不同深度上的点。查找重叠点可以采用空间查找信息法，例如八叉树等数据结构实现。

如果直接将分区域重叠后的数据缝合在一起，则来自不同深度图像的区域边缘就会有比较明显的痕迹。这是由于来自不同深度图像的数据不能完全重叠在一起，存在一定的深度误差。为了消除这个痕迹，可以进一步将对几何数据进行筛选融合。参见图4和图5，图4为去重叠点之后未进行融合处理的深度图像，图5为进行融合处理后的深度图像。

对于去完重叠后的深度图的每个顶点，沿着该顶点法线的正负两个方向，找到与其他深度图的交点，计算些交点与该点的距离，该距离带符号，与法向同方向为正，反方向为负。将这些距离沿着法向加权求和，就得到最终的位置。

如果直接把所有交点求和，会出现图4中亮度不均匀的痕迹，造成这个痕迹的问题是一些比较差的点，影响了处理结果。本申请中，选取两个阈值，距离阈值和置信度阈值。如果交点距离大于阈值，就把该交点剔除；如果交点的自信度小于自信度，也把该交点剔除。最终，将剩下的交点沿着法向运用自信度加权求和，得到最终结果。

步骤s400区域缝合的方式可以用常规的三角网格补洞方法，或者选取分区域的边缘顶点，对这些顶点进行三角化，加上原有的三角网格，就可以得到完整的三角网格。参见图6和图7，图6为缝合前的深度图像，图7为缝合后的深度图像。

基于同一发明构思，本申请实施例二还提供了一种深度图像融合系统，该系统与前述方法的发明原理相同，该系统的实施可参照前述方法实现，重复之处不再冗述。

参见图2，本发明实施例二提供的深度图像融合系统，包括获取模块100、去重叠模块200、加权模块300以及缝合模块400；

获取模块100用于获取待融合的深度图像中的各个顶点的可信度；

去重叠模块200用于根据待融合的深度图像中的各个顶点的可信度，删除待融合的深度图像中的重叠点，得到待融合的深度图像中的各个分区域图像的拓扑信息；

加权模块300用于对分区域图像上的顶点进行深度加权处理，得到各个分区域图像的几何信息；

缝合模块400用于根据分区域图像的拓扑信息和分区域图像的几何信息，对所有的分区域进行缝合，得到完整的三角网格。

进一步地，获取模块100包括第一计算单元和第二计算单元；

第一计算单元用于在待融合的深度图像上建立法向，计算各个顶点的法向；

顶点的法向计算过程如下：

选取顶点p，计算与顶点p相邻的四个面的法向n1、n2、n3和n4，顶点p的法向np为这四个面的求和归一化：

第二计算单元用于根据各个顶点的法向计算每个顶点的可信度：

公式如下：conf_coef＝q_coef*b_coef；

其中，conf_coef∈[0,1]，b_coef∈[0,1]；

其中i为该点到边界的值，conf_coef为顶点的可信度，q_coef为扫描仪视角与物体表面法向的余弦值，b_coef为图像区域的边界，bw为边界带的宽度，单位为像素，边界带内部值为1。

进一步地，去重叠模块200包括查找单元、筛选单元、第一删除单元以及获取单元；

查找单元用于选择待融合的深度图像中的其中一幅深度图像作为基准图像，查找出剩余深度图像上与基准图像上的各个顶点相对应的顶点；

筛选单元用于根据待融合的深度图像中的各个顶点的可信度，筛选出可信度最高的各个顶点；

删除单元用于删除可信度最高的各个顶点中的重叠点；

获取单元用于根据删除重叠点后的可信度最高的各个顶点，得到各个分区域图像的拓扑信息。

进一步地，去重叠模块200还包括优化单元；

优化单元用于对待融合的深度图像的边界和区域进行优化，恢复小孔和狭长的区域，并删除离散点。

进一步地，去重叠模块200还包括第二删除单元；

第二删除单元用于在所述优化单元对待融合的深度图像的边界和区域进行优化，恢复小孔和狭长的区域，并删除离散点后，对深度图像进行去重叠点处理。

本发明采用深度图像的顶点位置数据进行计算，从而避免采样失真，而且最终融合数据尽可能保持原有的拓扑关系，在曲率变化较大和深度不连续的地方也能保持较好的结果；在匹配时点云分层能取得较好的结果，边界区域平滑过渡；由于保持了原始数据的拓扑关系，因而只有在边界区域才需要重新建立拓扑，所以节约了大量计算时间。

本发明虽然已以较佳实施例公开如上，但其并不是用来限定本发明，任何本领域技术人员在不脱离本发明的精神和范围内，都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改，因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰，均属于本发明技术方案的保护范围。