基于深度图像的全局自动配准建模方法
【专利摘要】本发明涉及一种基于深度图像的全局自动配准建模方法，所述方法包括：利用三维激光扫描仪采集不同视角的深度图像；深度图像预处理；基于全等三点的邻接深度图像的自动配准；基于全局特征点集的多个深度图像的全局配准；基于转轴估计的配准结果反馈；深度图像的融合等步骤。本发明的优越效果在于，依据边长和角度信息，通过全等三点实现邻接深度图像的自动粗配准，降低了噪声对配准结果的影响。通过选择稳定度高、几何属性稳定的对应点及其对应关系的度量函数，建立了基于全局特征点集的多个深度图像配准的方法，提高了多视深度图像配准的准确性。基于转轴估计的配准结果反馈方法相比较于欧式距离的度量方法，更容易评估配准结果的准确性。
【专利说明】基于深度图像的全局自动配准建模方法
【技术领域】
[0001]本发明涉及计算机图形学、数字几何处理领域，具体涉及一种基于深度图像的全局自动配准建模方法。
【背景技术】
[0002]随着三维数字采集设备的快速发展，三维激光扫描仪或结构光扫描仪等非接触式设备已经被广泛应用于三维数字建模，然而由于扫描设备的视域范围有限，每次采集的深度图像位于不同的局部坐标系下，因此仅通过单次扫描不能实现模型的完整重建，需要通过寻找不同深度图像间重叠区域的对应关系，实现在深度图像重叠区域距离最小的约束下，将不同坐标系下的深度图像变换到统一的全局坐标系下，实现多视数据配准建模，配准的精度直接决定模型重建的质量，较差的配准结果将导致融合后的模型细节变得模糊，错误的配准结果将导致建模失败。多视数据配准的核心是计算多视深度图像间的变换矩阵，通过相邻深度图像间重叠区域的特征间的对应关系，求解深度图像间的变换关系。寻找特征对应和计算变换矩阵是多视深度图像配准的两个难点。目前多视深度图像配准主要研究两个方面的内容:(I)两个深度图像间的配准，计算两个深度图像间准确的变换关系，该问题是多视深度图像配准的基础，保证了多视深度图像配准的正确性。两个深度图像间的配准，根据初始位置是否已知，又分为粗配准和精确配准。粗配准方法主要利用特征不变量计算深度图像的变换矩阵，精确配准是在粗配准的基础上，精确估计深度图像间的旋转和平移矩阵，该方法通过不断迭代，精确估计旋转和平移变换矩阵使得两个深度图像间重叠区域的距离最小。(2)多个深度图像间的配准。在两个深度图像配准的基础上确保配准的误差平均分布在各个深度图像之间，消除累积误差。
[0003]Bernardini等设计了一套数字化采集方案，他通过手工标定的方法实现了深度图像的半自动配准，同时引入基于图像的配准方法提高了 ICP算法的精度，该方法在建模过程中需要人工交互参与。Castellan等定义基于特征统计的描述符，Li等提出基于尺度空间的描述符，Reyes等提出基于张量投票的特征提取方法实现深度图像间特征的对应。韦虎等提出了两个深度图像间的配准算法，首先根据深度图像包含的像素信息和网格顶点处的曲率值将深度图像映射为一副二维图像；然后使用SIFT算法寻找邻接两幅深度图像所对应的二维图像的匹配点，根据第一步深度图像与二维图像的映射关系获得两幅深度图像的匹配点；最后采用投票和预配准方法去除误匹配，实现相邻深度图像的配准。杨琴等提出了一种包含二维纹理图像和不包含纹理图像信息的两幅和多幅深度图像的自动配准算法。首先，从扫描数据中提取纹理图像，针对不包含纹理图像的扫描数据则根据深度图像的几何不变量直接生成纹理图像；然后，利用SIFT算法找出匹配像素对的候选集；使用RANSAC算法根据三维几何信息的约束找出候选集中正确的匹配像素对和相对应的匹配顶点对，并通过匹配点对集计算深度图像的变换矩阵；最后使用改进的ICP算法进行精确配准。上述方法的配准结果取决于二维图像对应的准确性。Sharp等通过将每个深度图像看成单个结点，深度图像间的重叠区域作为边，从而构建出无向图，通过多次迭代实现多个深度图像的配准。Pottmann等将点的运动看成是螺旋运动,将运动轨迹表示为(c，?.)，通过牛顿迭代法计
算6Χ (η-1)个((:，<:‘,)，实现具有较好局部和全局收敛的配准算法。Brown等提出mult1-way
ICP算法实现多个深度图像的同时配准，提高了配准的速度和准确性。齐越等使用伪逆矩阵最小化的方法迭代地优化每个深度图像的变换矩阵。该类方法需要在全局空间中优化距离度量函数计算每个深度图像的变换矩阵。
【发明内容】
[0004]本发明的目的是提供一种基于深度图像的全局自动配准建模方法，有效解决深度图像建模过程中需要人工交互、累计误差影响配准精度的问题，将应用于文物数字化建模、虚拟现实等领域。
[0005]为实现上述目的，本发明采用了以下的技术方案:
[0006]基于深度图像的全局自动配准建模方法，包括以下步骤:
[0007]步骤一:利用三维激光扫描仪采集不同视角的深度图像；
[0008]步骤二:深度图像预处理；
[0009]步骤三:基于全等三点的邻接深度图像的自动配准；
[0010]步骤四:基于全 局特征点集的多个深度图像的全局配准；
[0011]步骤五:基于转轴估计的配准结果反馈；
[0012]步骤六:深度图像的融合。
[0013]进一步地，所述步骤三包括以下具体步骤:
[0014]步骤3.1:深度图像的等间距采样；
[0015]步骤3.2:在采样后的深度图像scan」上找出与A、B、C三点分别对应的a、b、c三点，进而建立一系列由顶点构成的三元组间的对应；
[0016]步骤3.3:利用三元组间的对应，求解从SCani到scan」配准的刚性变换矩阵Ti ；
[0017]步骤3.4:验证Ti是否为最优解，达到最大公共点集或者到达迭代最大次数时终止;
[0018]较佳地，步骤3.2中所选择的不共线的三个点A、B、C，其边长|AB|、|AC|、BC的值应与深度图像Scani和scan」覆盖区域的长度尽可能接近；
[0019]进一步地，所述步骤四包括以下具体步骤:
[0020]步骤4.1:在步骤三的基础上，选择具有稳定度高、几何属性稳定的对应点集，定义能够评价特征点集对应关系准确性的度量函数；
[0021]步骤4.2:深度图像边缘轮廓的自动提取；
[0022]步骤4.3:基于已经建立的邻接深度图像间的对应点和深度图像的边缘轮廓点集，计算待建模物体的全局特征点集；
[0023]步骤4.4:将每个深度图像的对应点和与其对应的全局特征点作为输入，采用最近点迭代算法和薄板样条函数实现每个深度图像的变换。其中非刚性配准方法用于消除配准过程中产生的误差。
[0024]进一步地，所述步骤五包括以下具体步骤:
[0025]步骤5.1:根据计算获得的深度图像的旋转矩阵，计算转轴和旋转角度；[0026]步骤5.2:定义旋转轴度量函数，评价建模的准确度。
[0027]本发明所述的基于深度图像的全局自动配准建模方法，是对多视深度图像配准方法的扩展，适用于可放置在旋转云台上的物体的三维建模。
[0028]本发明相对于现有技术具有如下的优点和积极效果:
[0029](I)依据边长和角度信息，通过全等三点实现邻接深度图像的自动粗配准，降低了噪声对配准结果的影响。能够通过选择稳定度高、几何属性稳定的对应点以及对应关系的度量函数，保证了点集对应的准确性。
[0030](2)基于全局特征点集的非刚性配准方法克服了刚性配准方法使得多个深度图像配准后局部细节变模糊的不足。同时，由于仅由深度图像的对应点与估计生成的全局点间进行非刚性配准，一方面降低了全部深度图像优化过程中计算量大的不足，另一方面，克服了由于设备校准误差、镜头误差、不同传感器和物体移动造成的数据误差的问题。
[0031](3)基于转轴估计的配准结果反馈方法，能够有效评价配准结果的有效性。由于待建模物体被放置在云台上，云台转动过程中转轴保持稳定，因此通过比较每个深度图像旋转过程中转轴的方向，即可反馈配准结果的准确性，相比较于欧式距离度量的方法，更容易调整配准结果。
【专利附图】
【附图说明】
[0032]图1本发明所述基于深度图像的全局自动配准建模方法流程图；
[0033]图2a至图2b为所采集获得的两组颅骨的深度图像；
[0034]图3a至图3c为两个邻接深度图像自动配准的结果；
[0035]图4a至图4h为基于全局特征点的多视深度图像配准方法的结果。
【具体实施方式】
[0036]以下结合附图对本发明的几个优选实施例进行详细描述，但本发明并不仅仅限于这些实施例。本发明涵盖任何在本发明的精髓和范围上做的替代、修改、等效方法以及方案。为了使公众对本发明有彻底的了解，在以下本发明优选实施例中详细说明了具体的细节，而对本领域技术人员来说没有这些细节的描述也可以完全理解本发明。
[0037]本发明的具体步骤如下:
[0038]1.利用三维激光扫描仪从不同视角采集深度图像
[0039]1.1.搭建扫描环境，将待扫描物体放置在旋转云台上；
[0040]1.2.制定扫描顺序，例如先按照顺时针顺序转动云台，采集不同视角的深度图像，然后再分别采集物体顶部和底部的深度图像；
[0041]1.3.根据扫描顺序，建立深度图像间的邻接关系图。
[0042]2.深度图像预处理
[0043]2.1.深度图像中扫描背景等干扰数据的去除，利用数据的连通性实现无用数据的去除，如果当前区域包含的三角片的个数小于阈值或者边界长度小于阈值则删除该区域包含的干扰数据；
[0044]2.2.深度图像的噪声消除，利用双边滤波器实现深度图像去噪。
[0045]3.基于全等三点的邻接深度图像的自动配准[0046]3.1.深度图像等间距采样；
[0047]3.2.深度图像间对应点寻找。在采样后的深度图像Scani上随机选择不共线的三个点A、B、C作为待配准点，然后依据对应点之间的距离和对应的两条边之间的夹角保持不变的约束条件，在采样后的深度图像scan」上找出与A、B、C三点分别对应的a、b、c三点，即满足 IAB I = I ab 1、I AC I = I ac 1、IBCI = I be 1、Z ABC =Z abc、Z ACB =广 acb、广 BAC =广 bac ；
[0048]较佳地，其边长|AB|、|AC|、Be的值应与深度图像Scani和scan」覆盖区域的长度尽可能接近；
[0049]深度图像scan」上a、b、c三点采用如下的方法进行选取:在深度图像scan」上计算所有两个顶点间的距离，记作:
【权利要求】
1.一种基于深度图像的全局自动配准建模方法，其特征在于包括以下步骤: 步骤1:利用三维激光扫描仪采集不同视角的深度图像； 步骤2:深度图像预处理； 步骤3:基于全等三点的邻接深度图像的自动配准； 步骤4:基于全局特征点集的多个深度图像的全局配准； 步骤5:基于转轴估计的配准结果反馈； 步骤6:深度图像的融合。
2.按照权利要求1所述的基于深度图像的全局自动配准建模方法，其特征在于:步骤3,进一步包括以下步骤: 步骤3.1:深度图像的等间距采样； 步骤3.2:在采样后的深度图像scan」上找出与A、B、C三点分别对应的a、b、c三点，进而建立一系列由顶点构成的三元组间的对应； 步骤3.3:利用三元组间的对应，求解从Scani到scar^.配准的刚性变换矩阵Ti ； 步骤3.4:验证Ti是否为最优解，达到最大公共点集或者到达迭代最大次数时终止。
3.按照权利要求2所述的基于深度图像的全局自动配准建模方法，其特征在于:所述步骤3.2进一步包括:所选择的不共线的三个点A、B、C，其边长IAB |、I AC |、BC的值应与深度图像Scani和scan」覆盖区域的长度尽可能接近。
4.按照权利要求1所述的基于深度图像的全局自动配准建模方法，其特征在于:所述步骤4进一步包括以下具体步骤: 步骤4.1:在步骤三的基础上，选择具有稳定度高、几何属性稳定的对应点集，定义能够评价特征点集对应关系准确性的度量函数； 步骤4.2:深度图像边缘轮廓的自动提取； 步骤4.3:基于已经建立的邻接深度图像间的对应点和深度图像的边缘轮廓点集，计算待建模物体的全局特征点集； 步骤4.4:将每个深度图像的对应点和与其对应的全局特征点作为输入，采用最近点迭代算法和薄板样条函数实现每个深度图像的变换。其中非刚性配准方法用于消除配准过程中产生的误差。
5.按照权利要求4所述的基于深度图像的全局自动配准建模方法，其特征在于: 步骤4.1所述定义能够评价特征点集对应关系准确性的度量函数采用的计算公式如下:
n 1-l J=I 其中P={Pi}，i=l，…，n和Q={qJ, i=l,…，n分别表示深度图像ScaWi和scaa」的对应点集。
6.按照权利要求4所述的基于深度图像的全局自动配准建模方法，其特征在于: 步骤4.1所述选择具有稳定度高、几何属性稳定的对应点集，稳定点的选择由以下公式计算:
7.按照权利要求1所述的基于深度图像的全局自动配准建模方法，其特征在于:步骤5所述基于转轴估计的配准结果反馈，进一步包括以下具体步骤: 步骤5.1:根据计算获得的深度图像的旋转矩阵，计算转轴和旋转角度； 步骤5.2:定义旋转轴度量函数，评价建模的准确度。
8.按照权利要求7所述的基于深度图像的全局自动配准建模方法，其特征在于:步骤5所述基于转轴估计的配准结果反馈，计算转轴和旋转角度的计算公式如下: 计算转轴及旋转角度的公式为:
【文档编号】G06T7/00GK103927742SQ201410108342
【公开日】2014年7月16日 申请日期:2014年3月21日 优先权日:2014年3月21日
【发明者】周明全, 税午阳, 武仲科, 樊亚春, 殷荣超 申请人:北京师范大学