三维模型重建方法与系统的制作方法
【技术领域】
[0001]本发明涉及计算机的视觉技术，更具体的说，涉及一种基于深度相机的三维模型重建方法与系统。
【背景技术】
[0002]利用计算机技术对真实的物体建立模型在各个领域中都有着很重要的意义，例如对人体进行三维模型的重建，能够在计算机中实现对人体的姿态、动作、形貌特征进行重建，为后续的姿态识别、更换形貌特性等应用提供基础。
[0003]而现有的三维模型重建过程中，必须通过使用者手动标记关键识别点，才能建立出三维模型，操作不便，精度较低。
【发明内容】
[0004]本发明针对现有的三维模型重建技术中存在的必须对目标做手工标记的缺陷，提供一种三维模型重建方法与系统，以实现无需对目标做手工标记，即可获取目标的精确三维模型。
[0005]本发明解决上述问题的方案是，提供一种三维模型重建方法，包括以下步骤:
[0006]S1、使用至少一个深度相机对目标进行图像采集，获得目标的深度图像；
[0007]S2、对获得的深度图像进行预处理；
[0008]S3、根据目标的深度图获取密集点云数据，进行目标深度信息点云网格的重建；
[0009]S4、对重建后的多帧深度图像进行合并、配准，获得三维模型。
[0010]本发明的三维模型重建方法，其中步骤SI还包括:
[0011]S11、使用色彩相机与深度相机同步获取色彩-深度图像。
[0012]本发明的三维模型重建方法，其中步骤S2的预处理包括:
[0013]去噪声处理、平滑处理、前后景分割。
[0014]本发明的三维模型重建方法，其中步骤S4中，对重建后的多帧深度图像进行配准的步骤还包括:
[0015]对生成的网格序列进行两两局部刚体配准，选取关键帧网格，减少运动模糊和数据冗余。
[0016]本发明的三维模型重建方法，其中步骤S4中，对重建后的多帧深度图像进行配准的步骤还包括:
[0017]对配准后的所有数据进行曲面融合、补洞。
[0018]本发明的三维模型重建方法，还包括:
[0019]S5、对获得的三维模型进行保存，建立三维模型数据库。
[0020]本发明还提供一种三维模型重建系统，包括:
[0021]至少一个深度相机，用于对目标进行图像采集，获得目标的深度图像；
[0022]与所述深度相机相连接的图像处理器，用于对获得的深度图像进行预处理；
[0023]与所述图像处理器相连接的密集点云数据生成器，用于根据目标的深度图获取密集点云数据，进行目标深度信息点云网格的重建；
[0024]与所述密集点云数据生成器连接的模型重建器，用于对预处理后的多帧深度图像进行合并、配准，获得三维模型。
[0025]本发明的三维模型重建系统，还包括至少一台色彩相机，所述色彩相机与深度相机并行连接，用于与深度相机同步获取色彩-深度图像。
[0026]本发明的三维模型重建系统，图像处理器对图像进行去噪声处理、平滑处理、前后景分割。
[0027]本发明的三维模型重建系统，模型重建器对生成的网格序列进行两两局部刚体配准，选取关键帧网格，减少运动模糊和数据冗余。
[0028]本发明的三维模型重建系统，模型重建器对配准后的所有数据进行曲面融合、补洞。
[0029]本发明的三维模型重建系统，还包括与模型重建器连接的三维模型数据库，用于对获得的三维模型进行保存。
[0030]实施本发明的三维模型重建方法与系统，在建立三维模型的时候，直接通过深度相机进行识别就可以进行模型的建立，无需使用者手动选取图像中的关键识别点，从而提高了获取三维模型的精度、速度；还通过与色彩相机的配合，实现了单一深度图像以及色彩-深度图像的两种不同识别需要，为使用者提供了更多的选择。
【附图说明】
[0031]以下结合附图对本发明进行说明，其中:
[0032]图1为本发明一则较佳实施例所提供的三维模型重建方法的流程图；
[0033]图2为采用本发明建立网格的示意图；
[0034]图3为本发明一则较佳实施例所提供的三维模型重建系统的功能结构图；
[0035]图4为对背包的第一个角度进行拍照后获得的照片；
[0036]图5为对图4的背包进行深度相机拍摄后得到的照片；
[0037]图6为对背包的第二个角度进行拍照后获得的照片；
[0038]图7为对图6的背包进行深度相机拍摄后得到的照片；
[0039]图8为对背包的第三个角度进行拍照后获得的照片；
[0040]图9为对图8的背包进行深度相机拍摄后得到的照片；
[0041]图10是由深度相机产生的阵列型结构光点；
[0042]图11为背包进行三维模型重建后的效果图；
[0043]图12为对杯子的第一个角度进行拍照后的照片；
[0044]图13为对杯子的第二个角度进行拍照后的照片；
[0045]图14为对杯子的第三个角度进行拍照后的照片；
[0046]图15为对图12的杯子进行深度相机拍摄后得到的照片；
[0047]图16为对图13的杯子进行深度相机拍摄后得到的照片；
[0048]图17为对图14的杯子进行深度相机拍摄后得到的照片；
[0049]图18为杯子进行三维模型重建后的效果图。
【具体实施方式】
[0050]本发明针对现有的三维模型重建过程中，必须通过使用者手动标记关键识别点，才能建立出三维模型，操作不便，精度较低的缺陷，通过特别优化有的深度点云建立方式以及网格重建的方式，在不需要使用者手动选取图像中的关键识别点的前提下，就能够进行图像的拼接融合，从而实现提高了获取三维模型的精度、速度的目的。
[0051]现结合附图和【具体实施方式】对发明进行详细说明。
[0052]如图1所示为本发明一则较佳实施例所提供的三维模型重建方法的流程图。在本实施例中，首先进行步骤S1:使用至少一个深度相机对需要进行建模的目标进行多角度、连续采集，生成多个深度图。在该步骤中使用的深度相机包括但不限于以下的种类:T0F相机(TimeOf Flight，飞行时间)、结构光、双目摄像机、激光扫描等等。在本实施例中优选使用TOF相机，通过TOF相机向被拍摄物体连续发送光脉冲，然后用传感器接收从物体返回的光，通过探测光脉冲的飞行时间来得到目标物距离，通过的得到距离数据得到深度图像。
[0053]对于获得的多个深度图像，在步骤S2中需要进行预处理，这些预处理的步骤具体包括:去噪声处理、平滑处理、前后景分割等。由于在初始获得的深度图像中通常会将背景、环境中的非处理目标等摄入，为了能够精确的将实际的物体在计算机环境中重建建立出三维模型，通过一些常用的去噪、平滑算法可以获得目标区域的图像。而通过前后景分割的处理，可以将三维建模目标与背景分离，在TOF相机中可以直接通过设定返回的飞行时间阈值将目标从背景图像中选取出来，此外还可以使用几种不同的轮廓提取算法，包括分水岭、种子搜索、背景消减和二值化算法等，在本实施例中优选使用种子搜索的轮廓提取方式:首先使用简单的间值分割前背景确定目标位置，放置轮廓生成种子在估计的目标中心，再通过基于平滑度约束的深度搜索，扩散轮廓，生成精确的深度人像轮廓。再通过形态学，或采用分水岭算法可以改善获取三维模型的轮廓。基于动作在帧间的变化总是小于某一程度的假设，结合上一帧的轮廓提取结果，改善和加快当前帧的提取。
[0054]在对图像进行过预处理之后，进行步骤S3:根据目标的深度图获取密集点云数据，进行目标深度信息点云网格的重建。在以往的技术中，建立深度点云进行网格的重建是需要使用者进行手工的选择关键点，是这些选取的关键点连接成网格。但是本实施例不使用手工方式，利用获得深度图像时本身图像本身是一组有序的二维点集，它蕴含了其对应的空间点之间的邻接关系，通过不同的判断方式确定相邻的点是否进行拼接。例如在图2(a)?图2(g)中给出4个点在建立三角形网格时的7种情形，依据这些点在空间上的距离关系，将相同平面的点，或者是距离在阈值范围内的点连接成三角形网格。当然，本领域的技术人员依据实际的深度图像可以建立不同形状的网格。
[0055]在建立好每一个区域的网格后，需要将这些网格进行拼接，生成三维模型。在本实施例中的步骤S4操作方式如下:对建立好的所有网格，用{N1; N2......NJ表示，将这些数据的初始位置对齐，按照次序计算每一个网格沿三个坐标轴的位移t与旋转V, V,r；, r；, r/}，记为变换矩阵!％，采用顶点随机采样，基于投影点匹配、点到平面的距离误差修正等方式对网格Ni,进行计算。
[0056]针对不同的采集对象，可以进行不同的操作:对于运动的物体，计算变换矩阵之间的距离，设定一个阈值，当实际距离偏离阈值的时候，表明运动物体过快，导致图像模糊，可以将对应的网格帧舍去。即对生成的网格序列进行两两局部刚体配准，选取关键帧网格，减少运动模糊和数据冗余。
[0057]而对于静态物体，在本实施例中采用全局稳定采样以及局部加权的方式，对网格中的相邻最近的点进行迭代操作，寻找出精确的拼接位置，进行合并、配准，获得三维模型。
[0058]当然，在上述重建的过程中，需要对网格进行必要的优化操作:对配准后的所有数据进行曲面融合、补洞。以便生成的三维模型是一个连续可靠的图像。当所有的优化操作完成后，就可以将生成的三维模型进行保存。
[0059]较佳的，在本申请中，步骤S4在对拍摄物体进行处理的时候，对物体按照刚体和非刚体进行区分处理:
[0060]对于刚体，在本申请中使用深度相机中产生的结构光的自身参数进行处理。结构光一般具有周期性排布的特征，例如光斑呈网格状、点阵状等，当使用结构光对物体进行扫描的时候，自动将这些网格状的光斑的交点、点阵状光斑的点阵作为选取的特征点，自适应地将这些结构光的参数特征点作为合并、配准过程中的标志点。
[0061]而对于非刚体，则采用随机点的方式选取特征点，当结构光照射在非刚体后，由于非刚体会不断改变形状结构，而深度相机在拍摄一帧时无法自动跟随非刚体进行适配改变，因此采用随机选取标志点的方式作为合并、配准过程中的标志点。
[0062]但是一般的物体通常不会是完全的刚体或者是完全的非刚体，为此，在本实施例中使用加权的方式将刚体和非刚体结合在一起。
[0063]假设以刚体的进行合并、配置的结果为X，以非刚体进行配准的结果为y，那么采用本发明进行加权后，得到的对与一般物体的合并配准结果可以表示为: