一种基于矩阵恢复的提高三维重建精度的方法及其装置制造方法
【专利摘要】本发明开发了一种基于矩阵恢复的提高三维重建精度的方法及其装置，属于计算机视觉领域。该方法包括：使用基于深度合成的方法得到目标物体的点云；将点云转化为指定的数据矩阵；对数据矩阵进行矩阵恢复，使用APG算法提高计算速度；将矩阵恢复得到的结果矩阵转化为点云；应用泊松重建将点云重建出最终的三维表面模型。该装置包括：原始图像获取模块、标定模块、模型预处理模块、深度估计模块、数据矩阵生成模块、矩阵恢复模块、表面模型重建模块。本发明通过矩阵恢复的方法对三维重建中的点云模型进行优化，在保证效率的前提下大大提高了三维重建模型的精度。
【专利说明】—种基于矩阵恢复的提高三维重建精度的方法及其装置
【技术领域】
[0001]本发明涉及计算机视觉领域，特别涉及一种提高多视点三维重建精度的方法及其
>J-U ρ?α装直。
【背景技术】
[0002]近年来，随着计算机视觉和虚拟现实技术的发展，三维建模逐渐在工业设计、影视制作、电子游戏、文化遗产保护以及电子商务等多个领域中扮演重要角色，如何根据目标物体精确高效地建立三维模型成为一个广泛关注的问题。基于图片的三维重建是这样一个过程，通过寻找两幅或者多幅图像之间的匹配像素点，然后将他们的2D位置转化到3D深度，从而估计出场景的一个3D模型。
[0003]基于图像序列的多视点三维重建方法是一种易于实现、高效率的三维建模方式，已提出的三维重建算法大体可以分为四大类:
[0004]第一类方法计算三维体积的代价函数，并根据这个体积提取表面。一种典型代表是像素着色法(voxel coloring algorithm),这种算法对整个体积进行一个遍历,计算代价并使用低于一定阈值的代价重建体素。
[0005]第二类通过迭代展开表面来最小化代价方程。这类方法包括基于体素的、分级的和表面网格的算法。典型代表是空间雕刻算法(space carving methods),这种算法逐渐从初始的形体上去除与图像冲突的体素，最终得到所求模型。
[0006]第三类是是通过计算每个视点图像空间上的深度图来重建模型，这种方法需要连续的图像以保证每个深度图的准确性，最终将所有深度图在一个空间中合成为三维模型。
[0007]第四类方法由两部分组成，首先提取并匹配出一系列特征点，而后根据这些特征生成合适的模型表面。
[0008]在以上这些算法中，基于深度图合成的方法以其在适应性和精度上的优势成为当今世界上认可度最高的方法之一。这种三维重建方法大体可以分为两步:首先，通过双目视觉计算出每个视点上图片对应的点云；而后，对所有的点云进行全局滤波和优化，最终合成为一个三维表面模型。
[0009]在实现发明的过程中，上述现有技术至少具有以下缺点:由于目标物体上的一处会被多个采集装置捕捉到，在合成多个视点的点云时将产生大量冗余。同时，双目视觉计算中产生的偏差点和异常点难以去除，导致合后的三维空间中的点云包含大量干扰点，这是三维重建结果精度受限的主要原因。
[0010]由于最终的3D模型是由点云生成的，去除点云中的异常点和错误匹配在提高3D模型精度上起到了重要作用。近年来很多用于点云优化的方法被提出，大体可以分为物理滤波方法和数学滤波方法两类。Bradley、Boubekeur和Heidrich发表的“Accurate mult1-view reconstruction using robust binocular stereo and surfacemeshing” (CVPR2008:1-8)中利用了归一化互相关系数(NCC)作为度量方法来精化点云。这种物理滤波方法易于实现，但对点云的优化效果有限。Campbell、Vogiatzis、Hernandez和 Cipolla 在发表的论文“Using multiple hypotheses to improve depth-maps formult1-view stereo”(ECCV2008:766-779)中通过对每个像素提取多个像素候选，而后使用全局的优化算法去除错误点，实现点云的平滑。Zach、Pock和Bischof在发表的论文“A duality based approach for realtime tv-lloptical flow，，(PatternRecognition2007:214-223)中使用全变分和L1范数计算点云。邓岳和刘烨斌等发表的论文“Noisy depth maps fusion for multiview stereo via matrix completion” (SelectedTopics in Signal Processing20126 (5): 566-582.)进一步提出了基于矩阵完备的噪声深度图融合方法，通过完备一个由可观察到点组成的秩为I的矩阵实现优化。这种数学滤波方法起到了一定效果，但是完备矩阵中包含了过多的丢失项，导致生成的3D模型精度并不够闻。
【发明内容】
[0011]针对上述现有技术中存在的缺陷，为了提高三维重建模型的质量，本发明的目的是提供一种精确高效地重建关于目标物体三维模型的方法，在模型优化部分使用了矩阵恢复算法。本发明的另外一个目的是提供实现该方法的装置。
[0012]为了实现上述发明目的，本发明方法采用的技术方案如下:
[0013]一种基于矩阵恢复的提高三维重建精度的方法，包括如下步骤:
[0014]SI，将待处理的点云模型按照视点进行编组，设点云原有N个视点，编组满足以下要求:对于第N组点云，要求其包括以第N个视点得到的图片作为主图像或者参考图像时得到的所有空间点，也就是说，这些点均可以被第N个视点观察到；
[0015]S2，将一个编组中的所有点在世界坐标下的坐标值依次置入一个行向量中，按照X坐标、y坐标、z坐标的顺序,最终得到N个行向量；
[0016]S3，将上述N个行向量组成一个N列的数据矩阵D，没有元素的位置补O ;
[0017]S4，整理数据矩阵D，根据图像光流计算中像素和点的对应关系，将同一个像素对应点的X坐标、y坐标、Z坐标分别置于一列中，在没有出现该点的视图一行补O ;
[0018]S5,将数据矩阵D表示为:D = A+E, A表示由准确点的坐标构成的矩阵，E表示有错误或是冗余的点的坐标构成的矩阵；通过矩阵恢复算法计算出矩阵A，这里采用APG (accelerated proximal gradient)算法加快计算速度；
[0019]S6，将矩阵恢复得到的矩阵A转化为点云；
[0020]S7，使用泊松表面重建算法得到最终三维表面模型。
[0021]所述步骤S3中，数据矩阵D的组成方法为:首先将步骤S2中建立的N个行向量依次放置在一个矩阵的对角线上，也就是说该矩阵的每个列向量中最多只有一个元素为非零元素；而后，遍历N个视点对应的N个原始图像，根据图像上像素的对应关系，将对应点所在的列合并，即将表示同一点的坐标放在同一列上；由于基于深度图像估计和合成的三维重建算法中，每个有效的深度估计都对应一组图像中的一对匹配点，可以通过这种方法找到空间中某一表面点在多个原始图像中的映射点，这些映射点将处于同一列中，由此得到数据矩阵D。
[0022]所述步骤S5中，数据矩阵D由于每行中只有较少的点是错误的或是不准确的，是一个低秩的矩阵，因此，矩阵E的大部分元素是O或是接近于O的元素，即E是一个稀疏矩阵。这里将问题表示为:
【权利要求】
1.一种基于矩阵恢复的提高三维重建精度的方法，其特征在于，包括如下步骤: SI，将待处理的点云模型按照视点进行编组，设点云原有N个视点，编组满足以下要求:对于第N组点云，要求其包括以第N个视点得到的图片作为主图像或者参考图像时得到的所有空间点，也就是说，这些点均可以被第N个视点观察到； S2，将一个编组中的所有点在世界坐标下的坐标值依次置入一个行向量中，按照X坐标、y坐标、z坐标的顺序,最终得到N个行向量； S3，将上述N个行向量组成一个N列的数据矩阵D，没有元素的位置补O ; S4，整理数据矩阵D，根据图像光流计算中像素和点的对应关系，将同一个像素对应点的X坐标、y坐标、z坐标分别置于一列中，在没有出现该点的视图一行补O ; S5,将数据矩阵D表示为:D = A+E, A表示由准确点的坐标构成的矩阵，E表示有错误或是冗余的点的坐标构成的矩阵；通过矩阵恢复算法计算出矩阵A，这里采用APG算法加快计算速度； S6，将矩阵恢复得到的矩阵A转化为点云； S7，使用泊松表面重 建算法得到最终三维表面模型。
2.根据权利要求1所述的一种基于矩阵恢复的提高三维重建精度的方法，其特征在于，所述步骤S3中，数据矩阵D的组成方法为: 首先将步骤S2中建立的N个行向量依次放置在一个矩阵的对角线上，也就是说该矩阵的每个列向量中最多只有一个元素为非零元素； 而后，遍历N个视点对应的N个原始图像，根据图像上像素的对应关系，将对应点所在的列合并，即将表示同一点的坐标放在同一列上；由于基于深度图像估计和合成的三维重建算法中，每个有效的深度估计都对应一组图像中的一对匹配点，可以通过这种方法找到空间中某一表面点在多个原始图像中的映射点，这些映射点将处于同一列中，由此得到数据矩阵D。
3.根据权利要求1或2所述的一种基于矩阵恢复的提高三维重建精度的方法，其特征在于，所述步骤S5中，数据矩阵D由于每行中只有较少的点是错误的或是不准确的，是一个低秩的矩阵，因此，矩阵E的大部分元素是O或是接近于O的元素，即E是一个稀疏矩阵，这里将问题表示为:
4.一种基于矩阵恢复的提高三维重建精度的装置，其特征在于，具体包括如下模块: 原始图像获取模块，用于捕捉目标物体的原始图像； 标定模块，使用一种标定方法获得每个图像采集工具的标定参数； 模型预处理模块，用于生成一种目标物体的粗略模型，表示出目标物体在世界坐标系下的空间范围； 深度估计模块，计算出每幅图像的深度图； 数据矩阵生成模块，将所有图像对应的深度图转化为所述数据矩阵D ； 矩阵恢复模块，对上述数据矩阵D进行矩阵恢复，应用APG算法加快运算速度； 表面模型重建模块，将矩阵恢复得到结果转化为点云，通过泊松表面重建算法得到最终的三维表面模型。
【文档编号】G06T17/00GK103927787SQ201410181480
【公开日】2014年7月16日 申请日期:2014年4月30日 优先权日:2014年4月30日
【发明者】曹汛, 朱昊, 聂永明, 纪晓丽, 闫锋 申请人:南京大学