专利名称：一种深度图融合方法和装置的制作方法
技术领域：
本发明涉及计算机视觉处理领域，特别涉及一种立体视觉中噪声深度图融合的方 法和装置。
背景技术：
基于立体视觉的深度图融合是指从一系列的部分重建信息得到完整的表面。概率 模型是一个处理冲突点的融合方法。在概率图的算法中，认为可见的深度信息是先验知识， 进而从贝叶斯模型融合深度图。其次，将深度信息转化为求解离散标记马氏场的优化问题 也是一种经典的融合手段，当真实的深度图无法估计时，这种方法尤为适用。通过投影到原 始测量图的最小距离选择深度信息的表示是一种快速的融合算法。该算法在给定的阈值 下能消除遮挡和不连续，并且算法非常简单，没有特别的数学优化，因而比现有的其它算法 快速。算法的核心思想是选取最好的一个点来替代一组冲突的点，利用NCC测度并选择通 过MVS方法得到彩色图像的投影来选择最匹配的深度信息。全局优化也是一种深度融合算 法。这种算法主要利用一种鲁棒的能量模型，可以解决基于剪影和立体视觉的多视角三维 重建，该重建算法因其全局优化的特性可以处理大量噪声信息。但是，现有技术至少存在以下缺点1、视点间的不完整性，即单一相机无法感知到一个物体下的整体三维模型。2、利用现有计算机算法无法解决大量深度信息中的噪声问题，即计算机视觉算法 提取出的深度信息是有噪声的，因此现有深度图融合算法均无法解决大量噪声存在下的深 度融合。
发明内容
本发明的目的旨在至少解决上述技术缺陷之一，提出了一种立体视觉中噪声深度 图融合的方法和装置。为达到上述目的，本发明提出了一种深度图融合方法和装置，其中，深度图融合方 法包括以下步骤根据多个相机获取的场景信息对不同视角的场景提取深度图；对从所述 不同视角提取的深度图进行聚类；根据所述聚类的信息建立缺失矩阵；恢复所述缺失矩阵 以得到完整的低秩矩阵；根据弹性网络算法从所述完整的低秩矩阵中选取第一维子空间； 和根据所述第一维子空间实现三维模型的重建。在本发明的一个实施例中，还包括采用k近邻法对所述不同视角的深度图进行 聚类；采用内点法对所述低秩矩阵进行恢复；和采用弹性网络算法选取所述第一维子空 间。在本发明的一个实施例中，恢复所述缺失矩阵以得到完整的低秩矩阵，进一步包 括采用压缩感知原理对所述缺失矩阵的恢复；和消除所述缺失矩阵恢复过程中的小噪声。在本发明的一个实施例中，所述弹性网络还用于消除在所述缺失矩阵恢复过程中
4的大噪声。在本发明的一个实施例中，所述弹性网络根据优化原则选取所述第一维子空间， 其中，所述优化原则为mini |Al| +Aj |n| ^ λ 2 |N| |2s. t. P = A+N其中，Al为所述的完整的低秩矩阵，N为所述深度图上的噪声信息，P为所述的缺 失矩阵。在本发明的一个实施例中，所述优化原则的约束条件为min. rank (Al)其中，所述约束条件表示所述缺失深度矩阵是低秩的。本发明的另一方方面提出了一种深度图融合的装置，包括预处理模块，用于根据 多个相机获取的场景信息对不同视角的场景提取深度图；深度聚类模块，用于对从所述不 同视角提取的深度图进行聚类；不完整低秩矩阵建立模块，用于根据所述聚类的信息建立 缺失矩阵；不完整低秩矩阵恢复模块，用于恢复所述缺失矩阵以得到完整的低秩矩阵；弹 性网络子空间提取模块，用于根据弹性网络算法从所述完整的低秩矩阵中选取第一维子空 间；三维模型处理模块，用于根据所述第一维子空间实现三维模型的重建。在本发明的一个实施例中，所述深度图融合装置还包括所述深度局类模块采用 k近邻法对所述不同视角的深度图进行聚类；所述不完整低秩矩阵恢复模块采用内点法对 所述低秩矩阵进行恢复；和所述弹性网络子空间提取模块采用弹性网络算法选取所述第一 维子空间。在本发明的一个实施例中，所述弹性网络根据优化原则选取所述第一维子空间， 其中，所述优化原则为min |Al| +Aj |n| ^ λ 2 |Ν| |2s. t. P = A+N其中，Al为所述的完整的低秩矩阵，N为所述深度图上的噪声信息，P为所述的缺 失矩阵。在本发明的一个实施例中，所述优化原则的约束条件为min. rank (Al)其中，所述约束条件表示所述缺失深度矩阵是低秩的。通过本发明提出的深度图融合的方法和装置，能够完成大量噪声条件下的不完整 信息融合，可以克服深度图上的原有噪声和不完整信息，完成高质量的三维重建效果。本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变 得明显，或通过本发明的实践了解到。
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变 得明显和容易理解，其中图1为本发明深度图融合方法的流程图；图2为本发明实施例的相机可见性分析5
图3为本发明两幅相邻图片和相应深度图匹配和分类的过程图；图4为应用本发明的方法建立的三维模型；图5为本发明所完成的三维模型在精度和完整度上的评测；图6为本发明建立结果的国际排名；和图7为本发明深度图融合装置的结构图。
具体实施例方式下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终 相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附 图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。本发明是针对现有视点间的不完整性，即单一相机无法感知到一个物体下的整体 三维模型，和利用现有计算机算法无法解决大量深度信心中的噪声问题，即计算机视觉算 法提取出的深度信息是有噪声的，现有深度图融合算法均无法解决大量噪声存在下的深度 融合，而提出的一种深度图融合的方法。本发明提出的深度图融合方法，通过矩阵恢复的方法解决冲突点问题。在该算法 中，所有的冲突点对最后的融合结果都有贡献。点云变为一个不完全的矩阵，该矩阵通过全 局的优化将得到低秩的特性，该发明的优点主要表现为以下三点1)深度信息虽然是通过不同的角度捕捉到的，但实质上处于某个低维子空间中。 从物理上说低秩性可以归因为不完全的深度信息描述同一个物体，因此，当把所有角度的 深度信息组成矩阵时，它一定是低秩的，并且可以被核子范数估计。2)噪声恢复的深度信息将被干扰。在本发明的实施例中，定义观测到的信息为~， 实际信息为A，固有A = AJN。其中，N是系统噪声，可能在提取深度信息的任何一步产生， 用本发明的方法，通过寻找全局低秩解的矩阵恢复可以消除这些噪声。3)成万上亿的维度空间被用来描述真实物体以提高准确度。这些离散的元素可以 是三维像素或点云传统的优化方法在处理如此大量的数据时会失效，但是归功于最近的压 缩感知技术，通过凸规划方法解决成为了可能。基于核子范数的矩阵恢复方法可以恢复一 个有噪声的不完全的矩阵，即使处理数以亿计的元素都不超过一分钟。如图1所示，为本发明实施例的深度图融合方法的流程图，所述深度图融合方法 包括以下步骤步骤S101，根据多个相机获取的场景信息对不同视角的场景提取深度图。具体地，在本发明的实施例中，深度图提取算法利用计算机视觉算法，在尊重每一 个视角的深度图信息前提下，采用多候选者连续深度图估计方法。更为具体地，集中了剪 影信息和极线约束在所述连续深度图估计方法中对每一个双目图像处理稠密的一致计算， 所述连续深度图估计方法能够在显著特征上达到很好的重建效果。另外，为了在缺少特征 的情况下针对噪声提高鲁棒性，所述连续深度图估计方法使用MSS生成一些深度候选人。 由于深度图是连续的，对每个候选人精确的光一致性检测在基于路径的NCC度量下是可能 的，所述NCC最高分者将被选出作为深度。一般来讲，利用光流计算的优势，类比摄像机位 置的时空变换到离散时间间隔的光流优化上来。当然，本领域的普通技术人员知道，所述深度图提取算法并不局限于本发明所使
6用的深度图提取算法，一些其它的深度图提取算法也是可选的，但是，没有一种能够保证其 足够的准确性。所以，本发明中主要详细说明矩阵恢复和压缩感知对于解决深度噪声和冲 突帮助。步骤S102，对所述不同视角的深度图进行聚类。具体地，对不同相机间得到的深度信息进行深度聚类，以产生深度聚类信息。步骤S103，根据所述聚类的信息建立缺失矩阵。具体地，如图2所示，为本发明实施例的相机可见性分析图。在本发明的实施例 中，如图2(a)的两幅摄像机分析图，摄像机的可见性涉及到计算机视觉和计算机图形学领 域。对于立体视觉系统，由于遮挡和摄像机的位置，每个摄像机的可见性是非常有限的。在 本实施例的图2(a)中，Pl的可见性所覆盖的范围在图中能够明显看出。同样的，对于P2而 言，可见性覆盖的范围同样显而易见。对于本实施例，两个摄像机能够同时看到的区域在途 中也能够明显释出。更为具体地，在模型中并且结合图2可知，该深度图融合方法假设Pl可以观测到 整个三维物体，并将其视为向量。而Pl真实观测到的范围(在图2(a)中能够明显看出) 视为已知元素。而物体剩余实际Pl为观测的部位视为未知元素。同样的，P2有类似的结 果。在MVS系统中，有η个摄像机分布在物体的周围，因此，η个不完全的向量可以组成矩 阵，有AL= [PijP2j--PJ在不完全矩阵A中，列代表不同的摄像机或不同的角度，行代表三维物体的点云。 A的秩理应是低的，因为所用的向量，例如Pl ；Ρ2 ；Ρ3 ；...Pn描述的是同一个物体。理论上 讲，如果深度图是没有噪声的，并且摄像机处于理想的情况下，A的秩应该为1，但是由于误 差和扰动，只能保证A的秩是低的。如果能够复原矩阵并提取主成分，即最大特征值对应的 特征向量，就是要寻找的融合结果。正如前面分析的，噪声在融合问题中也是一个很重要的 因素。假设模型有一个点云可以被多个摄像机从不同的角度看到。例如图2(b)中的红点， 能够看到，所述红点在图中被标记为1，红点1是真实存在的。但是，没有任何一个摄像机能 够准确的将它恢复。所有的摄像机只能够复红点1的邻域，并且噪声不是高斯分布的。所以，如何生成这个不完全矩阵。在分析了融合的本质后，有两个问题需要说明1)矩阵的行数代表融合后点云的数量。2)冲突点的识别是必要的。简单的说，需要将描述同一个深度信息的值放在同样的行中。基于以上两点，本发 明提出了一个绝对自动方法来产生这个矩阵。行数和冲突点分类都被覆盖。记Γ为Pt捕 捉到的图像，这里下标t是图像的序列。图像上每一个像素^对应真实世界的一个点云du。 为了简化且不失一般性，讨论如何从图像Γ和它的邻近图像Γ+1。匹配和分类过程如图3 所示，为本发明两幅相邻图片和相应深度图匹配和分类的过程图。从图3中可以看出，m和 η代表二维图像中投影的像素位置。在这个像素的N-邻域里，例如图3中粉色区域4，所有 的像素投影到世界坐标，寻找到参考点云Itij最近距离的点云。定义最近的点云为= arg min \\d'x+l - d\ I
χ色R其中，R代表Imn的邻域。如果这两点的距离小于某个阈值"，则这两点被认为描
7述同一个深度信息，被放在同一行。否则这个元素被视为未知元素。投影和匹配过程在MVS 每个图像间两两进行。上面的介绍阐述了不完整矩阵的某一行的建立，所以，重复这个过程 直到所有像素都被遍历，因此，建立完成整个不完整矩阵。步骤S104，对所述缺失矩阵恢复以得到完整的低秩矩阵。在本发明的实施例中，在恢复的过程中，运用压缩感知原理对矩阵进行恢复，同 时，在缺失矩阵的恢复过程中消除小噪声。具体地，在本发明的一个实施例中，关于矩阵恢复，采用内点迭代优化的方法，所 述内点优化又称不动点迭代。在本发明中，利用核子函数优化。更为具体地解释，假设有一个不完全的矩阵M,并且只知道所述不完全的矩阵M — 部分元素，因此，矩阵恢复问题的实质就是是否能够从矩阵的局部信息中恢复出整个矩阵， 根据这个假设，因为我们可以在矩阵未知的地方填入任何元素。但是，近来压缩感知技术 的发展显示当已知这个矩阵是低秩的情况下，例如所述不完全矩阵M的奇异向量充分的扩 展，这个矩阵是可以通过凸优化来恢复的。所以，矩阵恢复的任务可以描述为有一个低秩 连续的矩阵，通过已知的元素，求解完整的低秩矩阵。当然，最近一项新的方法是通过优化该问题的凸包络来替代，使用凸松弛的方法。 核子范数是rank(X)的凸包络，在实际应用当中，仅能够观测到一些元素被小噪声干扰过 的矩阵。例如，在融合问题里，观测到的深度信息是不准确的，因为提取步骤中就带来误差。 因而，在寻找一般方法来解决矩阵恢复问题时，噪声模型被引进来完成这项工作，为了对噪 声模型具有恢复的鲁棒性，在本发明中中，采用内点迭代的算法去求解这一压缩感知的问 题。步骤S105，根据所述完整的低秩矩阵，选取第一维子空间。具体地，经过矩阵恢复 之后，得出一个完整的低秩的矩阵。考虑这个复原后的矩阵，理论上讲，由于所有的摄像机 观测的同一物体，它的秩应该为1。但是，实际上，恢复后矩阵的秩是比较低的但不为1。每 个摄像机与其它的摄像机并不完全一致，这是由于噪声和冲突因而不可能得到统一的解。 简单说来，融合所用的摄像机越多，恢复得到的矩阵秩越高。因此，当恢复的矩阵秩不够低 时，一个提取有效信息的子空间选择就是必要的。融合工作中噪声的性质使我们想起利用弹性网络的方法选择子空间。弹性网络最 早提出用来解决变量选择问题。在lasso回归中，它对1范数和2范数进行同时惩罚，得到 了更精确的选择结果。弹性网络的力量使其成为融合矩阵消除噪声的有效工具。稀疏的破坏噪声被1范 数消除，相关噪声被2范数消除。从这里受到启发，本发明扩展弹性网络的力量，使之能够 选择子空间。认为从破坏的矩阵中低秩恢复的本质就是惩罚弹性网络噪声，在本发明的实 施例中，应用下面的方程提取一维子空间min. | |Al| *+λ」|N| ^ λ 2 |Ν| |2在这个低秩子空间选择算法中，可以同时恢复两个变量，例如子空间和噪声。因 此，它成为一个双变量优化问题可以通过不动点迭代的方法解决。对于N最小化弹性网络 意味着同时强调稀疏性和相关性。选择的第一维即为融合后的信息。步骤S106，根据所述第一维子空间实现三维模型的重建。具体地，通过弹性网络的子空间选择和核子范数的最小化，得到了一个低秩矩阵AL基于一个完整的融合矩阵在第一维子空间，即融合后的点云上进行泊松重建，即可得到 重建后的结果。为了对采用本发明的三维重建结果有一定的认识，如图4所示，为应用本发明的 方法建立的三维模型。在本发明的实施例中，为了对采用本发明提供的方法在完成三维图形重建后的准 确性和精度有更清楚的认识，如图5所示，为本发明所完成的三维模型在精度和完整度上 的评测结果。对本发明的效率做进一步的了解，如图6所示，为本发明建立结果的国际排名。另一方面，本发明还提供了一种深度图融合装置。如图7所示，为本发明实施例 的深度图融合装置，该深度图融合装置100包括预处理模块110，用于根据多个相机获取 的场景信息对不同视角的场景提取深度图；深度聚类模块120，用于对所述不同视角的深 度图进行聚类；不完整低秩矩阵建立模块130，用于根据所述聚类的信息建立缺失矩阵；不 完整低秩矩阵恢复模块140，用于恢复所述缺失矩阵以得到完整的低秩矩阵；弹性网络子 空间提取模块150，用于根据所述完整的低秩矩阵，选取第一维子空间；三维模型处理模块 160，用于根据所述第一维子空间实现三维模型的重建。尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以 理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换 和变型，本发明的范围由所附权利要求及其等同限定。
9
权利要求
一种深度图融合方法，其特征在于，包括以下步骤根据多个相机获取的场景信息对不同视角的场景提取深度图；对从所述不同视角提取的深度图进行聚类；根据所述聚类的信息建立缺失矩阵；恢复所述缺失矩阵以得到完整的低秩矩阵；根据弹性网络算法从所述完整的低秩矩阵中选取第一维子空间；和根据所述第一维子空间实现三维模型的重建。
2.如权利要求1所述的深度图融合方法，其特征在于，还包括 采用k近邻法对所述不同视角的深度图进行聚类；采用内点法对所述低秩矩阵进行恢复；和 采用弹性网络算法选取所述第一维子空间。
3.如权利要求2所述的深度图融合方法，其特征在于，恢复所述缺失矩阵以得到完整 的低秩矩阵，进一步包括采用压缩感知原理对所述缺失矩阵的恢复；和 消除所述缺失矩阵恢复过程中的小噪声。
4.如权利要求2所述的深度图融合方法，其特征在于，所述弹性网络还用于消除在所 述缺失矩阵恢复过程中的大噪声。
5.如权利要求4所述的深度图融合方法，其特征在于，所述弹性网络根据优化原则选 取所述第一维子空间，其中，所述优化原则为mini IalI +A1 |ν| Κ+λ2 |n| I2s. t. P = A+N其中，怂为所述的完整的低秩矩阵，N为所述深度图上的噪声信息，P为所述的缺失矩阵。
6.如权利要求5所述的深度图融合方法，其特征在于，所述优化原则的约束条件为 min. rank (Al)其中，所述约束条件为所述缺失深度矩阵是低秩的。
7.一种深度图融合装置，其特征在于，包括预处理模块，用于根据多个相机获取的场景信息对不同视角的深度图提取； 深度聚类模块，用于对从所述不同视角提取的深度图进行聚类； 不完整低秩矩阵建立模块，用于根据所述聚类的信息建立缺失矩阵； 不完整低秩矩阵恢复模块，用于恢复所述缺失矩阵以得到完整的低秩矩阵； 弹性网络子空间提取模块，用于根据弹性网络算法从所述完整的低秩矩阵中选取第一 维子空间；和三维模型处理模块，用于根据所述第一维子空间实现三维模型的重建。
8.如权利要求7所述的深度图融合装置，其特征在于，还包括所述深度局类模块采用k近邻法对所述不同视角的深度图进行聚类； 所述不完整低秩矩阵恢复模块采用内点法对所述低秩矩阵进行恢复；和 所述弹性网络子空间提取模块采用弹性网络算法选取所述第一维子空间。
9.如权利要求7所述的深度图融合装置，其特征在于，所述弹性网络根据优化原则选取所述第一维子空间，其中，所述优化原则为 mini IalI +a1 |ν| Κ+λ2 |n| I2其中，怂为所述的完整的低秩矩阵，N为所述深度图上的噪声信息，P为所述的缺失矩阵。
10.如权利要求9所述的深度图融合装置，其特征在于，所述优化原则的约束条件为 min. rank (Al)其中，所述约束条件为所述缺失深度矩阵是低秩的。
全文摘要
本发明提出了一种深度图融合方法和装置，其中，所述方法包括以下步骤根据多个相机获取的场景信息对不同视角的场景提取深度图；对从所述不同视角提取的深度图进行聚类；根据所述聚类的信息建立缺失矩阵；恢复所述缺失矩阵以得到完整的低秩矩阵；根据弹性网络算法从所述完整的低秩矩阵中选取第一维子空间；和根据所述第一维子空间实现三维模型的重建。通过本发明的深度图融合方法能够有效的处理噪声，同时，该深度图融合方法对标准数据的处理有着很高的正确性。
文档编号G06T5/00GK101964117SQ20101029093
公开日2011年2月2日 申请日期2010年9月25日 优先权日2010年9月25日
发明者戴琼海, 邓岳 申请人:清华大学