立体匹配方法和系统的制作方法
【专利摘要】公开了一种立体匹配方法和系统。该立体匹配方法包括：通过分别对左图像和右图像迭代地进行缩放处理，生成相同层级数目的左图像金字塔和右图像金字塔；通过对左图像金字塔中处于最高层级的左变换图像和右图像金字塔中处于最高层级的右变换图像进行匹配来获取最高层级的左/右变换图像的视差图，并且通过对最高层级的左/右变换图像的视差图迭代地进行缩放和匹配处理来获取左图像/右图像的视差图，其中左图像金字塔和右图像金字塔中的最高层级是指左图像金字塔和右图像金子塔中尺寸最小的变换图像所在的层级；以及对左图像/右图像的视差图进行优化。
【专利说明】立体匹配方法和系统【技术领域】
[0001]本发明涉及图像处理领域，更具体地涉及立体匹配方法和系统。
【背景技术】
[0002]立体匹配是对某一场景拍摄两个以上图像，通过精确地找出图像间的匹配像素来估计该场景的三维(3D)模型，并且将这些图像间的匹配像素的二维(2D)位置转换为3D深度的处理。在例如两只眼睛或两个相机向前直视的简单的成像配置中，两只眼睛或两个相机之间的视差与该两只眼睛或两个相机与观察对象之间的距离(即，观察对象在所拍摄的图像中的立体深度)成反比。所以，视差图通常被用来描述所拍摄图像中的像素的立体深度。 [0003]在传统的用于立体匹配的算法中，通常将分别由两个眼睛或两个相机获取的两个图像中的一个图像作为参考图像、另一个图像作为目标图像，并且输出目标图像相对于参考图像的视差图。
[0004]用于立体匹配的方法大致可以分为全局型方法和局部型方法。一般的局部型方法通常需要对开销容积的每个部分中的像素窗口中的开销进行聚集。局部型方法的计算简单且快速，但是问题也比较明显。首先，局部型方法隐含地假设支持窗口中的像素具有恒定的视差，这导致重建正面平行表面的倾向，并且在倾斜表面中存在问题。其次，由于局部开销聚集的原因，局部型方法不能处理较大的无纹理的区域。
[0005]全局型方法通过对全局能量函数进行最小化来找出最佳的视差，其克服了局部型方法的一些缺陷。但是，诸如图割(graph-cut)优化之类的找出全局能量的最小值的处理通常比较复杂，且速度较慢。并且，较简单的解决方案不能得到令人满意的结果，例如动态规划和扫描行优化算法会受到计算出的视差图中的横条的不良影响。另一个问题是，一半的全局型优化不能保留不连续性。
【发明内容】
[0006]鉴于以上所述的问题，本发明提供了一种新颖的立体匹配方法和系统。
[0007]根据本发明实施例的立体匹配方法，包括:通过分别对左图像和右图像迭代地进行缩放处理，生成相同层级数目的左图像金字塔和右图像金字塔；通过对左图像金字塔中处于最高层级的左变换图像和右图像金字塔中处于最高层级的右变换图像进行匹配来获取最高层级的左/右变换图像的视差图，并且通过对最高层级的左/右变换图像的视差图迭代地进行缩放和匹配处理来获取左图像/右图像的视差图，其中左图像金字塔和右图像金字塔中的最高层级是指左图像金字塔和右图像金子塔中尺寸最小的变换图像所在的层级；以及对左图像/右图像的视差图进行优化。
[0008]根据本发明实施例的立体匹配系统，包括:金字塔生成单元，用于通过分别对左图像和右图像迭代地进行缩放处理，生成相同层级数目的左图像金字塔和右图像金字塔；视差图获取单元，用于通过对左图像金字塔中处于最高层级的左变换图像和右图像金字塔中处于最高层级的右变换图像进行匹配来获取最高层级的左/右变换图像的视差图，并且通过对最高层级的左/右变换图像的视差图迭代地进行缩放和匹配处理来获取左图像/右图像的视差图，其中左图像金字塔和右图像金字塔中的最高层级是指左图像金字塔和右图像金子塔中尺寸最小的变换图像所在的层级；以及视差图优化单元，用于对左图像/右图像的视差图进行优化。
[0009]比较现有的立体匹配的方法和系统，本发明通过金字塔式的视差图计算架构，可以更好地处理无材质区域和避免视差在求解中因陷入局部收敛而得到错误值；通过在每一层对来自上一层的粗略视差图的修正，可以自然地得到子像素精度的视差图和更好地的保留边界；通过对视差图的优化后处理，标识并处理错误的视差值。
【专利附图】
【附图说明】
[0010]从下面结合附图对本发明的【具体实施方式】的描述中可以更好地理解本发明，其中:
[0011]图1示出了根据本发明实施例的立体匹配系统的框图；
[0012]图2示出了根据本发明实施例的立体匹配方法的流程图；
[0013]图3示出了获取左图像/右图像的视差图的过程的示意图；
[0014]图4示出了找出左图像(或其视差图)中被遮挡的像素的过程；
[0015]图5示出了找出左图像中孤立深度的像素的过程。
【具体实施方式】
[0016]下面将详细描述本发明各个方面的特征和示例性实施例。下面的描述涵盖了许多具体细节，以便提供对本发明的全面理解。但是，对于本领域技术人员来说显而易见的是，本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更清楚的理解。本发明绝不限于下面所提出的任何具体配置和算法，而是在不脱离本发明的精神的前提下覆盖了相关元素、部件和算法的任何修改、替换和改进。
[0017]本发明提出的方法是一种全局型的立体匹配方法和系统。具体地，该立体匹配方法和系统以增量式光流框架为基础，可以获得平滑的子像素视差，并且对于无纹理的区域的处理效果很好。在根据本发明实施例的立体匹配方法和系统中视差图是通过求解线性等式计算出来的，所以根据本发明实施例的立体匹配方法和系统比一般的全局型方法更容易实现。另外，根据本发明实施例的立体匹配方法和系统重新设计的平滑项保证了不连续性保留的特性，并且包括新颖的异步遮挡检测处理。
[0018]图1示出了根据本发明实施例的立体匹配系统的框图。图2示出了根据本发明实施例的立体匹配方法的流程图。下面，结合附图详细描述根据本发明实施例的立体匹配系统和方法。
[0019]如图1中所示，根据本发明实施例的立体匹配系统包括金字塔生成单元102、视差图获取单元104、以及视差图优化单元106。其中，金字塔生成单元102通过分别对左图像和右图像迭代地进行缩放处理，生成相同层级数目的左图像金字塔和右图像金字塔(即，执行步骤S202);视差图获取单元104通过对左图像金字塔中处于最高层级的左变换图像和右图像金字塔中处于最高层级的右变换图像进行匹配来获取最高层级的左/右变换图像的视差图，并且通过对最高层级的左/右变换图像的视差图迭代地进行缩放和匹配处理来获取左图像/右图像的视差图(即，执行步骤S204);视差图优化单元106对左图像/右图像的视差图进行优化(即，执行步骤S206)。[0020]下面，结合图3至图5描述由根据本发明实施例的立体匹配系统中包括的上述各个单元实现的根据本发明实施例的立体匹配方法的以下步骤。
[0021]S202，生成图像金字塔。
[0022]在根据本发明实施例的立体匹配方法中，分别对左图像和右图像进行缩放处理以生成左图像金字塔和右图像金字塔。具体地，在左/右图像金字塔中，将原始图像记为I。，将第1层级的变换图像记为Ii，将第2层级的变换图像记为12，...，将第P层级的变换图像记为Ip。这里，为了描述方便，在左/右图像金字塔中，可以将第P等级称为最高等级(相应地，将原始图像所在的等级称为第0等级)，将第p-Ι等级称为第p等级的上一个等级，并将第p+1等级称为第p等级的下一个等级。其中，处于越高等级的变换图像的尺寸越小，并且处于最高等级的变换图像的尺寸最小。可以根据下面的等式从第P层级的变换图像计算得出第P+1层级的变换图像:
[0023]
【权利要求】
1.一种立体匹配方法,包括: 通过分别对左图像和右图像迭代地进行缩放处理，生成相同层级数目的左图像金字塔和右图像金字塔； 通过对所述左图像金字塔中处于最高层级的左变换图像和所述右图像金字塔中处于最高层级的右变换图像进行匹配来获取所述最高层级的左/右变换图像的视差图，并且通过对所述最高层级的左/右变换图像的视差图迭代地进行缩放和匹配处理来获取所述左图像/右图像的视差图，其中所述左图像金字塔和所述右图像金字塔中的最高层级是指所述左图像金字塔和所述右图像金子塔中尺寸最小的变换图像所在的层级；以及 对所述左图像/右图像的视差图进行优化。
2.根据权利要求1所述的立体匹配方法，其特征在于，通过分别对所述左图像和所述右图像迭代地进行高斯滤波和下采样，来生成所述左图像金字塔和所述右图像金字塔。
3.根据权利要求1所述的立体匹配方法，其特征在于，对于所述左/右图像金字塔中的任意一个层级，即第P层级的左/右变换图像: 通过对所述左/右图像金字塔中的第P-1层级的左/右变换图像的视差图进行缩放，获取所述第P层级的左/右变换图像的粗略视差图； 基于不连续性保留全局优化的层级立体匹配，利用所述左图像金字塔中的第P层级的左变换图像和所述右图像金字塔中的第P层级的右变换图像获取所述第P层级的左/右变换图像的修正视差图；以及 通过将所述第P层级的左/右变换图像的粗略视差图与修正视差图叠加，来获取所述第P层级的左/右变换图像的精确视差图。
4.根据权利要求1所述的立体匹配方法，其特征在于，对所述左图像/右图像的视差图进行优化的处理包括: 通过多对一的像素对应不被接受、对应像素光强一致、和孤立深度的像素不被接受这三个原则找出所述左图像/右图像的视差图中的被遮挡像素，并利用所述左图像/右图像的视差图中除被遮挡像素以外的其他像素的像素值来获取所述左图像/右图像的视差图中的被遮挡像素的修正后的像素值，从而对所述左图像/右图像的视差图进行优化。
5.根据权利要求3所述的立体匹配方法，其特征在于，获取所述第P层级的左/右变换图像的修正视差图的处理包括: 基于迭代调整权重的最小二乘法，利用当前的修正视差图计算权重矩阵进而得到线性方程的系数矩阵，通过求解线性方程得到新的修正视差图，重复这个过程直至该修正视差图收敛或者系统达到预先定义的最大迭代次数。
6.—种立体匹配系统,包括: 金字塔生成单元，用于通过分别对左图像和右图像迭代地进行缩放处理，生成相同层级数目的左图像金字塔和右图像金字塔； 视差图获取单元，用于通过对所述左图像金字塔中处于最高层级的左变换图像和所述右图像金字塔中处于最高层级的右变换图像进行匹配来获取所述最高层级的左/右变换图像的视差图，并且通过对所述最高层级的左/右变换图像的视差图迭代地进行缩放和匹配处理来获取所述左图像/右图像的视差图，其中所述左图像金字塔和所述右图像金字塔中的最高层级是指所述左图像金字塔和所述右图像金子塔中尺寸最小的变换图像所在的层级；以及视差图优化单元，用于对所述左图像/右图像的视差图进行优化。
7.根据权利要求6所述的立体匹配系统，其特征在于，所述金字塔生成单元通过分别对所述左图像和所述右图像迭代地进行高斯滤波和下采样，来生成所述左图像金字塔和所述右图像金字塔。
8.根据权利要求6所述的立体匹配系统，其特征在于，对于所述左/右图像金字塔中的任意一个层级，即第P层级的左/右变换图像，所述视差图获取单元通过以下处理来获取所述第P层级的左/右变换图像的最佳视差图:通过对所述左/右图像金字塔中的第P-1层级的左/右变换图像的视差图进行缩放，获取所述第P层级的左/右变换图像的粗略视差图；基于不连续性保留全局优化的层级立体匹配，利用所述左图像金字塔中的第P层级的左变换图像和所述右图像金字塔中的第P层级的右变换图像获取所述第P层级的左/右变换图像的修正视差图；以及通过将所述第P层级的左/右变换图像的粗略视差图与修正视差图叠加，来获取所述第P层级的左/右变换图像的最佳视差图。
9.根据权利要求6所述的立体匹配系统，其特征在于，所述视差图优化单元通过以下处理对所述左图像/右图像 的视差图进行优化:通过多对一的像素对应不被接受、对应像素光强一致、和孤立深度的像素不被接受这三个原则找出所述左图像/右图像的视差图中的被遮挡像素，并利用所述左图像/右图像的视差图中除被遮挡像素以外的其他像素的像素值来获取所述左图像/右图像的视差图中的被遮挡像素的修正后的像素值，从而对所述左图像/右图像的视差图进行优化。
10.根据权利要求8所述的立体匹配系统，其特征在于，所述视差图获取单元通过以下处理来获取所述第p层级的左/右变换图像的修正视差图:基于迭代调整权重的最小二乘法，利用当前的修正视差图计算权重矩阵进而得到线性方程的系数矩阵，通过求解线性方程得到新的修正视差图，重复这个过程直至该修正视差图收敛或者系统达到预先定义的最大迭代次数。
【文档编号】G06T7/00GK103679680SQ201210321155
【公开日】2014年3月26日 申请日期:2012年8月31日 优先权日:2012年8月31日
【发明者】王炳融, 白向晖, 王寰宇, 谭志明 申请人:富士通株式会社