用于分层立体匹配的设备和方法

用于分层立体匹配的设备和方法
【专利摘要】本发明提供了一种用于分层立体匹配的设备和方法。在该方法中，通过缩小左图像和右图像来形成缩小的图像，并且对缩小的图像进行第一网格处理。接着，通过将缩小的图像的尺寸和亮度进行放大来生成放大的图像，并且对放大的图像进行第二网格处理。
【专利说明】用于分层立体匹配的设备和方法
【技术领域】
[0001]本发明涉及图像处理技术，更具体地，涉及在三维图像处理系统中使用的用于分层立体匹配的设备和方法。
【背景技术】
[0002]通常，立体匹配是通过左图像和右图像的像素之间的匹配来检测物体相距多远的技术。
[0003]例如，如果将一根手指很近地放置在双眼之间，那么在只睁开左眼时手指位于右侦牝而在只睁开右眼时手指位于左侧。另一方面，当人在看山峰时，在只睁开左眼时或者在只睁开右眼时，山峰都会位于双眼之间的中间。
[0004]在立体匹配中，当使用两个照相机来获得图像时，每个照相机所拍摄的物体所在的位置根据距离而变化。在这种情况下，使用与距离的变化有关的信息来获得距离信息。
[0005]将使用照片为例来描述左图像和右图像之间的差异。图1A和图1B分别是例示了左图像和右图像的示例性视图。如图1A和图1B所示，可以看出，在左图像和右图像当中以深色示出的物体的位置的差异大，但是在左图像和右图像当中以浅色示出的背景的位置的差异小。
[0006]图2A和图2B分别例示了图1A的左图像的距离信息和图1B的右图像的距离信息。在图2A和图2B中，当物体的颜色更浅时，该物体与照相机的距离更近。
[0007]人使用左图像和右图像来辨识距离信息，而计算机却不能使用这种方式来进行辨识。因此，计算机使用立体匹配技术。立体匹配是用于检测左图像和右图像的像素分别与对应的左图像和右图像的哪个像素匹配的技术。
[0008]在立体匹配技术中，假设左图像和右图像被校正过。在使用立体照相机任意拍摄照片时，照片处于如图3A所示的未校正状态。
[0009]在使用立体照相机拍摄图像时，图3A例示了未校正的图像的示例，而图3B例示了校正过的图像的示例。
[0010]也就是说，图3A的图像意味着左图像和右图像没有进行校正。如果为了补偿左图像和右图像之间的未校正而如图3B所示进行校正，则左图像和右图像被校正，使得左图像和右图像具有相同的焦距和相同的基线。左图像和右图像的纵向位置也进行校正，使得当从左图像和右图像中的每个图像横向地提取一条线时，左图像和右图像的提取的线指示相同的部分。
[0011]若干种方法用作立体匹配技术，而网格处理(Trellis)作为该若干种方法的代表来使用。
[0012]网格处理是通过将分别从左图像和右图像提取的一组线进行比较来检测匹配点的立体匹配方法。在网格处理中，通过将分别从左图像和右图像提取的一组线进行比较来独立于其他线进行匹配。因此，频繁地产生了其中横向线在图像中频繁出现的条纹噪声(streak noise),这造成图像质量的劣化。
【发明内容】

[0013]技术问题
[0014]为了解决上述问题构思了本发明。相应地，本发明的目的是提供用于立体匹配的设备和方法，其中使用分层结构的图像金字塔对小图像进行网格处理，并且估计了大图像的转换，使得可以减少噪声的影响。
[0015]技术方案
[0016]在本发明的一个总体方面中，提供有用于分层立体匹配的设备，该设备包括:分层结构形成单元，该分层结构形成单元配置成通过将使用立体照相机获得的左图像和右图像的尺寸缩小一半预定次数来形成缩小的图像；以及网格单元，该网格单元配置成对缩小的图像进行第一网格处理，并且将经历了第一网格处理的图像的尺寸和亮度进行放大，接着对放大的图像进行第二网格处理。
[0017]优选地但不是必须地，网格单元重复地进行图像的尺寸和亮度的放大以及第二网格处理预定次数。
[0018]优选地但不是必须地，网格单元对在前视差的周边像素进行第二网格处理。
[0019]优选地但不是必须地，分层结构形成单元包括:模糊单元，该模糊单元配置成用预定周边像素来评估任意像素的平均值，并且将评估的平均值存储在对应的像素中；以及子采样单元，该子采样单元被配置成选择若干个像素中的一个像素。
[0020]优选地但不是必须地，子采样单元选择四个像素中的一个像素。
[0021]优选地但不是必须地，网格单元包括:线提取单元，该线提取单元配置成提取与图像的对应点对应的线；亮度差计算单元，该亮度差计算单元配置成针对线提取单元所提取的线的像素来计算亮度差；路径指定单元，该路径指定单元配置成使用亮度差和预定不匹配参数来指定路径；最佳路径确定单元，该最佳路径确定单元配置成根据路径指定单元所指定的路径来确定最佳路径；以及放大单元，该放大单元配置成将图像的尺寸/亮度进行放大。
[0022]优选地但不是必须地，亮度差计算单元将亮度差应用于网格结构。
[0023]优选地但不是必须地，路径指定单元在网格结构的不匹配节点处，在在前阶段(stage)的相等层级(level)值、通过将不匹配参数加上更高层级值而获得的值以及通过将不匹配参数加上更低层级值而获得的值中指定最小值。
[0024]优选地但不是必须地，路径指定单元在网格结构的匹配节点处，通过将其自身的节点值加上在前阶段的相等层级值来指定最小值。
[0025]优选地但不是必须地，最佳路径确定单元通过确定用于使能量最小化的视差来确定最佳路径。
[0026]优选地但不是必须地，在进行第二网格处理时，亮度差计算单元针对在前视差区域的周边像素来计算亮度差。
[0027]在本发明的另一总体方面中，一种用于分层立体匹配的方法，该方法包括:通过缩小左图像和右图像来形成缩小的图像；对缩小的图像进行第一网格处理；通过放大缩小的图像的尺寸和亮度来生成放大的图像；以及对放大的图像进行第二网格处理。
[0028]优选地但不是必须地，形成缩小的图像包括:用预定周边像素来评估任意像素的平均值并且将评估的平均值存储在对应的像素中；以及选择若干个像素中的一个像素。
[0029]优选地但不是必须地，形成缩小的图像还包括重复地进行该存储和该选择预定次数。
[0030]优选地但不是必须地，进行第一网格处理包括:提取缩小的图像的线；针对该线的所有的像素来计算亮度差并且将计算的亮度差应用于网格结构；使用亮度差和预定不匹配参数来指定路径；以及根据指定的路径来确定最佳路径。
[0031]优选地但不是必须地，该方法还包括重复地进行所述生成放大的图像以及所述进行第二网格处理预定次数。
[0032]优选地但不是必须地，进行第二网格处理包括:提取放大的图像的线；针对在前视差区域的周边像素来计算亮度差并且将计算的亮度差应用于网格结构；使用亮度差和预定不匹配参数来指定路径；以及根据指定的路径来确定最佳路径。
[0033]优选地但不是必须地，指定路径包括:在网格结构的不匹配节点处，在在前阶段的相等层级值、通过将不匹配参数加上更高层级值而获得的值以及通过将不匹配参数加上更低层级值而获得的值中指定最小值；以及在网格结构的匹配节点处，通过将其自身的节点值加上在前阶段的相等层级值来指定最小值。
[0034]优选地但不是必须地，所述确定最佳路径包括通过确定用于使能量最小化的视差来确定最佳路径。
[0035]有益效果
[0036]如上所述，根据本发明，可以使用分层结构事先估计图像将会造成哪种结果，并且使用估计的结果来输出确切的结果。
[0037]此外，在本发明中使用了具有分层结构的图像金字塔，以使得可以降低计算的复杂性并且使用少量的计算来事先估计结果。
【专利附图】

【附图说明】
[0038]图1A和图1B分别是例示了左图像和右图像的示例性视图。
[0039]图2A和图2B分别例示了图1A的左图像的距离信息和图1B的右图像的距离信息。
[0040]图3A例示了在使用立体照相机进行拍摄时未校正图像的示例，图3B例示了在使用立体照相机进行拍摄时校正过的图像的示例。
[0041]图4是例示用于估计三维信息的核线(epipolar line)的示例性视图。
[0042]图5是例不视差和二维彳目息之间的关系的不例性视图。
[0043]图6是例示由左图像和右图像中的离散成分造成的视差的示例性视图。
[0044]图7是例示匹配节点和不匹配节点处的每条路径的成本的示例性视图。
[0045]图8是例示使用两个照相机拍摄的左图像和右图像的示例性视图。
[0046]图9A是例示网格处理的示例性视图。
[0047]图9B是例示网格处理的过程的示例性视图。
[0048]图9C是例示每个节点的值来自哪条路径的示例性视图。
[0049]图9D是例示使用图9C的路径来评估用于使能量最小化的视差的处理的示例性视图。
[0050]图10是根据本发明的实施例的用于分层立体匹配的设备的配置图。[0051]图11是例示图10的分层结构形成单元的实施例的详细结构图。
[0052]图12是示出了图10的网格单元的实施例的详细结构图。
[0053]图13A是例示根据本发明的实施例的通过对缩小的图像进行网格处理而获得的结果的示例性视图。
[0054]图13B是例示通过使用放大单元来放大图13的图像而获得的结果的示例性视图。
[0055]图13C是例示通过将图13B的最上面一行应用于网格结构而获得的结果的示例性视图。
[0056]图13D是例示根据本发明的实施例的通过对图13C提供限制条件而获得的结果的示例性视图。
[0057]图14A和14B是例示通过将图13C和图13D的处理应用于大尺寸的图像而获得的结果的示例性视图。
[0058]图15A和图15B是例示根据本发明的实施例的用于分层立体匹配的方法的流程图。
【具体实施方式】
[0059]在下文中，将参照附图对本发明进行更全面的描述，在附图中示出了本发明的实施例。然而，本发明可以以很多不同的形式来体现，并且不应该被解释成限于本文中阐述的实施例。相反，提供这些实施例，使得本公开内容更详尽，并且这些实施例将向本领域普通技术人员更全面地传达本发明的范围。
[0060]应该理解的是，尽管在本文中可以使用术语“第一”、“第二”等来描述各种要素，但是这些要素不应该受限于这些术语。这些术语仅用于将一个要素与另一个要素进行区分。因此，在不背离本发明的教示的情况下，下面讨论的“第一”要素也可以称作“第二”要素。
[0061]应该理解的是，当一个要素被称为“耦接”或“连接”至另一要素时，其可以直接耦接或连接至另一个要素，或者也可以存在中间要素。相反，当一个要素称为“直接耦接”或“直接连接”至另一要素时，不存在任何中间要素。
[0062]在本文中使用的术语仅仅是为了描述特定的实施例，而并不意欲限制本发明。如在本文中所使用的单数形式的“一个(a)”、“一个(an)”以及“该(the) ”意在还包括复数形式，除非上下文清楚地指出并非如此。
[0063]还应该理解的是,术语“包括(includes) ”和/或“包括(including) ”当在本说明书中使用时指存在所述的特征、整体、步骤、操作、要素和/或部件，但是并不排除存在和/或添加一个或更多个其他特征、整体、步骤、操作、要素、部件和/或其组合。
[0064]在附图中，为了清晰，层、膜和区域的厚度被放大。全文中，相同的附图标记指代相同的要素。
[0065]在下文中，将首先描述作为立体匹配技术的网格处理方法，接着，将参照附图描述应用了网格处理方法的根据本发明的实施例的用于分层立体匹配的设备。
[0066]首先，将描述视差d和三维(3D, three-dimensional)距离Z之间的关系。立体匹配根据二维的(2D, two-dimensional)左图像和右图像来重新构造三维空间，即立体图像。在立体匹配技术中，从两个2D图像提取对应点，并且使用对应点之间的几何关系来估计3D信息。[0067]图4是例示了用于估计三维信息的核线的示例性视图。
[0068]为了使用从2D图像提取的对应点之间的几何关系来估计3D信息，必须从立体图像中的另一图像(第二图像)提取与一个图像(第一图像)的一个点P对应的点。在这种情况下，可以看到，相对于参考图像(即第一图像)中的点P，在对应的图像(即，第二图像)的核线上存在点(例如，P’、P1’或者P2’)。如果进行了核线的校正，可以通过只检查水平延伸的两条单独的扫描线来进行立体匹配。
[0069]图5是例示视差和三维信息之间的关系的示例性视图，该图例示了从立体照相机获得的左图像和右图像与在图像中形成的物体之间的关系。
[0070]对应的像素之间的视差d是单独的线上的对应点差异，视差d可以用下面的表达式I来表示。
[0071]表达式I
[0072]d = Xr-X1
[0073]此处，d表示视差，Xlr表示右图像中的X轴长度，X1表示左图像中的X轴长度。当将一个点P(x，y，z)拍摄进左图像和右图像时，可以根据如下面的表达式2中所表示的几何结构来获得参数之间的关系。
[0074]表达式2
[0075]Xr-X1: f = B: Z
[0076]此处，f表示焦距，B (基线长度)表示两个照相机之间的距离，Z表示3D距离。如果将表达式2应用于表达式1，则3D距离Z可以用下面的表达式3来表示。
[0077]表达式3
V β
[0078]Z = -~
d
[0079]因此，可以使用焦距f、两个照相机之间的距离B以及两个图像的对应点来估计3D信息，即，物体的深度。
[0080]通常的照相机将3D图像作为2D离散成分存储在电荷耦合器件(CXD，chargecoupled device)传感器或者互补金属氧化物半导体(CMOS, complementary metal oxidesemiconductor)传感器中。也就是说，观察到的图像通过离散的点来表示。
[0081]图6是例示由左图像和右图像中的离散成分造成的视差的示例性视图。
[0082]如图6所示，视差可以通过左图像和右图像中的离散成分来表示。与图像相距最远的点的视差是d = 0(即，z )，并且在同一线上的所有的接触点具有相同的视差。随着3D深度Z (3D长度)增加，视差减小。
[0083]如图6所示的黑点是用于验证3D坐标是否是物体的表面的匹配发生处的节点，并且限定在投影线彼此相遇处。当在某个节点处发生正确的匹配时，在该节点处相遇的两个图像的像素组成一对，这称为匹配。相反，可存在在两个图像中的一个图像中看到物体的表面，但是在两个图像中的另一个图像中看不到该物体的表面的区域，这称为不匹配。
[0084]在图6中，左侧的 一条投影线与右侧的多条投影线相遇。在这种情况下，正确匹配只发生在左侧的投影线与右侧的多条投影线中的一条投影线相遇的匹配节点处。因此，如果对将图像投影在其上的投影线之间的关系进行约束，那么要查找的路径的数目减少，因此可以改进计算的效率并且可减少计算量。[0085]立体匹配技术基于用于查找实现能量函数最小化的视差的最大后验概率(MAP，maximum a posteriori)估计。为此目的，使用基于动态规划(DP, dynamic programming)的维特比(viterbi)算法来查找最佳路径。也就是说，可以使用在匹配节点和不匹配节点处定义路径，将针对路径中的每条路径提供的成本进行加总并且检测具有最小总成本的路径的方法来执行立体匹配技术。
[0086]图7是例示匹配节点和不匹配节点处的每条路径的成本的示例性视图。此处，黑点指示匹配节点，白点指示不匹配节点。
[0087]如果假设当前阶段是阶段i，具有最小总成本的路径是通过将从阶段i_l到阶段i的每条路径的成本的和加上直到阶段i_l为止的最小值而获得的值中具有最小值的路径。
[0088]在不匹配节点处，路径是通过在在前阶段的相等层级值、通过将不匹配参数加上更高层级值而获得的值以及通过将不匹配参数加上更低层级值而获得的值中指定最小值而形成的。在匹配节点处，路径是通过将其自身的节点值加上在前阶段的相等层级处的节点值而形成的。在这种情况下，在匹配节点处需要左图像和右图像的像素值，以计算定义为匹配成本的成本。
[0089]在匹配节点和不匹配节点之间存在最佳路径，并且该最佳路径与通过向这些路径分配匹配成本和不匹配成本而获得的结果相同。在网格结构中与时间相关地通过从左到右的路径上的纵向线中的节点定义一个阶段。
[0090]为了应用网格处理，条件如下。
[0091]第一，物体在右图像中存在的位置不能比物体在左图像中存在的位置更靠右。因为左照相机比右照相机定位得更靠左，所以明显的是，物体比右图像定位得更靠左。当假设阶段i中的视差是Cli时，Cli = X1-Xp并且不存在负视差。
[0092]第二,第一视差Cltl和最后的视差d2N具有为零的值。网格处理基本上是以从d2N追踪路径的这种方式来实现。在这种情况下，如果没有指定基本值，则不能进行网格处理。如果将d2N指定成某个值，则路径从该值开始。然而，因为d2N不是当前指定的，所以路径在将d2N指定成零值的状态开始。
[0093]第三，Cli和屯^之间的差不超过I。这是用于简化网格处理的实现的条件。因为系统必须用硬件实现，所以该条件是必不可少的。如果该条件不存在，则在不匹配节点处可变的节点的数目增加，因此复杂性增加。
[0094]这些是传统网格处理的三个条件。在本发明中，由于分层结构的应用，在这三个条件的基础上增加一个条件。稍后将进行描述。
[0095]查找最佳路径的算法如下:
[0096]在阶段i = O中所有节点的成本δ如通过下面的表达式4来表示的进行初始化。此处，根据分配的视差d和节点中的每个节点，在沿着‘i = 1，…，2N’的正方向上重复地进行初始化，以获得最佳路径和最佳成本。
[0097]表达式4
[0098]
4u)={0 {,,°

οο其他
[0099]当i+d是偶数时，成本δ表示不匹配节点。通过下面的表达式5来表示在不匹配节点处的成本5和最佳视差Ψ。
[0100]表达式5
【权利要求】
1.一种用于分层立体匹配的设备，所述设备包括: 分层结构形成单元，所述分层结构形成单元配置成通过将使用立体照相机获得的左图像和右图像的尺寸缩小一半预定次数来形成缩小的图像；以及 网格单元，所述网格单元配置成对所述缩小的图像进行第一网格处理，并且将经历了所述第一网格处理的图像的尺寸和亮度进行放大，接着对放大的图像进行第二网格处理。
2.根据权利要求1所述的设备，其中，所述网格单元重复地进行所述图像的尺寸和亮度的放大以及所述第二网格处理所述预定次数。
3.根据权利要求1所述的设备，其中，所述网格单元对在前视差的周边像素进行所述第二网格处理。
4.根据权利要求1所述的设备，其中，所述分层结构形成单元包括: 模糊单元，所述模糊单元配置成用预定周边像素来评估任意像素的平均值，并且将评估的平均值存储在对应的像素中；以及 子采样单元，所述子采样单元配置成选择若干个像素中的一个像素。
5.根据权利要求4所述的设备，其中，所述子采样单元选择四个像素中的一个像素。
6.根据权利要求1所述的设备，其中，所述网格单元包括: 线提取单元，所述线提取单元配置成提取与图像的对应点对应的线； 亮度差计算单元，所述亮度差计算单元配置成针对所述线提取单元所提取的线的像素来计算亮度差； 路径指定单元，所述路径指定单元配置成使用所述亮度差和预定不匹配参数来指定路径; 最佳路径确定单元，所述最佳路径确定单元配置成根据所述路径指定单元所指定的路径来确定最佳路径；以及 放大单元，所述放大单元配置成将所述图像的尺寸/亮度进行放大。
7.根据权利要求6所述的设备，其中，所述亮度差计算单元将所述亮度差应用于网格结构。
8.根据权利要求7所述的设备，其中，所述路径指定单元在所述网格结构的不匹配节点处，在在前阶段的相等层级值、通过将所述不匹配参数加上更高层级值而获得的值以及通过将所述不匹配参数加上更低层级值而获得的值中指定最小值。
9.根据权利要求7所述的设备，其中，所述路径指定单元在所述网格结构的匹配节点处，通过将其自身的节点值加上在前阶段的相等层级值来指定最小值。
10.根据权利要求6所述的设备，其中，所述最佳路径确定单元通过确定用于使能量最小化的视差来确定最佳路径。
11.根据权利要求6所述的设备，其中，在进行所述第二网格处理时，所述亮度差计算单元针对在前视差区域的周边像素来计算亮度差。
12.—种用于分层立体匹配的方法，所述方法包括: 通过缩小左图像和右图像来形成缩小的图像； 对所述缩小的图像进行第一网格处理； 通过放大所述缩小的图像的尺寸和亮度来生成放大的图像；以及 对所述放大的图像进行第二网格处理。
13.根据权利要求12所述的方法，其中，所述形成缩小的图像包括: 用预定周边像素来评估任意像素的平均值并且将评估的平均值存储在对应的像素中；以及 选择若干个像素中的一个像素。
14.根据权利要求13所述的方法，其中，所述形成缩小的图像还包括重复地进行所述存储和所述选择预定次数。
15.根据权利要求12所述的方法，其中，所述进行第一网格处理包括: 提取所述缩小的图像的线； 针对所述线的所有像素来计算亮度差并且将计算的亮度差应用于网格结构； 使用所述亮度差和预定不匹配参数来指定路径；以及 根据指定的路径来确定最佳路径。
16.根据权利要求14所述的方法，还包括重复地进行所述生成放大的图像以及所述进行第二网格处理所述预定次数。
17.根据权利要求12所述的方法，其中，所述进行第二网格处理包括: 提取所述放大的图像的线； 针对在前视差区域的周边像素来计算亮度差并且将计算的亮度差应用于网格结构； 使用所述亮度差和预定不匹配参数来指定路径；以及 根据指定的路径来确定最佳路径。
18.根据权利要求15或17所述的方法，其中，所述指定路径包括: 在所述网格结构的不匹配节点处，在在前阶段的相等层级值、通过将所述不匹配参数加上更高层级值而获得的值以及通过将所述不匹配参数加上更低层级值而获得的值中指定最小值；以及 在所述网格结构的匹配节点处，通过将其自身的节点值加上所述在前阶段的相等层级值来指定最小值。
19.根据权利要求15或者17所述的方法，其中，所述确定最佳路径包括通过确定用于使能量最小化的视差来确定最佳路径。
【文档编号】H04N13/00GK103947197SQ201280057740
【公开日】2014年7月23日 申请日期:2012年7月4日 优先权日:2011年11月23日
【发明者】李峻瑞, 河政穆, 罗寅太, 丁弘 申请人:Lg伊诺特有限公司, 浦项工科大学校产学协力团