专利名称：产生视差图的方法和装置及其立体匹配方法和装置的制作方法
技术领域：
本发明通常涉及用于从立体图像获得三维图像的技术，具体地说，涉及从立体图像产生视差图的方法和装置及其立体匹配方法和装置。
背景技术：
立体匹配技术用于从立体图像获得三维(3D)图像。此外，立体匹配技术用于从在同一直线上的不同位置拍摄的对象的多个二维(2D)图像获得3D图像。立体图像是从不同位置拍摄的对象的一对2D图像。
在传统技术中，为了从2D图像产生3D图像，需要与深度信息相应的z坐标以及与垂直位置信息和水平位置信息相应的x坐标和y坐标。需要立体图像的视差信息以计算z坐标。立体匹配技术用于获得视差。例如，如果立体图像是左右两个相机拍摄的左图像和右图像，则左图像和右图像中的一个被设置为参考图像而另一图像被设置为搜索图像。在这种情况下，对于空间中的相同点，参考图像和搜索图像之间的距离(即，坐标差)被称为视差。使用立体匹配技术获得视差。
对于所有像素，使用参考图像和搜索图像之间的视差从像素深度信息产生3D坐标表示的视差图。
将在此简要描述传统技术中用于计算参考图像和搜索图像之间的视差的立体匹配技术的示例。首先，设置以参考图像的参考像素为中心的预定大小参考像素窗口。对于搜索图像，与参考像素窗口具有相同大小的搜索像素窗口被设置以搜索像素为中心。在参考图像的像素中，参考像素用于当前从搜索图像搜索相应点。在搜索图像的像素中，搜索像素用于当前确定其是否被映射到对于参考像素的相应点。窗口具有由中心像素和中心像素周围的外围像素形成的矩阵。
计算参考像素窗口和每个搜索像素窗口内的像素之间的相似度。搜索像素窗口中与参考像素窗口具有最大相似度值的搜索像素窗口的搜索像素被定义为映射到相应点的相应像素。将视差计算为参考像素和相应像素之间的距离。
为了计算参考像素窗口和每个搜索像素窗口内的像素之间的相似度，使用计算并比较参考像素窗口内的像素的平均值和每个搜索像素窗口内的像素的平均值的方法。
用于计算并比较参考像素窗口内的像素的平均值和每个搜索像素窗口内的像素的平均值的处理需要增加处理时间，并且使用量增加的存储器被采用，以获得参考图像和搜索图像之间的视差。简单地，因为计算并比较窗口内所有像素值的平均值，所以应该存储窗口内所有像素值及其平均值，从而增加了存储器的使用量和处理时间。此外，因为对于图像的所有像素应该搜索所有相应像素，所以显著增加了存储器的使用量和处理时间。
可选地，在诸如移动通信终端的小产品的各种移动终端中采用的嵌入式系统具有很多限制，即，电源容量小、处理器计算速率低和存储器容量小。在实践中，在嵌入式系统中很难采用需要大存储器使用量和长处理时间的功能。
在不同于计算机的嵌入式系统中，很难采用用于从立体图像获得3D图像以使用3D图像的各种功能。
发明内容
因此，本发明提供一种用于产生视差图的方法和装置及其立体匹配方法和装置，能够减少从立体图像获得3D图像需要的存储器使用量和处理时间。
此外，本发明提供一种立体匹配方法和装置，能够简单地实现立体图像的立体匹配处理。本发明提供一种视差图产生方法和装置，能够简单地从立体图像产生视差图。
根据本发明的一方面，提供一种立体匹配技术从立体图像提取边缘图像；从映射到能够在预定大小窗口内出现的预定边缘形式的预定边罩中搜索与参考边缘像素相关的窗口的边缘形式匹配的边罩，所述预定大小窗口以边缘图像的参考边缘图像的边缘像素中的参考边缘像素为中心；以及从边缘图像的搜索边缘图像的边缘像素中搜索位于窗口的中心的边缘像素，并且将搜索的边缘像素设置为映射到对参考边缘像素的相应点的相应边缘像素，所述窗口具有与搜索的边罩匹配的边缘形式。
根据本发明的另一方面，提供一种视差图产生技术基于参考边缘图像的边缘像素和与其映射的搜索边缘图像的相应边缘像素之间的距离来产生边缘图像视差图；以及通过使用边缘图像视差图的边缘像素之间的内差补偿非边缘图像区的视差图来产生最终视差图。
在参考边缘图像的边缘像素中，参考边缘像素用于当前从搜索边缘图像搜索相应边缘像素。
通过下面结合附图进行的详细描述，本发明的上述和其它特点和优点将会变得更加容易理解，其中图1是示出根据本发明的用于产生视差图的装置的框图；图2是示出根据本发明的用于产生视差图的处理的流程图；图3是示出根据本发明的立体匹配处理的流程图；图4示出根据本发明的边罩的示例；以及图5A和图5B示出根据本发明的以边缘形式匹配的示例。
具体实施例方式
下面将参照附图在此详细描述本发明的优选实施例。在下面的描述中，为了简明和清楚，将省略对本领域的技术人员公知的合并于此的功能和结构的详细描述。此外，将描述立体图像是左相机和右相机拍摄的左图像和右图像的示例。
图1是示出根据本发明的用于产生视差图的装置的框图。所述装置设置有第一边缘提取器100和第二边缘提取器102、边缘立体匹配器104、边缘视差图产生器106和视差图补偿器108。
参照图2，将在此描述用于产生视差图的装置。第一边缘提取器100和第二边缘提取器102接收立体图像。立体图像是与从不同位置拍摄的对象的二维(2D)图像相应的一对左图像和右图像。
参照图2，第一边缘提取器100和第二边缘提取器102执行图2的步骤200。第一边缘提取器100接收与立体图像相应的左图像和右图像中的左图像，并提取边缘图像。第二边缘提取器102接收与立体图像相应的左图像和右图像中的右图像，并提取边缘图像。在这里，第一边缘提取器100和第二边缘提取器102提取的边缘图像被分别称为左边缘图像和右边缘图像。由形成左图像和右图像的轮廓的边缘像素来构成左边缘图像和右边缘图像。将提取的左边缘图像和右边缘图像输入到边缘立体匹配器104。其后，边缘立体匹配器104执行图2的步骤202。边缘立体匹配器104执行用于左边缘图像和右边缘图像的边缘立体匹配处理。图3是示出根据本发明的立体匹配处理的流程图。参照图3，左边缘图像和右边缘图像中的一个被称为参考边缘图像，另一个被称为搜索边缘图像。此外，图3示出对于参考边缘图像的边缘像素中的一个参考边缘像素从搜索边缘图像的边缘像素中搜索相应边缘像素的处理。为了对于参考边缘图像的所有边缘像素搜索相应边缘像素，边缘立体匹配器104将图3的处理重复与参考边缘图像的边缘像素的数量相应的次数。此外，当对于参考边缘图像的边缘像素搜索搜索边缘图像的相应边缘像素时，例如，如传统情况，从第一扫描行依次执行搜索，并在一扫描行从第一边缘像素依次执行搜索。
在参考边缘图像的边缘像素中，参考边缘像素用于当前从搜索边缘图像搜索相应点。在搜索边缘图像的边缘像素中，搜索边缘像素用于当前确定其是否被映射到对于参考边缘像素的相应点。
首先，在图3的步骤300，边缘立体匹配器104对于参考边缘图像的边缘像素中的参考边缘像素设置预定大小的参考边缘像素窗口。然后，在步骤302，边缘立体匹配器104将预定数量的不同边罩(edge mask)中的第一边罩应用于参考边缘像素窗口，并且在步骤304，确定参考边缘像素窗口的边缘形式与应用的边罩的边缘形式是否匹配。如果参考边缘像素窗口的边缘形式与应用的边罩的边缘形式不匹配，则在步骤306，边缘立体匹配器104将参考边缘像素窗口的边罩改变为不同的边罩，并且应用该不同的边罩。其后，边缘立体匹配器104返回步骤304，以确定参考边缘像素窗口的边缘形式与应用的边罩的边缘形式是否匹配。使用上述处理，找到与参考边缘像素窗口的边缘形式匹配的边罩。
窗口具有由与参考边缘像素相应的中心像素和中心像素周围的外围像素形成的矩阵。预定映射到能够在窗口内出现的预定边缘形式的边罩。将窗口大小设置为等于边罩大小。水平像素的数量乘以垂直像素的数量的大小被预定为一个大小，例如，3×3、7×7、9×9等。由于窗口或边罩大小被放大，因此能够正确地搜索相应边缘像素，但是因为将被处理的像素的数量增加，所以处理量和时间增加。因此，在考虑本发明中将采用的系统的性能的同时，应该在设计时适当地定义窗口和边罩大小。
图4示出将垂直边罩400、水平边罩402、X形边罩404、钻石形边罩406、向上边罩408、向下边罩410和全边罩412定义为边罩的示例。此外，图4示出这样一种示例，其中，边罩大小是3×3，即，由一个中心像素和中心像素周围的8个外围像素指定3×3的窗口大小。在每个边罩的9个点中，例如，阴影点具有逻辑值“1”，空白点具有逻辑值“0”。
在上述罩中，当垂直地形成以参考边缘像素为中心的窗口内的边缘时，垂直边罩400用于搜索相应边缘像素。当水平地形成以参考边缘像素为中心的窗口内的边缘时，水平边罩402用于搜索相应边缘像素。当以参考边缘像素为中心的窗口内的边缘形成X形时，X形边罩404用于搜索相应边缘像素。当以参考边缘像素为中心的窗口内的边缘形成钻石形时，钻石形边罩406用于搜索相应边缘像素。当以向上的方向且不是以垂直方向形成以参考边缘像素为中心的窗口内的边缘时，向上边罩408用于搜索相应边缘像素。当以向下的方向且不是以垂直方向形成以参考边缘像素为中心的窗口内的边缘时，向下边罩410用于搜索相应边缘像素。当以参考边缘像素为中心的窗口内的所有像素都是边缘时，全边罩412用于搜索相应边缘像素。
因此，在步骤302至306，直到从如图4的示例所示的多个不同的预定边罩中找到与参考边缘像素窗口匹配的边罩，才从第一边罩开始依次执行匹配检查。
当边罩被应用于参考边缘像素窗口时，将描述匹配检查的示例。例如，当参考边缘像素窗口的边缘形式是垂直的时，能够出现包括图5A的示例的各种情况。当应用图4的垂直边罩400时，获得图5B所示的结果。在图5A和图5B中，“0”是逻辑值“0”，“1”是逻辑值“1”。如果应用边罩，则意味着基于逐个像素地对参考边缘像素和边罩执行“和”运算。当参考边缘像素窗口具有如图5A中的(a)～(d)所示的垂直边缘形式，并应用垂直边罩400时，如图5B所示，结果基本上等于垂直边罩400的值。这是参考边缘像素窗口与垂直边罩400的边缘形式匹配的情况。因为通过参照上述示例能够容易地理解与剩余边缘形式相关的边罩应用和匹配检查，所以省略进一步的描述。
在步骤308，如果在步骤302至306的处理中已经搜索到与参考边缘像素窗口的边缘形式匹配的边罩，则将匹配边罩设置为搜索罩。
在步骤310，以与在步骤300设置参考边缘像素的窗口的方式相同的方式来设置搜索边缘图像的边缘像素中的搜索边缘像素的窗口。
在步骤312，将搜索罩应用于搜索边缘像素窗口。在步骤314，对搜索边缘像素窗口的边缘形式与搜索罩的边缘形式是否匹配进行确定。如果搜索边缘像素窗口的边缘形式与搜索罩的边缘形式不匹配，则在步骤316，搜索边缘图像的下一边缘像素(即，扫描行上当前搜索边缘像素的下一边缘像素)被设置为搜索边缘像素，然后，再次执行步骤310。在这里，以与将边罩应用于参考边缘像素窗口并对边缘形式是否匹配进行确定的方式相同的方式，来执行将搜索罩应用于搜索边缘像素窗口并确定边缘形式是否匹配的处理。通过上述处理，找到与搜索罩匹配的边缘形式的搜索边缘像素。
在步骤318，将匹配搜索边缘像素设置为相应边缘像素。也就是说，对于当前参考边缘像素，找到映射到相应点的相应边缘像素。
边缘立体匹配器104通过重复图3的上述处理来搜索所有相应边缘像素。然后，在图2的步骤204，边缘视差图产生器106使用边缘立体匹配器104获得的参考边缘图像的边缘像素和与其映射的搜索边缘图像的相应边缘像素来产生边缘图像视差图。边缘视差图产生器106与传统视差图产生器不同，产生与边缘相关的视差图。产生边缘图像视差图的处理基本上与传统技术的视差图产生处理相同。例如，边缘视差图产生器106基于边缘立体匹配器104获得的参考边缘图像的边缘像素和与其映射的搜索边缘图像的相应边缘像素之间的距离来产生边缘图像视差图。
假定边缘视差图产生器106产生的边缘图像视差图仅是对于边缘图像的视差图而不是对于整个图像的视差图，则不包括非边缘图像区的视差图。在图2的步骤206，视差图补偿器108通过补偿非边缘图像区的视差图来产生最终视差图。视差图补偿器108可使用传统的像素间内差方法补偿边缘图像视差图的非边缘图像区的视差图。也就是说，通过在边缘图像视差图中的邻近边缘像素之间的深度信息(即，z坐标)的内差，补偿非边缘图像区的视差图。
根据本发明，立体匹配处理仅对边缘像素而不是参考图像的所有像素搜索搜索图像的相应边缘像素。
通过使用简单的逻辑“和”运算，而不计算并比较参考像素窗口内的像素的平均值和每个搜索像素窗口内的像素的平均值，来找到与仅由一个比特“1”或“0”表示的边缘形式匹配的搜索像素窗口，以搜索相应边缘像素。也就是说，通过对不同于原始图像的每个像素值的仅由一个比特表示的边缘图像的边缘像素比较边缘形式，来搜索相应边缘像素。
因此，显著减少了存储器的使用量和处理时间。
因为仅使用边缘图像搜索相应边缘像素，所以与对原始图像的所有像素搜索相应像素的情况相比，更能够减少搜索差错。
根据本发明，能够容易地实现立体图像的立体匹配处理，从而能够容易地从立体图像产生视差图。因此，本发明能够减少从立体图像获得3D图像所必需的存储器的使用量和处理时间，从而能够被容易地应用于嵌入式系统。
尽管已经为了示意性目的公开本发明的优选实施例，但本领域的技术人员应该理解，在不脱离权利要求范围的情况下，可以进行各种修改、添加和替换。具体地说，已经描述了左右两个相机拍摄的相同对象的左图像和右图像的示例。此外，本发明还可应用于由至少三个相机拍摄的多个2D图像的情况下。在这种情况下，将一幅图像设置为参考图像，将剩余图像设置为搜索图像。对一幅参考图像的多个搜索图像执行边缘立体匹配处理。在需要处，能够不同地应用边罩的形式和类型以及窗口大小和边罩大小。因此，本发明不限于上述实施例，而由权利要求及等同物的全部范围限定。
权利要求
1.一种用于从立体图像产生视差图的立体匹配方法，包括步骤从立体图像提取边缘图像；从映射到能够在预定大小窗口内出现的预定边缘形式的预定边罩中搜索与参考边缘像素相关的窗口的边缘形式匹配的边罩，所述预定大小窗口以边缘图像的参考边缘图像的边缘像素中的参考边缘像素为中心；以及从边缘图像的搜索边缘图像的边缘像素中搜索位于窗口的中心的边缘像素，并且将搜索的边缘像素设置为映射到对参考边缘像素的相应点的相应边缘像素，所述窗口具有与搜索的边罩匹配的边缘形式，其中，在参考边缘图像的边缘像素中，参考边缘像素用于当前从搜索边缘图像搜索相应边缘像素。
2.如权利要求1所述的立体匹配方法，其中，所述边罩包括映射到垂直边缘形式的垂直边罩、映射到水平边缘形式的水平边罩、映射到X形边缘形式的X形边罩、映射到钻石形边缘形式的钻石形边罩、映射到向上边缘形式的向上边罩、映射到向下边缘形式的向下边罩和映射到全边缘形式的全边罩。
3.如权利要求1所述的立体匹配方法，其中，边罩和窗口具有相同大小的矩阵形式。
4.一种用于从立体图像产生视差图的方法，包括步骤从立体图像提取边缘图像；从映射到能够在预定大小窗口内出现的预定边缘形式的预定边罩中搜索与参考边缘像素相关的窗口的边缘形式匹配的边罩，所述预定大小窗口以边缘图像的参考边缘图像的边缘像素中的参考边缘像素为中心；从边缘图像的搜索边缘图像的边缘像素中搜索位于窗口的中心的边缘像素，并且将搜索的边缘像素设置为映射到对参考边缘像素的相应点的相应边缘像素，所述窗口具有与搜索的边罩匹配的边缘形式；基于参考边缘图像的边缘像素和与其映射的搜索边缘图像的相应边缘像素之间的距离来产生边缘图像视差图；以及通过使用边缘图像视差图的边缘像素之间的内差补偿非边缘图像区的视差图来产生最终视差图，其中，在参考边缘图像的边缘像素中，参考边缘像素用于当前从搜索边缘图像搜索相应边缘像素。
5.如权利要求4所述的方法，其中，所述边罩包括映射到垂直边缘形式的垂直边罩、映射到水平边缘形式的水平边罩、映射到X形边缘形式的X形边罩、映射到钻石形边缘形式的钻石形边罩、映射到向上边缘形式的向上边罩、映射到向下边缘形式的向下边罩和映射到全边缘形式的全边罩。
6.如权利要求4所述的方法，其中，边罩和窗口具有相同大小的矩阵形式。
7.一种用于从立体图像产生视差图的立体匹配装置，包括边缘提取器，从立体图像提取边缘图像；边缘立体匹配器，从映射到能够在预定大小窗口内出现的预定边缘形式的预定边罩中搜索与参考边缘像素相关的窗口的边缘形式匹配的边罩，所述预定大小窗口以边缘图像的参考边缘图像的边缘像素中的参考边缘像素为中心，从边缘图像的搜索边缘图像的边缘像素中搜索位于窗口的中心的边缘像素，并且将搜索的边缘像素设置为映射到对参考边缘像素的相应点的相应边缘像素，所述窗口具有与搜索的边罩匹配的边缘形式，其中，在参考边缘图像的边缘像素中，参考边缘像素用于当前从搜索边缘图像搜索相应边缘像素。
8.如权利要求7所述的立体匹配装置，其中，所述边罩包括映射到垂直边缘形式的垂直边罩、映射到水平边缘形式的水平边罩、映射到X形边缘形式的X形边罩、映射到钻石形边缘形式的钻石形边罩、映射到向上边缘形式的向上边罩、映射到向下边缘形式的向下边罩和映射到全边缘形式的全边罩。
9.如权利要求7所述的立体匹配装置，其中，边罩和窗口具有相同大小的矩阵形式。
10.一种用于从立体图像产生视差图的装置，包括边缘提取器，从立体图像提取边缘图像；边缘立体匹配器，从映射到能够在预定大小窗口内出现的预定边缘形式的预定边罩中搜索与参考边缘像素相关的窗口的边缘形式匹配的边罩，所述预定大小窗口以边缘图像的参考边缘图像的边缘像素中的参考边缘像素为中心，从边缘图像的搜索边缘图像的边缘像素中搜索位于窗口的中心的边缘像素，并且将搜索的边缘像素设置为映射到对参考边缘像素的相应点的相应边缘像素，所述窗口具有与搜索的边罩匹配的边缘形式；边缘视差图产生器，基于参考边缘图像的边缘像素和与其映射的搜索边缘图像的相应边缘像素之间的距离来产生边缘图像视差图；以及视差图补偿器，通过使用边缘图像视差图的边缘像素之间的内差补偿非边缘图像区的视差图来产生最终视差图，其中，在参考边缘图像的边缘像素中，参考边缘像素用于当前从搜索边缘图像搜索相应边缘像素。
11.如权利要求10所述的装置，其中，所述边罩包括映射到垂直边缘形式的垂直边罩、映射到水平边缘形式的水平边罩、映射到X形边缘形式的X形边罩、映射到钻石形边缘形式的钻石形边罩、映射到向上边缘形式的向上边罩、映射到向下边缘形式的向下边罩和映射到全边缘形式的全边罩。
12.如权利要求10所述的装置，其中，边罩和窗口具有相同大小的矩阵形式。
全文摘要
为了立体匹配，从立体图像提取边缘图像。从映射到能够在预定大小窗口内出现的预定边缘形式的预定边罩中搜索与参考边缘像素相关的窗口的边缘形式匹配的边罩，所述预定大小窗口以边缘图像的参考边缘图像的边缘像素中的参考边缘像素为中心。在边缘图像的搜索边缘图像的边缘像素中，搜索位于窗口的中心的边缘像素，并且将搜索的边缘像素设置为映射到对参考边缘像素的相应点的相应边缘像素，所述窗口具有与搜索的边罩匹配的边缘形式。其中，在参考边缘图像的边缘像素中，参考边缘像素用于当前从搜索边缘图像搜索相应边缘像素。
文档编号G06T15/00GK101086788SQ20071010857
公开日2007年12月12日 申请日期2007年6月6日 优先权日2006年6月7日
发明者金殷澈, 郑基秀, 文永信, 沈玹廷, 金孝珍 申请人:三星电子株式会社