用于重建高密度三维图像的设备和方法

用于重建高密度三维图像的设备和方法
【专利摘要】提供了一种用于重建高密度三维(3D)图像的设备和方法。所述方法包括：通过对使用第一相机捕获的第一图像和使用第二相机捕获的第二图像进行匹配，产生初始3D图像；通过使用包括在初始3D图像中的多个特征点，从初始3D图像搜索第一区域和第二区域；从分割的第一区域检测平面；对分割的第二区域进行滤波；将检测到的平面和滤波后的第二区域进行合成。
【专利说明】用于重建高密度三维图像的设备和方法

【技术领域】
[0001]与示例性实施例一致的设备和方法涉及一种多相机系统，更具体地，涉及通过针对通过图像匹配产生的初始三维图像执行平面检测和平滑，重建高密度三维图像。

【背景技术】
[0002]通常，可在两方面定义三维(3D)图像。首先，使用深度信息来构建3D图像，使得用户可感觉到图像中的一部分跳出屏幕。这里，深度信息是指关于相机与二维(2D)图像之间的距离的信息，表示为图像。因此，通过使用深度信息，2D图像可被表示为3D图像。其次，构建三维图像主要用于向用户提供各种视点以提供一种现实感。


【发明内容】

[0003]技术问题
[0004]可通过使用双目相机系统或多视点相机系统来获得立体图像。双目相机系统使用通过使用两个相机捕获的左图像和右图像来向用户提供立体感。多视点相机系统通过在空间上合成使用两个或更多个相机捕获的图像，来向用户提供各种视点。
[0005]技术方案
[0006]一个或更多个示例性实施例提供一种用于重建高密度三维(3D)图像的设备和方法，其中，所述设备和方法通过针对通过对使用多个相机捕获的图像进行匹配而产生的初始3D图像执行平面检测和平滑来重建高密度3D图像。
[0007]根据示例性实施例的一方面，提供了一种重建高密度3D图像的方法，所述方法包括:通过对使用第一相机捕获的第一图像和使用第二相机捕获的第二图像进行匹配，产生初始3D图像；通过使用包括在初始3D中的多个特征点，从初始3D图像搜索第一区域和第二区域；从第一区域检测平面；对第二区域进行滤波；将检测到的平面和滤波后的第二区域进行合成。
[0008]有益效果
[0009]如上所述，根据示例性实施例，对通过对使用多个相机捕获的图像进行匹配而产生的初始3D图像执行平面检测和平滑，从而将初始3D图像重建为高密度3D图像。

【专利附图】

【附图说明】
[0010]图1是示出根据示例性实施例的高密度三维(3D)图像重建设备的框图；
[0011]图2是示出根据示例性实施例的图1的图像匹配单元的详细框图；
[0012]图3示出根据示例性实施例的分别使用第一相机和第二相机捕获的图1的第一图像和第二图像；
[0013]图4示出根据示例性实施例的检测到特征点的图1的第一图像和第二图像；
[0014]图5是用于解释根据示例性实施例的用于图1的图像匹配的对极几何(epipolargeometry)的示意图；
[0015]图6是用于解释根据示例性实施例的关于用于图1的图像匹配的对极几何的约束条件的不意图；
[0016]图7是示出根据示例性实施例的图1的图像匹配的结果的拍摄图像；
[0017]图8是用于解释根据示例性实施例的计算图1的匹配后的图像的距离信息的示意图；
[0018]图9示出根据示例性实施例的图1的初始3D图像；
[0019]图10是用于解释根据示例性实施例的用于对图1的初始3D图像进行分割的图割算法的不意图；
[0020]图11是示出根据示例性实施例的对来自图1的输入图像的任意图像进行分割的结果的不意图；
[0021]图12是用于解释根据示例性实施例的图1的平面检测的曲线图；
[0022]图13示出根据示例性实施例的图1的初始第一图像和第二图像以及从初始第一图像和第二图像重建的高密度3D图像；
[0023]图14是示出根据示例性实施例的重建高密度3D图像的方法的流程图；
[0024]图15是示出根据示例性实施例的图14的图像匹配操作的流程图。
[0025]最佳实施方式
[0026]根据示例性实施例的一方面，提供了一种重建高密度3D图像的方法，所述方法包括:通过对使用第一相机捕获的第一图像和使用第二相机捕获的第二图像进行匹配，产生初始3D图像；通过使用包括在初始3D图像中的多个特征点，从初始3D图像搜索第一区域和第二区域；从第一区域检测平面；对第二区域进行滤波；将检测到的平面和滤波后的第二区域进行合成。
[0027]所述方法还可包括:在产生初始3D图像后，将第一图像和第二图像中的一个图像分割为多个部分；将分割信息应用于初始3D图像。
[0028]在搜索第一区域和第二区域的步骤中包括:搜索包括数量上等于或多于设定数量的特征点的至少一个第一区域。
[0029]在搜索第一区域和第二区域的步骤中还包括:搜索包括数量上少于所述设定数量的特征点的至少一个第二区域。
[0030]在滤波的步骤中包括:针对第二区域，在保持对比度等于或大于设定值的同时对与特征点的Z坐标相应的深度进行平滑。
[0031]在产生初始3D图像的步骤中包括:从第一图像和第二图像提取特征点；对第一图像的特征点和第二图像的特征点进行匹配；计算匹配的特征点的3D坐标；产生初始3D图像。
[0032]在对特征点进行匹配的步骤中包括:在第一图像中设置包括特征点的第一窗口 ；搜索亮度与第一窗口的亮度相差最小程度的第二窗口 ；在第二窗口中的至少一个特征点之中，选择与第一窗口中的特征点最相似的匹配特征点。
[0033]在计算3D坐标的步骤中包括:计算关于第一图像和第二图像的匹配的特征点的二维(2D)坐标；通过使用第一相机和第二相机之间的距离以及第一相机和第二相机相对于特征点的角度，计算匹配的特征点的3D坐标。
[0034]在计算3D坐标的步骤中包括:计算关于第一图像和第二图像的匹配的特征点的二维(2D)坐标；通过使用第一相机和第二相机之间的距离以及第一相机和第二相机相对于特征点的角度，计算匹配的特征点的3D坐标。
[0035]在产生初始3D图像的步骤中包括:从第一图像和第二图像提取特征点；对第一图像的特征点和第二图像的特征点进行匹配；计算匹配的特征点的3D坐标；使用匹配的特征点的3D坐标产生初始3D图像。
[0036]在滤波的步骤中包括:针对第二区域，在保持对比度等于或大于设定值的同时对与特征点的Z坐标相应的深度进行平滑。
[0037]在搜索第一区域和第二区域的步骤中包括:搜索包括等于或多于设定数量的特征点的至少一个第一区域和包括少于所述设定数量的特征点的至少一个第二区域。
[0038]根据另一示例性实施例的一方面，提供了一种用于重建高密度3D图像的设备，所述设备包括:图像匹配单元，对使用第一相机捕获的第一图像和使用第二相机捕获的第二图像进行匹配以产生初始3D图像；3D图像重建单元，将初始3D图像分割为第一区域和第二区域以从第一区域检测平面，对第二区域进行滤波，并将从第一区域检测到的平面和滤波后的第二区域进行合成以产生高密度3D图像。
[0039]图像匹配单元可包括:特征点提取单元，从第一图像和第二图像提取特征点；特征点匹配单元，对第一图像的特征点和第二图像的特征点进行匹配；3D坐标计算单元，计算匹配的特征点的3D坐标；初始3D图像产生单元，通过使用匹配的特征点的3D坐标来产生初始3D图像。
[0040]3D图像重建单元可包括:分割单元，对第一图像和第二图像中的一个图像进行分害IJ，并将关于分割的信息应用于初始3D图像；搜索单元，通过使用包括在分割的图像中的特征点的数量从分割的图像搜索第一区域和第二区域；平面检测单元，从第一区域检测平面；滤波单元，对第二区域进行滤波。
[0041]搜索单元搜索包括设定数量的特征点的至少一个第一区域和包括少于所述设定数量的特征点的至少一个第二区域。
[0042]滤波单元对第二区域进行滤波，以在与特征点的Z坐标相应的深度相对于边界不连续的同时对所述深度进行平滑。
[0043]3D图像重建单元包括:分割单元，对第一图像和第二图像中的一个图像进行分害IJ，并将关于分割的信息应用于初始3D图像；搜索单元，通过使用包括在分割的图像中的特征点的数量从分割的图像搜索第一区域和第二区域；平面检测单元，从第一区域检测平面；滤波单元，对第二区域进行滤波。
[0044]根据另一示例性实施例的一方面，提供了一种计算机可读记录介质，所述介质具有包含于其上的用于执行重建高密度3D图像的方法的程序，其中，所述方法包括:通过对使用第一相机捕获的第一图像和使用第二相机捕获的第二图像进行匹配，产生初始3D图像；通过使用包括在初始3D图像中的多个特征点，从初始3D图像搜索第一区域和第二区域；从第一区域检测平面；对第二区域进行滤波；将检测到的平面和滤波后的第二区域进行合成。

【具体实施方式】
[0045]诸如“…中的至少一个”的表述当出现在一列元素之后时，修饰整列元素而不是修饰该列中的单个元素。
[0046]尽管本发明构思允许各种改变和众多实施例，但是将在附图中示出并在撰写的描述中详细描述特定示例性实施例。然而，这不意在将本发明构思限制于特定的实施模式，并且将理解，不脱离本发明构思的精神和技术范围的所有改变、等同物和替代物包括在本发明构思中。在描述中，当认为现有技术的某些详细解释可能不必要地模糊本发明的本质时，省略现有技术的某些详细解释。
[0047]尽管诸如“第一”、“第二”等的术语可被用于描述各种组件，但这样的组件不应受限于以上术语。以上术语仅用于区分一个组件与另一组件。
[0048]本说明书中使用的术语仅用于描述特定示例性实施例，并不意在限制本发明构思。除非以单数形式使用的表述在上下文中具有明显不同的意思，否则以单数形式使用的表述包括复数的表述。在本说明书中，将理解诸如“包括”或“具有”等的术语意在指示存在说明书中所公开的特征、数量、步骤、动作、组件、部件或上述项的组合，而不意在排除可存在或可添加一个或更多个其他特征、数量、步骤、动作、组件、部件或上述项的组合的可能性。
[0049]可依据功能块组件和各种处理步骤来描述本发明构思。这样的功能块可通过被配置为执行指定功能的任何数量的硬件和/或软件组件来实现。例如，本发明构思可采用各种集成电路组件(例如，存储器元件、处理元件、逻辑元件、查找表等)，其中，所述集成电路组件可在一个或更多个微处理器或其它控制装置的控制下实现多种功能。类似地，在使用软件编程或软件元件实现本发明构思的元件时，可使用任意编程或脚本语言(诸如C、C++、Java、汇编语言等)与各种算法来实现本发明，其中，所述各种算法用数据结构、对象、处理、例程或其它编程元件的任意组合来实现。可在一个或更多个处理器上执行的算法中实现各功能方面。此外，本发明构思可采用用于电子配置、信号处理和/或控制、数据处理等的任何数量的现有技术。词语“机制”和“元件”被广泛使用，并且不限于机械或物理实施例，而是可包括与处理器等结合的软件例程。
[0050]以下将参照附图更详细地描述本发明构思的示例性实施例。相同或相应的组件被表示为相同的标号而不论图号如何，并且冗余的解释被省略。
[0051]图1是示出根据示例性实施例的高密度三维(3D)图像重建设备的框图。
[0052]参照图1，高密度3D图像重建设备包括第一相机100、第二相机200、图像处理单元300、图像匹配单元400、高密度3D图像重建单元500和输出单元600。
[0053]第一相机100和第二相机200分别表示通过使用例如互补金属氧化物半导体(CMOS)模块或电荷耦合器件(CCD)模块捕获对象的图像的左相机和右相机。通过镜头将第一输入图像和第二输入图像(或视频图像)提供给CMOS模块或CCD模块，并且CMOS模块或CCD模块将通过镜头传输的对象的光信号转换为电信号(拍摄信号)。
[0054]图像处理单兀300对分别从第一相机100和第二相机200输出的第一图像信号和第二图像信号执行用于提高图像质量的图像信号处理，诸如降噪、伽马校正、滤色器阵列插值、颜色矩阵处理、色彩校正、色彩增强等。
[0055]另外，图像处理单元300可执行图像信号处理以提高图像质量，并且可对产生的图像数据进行压缩以产生图像文件，或可从图像文件恢复图像数据。图像压缩格式可以是可逆的或不可逆的。
[0056]此外，图像处理单元300可功能性地执行色彩处理、模糊、边缘增强处理、图像判读(解译)处理、图像识别处理、图像效果处理等。图像识别处理的示例是人脸识别、场景识别等。例如，可执行诸如亮度级控制、色彩校正、对比度控制、轮廓增强控制、图像分割处理或特征图像创建的图像产生和图像合成处理。
[0057]图像匹配单元400对执行了图像处理的第一图像和第二图像进行匹配以产生初始3D图像。图2是图像匹配单元400的详细框图。
[0058]参照图2，图像匹配单元400包括特征点提取单元410、特征点匹配单元420、3D坐标计算单元430和初始3D图像产生单元440。
[0059]特征点提取单元410通过使用尺度不变特征变换(SIFT)算法或HARRIS算法，从第一图像和第二图像提取角点(边缘)作为特征点。
[0060]SIFT 由 Lowe 在 <D.G.Lowe, “Distinctive image features fromscale-1nvariant key points，，，Int.J.Comput.Vis1n 60 (2)，91-110，2004〉中提出，其中，SIFT是用于提取图像的特征点的代表性算法。
[0061]通过使用SIFT算法提取的特征点具有如下优良特性:它们不受图像的尺度、旋转、失真、3D视点的变化等的影响。根据SIFT算法，首先，使用高斯滤波器改变数字图像的像素亮度级以执行逐步模糊。这里，在改变图像的尺度时重复模糊操作。接下来，计算在同一尺度上被逐步模糊的图像之间的高斯差分(D0G)。接下来，基于计算出的D0G，根据预定标准选择特征点。接下来，计算原始图像的所有像素的梯度以产生梯度映射。随后，计算使用梯度映射选择的特征点的描述子。最后，产生最终的特征点数据。特征点数据包括特征点的坐标和特征点的描述子。
[0062]Harris 算法由 Chris Harris 和 Mike Stephens 在〈A Combined Corner andEdge Detector Proceedings of the Fourth Alvey Vis1n Conference, Manchester, pp147-151，1988〉中提出，其中，Harris算法是提取图像的特征点的另一代表性算法。
[0063]根据Harris算法，主要存在一个在图像中垂直和水平移动的窗口，并且分析窗口中的像素的值的变化以查找角点。如果图像中的对象的亮度不存在变化，则即使当窗口被垂直或水平移动时，也不会存在像素值的变化。然而，当窗口在水平移动时遇到图像的垂直边界线时，正在水平移动的窗口中的像素值存在较大的变化，但是针对垂直移动的窗口，所述像素值可能没有变化。随后，当假设窗口不仅水平移动而且垂直移动时，窗口将肯定经过像素值存在较大变化的点。换言之，该点是最终的角点。即使当图像旋转时，也能找到角点。
[0064]图3A示出使用第一相机100捕获的第一图像，图3B示出使用第二相机200捕获的第二图像。图4A和图4B分别示出通过特征点提取单元410提取角点作为特征点的图3A的第一图像和图3B的第二图像。
[0065]特征点匹配单元420对第一图像和第二图像的特征点进行匹配。具体而言，特征点匹配单元420使用对极几何和基于区域的匹配方法。
[0066]首先，将参照图5描述对极几何。当使用第一相机100和第二相机200获得了图像时，将空间点投影到第一相机100和第二相机200中以在图像上产生被称为共轭对的一对点。通过第一相机100和第二相机200的镜头的中心以及通过第一相机100和第二相机200所投影的空间中的对象的点P所形成的平面被称为极平面(epipolar plane)，极平面和图像平面的相交线被定义为极线(epipolar line)。
[0067]也就是说，如图5中所示，极线通过以下线来定义，所述线由与3D空间中的对象点P相遇的通过左镜头和右镜头的中心定义的平面而形成。由于在图像上形成的两个点具有相同的Y坐标，因此第二图像上的与第一图像的特定坐标相应的点位于极线上。尽管出现在第一图像上的对象可能也出现在第二图像上或可能不出现在第二图像上，但是如果该对象出现在第二图像上，则该对象必定位于极线上。
[0068]为了查找第二图像相对于第一图像的特征点的匹配点，特征点匹配单元420设置搜索区域，在搜索区域中查找候选特征点，选择与第一图像的特征点具有较大相似性的一个特征点，并将这两个特征点设置为匹配对。搜索区域越大，匹配候选的数量越高，因此，用于进行匹配的时间增加，并且误匹配的可能性增加。因此，搜索区域可以尽可能小。使搜索区域变窄的方法之一是使用对极约束条件。
[0069]图6是用于解释关于用于图1的图像匹配的对极几何的约束条件的示意图。
[0070]将参照图6描述在对极约束条件下执行的基于区域的匹配方法。特征点匹配单元420将第一图像中的第一窗口设置为参考窗口(图6A)，并在将第一窗口回旋到第二图像时，搜索与第一窗口的亮度具有很小亮度差的第二窗口(图6B)。亮度与第一窗口的亮度相差最小程度的第二窗口被确定为与第一窗口具有最大相似性，并且第一窗口和该第二窗口被确定为共轭对。当使用了如上所述的对极约束条件时，可有效地减小作为基于区域的匹配方法的缺点的计算量。
[0071]基于区域的匹配方法的示例包括绝对差求和(SAD)算法、平方差求和(SSD)算法、零均值绝对差求和(ZSAD)算法和零均值平方差求和(ZSSD)算法。
[0072]图7示出执行了特征点匹配单元420的匹配操作的匹配图像，并示出当对第一图像和第二图像进行匹配时确定的共轭对。
[0073]3D坐标计算单元430使用三角测量方法来计算匹配的特征点的3D坐标。3D坐标计算单元430从第一图像和第二图像计算特征点的二维(2D)坐标(也就是，计算X坐标和Y坐标)，并使用三角测量方法计算第一相机100和第二相机200到特征点之间的距离，以通过将计算出的距离计算为深度值(也就是，计算Z坐标)来计算最终的3D坐标。
[0074]图8是用于解释计算图1的匹配图像的距离信息的示意图。
[0075]将参照图8描述使用三角测量方法计算Z坐标。如图8中所示，当已知第一相机100的镜头和第二相机200的镜头之间的距离d，并且从第一相机100到特征点的角度信息I和从第二相机200到特征点的角度信息2可用时，可如以下等式I所给出的，计算第一相机100和第二相机200与特征点之间的距离h。
[0076][等式I]
[0077]
方一d


—tan(9()° - θ\) + tan(90 - 02)
[0078]因此，可获得关于图7中示出的匹配图像的所有特征点的3D坐标(X，Y，Z)的信肩、O
[0079]初始3D图像产生单元440使用匹配的所有特征点的3D坐标来产生初始3D图像。图9示出图1的初始3D图像；特征点越暗，它们距第一相机100和第二相机200越远。
[0080]再次参照图1，当通过使用图像匹配单元400产生了初始3D图像时，高密度3D图像重建单元500对初始3D图像进行分割以从图像的分割区域检测平面，或对初始3D图像进行滤波以产生高密度3D图像。
[0081]高密度3D图像重建单元500包括分割单元510、搜索单元520、平面检测单元530和滤波单元540。
[0082]分割单元510通过使用图割算法来对第一图像和第二图像中的一个图像进行分害I]。初始3D图像包括空间信息，因此理论上可被分割为多个图像，但事实上，不可对初始3D图像进行分割。因此，对第一图像和第二图像中的一个图像进行分割(也就是，对2D图像进行分割)，并且将分割信息应用于初始3D图像以进行使用。图10是用于解释用于对图1的初始3D图像进行分割的图割算法的示意图。图1OA示出任意图像，图1OB是关于图1OA的图(graph)。参照图1OA和图10B，在图割算法中，图1OA的图像被转换为图1OB中示出的图，并且图的边权被定义为像素值的相关性，并且在像素亮度上具有显著差异的部分被切割掉。图11是示出对第一图像和第二图像中的一个图像进行分割的结果的示意图，其中，相应的分割信息被应用于初始3D图像。这里，例如，在图割算法的情况下，分割信息可以是每个图的边权。
[0083]搜索单元520通过使用包括在分割的图像中的特征点的数量来搜索至少一个第一区域和至少一个第二区域。搜索单元520搜索包括设定数量的特征点(例如，包括在分割的图像中的至少三个特征点)的至少一个区域和包括少于设定数量的特征点(例如，少于包括在分割的图像中的三个特征点)的至少一个第二区域。
[0084]平面检测单元530从包括三个或更多个特征点的第一区域检测平面。平面检测单元530通过使用随机抽样一致性(RANSAC)算法和平面方程从第一区域检测平面。
[0085]可通过将从3D图像计算出的3D坐标(X，Y，Z)代入平面方程，检测平面。在等式2中，示出了 3D平面方程。
[0086][等式2]
[0087]ax+by+cz+d = O
[0088]图12示出通过使用3D平面方程从第一区域检测出的平面的示例。
[0089]对于3D坐标(X，Y, Z)的Z，可能没有噪声或者匹配可能不正确，并且Z坐标可能不是已知的。如果Z坐标不是已知的，则这增加了计算平面方程时的误差，因此，在计算时需要消除未知值。根据RANSAC算法，可从像素集随机地选择可计算出平面方程的最小数量的像素，随后对平面方程求解，并且将其他像素代入平面方程中以将具有较小误差的像素指定为内点(inlier)，如果内点的数量等于或大于总数的预定比例，则内点被再次用于计算平面方程。如上所述，所有像素被带入平面方程以确定关于平面检测的准确性，并且该操作被重复若干次以将具有最小误差的结果确定为最终结果。
[0090]滤波单元540对包括少于三个特征点的第二区域执行边缘保持平滑，也就是说，滤波单元540对第二区域进行滤波。边缘保持平滑表示非线性滤波，其中，在该非线性滤波中，在保持显著亮度阶梯(诸如对象的界限)时对深度进行平滑。对于这种边缘保持处理，可使用双边滤波器。
[0091]输出单元600通过将从包括至少三个特征点的第一区域检测到的平面和对包括少于三个特征点的第二区域执行边缘保持平滑的结果进行合成，输出最终重建的高密度3D图像。参照图13，图13A和图13B示出从第一相机100输出的第一图像和从第二相机200输出的第二图像，图13C示出基于图13A和图13B最终重建的高密度3D图像。
[0092]通过针对通过对使用多个相机捕获的图像进行匹配而产生的初始3D图像执行平面检测和平滑，初始3D图像可被重建为高密度3D图像。
[0093]图14是示出根据示例性实施例的重建高密度3D图像的方法的流程图。
[0094]参照图14，首先，在操作S10，第一相机100和第二相机200分别捕获第一图像和第二图像。当完成了第一图像和第二图像的捕获时，图像处理单元300可对第一图像和第二图像执行图像处理。
[0095]如果图像处理单元300对第一图像和第二图像进行了处理，则图像匹配单元400执行操作S20，其中，操作S20通过对执行了图像处理的第一图像和第二图像进行匹配来产生初始3D图像。
[0096]图15是示出根据示例性实施例的图14的图像匹配操作的流程图。参照图15，图像匹配单元400执行操作S21，其中，操作S21通过使用SIFT算法或HARRIS算法从第一图像和第二图像提取角点(边缘)作为特征点。
[0097]当从第一图像和第二图像提取了特征点时，在操作S22，图像匹配单元400使用对极几何和基于区域的匹配方法来对第一图像和第二图像的特征点进行匹配。当从第二图像搜索到相对于第一图像的特征点的匹配点时，图像匹配单元400在对极约束条件下设置窄的搜索区域，以从该区域查找第一候选特征点，选择第二图像的与第一图像的特征点具有最大相似性的特征点，并将这两个特征点设置为共轭对。也就是说，作为参考窗口，第一窗口被设置在第一图像上，并且第一窗口被回旋到第二图像以搜索亮度与第一窗口的亮度相差最小程度的第二窗口。
[0098]当完成了第一图像和第二图像的特征点的匹配时，图像匹配单元400执行操作S23，其中，操作S23使用三角测量方法计算匹配的特征点的3D坐标。图像匹配单元400从第一图像和第二图像计算特征点的2D坐标(也就是，计算X坐标和Y坐标)，并且当计算Z坐标时，通过假设第一相机100和第二相机200的镜头之间的距离d并将从第一相机100到特征点的角度信息I和从第二相机200到特征点的角度信息2插入到等式I中，计算匹配的特征点的3D坐标。
[0099]当完成了特征点的3D坐标的计算时，在操作S24，图像匹配单元400使用匹配的图像的所有特征点的3D坐标来产生初始3D图像。
[0100]再次参照图1，当初始3D图像被作为图像匹配的结果而产生时，在操作S30，高密度3D图像重建单元500使用图割算法对初始3D图像进行分割。
[0101]当完成了初始3D图像的分割时，在操作S40，高密度3D图像重建单元500通过使用包括在分割的图像中的特征点的数量来搜索至少一个第一区域和至少一个第二区域。高密度3D图像重建单元500搜索包括设定数量的特征点(例如，包括在分割的图像中的至少三个特征点)的至少一个区域和包括少于设定数量的特征点(例如，少于包括在分割的图像中的三个特征点)的至少一个第二区域。
[0102]当完成了对第一区域和第二区域的搜索时，在操作S50，高密度3D图像重建单元500将RANSAC算法和平面方程应用于包括至少三个特征点的第一区域以检测平面。
[0103]当完成了平面检测时，在操作S60，高密度3D图像重建单元500对包括少于三个特征点的第二区域执行边缘保持平滑(也就是，高密度3D图像重建单元500对第二区域进行滤波)，从而保持与可视性相关的对象轮廓并消除微小的亮度变化。
[0104]当完成了平面检测和滤波时，在操作S70，输出单元600通过将从包括至少三个特征点的第一区域检测到的平面和对包括少于三个特征点的第二区域执行边缘保持平滑的结果进行合成，输出最终重建的高密度3D图像。
[0105]如上所述，根据示例性实施例，对通过对使用多个相机捕获的图像进行匹配而产生的初始3D图像执行平面检测和平滑，从而将初始3D图像重建为高密度3D图像。
[0106]示例性实施例可被编写为计算机程序，并可在使用计算机可读记录介质执行计算机程序的通用数字计算机中实现。计算机可读记录介质的示例包括存储计算机可读数据的所有种类的记录装置。
[0107]计算机可读记录介质的示例包括只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、磁带、软盘、光学数据存储装置等。计算机可读记录介质还可被分布在联网的计算机系统中，从而计算机可读代码以分布的方式被存储和执行。此外，本发明构思所属领域中的普通编程技术人员可容易地解释用于实现本发明构思的功能程序、代码和代码段。
[0108]尽管已参照本发明构思的示例性实施例具体显示和描述了本发明构思，但是本领域中的普通技术人员将理解，在不脱离由权利要求限定的本发明构思的精神和范围的情况下，可对其形式和细节进行各种改变。示例性实施例应该仅被视为描述性的意义而不是为了限制的目的。因此，本发明构思的范围不是由示例性实施例的详细描述限定，而是由权利要求限定，并且在该范围内的所有差异将被解释为包括在本发明构思中。
[0109]这里引用的包括出版物、专利申请和专利的所有参考文献通过引用被包含于此，该引用的程度如同每份参考文献被单独且具体地注明为通过引用全部合并于此并在此全部进行阐述。
[0110]工业实用性
[0111]本发明的实施例可被应用于用于重建高密度三维(3D)图像的设备和方法，其中，所述设备和方法通过针对通过对使用多个相机捕获的图像进行匹配而产生的初始3D图像执行平面检测和平滑来重建高密度3D图像。
【权利要求】
1.一种重建高密度三维(3D)图像的方法，所述方法包括: 通过对使用第一相机捕获的第一图像和使用第二相机捕获的第二图像进行匹配，产生初始3D图像； 通过使用包括在初始3D图像中的多个特征点，从初始3D图像搜索第一区域和第二区域； 从第一区域检测平面； 对第二区域进行滤波； 将检测到的平面和滤波后的第二区域进行合成。
2.如权利要求1所述的方法，还包括:在产生初始3D图像后，将第一图像和第二图像中的一个图像分割为包括第一区域和第二区域的部分； 将关于分割的信息应用于初始3D图像。
3.如权利要求2所述的方法，其中，搜索第一区域和第二区域的步骤包括:搜索包括数量上等于或多于设定数量的特征点的至少一个第一区域。
4.如权利要求3所述的方法，其中，搜索第一区域和第二区域的步骤还包括:搜索包括数量上少于所述设定数量的特征点的至少一个第二区域。
5.如权利要求4所述的方法，其中，滤波的步骤包括:针对第二区域，在保持对比度等于或大于设定值的同时对与特征点的Z坐标相应的深度进行平滑。
6.如权利要求4所述的方法，其中，产生初始3D图像的步骤包括: 从第一图像和第二图像提取特征点； 对第一图像的特征点和第二图像的特征点进行匹配； 计算匹配的特征点的3D坐标； 产生初始3D图像。
7.如权利要求6所述的方法，其中，对特征点进行匹配的步骤包括: 在第一图像中设置包括特征点的第一窗口； 搜索亮度与第一窗口的亮度相差最小程度的第二窗口 ； 在第二窗口中的至少一个特征点之中，选择与第一窗口中的特征点最相似的匹配特征点。
8.如权利要求7所述的方法，其中，计算3D坐标的步骤包括: 计算匹配的特征点关于第一图像和第二图像的二维(2D)坐标； 通过使用第一相机和第二相机之间的距离以及第一相机和第二相机相对于特征点的角度，计算匹配的特征点的3D坐标。
9.如权利要求6所述的方法，其中，计算3D坐标的步骤包括: 计算匹配的特征点关于第一图像和第二图像的二维(2D)坐标； 通过使用第一相机和第二相机之间的距离以及第一相机和第二相机相对于特征点的角度，计算匹配的特征点的3D坐标。
10.如权利要求1所述的方法，其中，产生初始3D图像的步骤包括: 从第一图像和第二图像提取特征点； 对第一图像的特征点和第二图像的特征点进行匹配； 计算匹配的特征点的3D坐标； 使用匹配的特征点的3D坐标产生初始3D图像。
11.如权利要求1所述的方法，其中，滤波的步骤包括:针对第二区域，在保持对比度等于或大于设定值的同时对与特征点的Z坐标相应的深度进行平滑。
12.如权利要求1所述的方法，其中，搜索第一区域和第二区域的步骤包括:搜索包括等于或多于设定数量的特征点的至少一个第一区域和包括少于所述设定数量的特征点的至少一个第二区域。
13.一种用于重建高密度三维(3D)图像的设备，包括: 图像匹配单元，对使用第一相机捕获的第一图像和使用第二相机捕获的第二图像进行匹配以产生初始3D图像； 3D图像重建单元，将初始3D图像分割为第一区域和第二区域以从第一区域检测平面，对第二区域进行滤波，并将从第一区域检测到的平面和滤波后的第二区域进行合成以产生高密度3D图像。
14.如权利要求13所述的设备，其中，图像匹配单元包括: 特征点提取单元，从第一图像和第二图像提取特征点； 特征点匹配单元，对第一图像的特征点和第二图像的特征点进行匹配； 3D坐标计算单元，计算匹配的特征点的3D坐标； 初始3D图像产生单元，通过使用匹配的特征点的3D坐标来产生初始3D图像。
15.如权利要求14所述的设备，其中，3D图像重建单元包括: 分割单元，对第一图像和第二图像中的一个图像进行分割，并将关于分割的信息应用于初始3D图像； 搜索单元，通过使用包括在分割的图像中的特征点的数量从分割的图像搜索第一区域和第二区域； 平面检测单元，从第一区域检测平面； 滤波单元，对第二区域进行滤波。
16.如权利要求15所述的设备，其中，搜索单元搜索包括设定数量的特征点的至少一个第一区域和包括少于所述设定数量的特征点的至少一个第二区域。
17.如权利要求15所述的设备，其中，滤波单元对第二区域进行滤波，以在与特征点的Z坐标相应的深度相对于分割边界不连续的同时对所述深度进行平滑。
18.如权利要求13所述的设备，其中，3D图像重建单元包括: 分割单元，对第一图像和第二图像中的一个图像进行分割，并将关于分割的信息应用于初始3D图像； 搜索单元，通过使用包括在分割的图像中的3D特征点的数量从分割的图像搜索第一区域和第二区域； 平面检测单元，从第一区域检测平面； 滤波单元，对第二区域进行滤波。
19.一种包含有用于执行重建高密度三维(3D)图像的方法的程序的计算机可读记录介质，所述方法包括: 通过对使用第一相机捕获的第一图像和使用第二相机捕获的第二图像进行匹配，产生初始3D图像； 通过使用包括在初始3D图像中的多个特征点，从初始3D图像搜索第一区域和第二区域； 从第一区域检测平面； 对第二区域进行滤波； 将检测到的平面和滤波后的第二区域进行合成。
【文档编号】H04N13/02GK104205826SQ201380018460
【公开日】2014年12月10日 申请日期:2013年3月28日 优先权日:2012年4月3日
【发明者】裴纯敏 申请人:三星泰科威株式会社