专利名称：利用多分辨率过程生成鲁棒深度图的系统和方法
技术领域：
本发明一般涉及用于分析图像数据的技术，并且尤其涉及用于在深度估计过程中利用场景检测的系统和方法。
背景技术：
实现用于分析图像数据的高效方法是当代电子设备的设计者和制造商的重要考虑。然而，用电子设备来高效地分析图像数据可能对系统设计者提出重大挑战。例如，对提高的设备功能性和性能的增强的要求可能需要更多的系统处理能力并且需要另外的硬件资源。处理或硬件要求方面的提高也可能由于提高的生产成本和操作的低效性而导致相应的不利经济影响。另外，用于执行各种先进操作的增强的设备能力可能为系统使用者提供额外好处，但是也可能对各种设备组件的控制和管理提出提高的要求。例如，因为所涉及的数字数据的大量性和复杂性，有效地分析数字图像数据的增强的电子设备可以受益于有效的实现方式。由于对系统资源的增长的需求和大大提高的数据大小，显而易见的是，开发用于分析图像数据的新技术是相关电子技术的关注事项。因此，由于所有前述原因，开发用于分析图像数据的有效系统仍然是当代电子设备的设计者、制造商以及使用者的重要考虑。
发明内容
根据本发明，公开了ー种用于利用多分辨率过程来生成鲁棒深度图(robustdepth map)的系统和方法。在一个实施例中,深度估计器最初通过利用任何有效技术来生成第2级别深度图(level 2 depth map)。例如，可以用产生相对细尺度分辨率的压缩比来实现第2级别深度图。深度估计器通过利用任何有效技术来计算与来自第2级别深度图的各个深度值相对应的鲁棒置信值。然后，深度估计器根据它们各自的置信值将深度值分类成高置信深度值、中置信深度值以及低置信深度值。深度估计器还通过利用任何有效技术来生成第I级别深度图和第0级别深度图。例如，可以用产生中尺度分辨率的压缩比来实现第I级别深度图，并且可以用产生相对粗尺度分辨率的压缩比来实现第0级别深度图。深度估计器通过利用任何有效技术来计算与来自第I级别深度图和第0级别深度图的各个深度值相对应的鲁棒置信值。然后，深度估计器利用计算出的置信值，根据预定的可靠性标准(reliability criteria)来识别来自第0级别深度图和第I级别深度图的任何可靠深度值候选。深度估计器接下来通过利用任何有效技术对来自第I级别深度图和第0级别深度图的块执行大小调整过程来匹配第2级别深度图的块大小。深度估计器还通过利用任何有效技术执行幅值缩放过程来缩放来自第I级别深度图和第0级别深度图的深度值以匹配第2级别深度图的深度值范围。然后，深度估计器确定是否已从第I级别深度图或第0级别深度图识别出任何另外的可靠深度值候选。深度估计器将任何不可靠的深度值标记为异常值，这些异常值不适合用于填充最終的优化深度图。深度估计器还根据任何有效技术利用任何可靠深度值候选来更新用于最终优化深度图的最优深度值。例如，可以选择具有最优置信測度的深度值，或者可以利用加权或未加权求平均法来组合几个不同的可靠深度值。深度估计器有利地融合来自不同级别深度图的最优深度值以生成最终优化深度图。最后，深度估计器可以基于与最终优化深度图的最优深度值相对应的置信值来创建置信图。然后，该处理可以终止。因此，本发明提供了用于利用多分辨率过程来生成深度图的改进的系统和方法。
图1是根据本发明的相机设备的一个实施例的框图；图2是根据本发明的图1的捕获子系统的ー个实施例的框图；图3是根据本发明的图1的控制模块的ー个实施例的框图；图4是根据本发明的图3的存储器的一个实施例的框图；图5A是根据本发明的简化深度图的一个实施例的图；图5B是捕获散焦模糊图像的一个示例性实施例的图；图5C是示例性匹配曲线的ー个实施例的曲线图；图6是根据本发明的一个实施例的多分辨率金字塔结构的图；图7A至图7C是根据本发明的一个实施例的用于利用多分辨率过程来生成深度图的方法步骤的流程图；图8A是根据本发明的一个实施例的细尺度置信特征的图；图SB是根据本发明的一个实施例的粗尺度置信特征的图；图SC是示出了根据本发明的一个实施例的SAD收敛技术的曲线图；并且图9是根据本发明的一个实施例的简化置信图的图。
具体实施例方式本发明涉及图像数据分析技术的改迸。给出以下描述来使本领域普通技术人员能够做出和使用本发明，并且以下描述是在专利申请及其要求的上下文中提供的。对所公开的实施例的各种修改对于本领域技术人员来说将是易于明白的，并且本文的一般原理可以应用于其它实施例。因此，本发明不g在受限于所示的实施例，而是符合与本文描述的原理和特征一致的最宽范围。本发明包括用于生成鲁棒深度图的系统和方法，并且包括创建深度图金字塔结构的深度估计器，所述金字塔结构包括各自具有不同分辨率特性的多个深度图级别。在一个实施例中，所述深度图级别包括细尺度(fine-scale)深度图、中尺度(medium-scale)深度图以及粗尺度(coarse-scale)深度图。深度估计器通过利用细尺度置信特征(confidencefeature)评估来自细尺度深度图的深度值，并且通过利用粗尺度置信特征评估来自中尺度深度图和粗尺度深度图的深度值。然后，深度估计器将来自不同深度图级别的最优深度值融合成最优深度图。现在參阅图1，示出了根据本发明的相机设备110的一个实施例的框图。在图1的实施例中，相机设备110可以包括但不限于:捕获子系统(capture subsystem)114、系统总线116以及控制模块118。在图1的实施例中，捕获子系统114可以光学耦合至拍摄目标112，并且还可以经由系统总线116电耦合至控制模块118。在替代实施例中，相机设备110可以容易地包括除了结合图1实施例所讨论的那些组件之外的各种其它组件或者代替结合图1实施例所讨论的那些组件的各种其它组件。另外，在某些实施例中，本发明可以可替代地实施于除了图1的相机设备110之外的任何适当类型的电子设备。例如，相机设备110可以可替代地实现为成像设备、计算机设备或消费电子设备。在图1的实施例中，一旦相机110的捕获子系统114自动地聚焦于目标112上，相机使用者就可以请求相机设备110来捕获对应于目标112的图像数据。然后，控制模块118可以优选地经由系统总线116指示捕获子系统114来捕获表示目标112的图像数据。然后，所捕获的图像数据可以通过系统总线116转移至控制模块118，控制模块118可以作为响应用该图像数据执行各种处理和功能。系统总线116还可以在捕获子系统114和控制模块118之间双向传递各种状态和控制信号。现在參阅图2，示出了根据本发明的图1的捕获子系统114的一个实施例的框图。在图2的实施例中，捕获子系统114优选地包括但不限于:快门218，镜头220，图像传感器224，红色、緑色及蓝色(R/G/B)放大器228，模拟数字(A/D)转换器230以及接ロ 232。在替代实施例中，捕获子系统114可以容易地包括除了结合图2实施例所讨论的那些组件之外的各种其它组件或者代替结合图2实施例所讨论的那些组件的各种其它组件。在图2的实施例中，捕获子系统114可以经由沿光路236射入到图像传感器224的反射光来捕获对应于目标112的图像数据。可以优选地包括电荷耦合器件(CXD)的图像传感器224可以作为响应而生成表示目标112的一组图像数据。然后，该图像数据可被路由通过放大器228、A/D转换器230以及接ロ 232。图像数据从接ロ 232通过系统总线116传递至控制模块118以用于适当的处理和存储。也考虑其它类型的图像捕获传感器(诸如CMOS或线性阵列)来结合本发明捕获图像数据。下文结合图3至图9对相机110的利用和功能性进行了进ー步讨论。现在參阅图3，示出了根据本发明的图1的控制模块118的一个实施例的框图。在图3的实施例中，控制模块118优选地包括但不限于:取景器308、中央处理单元(CPU)334、存储器346以及ー个或多个输入/输出接ロ(I/O) 348。取景器308、CPU 344、存储器346以及I/O 348优选地各自耦合到公共系统总线116并且经由公共系统总线116与捕获子系统114通信，公共系统总线116也与捕获子系统114通信。在替代实施例中，控制模块118可以容易地包括除了结合图3实施例所讨论的那些组件之外的各种其它组件或者代替结合图3实施例所讨论的那些组件的各种其它组件。在图3的实施例中，CPU 344可以被实现成包括任何适当的微处理器设备。可替代地，可以使用任何其它适当的技术来实现CPU 344。例如，CPU 344可以被实现成包括某些专用集成电路(ASIC)或其它适当的电子设备。存储器346可以被实现为ー个或多个适当的存储设备，这些存储设备包括但不限于只读存储器、随机存取存储器以及各种类型的非易失性存储器，诸如软盘设备、硬盘设备或闪存。I/O 348可以提供一个或多个有效接ロ用于促进相机设备110与任何外部实体之间的双向通信，包括系统使用者设备或另ー电子设备。可以使用任何适当的输入和/或输出设备来实现I/O 348。下文结合图4至图9对控制模块118的操作和利用进行了进ー步讨论。现在參阅图4，示出了根据本发明的图3的存储器346的一个实施例的框图。在图4的实施例中，存储器346可以包括但不限于:相机应用412、操作系统414、深度估计器416、图像数据418、估计数据420、深度值422以及置信值424。在替代实施例中，存储器346可以包括除了结合图4实施例所讨论的那些组件之外的各种其它组件或者代替结合图4实施例所讨论的那些组件的各种其它组件。在图4的实施例中，相机应用412可以包括程序指令，这些程序指令优选地由CPU344 (图3)来执行以实现相机设备110的各种功能和操作。相机应用412的特定性质和功能性优选地取决于诸如相应相机设备110的类型和特定用途之类的因素而变化。在图4的实施例中，操作系统414优选地控制并协调相机设备110的低级功能性。根据本发明，深度估计器416可以控制并协调深度估计过程用于在相机110中生成深度图。在图4的实施例中，图像数据418可以包括由相机设备110捕获的拍摄目标112的ー个或多个图像。估计数据420可以包括用于执行深度图生成过程的任何类型的信息或数据。在图4的实施例中，深度值422可以表示相机110与拍摄目标或场景的各个部分之间的距离。如下文结合图5A所讨论的，深度值422可以用于填充深度图。置信值424表示如下的相对似然性(relative likelihood):各个深度值422是正确的。下文结合图5A至图9对关于深度估计器416的操作的另外细节进行进ー步讨论。现在參阅图5A，示出了根据本发明的简化深度图522的一个实施例的图。图5A的深度图522被提出用于说明目的，并且在替代实施例中，深度图可以包括除了结合图5A实施例所讨论的组件和配置之外的各种其它组件和配置或者代替结合图5A实施例所讨论的那些组件和配置的各种其它组件和配置。例如，为了简化的目的，示出的图5A的深度图522仅有4个深度值。然而，在本发明中同样考虑有任何数量的深度值的深度图。在图5A的实施例中，深度图522对应于特定的图像数据集，其中，各深度值表示相机110(图1)与拍摄目标或场景的各个部分之间的距离。在某些实施例中，初始深度图的初始深度值可以用任何有效方式直接从原始图像数据来确定。在图5A的示例中，深度图522包括深度值A526(a)、深度值B 526(b)、深度值C 526(c)以及深度值D 526(d)。下文结合图6至图9对关于深度图的生成的另外细节进行了进ー步讨论。现在參阅图5B,示出了根据本发明的用于捕获散焦模糊图像(defocused blurimage)518的一个示例性实施例的图。图5B的实施例被提供用于说明目的，并且在替代实施例中，本发明可以利用各种其它配置和元件来捕获散焦模糊图像518。在图5B的实施例中，相机110的传感器224 (參见图2)可以捕获拍摄目标或场景112的散焦模糊图像518以用于执行深度估计过程。可以通过将镜头220调节至不同于正确的对焦镜头位置的位置来创建散焦模糊图像518，该对焦镜头位置取决于目标112、镜头220和传感器224的相对位置。在一个实施例中，可以比较两个不同的散焦模糊图像518来得到深度估计。可以针对两个模糊图像518来计算模糊差(blur difference),这两个模糊图像518例如彼此远离ー个景深。可以利用已知匹配曲线的斜率和该模糊差来确定给定目标112的深度。现在參阅图5C，示出了根据本发明的一个实施例的示例性匹配曲线714的曲线图。图5C的实施例被提出用于说明目的，并且在替代实施例中，本发明可以被实现为利用如下匹配曲线:这些匹配曲线具有除了结合图5C实施例所讨论的那些配置和參数中的某些之外的配置和參数或者代替结合图5C实施例所讨论的那些配置和參数中的某些的配置和參数。在某些实施例中，可以捕获模糊图像I和更散焦的模糊图像2，较锐利的图像I可以与高斯内核(Gaussian kernel)(例如,具有小方差的3X3高斯矩阵)进行卷积来产生卷积图像I。将卷积图像I与模糊图像2进行比较。重复该处理直到两个模糊图像相匹配为止。然后，可以针对景深(或者在ー个DOF (景深)的増量中的图像数量)对迭代次数进行绘图以产生模糊匹配曲线，该模糊匹配曲线可以用于估计从任何未对焦位置到对焦位置的距离。在以引用的方式并入本文的授予Li等人的美国专利N0.8，045，046中对关于前述深度估计技术的另外细节进行了进ー步讨论。现在參阅图6，示出了根据本发明的一个实施例的多分辨率金字塔结构614的图。图6的金字塔614被提出用于说明目的，并且在替代实施例中，多分辨率金字塔614可以包括除了结合图6实施例所讨论的那些组件和配置之外的各种其它组件和配置或者代替结合图6实施例所讨论的那些组件和配置的各种其它组件和配置。在图6的实施例中，多分辨率金字塔614包括第2级别深度图618、第I级别深度图622以及第0级别深度图628，这些深度图各自具有不同的分辨率级别。在其它实施例中，可以类似地利用其它任何有效数量或配置的分辨率级别。在图6实施例中，所有的分辨率级别618、622以及628都是从同一图像数据集压缩的，但每个级别都具有不同的压缩比。例如，在某些实施例中，第0级别可以具有1/16的压缩比，第I级别可以具有1/8的压缩比，第2级别可以具有1/4的压缩比。这些压缩比可以任何有效的方式实现。例如，可以利用子米样压缩技术。在图6的实施例中，每个级别618、622以及628都包括一个或多个块。例如，第0级别具有单个块632，第I级别具有以2X2矩阵布置的四个块，第2级别具有以4X4矩阵布置的十六个块。每个块可以表示预定数量的像素。例如，在某些实施例中，每个块可以表示16X16个深度值。由于不同的压缩比，这三个不同的级别628、622以及618各自表示来自原始图像数据的同一个区域。例如，第0级别的单个块632对应于第I级别的块636、640、644以及648。类似地，第I级别的每个块对应于来自第2级别的四个块。例如，第I级别的块636对应于来自第2级别的块652、656、660以及664。在图6的实施例中，所有三个级别的每个块都具有相关联的深度值。因此，第0级别具有ー个深度值，第I级别具有四个深度值，第2级别具有十六个深度值。在某些替代实施例中，这三个级别可以被实现成包括与图6的实施例中示出的具体配置数量不同的深度值/块。本发明有利地利用鲁棒置信測度(measure)技术对这各个深度值进行评估(evaluate)，然后融合最优的深度值以生成最終的深度图。下文结合图7A至图9对关于多分辨率金字塔的利用的另外细节进行了进ー步讨论。现在參阅图7A至图7C，示出了根据本发明的一个实施例的用于利用多分辨率过程来生成深度图的方法步骤的流程图。图7的实施例被提出用于说明目的，并且在替代实施例中，本发明可以容易地利用除了结合图7实施例所讨论的那些步骤和顺序之外的各种步骤和顺序。
在图7A的实施例中，在步骤714中，深度估计器416 (图4)或其它适当的实体通过利用任何有效技术生成第2级别深度图618。例如，第2级别深度图618可以利用产生相对细尺度分辨率的压缩比来实现。然后，在步骤718中，深度估计器416可以通过利用任何有效技术来计算与来自第2级别深度图618的各个深度值相对应的鲁棒置信值。在步骤722中，深度估计器416将这些深度值根据其各自置信值分类成高置信深度值734、中置信深度值730以及低置信深度值726。然后，图7A的处理通过连接字母“A”和“B”前进到图7C。在图7B的实施例中，在步骤738中，深度估计器416或其它适当的实体通过利用任何有效技术生成第I级别深度图622和第0级别深度图628。例如，第I级别深度图622可以通过产生中尺度分辨率的压缩比来实现，而第0级别深度图628可以通过产生相对粗尺度分辨率的压缩比来实现。然后，在步骤742中，深度估计器416可以通过利用任何有效技术计算与来自第I级别深度图622和第0级别深度图628的各个深度值相对应的鲁棒置信值。在步骤746中，深度估计器416根据预定的可靠性标准，利用计算出的置信值来识别来自第0级别深度图626和第I级别深度图622的任何可靠深度值候选。在步骤750中，深度估计器416通过利用任何有效技术对来自第I级别深度图622和第0级别深度图628的块执行大小调整过程，以与第2级别深度图618的块大小相匹配。例如，可以利用各种空间插值技术(诸如，双三次法或样条法(bicubic or splinemethods))。在某些实施例中，可以利用边缘保持插值算法来执行大小调整，其中结合滤波矩阵使用了基于掩模的2X插值内核。下面示出了用于边缘保持算法的公式的ー个示例。在步骤754中，深度估计器416通过利用任何有效技术执行幅值缩放(magnitudescaling)过程以缩放来自第I级别深度图622和第0级别深度图628的深度值，以与第2级别深度图618的深度值范围相匹配。例如，该缩放过程可以利用理论方法或数据驱动方法。然后，图7B的处理可以通过连接字母“A”前进到图7C的步骤758。在步骤758中，深度估计器416确定是否已从第I级别深度图622或第0级别深度图628识别出任何另外的可靠深度值候选。在步骤762中，深度估计器416将任何不可靠的深度值标记为不适用于填充最終的优化深度图的异常值。在步骤766中，深度估计器416根据任何有效技术，利用任何可靠深度值候选来更新用于最终优化深度图的最优深度值。例如，可以选择具有最优置信測度的深度值，或者可以利用加权或未加权求平均法来将几个不同的可靠深度值组合起来。此时，深度估计器416也可以更新置信值的置信图。在步骤770中，深度估计器416有利地融合来自不同级别的深度图618、622以及628的最优深度值，以生成最终优化深度图。最后，在步骤774中，深度估计器416可以基于与最终优化深度图的最优深度值相对应的置信值创建置信图。然后，图7的处理可以终止。因此，本发明提供了用于利用多分辨率过程来生成深度图的改进的系统和方法。现在參阅图8A，示出了根据本发明的一个实施例的细尺度置信特征的图。图8A的实施例被提出用于说明目的，并且在替代实施例中，本发明可以利用除结合图8A实施例所讨论的那些置信特征之外的置信特征。在图8A的实施例中，置信特征812包括相机模型/镜头位置特征818，这些特征818可以包括特定相机110 (图1)的任何操作特性或限制。例如，相机模型/镜头位置特征818可以包括但不限于光学特性、镜头位置、变焦位置、相机校准等。在一个实施例中，相机模型/镜头位置特征818可以包括给定相机110所支持的变焦范围。在图8A的实施例中，置信特征812还包括实现方式特征822，这些特征822可以包括用于生成深度图的特定算法的任何參数或特性。例如，实现方式特征822可以包括但不限于所利用的块大小和所利用的匹配内核。在图8A的实施例中，深度估计器416可以按加权或未加权的方式选择性地将多个置信特征812组合起来，以生成多个置信值，这些置信值表示以下似然性:相对应的深度值对于细尺度深度图(诸如第2级别深度图618 (图6))来说是精确的。现在參阅图SB，示出了根据本发明的一个实施例的粗尺度置信特征814的图。图8B的实施例被提出用于说明目的，并且在替代实施例中，本发明可以利用除了结合图SB实施例所讨论的置信特征之外的置信特征。在图SB的实施例中，粗尺度置信特征814包括相机模型/镜头位置特征818和实现方式特征822，这些特征与上文结合图8A所讨论的那些命名相同的特征类似。另外，粗尺度置信特征814可以包括统计(statistics)特征826和测量(measurement)特征830。在图8B的实施例中，測量特征830可以包括基于适当測量数据的任何特征。例如，測量特征830可以包括但不限于运动矢量測量和像素强度测量。在图SB的实施例中，统计特征826可以包括从适当统计分析过程得出的任何有效特征。例如，统计特征826可以包括但不限于下文结合图SC进ー步讨论的优化率统计或绝对差值和(SAD)收敛技术。在图8B的实施例中，深度估计器416可以按加权或未加权的方式选择性地将多个置信特征814组合起来，以生成多个置信值，这些置信值表示如下似然性:相对应的深度值对于相对粗尺度深度图(诸如第0级别深度图626和第I级别深度图622 (參见图6))来说是精确的。现在參阅图8C，示出了根据本发明的一个实施例的图示出绝对差值和(SAD)收敛技术的曲线图。图8C的实施例被提出用于说明目的，并且在替代实施例中，本发明可以利用除了结合图8C实施例所讨论的那些配置和參数之外的配置和參数或者代替结合图SC实施例所讨论的那些配置和參数的配置和參数来执行SAD收敛技木。图SC的曲线图涉及使用上文结合图5B至图5C所讨论的模糊图像而从深度估计过程得出的统计信息。在图8C的曲线图中，在水平轴上示出用于成对的散焦模糊图像的SAD值，并且在垂直轴上示出用于深度估计过程(參见图5B至图5C)的迭代收敛速度。图8C的曲线图还包括可以按任何有效方式得出的分类器曲线(classifier curve) 834,以表明哪些深度值是可靠的以及哪些是不可靠的。在某些实施例中，分类器曲线834可以根据以下公式得出。
权利要求
1.一种用于生成鲁棒深度图的系统，所述系统包括: 深度图结构，其包括各自具有不同分辨率特性的多个深度图级别；以及 深度估计器，其评估来自所述深度图级别的深度值来识别最优深度值以用于填充最优深度图。
2.如权利要求1所述的系统，其中所述深度图级别包括:细尺度深度图、中尺度深度图以及粗尺度深度图。
3.如权利要求2所述的系统，其中所述深度估计器通过利用细尺度置信特征来评估来自所述细尺度深度图的所述深度值，并且其中所述细尺度置信特征包括相机模型/镜头位置特征和实现方式特征，所述相机模型/镜头位置特征包括光学特性、镜头位置、变焦位置以及相机校准參数，所述实现方式特征包括块大小和匹配内核类型。
4.如权利要求3所述的系统，其中所述深度估计器通过利用所述相机模型/镜头位置特征、所述实现方式特征以及粗尺度置信特征来评估来自所述中尺度深度图和所述粗尺度深度图的所述深度值，其中所述粗尺度置信特征包括统计特征和测量特征，所述测量特征包括运动矢量測量和像素强度测量，所述统计特征包括优化率统计以及绝对差值和收敛技术，其中所述绝对差值和收敛技术利用分类器曲线来表明所述深度值中的哪些是可靠的以及哪些是不可靠的，所述分类器曲线是基于观察到的深度值数据的经验统计而生成的。
5.如权利要求2所述的系统，其中所述深度估计器通过向初始图像数据应用第一压缩比来生成所述细尺度深度图。
6.如权利要求5所述的系统，其中所述第一压缩比是1/4，所述细尺度深度图具有4X4个块的配置。
7.如权利要求5所述的系统，其中所述深度估计器利用选定的细尺度置信特征来评估所述细尺度深度图，并且其中所述深度估计器将来自所述细尺度深度图的深度值分类为低置信深度值、中置信深度值和高置信深度值之ー。
8.如权利要求7所述的系统，其中所述深度估计器通过向所述初始图像数据应用第二压缩比来生成所述中尺度深度图，所述深度估计器还通过向所述初始图像数据应用第三压缩比来生成所述粗尺度深度图。
9.如权利要求8所述的系统，其中所述第二压缩比是1/8，所述中尺度深度图具有2X2个块的配置，所述第三压缩比是1/16，所述粗尺度深度图具有单个块的配置。
10.如权利要求8所述的系统，其中所述深度估计器利用选定的粗尺度置信特征来评估所述中尺度深度图和所述粗尺度深度图，以确定住何可靠深度值候选。
11.如权利要求10所述的系统，其中所述深度估计器执行空间大小调整过程以使所述粗尺度深度图和所述中尺度深度图的块大小与所述细尺度深度图相匹配，执行幅值缩放过程以使所述粗尺度深度图和所述中尺度深度图的深度值范围与所述细尺度深度图相匹配，通过利用选择技术和求平均技术之ー来用所述可靠深度值候选执行更新过程，并且执行融合过程以从所述细尺度深度图、所述中尺度深度图以及所述粗尺度深度图的所述最优深度值来创建所述优化深度图。
12.如权利要求11所述的系统，其中所述深度估计器生成对应于所述优化深度图的最终置信图。
13.一种用于通过执行以下步骤来生成鲁棒深度图的方法:创建深度图结构，所述深度图结构包括各自具有不同分辨率特性的多个深度图级别；以及 利用深度估计器来评估来自所述深度图级别的深度值以识别用于填充最优深度图的最优深度值。
全文摘要
本发明涉及利用多分辨率过程生成鲁棒深度图的系统和方法。用于生成鲁棒深度图的系统和方法包括深度估计器，其创建包括多个深度图级别的深度图金字塔结构，这多个深度图级别各自具有不同的分辨率特性。在一个实施例中，这些深度图级别包括细尺度深度图、中尺度深度图以及粗尺度深度图。深度图估计器通过利用细尺度置信特征来评估来自细尺度深度图的深度值，并且通过利用粗尺度置信特征来评估来自中尺度深度图和粗尺度深度图的深度值。然后，深度估计器将来自不同深度图级别的最优深度值融合成最优深度图。
文档编号G06T7/00GK103139469SQ20121048034
公开日2013年6月5日 申请日期2012年11月22日 优先权日2011年12月1日
发明者咖兹·阿力, 李平山, 松井启, 水仓贵美 申请人:索尼公司