用于通过利用自适应核来执行深度估计的系统和方法与流程

本发明总体上涉及用于分析图像数据的技术，并且更具体地涉及用于通过利用自适应核来执行深度（depth）估计过程的系统和方法。技术背景对于现代电子设备的设计者和生产商来说，实现用于分析图像数据的有效方法是一个重要的考虑因素。然而，利用电子设备有效地分析图像数据给系统设计者带来了大量的挑战。例如，对提高设备功能和性能的加强的需求要求更多的系统处理能力以及附加的硬件资源。处理或硬件要求的增多还导致对应的不利的经济影响，因为生产成本增加并且经营效率下降。此外，提高设备执行各种高级操作的能力给系统用户带来了额外的益处，但是同时也对各种设备组件的控制和管理提出了更多的要求。例如，由于涉及的数字图像数据的庞大数量以及复杂性的缘故，有效地分析数字图像数据的增强型电子设备可以受益于有效实现。由于对系统资源的日益增长的需求以及数据大小的大幅增加，显然，开发用于分析图像数据的新技术是相关电子技术中值得关注的问题。因此，出于上述所有原因，开发用于分析图像数据的有效的系统对于现代电子设备的设计者、生产商、以及用户来说是一个重要的考虑因素。

技术实现要素：
根据本发明，公开了一种用于通过利用自适应核来执行深度估计过程的系统和方法。深度估计过程可以被用来为对应的摄影目标或场景创建深度图。深度图中的不均一是由相机中的不对称的光圈形状造成的。一个著名的深度图生成技术是散焦测深（depth-from-defocus）法，在该散焦测深技术中，卷积核（convolutionkernel）被用来匹配两个图像的散焦模糊，以获取对深度的间接估计。因此，卷积核在获得准确的深度值上起着重要的作用。在本发明的一个实施例中，按照任何有效的方式获得相机光圈数据（cameraaperturedata）。相机光圈数据可以包括任何适当的信息，包括但不限于，光圈形状、光圈尺寸、以及光圈对称特征。可以利用任何有效的方法来分析相机光圈数据。例如，可以由一个或多个设计者手动地执行光圈信息分析，或者可以通过一个或多个计算机设备自动地执行光圈信息分析。因此，确定光圈是对称的或者是不对称的。如果光圈是对称的，那么可以在相机的本地存储器中存储对称核系数。但是，如果光圈是不对称的，那么可以按照任何有效的方式设计适当的不对称卷积核。例如，可以由一个或多个设计者手动地创建该不对称卷积核，也可以通过一个或多个计算机设备自动地生成该不对称卷积核。在某些实施例中，可以利用频域核设计方法来设计该不对称卷积核。在其它实施例中，可以利用空间域核设计方法来设计该不对称卷积核。所得到的不对称核系数可以存储在相机的本地存储器中。在操作中，取决于相机光圈的具体电流特性，相机随后可以从存储器选择适当的卷积核。最后，相机利用选择的卷积核来执行卷积过程，从而有力地支持深度估计过程。由此，本发明提供一种用于通过利用自适应卷积核来执行深度估计过程的改善的系统和方法。附图说明图1是根据本发明的针对相机设备的一个实施例的框图；图2是根据本发明的针对图1的捕获子系统的一个实施例的框图；图3是根据本发明的针对图1的控制模块的一个实施例的框图；图4是根据本发明的针对图3的存储器的一个实施例的框图；图5A是根据本发明的一个用于捕获散焦模糊图像的示例性实施例的示意图；图5B是根据本发明的一个实施例的图示核卷积过程的示意图；图5C是根据本发明的一个实施例的示意性匹配曲线的图表；图6A至6B是根据本发明的一个实施例的用于利用自适应核执行深度估计过程的方法步骤的流程图；图7A至7B是根据本发明的一个实施例的图示频域核设计过程的图；以及图8A至8C是根据本发明的一个实施例的图示空间域核设计过程的图。具体实施方式本发明设计图像数据分析技术的改进。给出以下描述使得本领域技术人员能够做出并且使用本发明，并且在专利申请及其要求的背景中提供以下描述。对所公开的实施例的各种修改对于本领域技术人员来说是易于明了的，并且本说明书中的一般原理也适用于其它实施例。因此，本发明并不旨在对所示出的实施例进行限制，而是应该被给予与本说明书中描述的原理和特征一致的最广泛的范围。本发明包括一种用于通过利用自适应核来支持深度估计过程的系统和方法，并且包含一种用于捕获摄影目标的图像的捕获子系统。捕获子系统包含可调节用于允许来自摄影目标的反射光进入传感器装置的光圈。基于光圈的对称特征在核设计过程中设计自适应核。可以在频域核设计过程中或者在空间域核设计过程中设计自适应核。深度估计装置利用该自适应核来执行深度估计过程。参照图1，示出了根据本发明的针对相机设备110的一个实施例的框图。在图1的实施例中，相机设备110可以包括，但不限于，捕获子系统114、系统总线116、以及控制模块118。在图1的实施例中，捕获子系统114可以光学的方式与摄影目标112耦合，并且可以电气的方式经由系统总线116与控制模块118耦合。在替代的实施例中，除了或者取代结合图1的实施例描述的那些组件，相机设备110可以容易地包括各种其它组件。此外，在某些实施例中，本发明可以替代地具体化为除了图1的相机设备110以外的任何适当类型的电子设备。例如，相机设备110可以替代地被实现为成像设备，计算机设备，或者消费电子设备。在图1的实施例中，一旦相机110的捕获子系统114自动聚焦在目标112上，相机用户请求相机设备110捕获对应于目标112的图像数据。然后，控制模块118优选地经由系统总线116指示捕获子系统114捕获代表目标112的图像数据。随后，捕获的图像数据通过系统总线116被转移至控制模块118，作为响应，控制模块118利用该图像数据执行各种处理和功能。系统总线116还可以在捕获子系统114和控制模块118之间双向地传递各种状况和控制信号。现在参照图2，示出了根据本发明的针对图1的捕获子系统114的一个实施例的框图。在图2的实施例中，捕获子系统114优选地包括，但不限于，光圈218，透镜200，图像传感器224，红、绿、蓝（R/G/B）放大器228，模数（A/D）转换器230，以及接口232。在替代的实施例中，除了或者取代结合图2的实施例描述的那些组件，捕获子系统114可以容易地包括各种其它组件。在图2的实施例中，捕获子系统114可以经由沿光学路径236撞击图像传感器224的反射光捕获对应于目标112的图像数据。在某些实施例中，光圈218包括可控的快门机制，以调节到达图像传感器224的反射光的量。作为响应，图像传感器224可以产生一组代表目标112的图像数据，该图像传感器224可优选地包括电荷耦合器件（CCD）。然后，可以通过放大器228、A/D转换器230、以及接口232路由（route）图像数据。图像数据从接口232通过系统总线116传递至控制模块118，以用于适当的处理和存储。结合本发明也可以设想其它类型的图像捕获传感器，诸如CMOS或线性阵列。下面，结合图3至图8C，进一步讨论相机110的使用和功能。现在参照图3，示出了根据本发明的针对图1的控制模块118的一个实施例的框图。在图3的实施例中，控制模块118优选地包括，但不限于，取景器308、中央处理单元（CPU）344、存储器346、以及一个或多个输入/输出接口（I/O）348。优选地，取景器308、CPU344、存储器346、以及I/O348均经由公共系统总线116耦合和通信，该公共系统总线116还与捕获子系统114通信。在替代的实施例中，除了或者取代结合图3的实施例描述的那些组件，控制模块118可以容易地包括各种其它组件。在图3的实施例中，CPU344可以实现为包括任何适当的微处理器设备。作为选择，可以使用任何其它适当的技术来实现CPU344。例如，CPU344可以实现为包括某些专用集成电路（ASIC）或其它适当的电子设备。存储器346可以实现为一个或多个适当的存储设备，包括但不限于，只读存储器、随机存取存储器、以及各种类型的非易失性存储器，诸如，软盘设备、硬盘设备、或闪存。I/O348可以提供一个或多个有效的接口，用于促进相机设备110和任何外部实体（包括系统用户或另一个电子设备）之间的双向通信。可以使用任何适当的输入和/或输出设备来实现I/O348。下面，结合图4至图8C，进一步讨论控制模块118的操作和使用。现在参照图4，示出了根据本发明的针对图3的存储器346的一个实施例的框图。在图4的实施例中，存储器346可以包括，但不限于，相机应用程序412、操作系统414、深度估计装置416、图像数据418、估计数据420、自动对焦模块422、以及杂项信息（miscellaneousinformation）424。在替代的实施例中，除了或者取代结合图4的实施例描述的那些组件，存储器346可以容易地包括各种其它组件。在图4的实施例中，相机应用程序412可以包括优选地由CPU344（图3）运行以执行相机设备110的各种功能和操作的程序指令。优选地，相机应用程序412的具体性质和功能根据诸如对应的相机设备110的类型和具体用途之类的因素变化。在图4的实施例中，操作系统414优选地控制和协调相机设备110的低级别（low-level）的功能。根据本发明，深度估计装置416可以控制和协调深度估计过程，以促进相机110中的自动对焦特征。在图4的实施例中，图像数据418可以包括相机设备110捕获的摄影目标112的一个或多个图像。估计数据420可以包括用于执行深度估计过程的任何类型的信息或数据。例如，估计数据420可以包括一个或多个对称的或不对称的卷积核，如下面将要讨论的。在图4的实施例中，自动对焦模块422可以利用深度估计过程的结果来执行相机设备110的自动对焦过程。杂项信息424包括用于相机110的操作的任何其它适当的信息。下面，结合图5A至图8C，进一步讨论关于深度估计装置416的操作的附加细节。现在参照图5A，示出了根据本发明的用于捕获散焦模糊图像518的一个示例性实施例的示意图。出于阐释的目的给出图5A的实施例，而在替代的实施例中，本发明可以利用各种其它的配置和元件来捕获散焦模糊图像518。在图5A的实施例中，相机110的传感器224（参见图2）捕获摄影目标或场景112的散焦模糊图像518，以用于执行深度估计过程。通过将透镜220调节至不同于正确的聚焦透镜位置的位置处来创建该散焦模糊图像518，该正确的聚焦透镜位置取决于目标112、透镜220、以及传感器224之间的相对位置。在一个实施例中，可以比较两个不同的散焦模糊图像518以获取深度估计。针对彼此相隔一个景深（depth-of-field）的两个模糊图像518计算模糊差。可以使用该模糊差以及已知的匹配曲线的斜率来确定给定的目标112的深度。下面，结合图6至图8C，进一步讨论用于深度估计的散焦模糊图像的生成和使用。现在参照图5B，示出了根据本发明的图示核卷积过程的示意图。出于阐释的目的给出图5B的实施例，而在替代的实施例中，本发明可以利用各种其它的配置和技术来执行核卷积过程。在图5B的实施例中，可以利用高斯卷积核522对原始图像520进行卷积，按照任何有效的方式来实现该过程，从而产生卷积图像526。在某些实施例中，核522可以实现为具有单个的核系数的滤波器矩阵，这些单个的核系数分别被应用于原始图像520的不同的对应的各个像素值。然后，组合所得到的值，为卷积图像526创建卷积中心像素值。随后，针对原始图像520中的每个像素，重复卷积过程，以完全填充卷积图像526。下面，结合图5C至图8C，进一步讨论用于深度估计的卷积核的生成和使用。现在参照图5C，示出了根据本发明的一个示例性匹配曲线714的图表。出于阐释的目的给出图5C的实施例，而在替代的实施例中，本发明可以实现为利用具有除了或者替代结合图5C的实施例描述的某些配置和参数的配置和参数的匹配曲线。在某些实施例中，捕获模糊图像1和多散焦模糊图像（more-defocusedblurimage）2，利用高斯卷积核（例如，具有小的方差的3×3高斯矩阵）对较清晰的图像1进行卷积，从而产生卷积图像1。将卷积图像1与模糊图像2进行比较。重复该过程，直到两个模糊图像匹配。然后，绘制迭代数对景深（或以1个景深为增量的图像数目）的图表，从而产生可以被用来估计从任何离焦位置到聚焦位置的距离的模糊匹配曲线。在Li等人的美国专利No.8,045,046中，进一步讨论了关于卷积核和上述深度估计技术的附加细节，该美国专利在此通过引用被全部并入。现在参照图6A至图6B，根据本发明的一个实施例示出了用于利用自适应核来执行深度估计过程的方法步骤的流程图。出于阐述的目的给出图6的实施例，而在替代的实施例中，除了结合图6的实施例描述的步骤和顺序以外，本发明可以容易地利用其它各种步骤和顺序。深度估计过程可以被用来为对应的摄影目标或场景创建深度图。深度图中的不均一性可以频繁地由相机中的不对称的光圈形状造成。在大多数情况下，不对称的光圈形状导致相机的点扩散函数（PSF）也不对称。结果，使用这些相机获得的深度图示出了图像方向依赖性。本发明有利地被用来设计深度图算法，该深度图算法可以适当地处理各种相机光圈的不对称特征。实践中，可以使用各种不同的方法从单个或多个图像生成深度图。例如，可以使用散焦测深、立体成像、阴影测深（depthfromshading）等从2D图像恢复深度信息。一个显著的被动深度图生成技术是散焦测深技术（DFD）。在DFD中，卷积核被用来匹配两个图像区域的模糊，从而获取对深度的间接估计。由此，卷积核在获得深度值上起着重要的作用。按照惯例，无论相机设置如何，对整个图像应用对称统一的卷积核。由于相机的PSF依赖于诸如光圈设置之类的相机参数，因此这通常会导致问题。不对称的光圈形状使PSF不对称，并且对称的卷积核随后将不能捕获正确的深度。本发明有效地支持基于诸如相机光圈信息之类的因素的自适应核的设计和使用，从而使得得到的深度图统一、一致、并且可靠。在图6A的实施例中，在步骤614中，以有效的方式获得相机光圈数据。相机光圈数据可以包括任何适当的信息，包括但不限于，光圈形状、光圈大小、以及光圈对称特征。在步骤618中，可以利用任何有效的方法来分析相机光圈数据。例如，可以由一个或多个设计者手动地执行光圈信息分析，也可以通过一个或多个计算机设备自动地执行光圈信息分析。在步骤622中，确定光圈是对称的还是不对称的。如果光圈是对称的，那么在相机110的存储器346（图3）中存储对称核系数，并且图6A的过程经由连接字母“B”前进至图6B的步骤642。但是，如果光圈是不对称的，那么图6A的过程经由连接字母“A”前进至图6B的步骤630。在步骤630中，可以按照任何有效的方式设计适当的不对称卷积核。例如，可以由一个或多个设计者手动地创建该不对称卷积核，也可以通过一个或多个计算机设备自动地生成该不对称卷积核。在某些实施例中，可以利用频域核设计方法来设计该不对称卷积核。此外，在其它实施例中，可以利用时空域核设计方法来设计该不对称卷积核。在步骤634中，所得到的不对称核系数可以存储在相机110的存储器346（图3）中。在步骤638中，取决于相机光圈的具体电流特性，相机110可以从存储器346选择适当的卷积核。最后，在步骤642中，相机110可以利用选择的卷积核来执行适当的卷积过程，以支持深度估计过程。图6的过程可以终止。由此，本发明提供了一种通过利用自适应卷积核来执行深度估计过程的改进的系统和方法。现在参照图7A至7B，示出了根据本发明的图示频域核设计过程的图。出于阐述的目的给出图7的实施例，而在替代的实施例中，本发明可以利用除了结合图7的实施例描述的元件和配置以外的元件和配置来执行核设计过程。在图7A的实施例中，在空间域中示出了不对称的光圈712的图表。在图7A的实施例中，在纵坐标Y上表示第一光圈大小，在横坐标X上表示第二光圈大小。在图7A的实施例中，光圈712包括水平尺寸“a”718以及垂直尺寸“b”714。如在图7A中所示出的，水平尺寸“a”718和垂直尺寸“b”714不相等，导致光圈712不对称。在图7B的实施例中，示出了图7A的不对称的光圈712的频域中的表示722。在某些实施例中，可以通过将适当的快速傅立叶变换（FFT）应用于图7A的空间域光圈712来生成图7B的表示722。在图7A的实施例中，在纵坐标Fv上表示垂直频率，在横坐标Fu上表示水平频率。在图7B的实施例中，表示722包括水平带宽“Bu”730和垂直带宽“Bv”726。在图7B的实施例中，水平带宽“Bu”730对应于图7A的水平尺寸“a”718，并且垂直带宽“Bv”726对应于图7A的垂直尺寸“b”714。在图7B的实施例中，水平带宽“Bu”730由水平截止频率738限制，并且垂直带宽“Bv”726由垂直截止频率734限制。频率变量“Bu”和“Bv”表示带宽特征（通过光圈可以支持多少频率）。可以利用截止频率为两个带宽设计滤波器核。可以利用任何标准的或增强的滤波器设计技术。然后，必须组合这个信息以生成不对称卷积核。实践中，首先将FFT应用于光圈712（图7A）的点扩散函数（PST）。然后，可以基于水平截止频率和垂直截止频率设计水平滤波器和垂直滤波器。随后，组合水平滤波器和垂直滤波器，以生成组合的滤波器。对组合的滤波器执行逆FFT，从而产生不对称卷积核。在某些实施例中，如果原始核超出某一核尺寸，那么可能需要利用尺寸减小的核来近似该卷积核。现在参照图8A至图8C，示出了根据本发明的一个实施例的图示空间域核设计过程的图。出于阐述的目的给出图8的实施例，而在替代的实施例中，本发明可以利用除了结合图8的实施例描述的元件和方法以外的元件和方法来执行核设计过程。在图8A的实施例中，示出了水平测试页图像816。此外，对应于图像816，示出了空间域中不对称的光圈812的图表。类似地，在图8B的实施例中，示出了垂直测试页图像824。此外，对应于图像824，示出了空间域中不对称的光圈820的图表。垂直测试页图像824是旋转90度的水平测试页图像816。当使用水平测试页816时，散焦模糊在垂直（Y）方向中，并且迭代数在垂直方向上与PSF方差成比例。当使用垂直测试页824时，散焦模糊在水平（X）方向中，并且迭代数在水平方向上与PSF方差成比例。根据本发明，执行图8A和图8B的实施例的空间分析，以生成不对称卷积核，如下面结合图8C进一步描述的。出于阐述的目的给出图8C的实施例，而在替代的实施例中，本发明可以利用除了结合图8的实施例描述的元件和方法以外的元件和方法来执行核设计过程。例如，可以用任何其它有效的或适当的计算或实现值来替代图8C的示例中提供的各种具体的计算或实现值。图8C的示例包括水平滤波器核828、垂直滤波器核832、水平-垂直滤波器组合过程836、以及最终的不对称卷积核840。根据本发明的一个实施例，可以对前述图8A和图8B的实施例执行空间域分析，从而产生用于根据下述变量定义不对称卷积核840的代表性等式（参见下述等式1）。此处，使用水平测试页与[161]核的迭代数使用垂直测试页与[161]核的迭代数[等式1]由此，在图8的示例中，等式1指示垂直方差值与水平方差值之间应该是近似2比1的关系。在图8C的示例中，根据本发明的一个实施例，由此在水平-垂直滤波器组合过程836中组合水平滤波器核828和垂直滤波器核832，从而产生最终的不对称卷积核840。以上已经参照某些实施例阐述了本发明。根据该公开，其它的实施例对本领域的技术人员来说也是明了的。例如，可以使用除了在上述实施例中描述的配置和技术以外的配置和技术来容易地实现本发明。此外，可以结合除了以上描述的系统以外的系统来有效地使用本发明。因此，这些以及其它基于所讨论的实施例的变体旨在由本发明所覆盖，本发明仅受所附的权利要求书限制。