用于相机阵列的图像重对焦的制作方法

本申请要求于2014年6月2日提交的题为“IMAGE REFOCUSING FOR CAMERA ARRAYS(用于相机阵列的图像重对焦)”的美国专利申请序号14/293,611的优先权，该美国专利申请以其全部内容通过引用结合在此。

背景技术：

图像重对焦可以用于在拍摄图像后对其进行重对焦。例如，这种重对焦技术可以用于事后(例如，在拍摄图像或多个图像后)模拟浅景深。在成像时浅景深可以提供具有在图像中兴趣部分、兴趣区域或兴趣对象对焦而图像的其他一个或多个部分离焦并具有一定模糊的美学。这种美学对于用户而言可能是可期望的。在典型的摄影术中，可以在拍摄图像的同时使用较大的光圈和其他摄影技术来获得这种浅景深和相关美学。

在图像重对焦中，存在若干种用于模拟浅景深的技术。例如，全光相机可以使用放置在传感器前方的微透镜阵列在4D中在相机的入射光孔处对光场进行采样，该传感器在以不同角度进入的射线被传感器取平均之前将其分开。这种技术事后通过渲染视图允许重对焦，其中将4D光场转变为图像的集成以特定的角度发生。这种技术的主要缺点在于最大光圈受限于主透镜的物理光圈并且需要对相机前方的变焦透镜进行复杂的光学设置。此外，这种变焦透镜难以集成在移动平台中。

在另一个示例中，相机阵列可以用于事后实现重对焦。在相机阵列方式中，可以拍摄多重图像(例如，经由相机阵列)，并且可以使用移位和取平均技术来实现重对焦。例如，重对焦至选定深度包括选择对应于深度的位移、使图像(例如，经由相机阵列获得的多重图像)移位、并且取这些图像的平均值。这种技术使处于选定深度的点保持对齐并因此对焦，而处于其他深度的点将不对齐并且将显得模糊。这种技术可以由此模拟所讨论的浅景深。然而，这种技术的结果可能提供在模糊(例如，离焦)区域中显得不自然的图像。

如此，现有技术不提供容易使用和高品质的事后重对焦。随着在各种设备实现方式中获取高品质、美观的图像的期望变得更加广泛，这种问题可能变得关键。

附图说明

在附图中通过举例而非限制的方式展示了在此所描述的材料。为了展示的简单和清楚，图中所展示的元件不一定按比例绘制。例如，为清楚起见，某些元件的尺寸相对于其他元件可能被放大了。此外，在认为适当的情况下，在附图之间对参考标记加以重复以表示相应的或相似的元件。在附图中：

图1是一种用于提供图像重对焦的示例系统的示意图；

图2展示了示例相机阵列和示例获得图像；

图3展示了示例全对焦参考图像；

图4展示了示例基本重对焦图像；

图5展示了示例差值图像；

图6展示了示例低通差值图像；

图7展示了示例最终重对焦图像；

图8是一种用于提供图像重对焦的示例系统的示意图；

图9展示了示例经处理低通差分图像金字塔；

图10展示了基本重对焦图像金字塔和掩码(mask)金字塔的示例乘积；

图11是一种用于提供图像重对焦的示例系统的示意图；

图12是展示了用于提供图像重对焦的示例过程的流程图；

图13是示例系统的示意图；

图14是示例系统的示意图；以及

图15展示了全部根据本公开的至少一些实现方式安排的示例设备。

具体实施方式

现在参照附图描述一个或多个实施例或实现方式。虽然对特定配置和安排进行了讨论，但应理解，这仅出于说明目的来进行。相关领域的技术人员将认识到，在不背离本描述的精神和范围的情况下可以采用其他配置和安排。将对相关领域的技术人员明显的是，在此描述的技术和/或安排还可以在除了在此描述的系统和应用之外的各种各样的其他系统和应用中被采用。

虽然以下描述阐述可以在如例如片上系统(SoC)架构的架构中显现各实现方式，但在此描述的技术和/或安排的实现方式并不局限于具体的架构和/或计算系统并且出于类似目的可以由任何架构和/或计算系统实现。例如，采用例如多个集成电路(IC)芯片和/或封装体、和/或各种计算设备和/或消费电子产品(CE)设备(如机顶盒、智能电话等)的各架构可以实现在此描述的技术和/或安排。此外，虽然以下描述可以阐述许多特定的细节(如逻辑实现、系统组件的类型和内在关系、逻辑划分/集成选择等)，但要求保护的主题可以在没有这些特定细节的情况下被实践。在其他情形下，可以不详细示出某些材料(如，例如，控制结构和完整的软件指令序列)，以便不模糊在此公开的材料。

在此公开的材料可以在硬件、固件、软件、或其任何组合中实现。在此公开的材料还可以被实现为存储于机器可读介质上的指令，这些指令可以被一个或多个处理器读取或执行。机器可读介质可以包括用于存储或传输具有由机器(例如，计算设备)可读的形式的信息的任何介质和/或机制。例如，机器可读介质可以包括只读存储器(ROM)；随机存取存储器(RAM)；磁盘存储介质；光学存储介质；闪存设备；电气、光学、声学或其他形式的传播信号(例如，载波、红外信号、数字信号等)等。

说明书中提到“一种实现方式(one implementation)”、“实现方式(an implementation)”、“示例实现方式(an example implementation)”等表明所描述的实施例实现方式可以包括具体特征、结构、或特性，但每个实施例可能不一定包括这个具体特征、结构、或特性。此外，这些短语不一定指同一实现方式。另外，当结合一个实施例描述特定的特征、结构或特性时，应理解，结合无论在此是否明确地描述的其他实现方式来实施这种特征、结构或特性在本领域技术人员的认知范围内。

在此描述的方法、设备、装置、计算平台和制品涉及图像重对焦并且尤其涉及基于经由相机阵列接收的图像的图像重对焦。

如上所述，提供基于经由相机阵列获得的图像来模拟浅景深的图像重对焦可能是有利的。例如，浅景深和相关美学对于用户而言可能是可期望的。同样如所讨论的，现有技术可能在重对焦图像的模糊(例如，离焦)区域中提供不自然的外观。例如，在来自移位和取平均技术的结果中，模糊区域可能显得好像它们具有对象的多重覆盖复制，这可能导致不连贯且不自然的外观，而不是更平滑的模糊效果。

在其他情况下，使用来自于相机阵列的两个或更多个图像明确估计图像中的每个像素的视差(或深度)并且使用这种经估计的视差通过将不同的模糊量应用于具有不同深度的像素来产生重对焦图像是可能的。然而这种方式在计算方面比之前描述的转移和取平均技术更加昂贵，因为对视差的密集估计昂贵并且在一些情况下是不可靠的操作。

在此讨论的一些实施例中，图像重对焦可以包括由相机阵列获取场景的多个图像。基于这些图像，例如可以确定全对焦参考图像(例如，所获取图像中的经选择图像)和基本重对焦图像，该基本重对焦图像可以基于转移和取平均技术而生成，该转移和取平均技术包括基于与期望深度相关联的位移来使图像移位并且对所述经移位的图像取平均以生成该基本重对焦图像。可以取全对焦参考图像和基本重对焦图像的差值来生成差值图像。可以将低通滤波器应用于差值图像以生成低通差值图像。可以将基于差值图像(例如，使用差值图像、低通差值图像和/或额外信息生成)的空变滤波器应用于重对焦图像以生成最终重对焦图像。最终重对焦图像可以包括相对于全对焦参考图像而言增大的模糊的区域。例如，可以使差值图像等中的较大差值的区域比具有较小差值的另一个区域模糊更大量。在一些示例中，应用空变滤波器包括基于拉普拉斯金字塔近似来应用近似空变滤波器。

使用这种技术，所生成的模糊具有平滑和自然的外观。此外，这些技术是计算效率的并且可以提供实时处理，使得用户可以快速获得结果和/或实时选择修改图像。在一些实现方式中，这些技术可以应用于实时视频。

图1是根据本公开的至少一些实现方式安排的用于提供图像重对焦的示例系统100的示意图。如图1所示，系统100可以包括取差器模块103、低通滤波器模块105、和空变滤波器模块107。在各个示例中，取差器模块103、低通滤波器模块105、和空变滤波器模块107可以经由一个或多个中央处理单元和/或一个或多个图形处理单元来实现，如在此进一步讨论的。如图1所示，取差器模块103可以接收全对焦参考图像(灰度)101和基本重对焦图像(灰度)102a。例如，全对焦参考图像(灰度)101和基本重对焦图像(灰度)102a可以基于经由相机阵列接收的多重图像来确定。

图2展示了根据本公开的至少一些实现方式安排的示例相机阵列200和示例获得图像210。如图2所示，相机阵列200可以包括用于在来自相机201-204的方向205上获得多重图像211-214的多个相机201-204。如所示出的，可以由相机阵列200的每个相机获得图像，从而经由相机201获得图像211，经由相机202获得图像212，经由相机203获得图像213，并且经由相机204获得图像214。在所展示的示例中，相机阵列200包括可以获得四个图像211-214的四个相机201-204，然而可以使用任何适当数量的相机和关联图像。在各个示例中，相机阵列包括9个相机(例如，呈3×3网格)、16个相机(例如，呈4×4网格)等。此外，在所展示的示例中，相机阵列200包括以在中心周围的网格图形均匀间隔和安排的相机201-204，然而相机阵列200可以包括任何适当的安排和间距。例如，相机201-204可以不均匀间隔，相机201-204可以呈另一种图案来安排(例如，圆形地、呈方形、仅沿水平线、仅沿竖直线等等)。在一些示例中，在实现所讨论的重对焦技术中，可以提供间隔更远的相机201-204以用于更容易将对象分开。例如，相机201-204的放置可以提供类似于单个相机实现方式中的光圈，使得在相机201-204之间的距离越大，综合光圈就越大(并且在所讨论的重对焦技术中的提供浅景深的能力和对象分离的能力就越大)。

相机201-204可以具有用于获得图像211-214的任何适当的特征。在实施例中，相机201-204是近似全对焦的定焦相机(例如，从约60cm至1m的短距离至有效的无穷距离对焦)。此外，相机阵列200可以通信地耦合至系统100(例如，经由有线或无线通信连接等)，或者相机阵列200可以与系统100整合。如所讨论的，系统100可以从相机阵列200获得图像211-214。

返回至图1，系统100可以接收图像211-214。可以使用图像211-214中的一者或多者来选择参考图像和/或参考图像内的兴趣位置。例如，可以将图像211-214中的一者或多者呈现给用户，并且用户可以选择、或可以基于对所呈现图像的操控被动地选择图像211-214中的参考图像。此外，用户可以选择参考图像内的兴趣对象(例如，兴趣面或其他兴趣对象)或兴趣位置。例如，所选择的对象或位置可以是用户经由显示图像的触摸屏来选择的。在其他示例中，系统100可以选择参考图像和/或参考图像内的兴趣对象或兴趣位置。例如，系统100可以基于相机201-204的预选参考相机的位置、相机201-204的参考相机的品质等等来从图像211-214中选择参考图像。在一些示例中，系统100可以使用对象识别或面部识别技术等等来选择参考图像内的对象或位置。

如所讨论的，可以确定参考图像(和拍摄参考图像的关联参考相机)以及在该参考图像内的一个或多个对象或位置。基于所选择的参考图像，可以通过基于任何适当的转换技术将所选择的参考图像转换成灰度来确定全对焦参考图像(灰度)101。基于参考相机近似全对焦并且为了将参考图像与如在此讨论的生成的具有模糊区域等等的图像加以区分，可以认为参考图像全对焦。在一些示例中，基于参考相机获取图像，参考图像可以包括离焦或模糊区域。

图3展示了根据本公开的至少一些实现方式安排的示例全对焦参考图像(灰度)101。如图3所示，全对焦参考图像(灰度)101可以基本上全对焦(例如，全对焦参考图像(灰度)101中没有部分基本上模糊或离焦)。此外，可以在全对焦参考图像(灰度)101内确定兴趣目标或兴趣对象302。如所讨论的，兴趣目标或兴趣对象302可以是用户确定或系统确定等等。在所展示的示例中，兴趣目标或兴趣对象302是基本上在全对焦参考图像(灰度)101的背景中的挂毯或挂毯的一部分。在其他示例中，前景对象(例如，全对焦参考图像(灰度)101中的填充玩具猴或桌子)或中景对象(例如，全对焦参考图像(灰度)101中的填充玩具猎豹)可以是兴趣对象或兴趣位置。

返回至图1，基于在参考图像内的所选择的对象或位置，可以在图像211-214上执行重对焦以生成基本重对焦图像(彩色)102b和/或基本重对焦图像(灰度)102a。例如，可以使用移位和取平均技术来执行基本重对焦。为了讨论，假设图像211是参考图像并且相机201是参考相机，然而图像211-214中的任何图像可以是参考图像并且相机201-204中的任何相机可以是参考相机。在一些示例中，可以确定与在参考图像211内的所选择的对象或位置相关联的深度。基于深度，可以针对图像212、213、214中的所有图像或每个图像确定位移。例如，所述(多个)位移可以对应于所确定的深度，使得所述(多个)位移(在图像211-214之间)与兴趣对象或兴趣位置对齐。图像212、213、214然后可以根据所确定的(多个)位移来移位并且基于分别在相机202、203、204与参考相机之间的相对距离来缩放。在移位之后，可以取在图像211-214之间的平均值来确定基本重对焦图像(彩色)102b和/或基本重对焦图像(灰度)102a。移位(带缩放)和取平均技术可以经由在确定平均值之后将在所选择的深度(例如，在兴趣对象或兴趣位置的深度处)中的点保持对齐并且因此对焦、同时使在不同深度处的点对偏从而使其显得模糊或离焦来提供模糊。

在使用这种技术生成彩色图像(例如，基本重对焦图像(彩色)102b)的实施例中，可以使用任何适当的技术基于该彩色图像的转换而生成灰度图像(例如，基本重对焦图像(灰度)102a)。在其他实施例中，可以使用这种技术生成灰度图像(例如，基本重对焦图像(灰度)102a)。

图4展示了根据本公开的至少一些实现方式安排的示例基本重对焦图像(灰度)102a。如图4所示，可能已经将模糊区域401提供在基本重对焦图像(灰度)102a中(在基本重对焦图像(灰度)102a)中的其他区域也具有模糊效应)。可以如所讨论的基于移位和取平均技术来提供模糊区域401。如在图4的特写镜头403中所示，模糊区域401可能具有不自然且不令人期望的外观，就好像已经覆盖了该图像的多重复制，这些多重复制给基本重对焦图像(灰度)102a的观察者呈现了不连贯的效应。此外，在基本重对焦图像(灰度)102a中展示了兴趣对象或兴趣位置402。如所示出的，兴趣对象或兴趣位置402在应用了所讨论的移位和取平均技术之后可以保持对焦(例如，没有模糊)。

返回至图1，系统100的取差器模块103可以取全对焦参考图像(灰度)101与基本重对焦图像(灰度)102a的差值以生成如图1所示的差值图像104。取差器模块103可以将任何适当的差值应用至全对焦参考图像(灰度)101和基本重对焦图像(灰度)102a，如这些图像的绝对值差值等等。

图5展示了根据本公开的至少一些实现方式安排的示例差值图像104。如图5所示，差值图像104可以通过在位置501、502中显得更亮而对期望模糊效应的那些位置(例如，在全对焦参考图像(灰度)101的期望离焦效应的深度处，请参见图3)进行表明或高亮，并且可以通过在位置503、504中显得更暗而对不期望模糊效应并且反而期望保持对焦的那些位置(例如，在兴趣对象或兴趣位置302处以及在相同或相似深度处的位置处，请参见图3)不进行表明或高亮。情况就是这样，因为基本重对焦图像(灰度)102a在对焦区域(例如，在位置503、504处)中非常类似于全对焦参考图像(灰度)101，从而引起小的差值，而在离焦区域(例如，在位置501、502处)存在更多差值，从而引起较大的差值。如在此进一步讨论的，可以将基于差值图像104的空变滤波器应用于基本重对焦图像(彩色)102b以生成最终重对焦图像(彩色)108(请参见图1)，该最终重对焦图像具有相对于全对焦参考图像(灰度)101而言增大的模糊的区域。这种空变滤波器可以通过应用额外的空变模糊改善重对焦图像的品质，该额外的空变模糊在一些区域(例如在差值图像104中显得更暗的在位置503、504或具有类似深度的位置处的区域)中保留对焦并且在其他区域(例如，在差值图像104中显得更亮的位置501、502或相对于位置503、504具有深度差值的位置处的区域)中提供更多模糊。

返回至图1，可以经由低通滤波器模块105将低通滤波器应用于差值图像104以生成低通差值图像106。所应用的低通滤波器例如可以近似或提供模糊宽度。所应用的低通滤波器可以包括任何适当的低通滤波器，该低通滤波器使差值图像104内的低频率信息通过并且减少差值图像104内的较高频率的信息。例如，低通差值图像106可以具有如经由低通滤波器提供的基本上平滑的变化模糊。

图6展示了根据本公开的至少一些实现方式安排的示例低通差值图像106。如图6所示，低通差值图像106可以对期望模糊效应的位置601、602进行表明或高亮，并且可以对不期望模糊效应并且反而期望保持对焦的位置603、604不进行表明或高亮，如参照图5的位置501-504讨论的。同样如图6所示，当与由差值图像104提供的更加生硬的表示相比时(请参见图5)，低通差值图像106可以表明或提供基本上平滑的变化模糊。

返回至图1，空变滤波器模块107可以基于低通差值图像106(并由此基于差值图像104)将空变滤波器应用于基本重对焦图像(彩色)102b以生成最终重对焦图像(彩色)108。在实施例中，空变滤波器可以应用功能，该功能估计模糊宽度并且考虑其他信息(例如，基本重对焦图像(灰度)102a的估计噪声级和/或基本重对焦图像(灰度)102a的图像梯度)，如在以下进一步讨论的。

在实施例中，空变滤波器可以基于低通差值图像106经由对像素取平均来应用模糊。例如，可以在目标像素(例如，被取平均的像素)周围的像素窗口取平均，从而为目标像素生成新值。取决于窗口的尺寸，可以应用不同量的模糊。例如，可以基于针对差值图像104或低通差值图像106的密度视差图来确定针对每个像素的窗口的尺寸。一个像素的窗口将不应用模糊(例如，像素值将不产生改变)，小窗口将应用一些模糊，并且较大的窗口(例如，经由在大量像素上取平均)将提供更多模糊。通过将这种空变滤波器应用于基本重对焦图像(彩色)102b，一些部分可以不经受模糊，而其他部分或区域可以经受不同级的模糊以生成最终重对焦图像(彩色)108。所讨论的像素窗口可以基本上是任何形状的，如方形、矩形、或圆形，其中在一些实现方式中循环对称形状是尤其有利的。此外，像素窗口可以具有任何适当的尺寸以用于提供无模糊(例如，1像素)至大量模糊(例如数十像素或数百像素等等)。例如，像素窗口的尺寸可以被描述为模糊宽度σ，从而模糊宽度越大，所应用的模糊量就越大。如在此所讨论的，通过将暗像素应用至低模糊或无模糊并且将较亮的像素映射至更多模糊，可以由差值图像104或其处理版本(例如，低通差值图像106)导出在每个像素处必需的模糊量。

在其他实施例中，空变滤波器可以基于近似来应用空变模糊。例如，可以经由拉普拉斯金字塔近似技术来应用空变滤波器，如在此进一步讨论的。例如，可以生成基于基本重对焦图像(彩色)102b的基本重对焦图像拉普拉斯金字塔以及基于低通差值图像106的加权高斯金字塔。可以确定基本重对焦图像拉普拉斯金字塔和加权高斯金字塔的乘积，并且可以将该乘积(金字塔)重构以生成最终重对焦图像(彩色)108。在一些示例中，所讨论的拉普拉斯金字塔近似技术可以独立地应用于基本重对焦图像(彩色)102b的每个颜色通道以生成最终重对焦图像(彩色)108。这种近似技术可以节省实大量计算资源。这种近似与在差值图像中为基础的近似模糊映射一起可以使得能够实时应用，就像在预览输入视频流(例如，取景)时重对焦一样。此外，这种近似技术可以在最终重对焦图像(彩色)108中提供高品质结果，非常接近于将空变宽度模糊内核应用至基本重对焦图像中的每个像素的直接实现方式。

之前提到，除了差值图像之外可以使用其他信息来估计模糊级。具体地，可以使用全对焦参考图像(灰度)102a的噪声级和梯度。噪声级估计的目的是避免在基本重对焦图像中被选择成对焦的区域中引入任何额外的模糊。取经移位的图像的平均值的一个副作用是对焦的区域(其中位移使不同图像中的对象适当地对齐)将是来自若干噪声输入的平均值(输入图像通常将受噪声影响)，从而引起受噪声影响较小的值。因此，即使全对焦参考图像(灰度)101和基本重对焦图像(灰度)102a两者在对焦的区域中非常类似，由于之前详细描述的取平均的副作用，它们将在那些区域中对其造成影响的噪声量方面有所区别。这将产生差值，这些差值在差值图像104中可能是显而易见的并且不是由模糊中的差值而是由噪声中的差值造成的。为了避免在这些区域中引入模糊，我们在全对焦参考图像(灰度)101中对噪声级进行估计。可以将这个噪声级使用成使得将小于噪声级的差值分配给1像素的模糊宽度(无模糊)。例如，实现这一点的一种方式是从绝对差值中减去噪声级，并且然后将所有负值设定成0，这将被映射至1像素的模糊宽度(无模糊)。

使用全对焦参考图像(灰度)101的梯度的目的是避免在区域中的过量模糊，这些区域在取平均之前可能轻微地对偏但是具有强的强度不连续性。具有轻微对偏的这些区域将需要一些量的额外模糊。在其包含强的边缘不连续性的情况下，即便小的对偏也可能产生将对应于最好避免的大模糊(例如，否则将出现不令人期望的模糊)的强的差值图像。全对焦参考图像的梯度(例如，可以被估计为x方向上的梯度的平方加上y方向上的梯度的平方的平方根)提供关于具有这种强的强度不连续性的区域的信息，这种信息可以用于修正由差值图像给出的模糊量。实现这一点的一种方式是通过我们已经预先加上梯度图像的平均值的梯度图像的修改版本来将差值图像归一化，从而避免在归一化过程中的数值不稳定性，例如d/(g+meang)。

图7展示了根据本公开的至少一些实现方式安排的示例最终重对焦图像108。如图7所示，最终重对焦图像108包括期望模糊效应的位置701和不期望模糊效应并且反而期望保持对焦的位置702，如上所述。如所示出的，位置701(和最终重对焦图像108中的其他模糊区域)具有美观和基本上平滑的模糊。此外，位置702(和其他对焦区域)基本上清晰并且保持对焦。此外，在位置701与位置703之间产生对比，使得位置701与位置703相比具有更大的模糊效应。这种效应也是美观的，因为所期望的是，距如关于位置702示出的兴趣点或兴趣对象更远的对象(例如，在位置701处)与更接近兴趣点或兴趣目标的那些对象(例如，在位置703处)相比具有更大的模糊。

在此所讨论的与拉普拉斯金字塔近似相关联的技术可以提供品质美观的图像结果。此外，这些技术可以提供基本上快速的处理(例如，实时处理)。例如，对于提供1280×960(例如，1.3兆像素)分辨率图像的2×2相机阵列，所讨论的重对焦流水线(例如，图像修正或缩放、对兴趣位置的位移估计、使用取平均和移位技术对基本重对焦图像的确定、以及使用所描述的技术来增强模糊)使用当代计算系统可以在16毫秒或更少的时间内执行。

图8是根据本公开的至少一些实现方式安排的用于提供图像重对焦的示例系统800的示意图。如图8所示，系统800可以包括取差器模块103、低通滤波器模块105、和空变滤波器模块107，如以上关于图1所讨论的。系统800还可以包括彩色至灰度模块802、噪声级估计模块803、梯度模块805、低通滤波器模块807、平均值确定模块809、噪声级掩码模块811和梯度掩码模块812。此外，如所示出的，空变滤波器模块107可以包括高斯金字塔模块814、拉普拉斯金字塔模块818、加权计算模块816、乘积模块820和金字塔重构模块821。在其他实施例中，空变滤波器模块107可以实现其他模块来执行在此讨论的操作。在一些示例中，所讨论的模块中的一个或多个模块可以经由一个或多个中央处理单元来实现，例如在此讨论的那些中央处理单元。

如所示出的，彩色至灰度模块802可以接收全对焦参考图像(彩色)801和基本重对焦图像(彩色)102b。全对焦参考图像(彩色)801可以是用户或系统从经由相机阵列获得的多重图像(例如在此讨论的经由相机阵列200获得的图像211-214)中选择的。此外，可以使用任何(多个)重对焦技术(例如在此讨论的移位和取平均技术)来确定基本重对焦图像(彩色)102b。彩色至灰度模块802可以使用任何适当的(多个)彩色至转换技术(例如，如果要求的话用rgba2gray)将全对焦参考图像(彩色)801和基本重对焦图像(彩色)102b分别转换成全对焦参考图像(灰度)101和基本重对焦图像(灰度)102a。全对焦参考图像(彩色)801和基本重对焦图像(彩色)102b可以是在红绿蓝α(RGBA)彩色空间、红绿蓝(RGB)彩色空间等等中的彩色图像。

如所示出的，可以将全对焦参考图像(灰度)101和基本重对焦图像(灰度)102a提供给取差器模块103，该取差器模块可以取这些图像的差值使用任何适当的(多个)技术(例如，绝对值差值(例如，absdiff命令))生成差值图像104。可以将差值图像104提供给低通滤波器模块105，该低通滤波器模块可以将低通滤波器应用于差值图像104以生成低通差值图像106。在实施例中，低通滤波器模块105可以(例如，经由pyrDown命令)将差值图像104降低采样任何次数，并且经由内插法(例如，经由pyrUp命令)升高相同的次数，从而生成低通差值图像106。

如所示出的，可以将全对焦参考图像(灰度)101提供至噪声级估计模块803。例如，噪声级评估模块803可以评估和/或映射全对焦参考图像(灰度)101中的噪声以生成噪声级804。噪声级804可以包括一个或多个噪声级或噪声级掩码。例如，噪声级804可以表明基本重对焦图像(灰度)102a的否则可能经受由于空变滤波器模块107造成的不令人期望的模糊的那些部分(例如，不存在噪声级804)。如之前所解释的，通过实现噪声级804，在全对焦参考图像(灰度)101中的本地噪声可以用于适当地避免对焦区域中的由于在全对焦参考图像(灰度)101和基本重对焦图像(灰度)102a之间的噪声级的差值而造成的过量模糊。

此外，可以将全对焦参考图像(灰度)101提供至梯度模块805。例如，梯度模块805可以估计或评估全对焦参考图像(灰度)101中的梯度，从而生成梯度全对焦参考图像806。可以将梯度全对焦参考图像806提供至低通滤波器模块807，该低通滤波器模块可以应用低通滤波器以生成梯度级808。在一些示例中，低通滤波器模块807和低通滤波器模块105可以是同一模块，并且在其他示例中，它们可以单独实现。可以将梯度级808提供至平均值确定模块809，该平均值确定模块可以基于梯度级808来生成平均值，从而生成平均值梯度810。与噪声级804一样，梯度级808可以表明基本重对焦图像(灰度)102a的否则可能经受不令人期望的模糊的那些部分。通过实现梯度级808和/或平均值梯度810，在全对焦参考图像(灰度)101中的边缘等等可以用于避免在具有强的边缘的区域中的过量模糊，对于边缘小的对偏可能产生不令人期望的强的差值，如在此所讨论的。

继续图8，可以部分地使用低通差值图像106来估计空变滤波器。例如，可以将低通差值图像106提供给噪声级掩码模块811和梯度掩码模块812，该噪声级掩码模块和该梯度掩码模块可以一起或单独实现，并且该低通差值图像可以生成具有减小的噪声效应和梯度效应的经处理低通差值图像813。例如，通过减小噪声效应和梯度效应，在全对焦参考图像中的噪声不连续性和强度不连续性的效应将不会在最终重对焦图像(彩色)108中产生不希望的额外的模糊。噪声级掩码模块811还可以接收噪声级804并且可以将噪声级804应用于低通差值图像106。例如，应用噪声级804可以包括从低通差值图像106中减去噪声级804并且将任何得到的负值阈值约束至零。例如，得到的负值可以被设置为零，而正值可以保留。此外，梯度掩码模块812还可以接收梯度级808和/或平均值梯度810，并且可以将平均值梯度810应用于低通差值图像106(或由应用噪声级804而得到的图像)。例如，应用平均值梯度810可以包括将低通差值图像106乘以平均值梯度810并且除以平均值梯度810与梯度级808之和(例如，×meang/(meang+g))并且如果需要的话应用随后的缩放无论何时当梯度大时，通过梯度的这种归一化都将减小差值图像，从而有助于避免那些区域中的过量模糊。

可以将经处理低通差值图像813提供给高斯金字塔模块814，该高通金字塔模块可以生成经处理低通差值图像金字塔815。经处理低通差值图像金字塔815可以包括多个值，这些值与经由空变滤波器模块107基于所讨论的拉普拉斯金字塔近似技术而将应用的模糊宽度σ相等或成比例并且掩蔽了如所讨论的噪声级804和/或梯度级和平均值梯度810。例如，空变滤波器模块107可以通过基于差值图像104、低通差值图像106和/或经处理低通差值图像813将更多模糊应用于离焦区域而保留对焦区域来使基本重对焦图像(彩色)102b精细，使得在差值图像中的较小差值对应于较小的应用模糊，并且在差值图像中的较大差值对应于较大的应用模糊。使用所讨论的技术，最终重对焦图像(彩色)108与基本重对焦图像(彩色)102b相比可以具有较小的、较少的伪像或没有伪像。

图9展示了根据本公开的至少一些实现方式安排的示例经处理低通差值图像金字塔815。如图9所示，经处理低通差值图像金字塔815可以包括基于金字塔图像901-905(这些金字塔图像具有降低的分辨率)对经处理低通差值图像813进行近似。例如，金字塔图像901-905中的每一者可以是前一图像的分辨率的一半，例如，金字塔图像902是金字塔图像901的分辨率的一半，金字塔图像903是金字塔图像902的分辨率的一半，依此类推。如在此讨论的其他金字塔(类似于拉普拉斯金字塔818)也可以包括降低的分辨率结构。

返回至图8，拉普拉斯金字塔模块818可以接收基本重对焦图像(彩色)102b并且可以生成基本重对焦图像金字塔819。此外，加权计算模块816可以接收经处理低通差分图像金字塔815并且可以生成掩码金字塔817。乘积模块820可以确定重对焦图像金字塔819和掩码金字塔817的乘积，并且金字塔重构模块821可以将乘积进行重构以生成最终重对焦图像(彩色)108。

图10展示了根据本公开的至少部分实现方式安排的基本重对焦图像金字塔819和掩码金字塔817的示例乘积1001。如图10所示，可以基于基本重对焦图像金字塔819和掩码金字塔817确定乘积1001。如所讨论的，可以基于经处理低通差值图像金字塔815生成掩码金字塔817。在实施例中，掩码金字塔817是经处理低通差值图像金字塔815的反转。图10展示了在基本重对焦图像金字塔819、掩码金字塔817和乘积1001中的位置1002、1003。如上所述，位置1002与期望更多模糊的区域相关联，并且位置1003与不期望模糊(例如，维持对焦)的区域相关联。如关于掩码金字塔817的位置1003所示出的，掩码金字塔817的白色的位置可以与将不向基本重对焦图像金字塔819提供模糊的位置相关联。此外，掩码金字塔917的位置1002表明掩码金字塔817的黑色的位置可以与没有将模糊提供给基本重对焦图像金字塔819的位置相关联。

在一些示例中，实现拉普拉斯金字塔近似可以在产生或实现模糊宽度是替代明确的像素取平均。空变滤波器的拉普拉斯金字塔的实现方式可以提供具有良好品质近似的计算效率的技术。例如，拉普拉斯金字塔可以近似或提供本地傅里叶变换，使得在变换域中，所展示的乘法实现允许在图像的不同空间位置中的不同加权或模糊宽度。这种技术提供了对相对计算简单的乘法的使用以实现空变滤波器的近似。

例如，根据期望的模糊宽度和掩码金字塔817的金字塔级来提供掩码金字塔817的系数(也可以被成为如在此讨论的加权)。例如，可以通过应用具有循环对称频率响应的内核来生成加权高斯金字塔。在实施例中，可以使用圆柱模糊内核。例如，为了产生图10中展示的结果，可以应用圆柱模糊内核(例如，圆形模糊窗口)以生成掩码金字塔817。在实施例中，在空间域中的圆柱模糊内核对应于J₁(f)/f，其中J₁是1阶的第一类贝塞尔函数，频率响应。在其他示例中，可以使用其他内核来确定频率响应，例如高斯内核或指数内核等等。

此外，基本重对焦图像819、掩码金字塔817和乘积1001的金字塔结构可以为在金字塔的较低分辨率(例如，在所展示示例中的较小图像)处应用的那些加权提供较大的效应或有效模糊并且为在金字塔的较高分辨率(例如，在所展示示例中的较大图像)处的那些加权提供较小的效应或有效模糊。这种金字塔结构由此可以提供空变滤波器的有效实现方式。

参照图8，如所讨论的，金字塔重构模块821可以将乘积1001进行重构以生成最终重对焦图像(彩色)108。在一些示例中，空变滤波器模块107可以经由基本重对焦图像金字塔819独立地应用于基本重对焦图像(彩色)102b的多个颜色通道。例如，掩码金字塔817可以使用灰度图像(例如，全对焦参考图像(灰度)101和基本重对焦图像(灰度)102a)来生成，并且可以通过乘积模块820来应用于基本重对焦图像金字塔819的每个颜色通道(例如，RGB颜色通道)，其中得到的(多个)乘积金字塔经由金字塔重构模块821进行重构以生成最终重对焦图像(彩色)108。

如所讨论的，在一些示例中，可以经由一个或多个中央处理单元来实现系统800的这些模块中的一个或多个模块(例如，彩色至灰度模块802、取差器模块103、805、低通滤波器模块105、噪声级估计模块803、平均值确定模块809、噪声级掩码模块811、梯度掩码模块812、以及包括高斯金字塔模块814、拉普拉斯金字塔模块818、加权计算模块816、乘积模块820和金字塔重构模块821的空变滤波器模块107)。在其他示例中，所讨论的模块可以经由(多个)图像处理单元/(多个)中央处理单元(GPU/CPU)混合实现方式来实现。

图11是根据本公开的至少一些实现方式安排的用于提供图像重对焦的示例系统1100的示意图。在图11中，具有单线的圆或椭圆代表经由CPU实现的模块，具有双线的圆或椭圆代表经由GPU实现的模块，具有单线的方形或矩形代表在系统存储器中的存储器缓冲器的区域，具有双线的方形或矩形代表在视频存储器中的存储器缓冲器的区域，并且具有虚线的圆代表经由CPU和GPU两者实现的模块(例如，相关联操作当GPU空闲时可以经由GPU执行，并且当GPU不空闲时相关联操作可以经由CPU执行)。

例如，系统1100可以包括经由CPU实现的噪声级估计模块803和平均值确定模块809以及经由CPU和GPU两者实现的构建重对焦图像金字塔模块1107(使得相关联操作当GPU空闲时可以经由GPU执行，并且当GPU不空闲时相关联操作可以经由CPU执行)。此外，系统1100可以包括预处理模块1101、低通滤波器模块107、低通滤波器(和采样)模块807、噪声/梯度处理模块1105、构建掩码金字塔模块1106和构建最终图像模块1108。

同样如所示出的，系统1100可以包括被存储在系统存储器中的存储器缓存器的区域中的基本重对焦图像(彩色)102b、全对焦参考图像(彩色)801、基本重对焦图像(灰度)102a、噪声级804、采样梯度图像1103和平均值梯度(meang)810。此外，系统1100可以包括被存储在视频存储器中的存储器缓存器的区域中的梯度全对焦参考图像806、差值图像104、梯度图像1102、低通差值图像106、经处理低通差值图像813、掩码金字塔817和基本重对焦图像金字塔819。

如图11所示，预处理模块1101可以接收基本重对焦图像(彩色)102b和全对焦参考图像(彩色)801，并且预处理模块1101可以生成基本重对焦图像(灰度)102a、梯度全对焦参考图像806和差值图像104，如在此讨论的。在实施例中，预处理模块1101可以包括/实现颜色至灰度模块802、梯度模块805和/或取差器模块103，如在此讨论的。

噪声级估计模块803可以接收全对焦参考图像(灰度)101并且可以生成噪声级804，如在此讨论的。例如，噪声级估计模块803可以从系统存储器接收全对焦参考图像(灰度)101并且可以将噪声级804存储至系统存储器。低通滤波器(和采样)模块807可以接收梯度全对焦参考图像806、可以生成梯度图像1102和采样梯度图像1103。例如，梯度图像1102可以存储在视频存储器中，并且采样梯度图像1103可以存储在系统存储器中。如所示出的，平均值确定模块809可以接收采样梯度图像1103并且可以生成平均值梯度(meang)810，如在此讨论的。

如所示出的，可以将噪声级804、梯度图像1102和平均值梯度(meang)810提供至噪声/梯度处理模块1105。在实施例中，噪声/梯度处理模块1105可以包括或实现噪声级掩码模块811和/或梯度掩码模块812，如在此讨论的。如所示出的，噪声/梯度处理模块1105可以生成经处理低通差值图像813，该经处理低通差值图像可以被存储至视频存储器。

可以将经处理低通差值图像813提供给构建掩码金字塔模块1106，该构建掩码金字塔模块可以实现或包括如加权计算模块816的模糊模块。此外，可以将基本重对焦图像(彩色)102b提供给构建重对焦图像金字塔模块1107，该构建重对焦图像金字塔模块可以实现或包括拉普拉斯金字塔模块818。例如，构建重对焦图像金字塔模块1107可以使用如在此讨论的拉普拉斯构建操作和/或任何技术来生成基本重对焦图像金字塔819。在实施例中，构建重对焦图像金字塔模块1107可以独立地为基本重对焦图像(彩色)102b的每个颜色通道生成基本重对焦图像金字塔819。

构建最终图像模块1108可以接收基本重对焦图像(彩色)102b和掩码金字塔817并且可以生成最终重对焦图像(彩色)108。例如，构建最终图像模块1108可以确定基本重对焦图像(彩色)102b和掩码金字塔817的乘积并且可以对得到的金字塔进行重构以生成最终重对焦图像(彩色)108。例如，所讨论的乘积和重构操作对于最终重对焦图像(彩色)108的每个颜色通道可以独立地执行。在实施例中，构建最终图像模块1108可以包括或实现乘积模块820和/或金字塔重构模块821。

关于系统1100讨论的操作可以并行和/或串行地执行任意次数以生成任意数量的最终重对焦图像。如所讨论的，如最终重对焦图像(彩色)108(请参见图7)的所生成的最终重对焦图像可以包括相对于全对焦参考图像而言增大的模糊的区域。最终重对焦图像可以有效且快速地(例如，实时)生成，并且增大的模糊的区域可以平滑的并且基本上美学愉悦。

图12是展示根据本公开的至少一些实现方式安排的用于提供图像重对焦的示例过程1200的流程图。如图12所展示的，过程1200可以包括一个或多个操作1201-1203。过程1200可以形成重对焦过程的至少一部分。通过非限制性示例，过程1200可以形成如由在此讨论的系统100、800或1100所进行的针对经由相机阵列获得的一个或多个图像的重对焦过程的至少一部分。此外，在此将参考图13的系统1300描述过程1200。

图13是根据本公开的至少一些实现方式安排的示例系统1300的示意图。如图13所示，系统1300可以包括图形处理单元(GPU)1302、一个或多个中央处理单元(CPU)1301、系统存储器1303以及视频存储器1304。如所示出的，CPU 1301可以包括参考图像和基本重对焦图像确定模块1305，并且GPU 1302可以包括取差器模块103和空变滤波器模块107。在系统1300的示例中，如在此讨论的，系统存储器1303和/或视频存储器1304可以存储诸如输入图像、最终结果图像、和/或任何其他图像数据的图像内容。

图形处理单元1302可以包括任何数量和类型的图形处理单元，这些图形处理单元可以提供如在此讨论的操作。这些操作可以经由软件或硬件或其组合来实现。例如，图形处理单元1302可以包括专门用于操纵从系统存储器1303和/或视频存储器1304获得的图像的电路。中央处理单元1301可以包括任何数量和类型的处理单元或模块，这些处理单元或模块可以为系统1300提供控制以及其他高级别的功能。系统存储器1303和视频存储器1304可以是任何类型的存储器，诸如易失性存储器(例如，静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)等)或非易失性存储器(例如，闪存等)等等。在非限制性示例中，系统存储器1303和/或视频存储器1304可以由缓存存储器实现。在实施例中，取差器模块103和/或空变滤波器模块107可以经由图形处理单元1302的执行单元(EU)实现。EU可以包括例如可编程逻辑或电路，诸如可以提供广泛的可编程逻辑功能阵列的一个或多个逻辑核。在实施例中，取差器模块103和/或空变滤波器模块107可以经由诸如固定功能电路等的专用硬件来实现。固定功能电路可以包括专用逻辑或电路并且可以提供固定功能入口点的集合，所述集合可以映射到针对固定目的或功能的专用逻辑。

返回至图12的讨论，过程1200可以开始于操作1201“基于经由相机阵列接收的图像确定全对焦参考图像并且生成基本重对焦图像”，其中全对焦参考图像和基本重对焦图像可以基于经由相机阵列接收的多个图像来确定。例如，全对焦参考图像(彩色)801、基本重对焦图像(彩色)102b、全对焦参考图像(灰度)101和/或基本重对焦图像(灰度)102a可以经由通过CPU 1301实现的参考图像和基本重对焦图像确定模块1305来确定。在一些示例中，参考图像和基本重对焦图像确定模块1305可以包括颜色至灰度模块802，并且在其他示例中，颜色至灰度模块802可以单独实现。

过程可以在操作1202处继续，“取全对焦参考图像与基本重对焦图像的差值以生成差值图像”，其中可以取全对焦参考图像和基本重对焦图像的差值以生成差值图像。例如，如经由GPU 1302实现的取差器模块103可以取得全对焦参考图像(灰度)101与基本重对焦图像(灰度)102a的差值以生成差值图像104。

过程可以在操作1203处继续，“基于差值图像将空变滤波器应用于基本重对焦图像以生成最终重对焦图像”，其中可以至少部分地基于差值图像将空变滤波器应用于基本重对焦图像以生成最终重对焦图像，该最终重对焦图像具有相对于全对焦参考图像而言增大的模糊的区域。例如，如在此进一步讨论的，如经由GPU 1302实现的空变滤波器模块107可以将空变滤波器实现至基本重对焦图像(彩色)102b，从而生成最终重对焦图像(彩色)108，该最终重对焦图像(彩色)具有相对于全对焦参考图像(彩色)801而言增大的模糊的区域或位置701(请参见图7)。

可以针对经由相机阵列接收的任何数量的图像串行地或者并行地重复过程1200任何次数。

在此描述的系统的各种组件可以用软件、固件、和/或硬件和/或其任何组合来实现。例如，系统100、800、1100或1300的各组件可以至少部分地由诸如可以在计算系统(诸如，例如，智能电话)中找到的计算片上系统(SoC)的硬件来提供。本领域技术人员可以认识到，在此描述的系统可以包括尚未在相应附图中描绘的附加组件。例如，在此讨论的系统可以包括为了清楚起见尚未被描绘的附加组件，诸如比特流复用器或解复用器模块等。

虽然在此讨论的示例过程的实现方式可以包括按所展示的顺序进行示出的所有操作，但是本公开并不限于这个方面，并且在各个示例中，此处的示例过程的实现方式可以仅包括所示操作的子集、以与所展示的顺序不同的顺序执行的操作、或附加操作。

另外，在此讨论的操作中的任何一个或多个操作可以响应于由一个或多个计算机程序产品提供的指令而被进行。这样的程序产品可以包括提供当由例如处理器执行时可以提供此处所描述的功能的指令的承载信号的介质。计算机程序产品可以由一个或多个机器可读介质的任何形式提供。因此，例如，包括一个或多个图形处理单元或处理器核的处理器可以响应于由一个或多个机器可读介质传达给处理器的程序代码和/或指令或指令集而进行此处的示例过程的块中的一个或多个块。通常，机器可读介质可以以程序代码和/或指令或指令集的形式传达软件，这些程序编码和指令集可以使在此描述的设备和/或系统中的任何一者实现系统100、800、1100或1300的至少多个部分、或者如在此讨论的任何其他模块或组件。

如在此描述的任何实现方式中所使用的，术语“模块”指被配置成用于提供在此所描述的功能的软件逻辑、固件逻辑、硬件逻辑和/或电路的任何组合。软件可以具体化为软件包、代码和/或指令集或指令，并且如在此描述的任何实现方式中所使用的，“硬件”可以例如单独地或以任何组合包括硬连线电路、可编程电路、状态机电路、固定功能电路、执行单元电路和/或存储由可编程电路执行的指令的固件。这些模块可以统一地或单独地具体化为形成例如，集成电路(IC)、片上系统(SoC)等的较大系统的一部分的电路。

图14是根据本公开的至少一些实现方式安排的示例系统1400的示意图。在各实现方式中，尽管系统1400不限于此上下文，系统1400可以是媒体系统。例如，系统1400可以并入个人计算机(PC)、膝上计算机、超级膝上计算机、平板机、触摸板、便携式计算机、手持式计算机、掌上型计算机、个人数字助理(PDA)、蜂窝电话、组合式蜂窝电话/PDA、电视、智能设备(例如，智能电话、智能平板机或智能电视)、移动互联网设备(MID)、消息设备、数据通信设备、相机(自动对焦相机、超级变焦相机、数码单镜头反光(DSLR)相机)等。

在各实现方式中，系统1400包括耦合到显示器1420的平台1402。平台1402可以接收来自内容设备的内容，如(多个)内容服务设备1430或(多个)内容传递设备1440或者其他类似内容源。如所示出的，在一些示例中，系统1400可以包括相机阵列200，并且平台1402可以接受诸如在此讨论的来自相机阵列200的图像211-214的多个图像。包括一个或多个导航特征的导航控制器1450可以用于例如与平台1402和/或显示器1420进行交互。以下更详细地描述这些组件中的每一个组件。

在各实现方式中，系统1400可以将使用所提出的方法而获取最终重对焦图像(彩色)108实时(在显示器1420中)显示到由用户选择的一个兴趣区域中，从而允许在取景或预览输入视频流时由于本方法的近似实现方式的速度而实时应用效应。例如，这种实时呈现可以为用户提供交互式取景或预览。

在各实现方式中，平台1402可以包括芯片组1405、处理器1410、存储器1412、天线1413、存储设备1414、图形子系统1415、应用1416和/或无线电1418的任何组合。芯片组1405可以在处理器1410、存储器1412、存储设备1414、图形子系统1415、应用1416和/或无线电1418之中提供相互通信。例如，芯片组1405可以包括能够提供与存储设备1414的相互通信的存储设备适配器(未描绘)。

处理器1410可以被实现为复杂指令集计算机(CISC)或精简指令集计算机(RISC)处理器、x86指令集兼容处理器、多核处理器或任何其他微处理器或中央处理器单元(CPU)。在各实现方式中，处理器1410可以是(多个)双核处理器、(多个)双核移动处理器等。

存储器1412可以被实现为易失性存储设备，如但不限于随机存取存储器(RAM)、动态随机存取存储器(DRAM)、或静态RAM(SRAM)。

存储设备1414可以被实现为非易失性存储设备，如但不限于磁盘驱动器、光盘驱动器、磁带驱动器、内部存储设备、附加存储设备、闪存、电池应急SDRAM(同步DRAM)和/或可接入网络的存储设备。在各实现方式中，存储设备1414可以包括用于当例如包括多个硬盘驱动器时增加对有价值的数字媒体的存储性能增强型保护的技术。

图形子系统1415可以执行对诸如用于显示的静态或视频图像的处理。例如，图形子系统1415可以是图形处理单元(GPU)或视觉处理单元(VPU)。可以使用模拟或数字接口来通信地耦合图形子系统1415与显示器1420。例如，接口可以是高清晰度多媒体接口、显示端口、无线HDMI和/或符合无线HD的技术中的任何一个接口。图形子系统1415可以集成到处理器电路1410或芯片组1405中。在一些实现方式中，图形子系统1415可以是通信地耦合至芯片组1105的独立设备。

在此描述的图形和/或视频处理技术可以用各种硬件架构实现。例如，图形和/或视频功能可以集成到芯片组中。可替代地，可以使用离散图形和/或视频处理器。如又另一种实现方式，图形和/或视频功能可以由通用处理器(包括多核处理器)来提供。在进一步的实施例中，所述功能可以在消费电子设备中实现。

无线电1418可以包括能够使用各种适当的无线通信技术发射并接收信号的一个或多个无线电。这种技术可以涉及跨一个或多个无线网络的通信。示例无线网络包括(但不限于)无线局域网(WLAN)、无线个人局域网(WPAN)、无线城域网(WMAN)、蜂窝网和卫星网。在跨这种网络进行通信时，无线电1418可以根据任何版本中的一个或多个可适用标准进行操作。

在各实现方式中，显示器1420可以包括任何电视机类型的监测器或显示器。显示器1420可以包括例如，计算机显示屏、触摸屏显示器、视频监视器、类似电视机的设备和/或电视机。显示器1420可以是数字的和/或模拟的。在各实现方式中，显示器1420可以是全息显示器。同样，显示器1420可以是可以接收视觉投影的透明表面。这种投影可以传达各种形式的信息、图像和/或对象。例如，这种投影可以是针对移动增强现实(MAR)应用的视觉叠加。在一个或多个软件应用1416的控制下，平台1402可以在显示器1420上显示用户界面1422。

在各实现方式中，(多个)内容服务设备1430可以由任何国家的、国际的和/或独立的服务托管，并因此例如经由互联网可接入平台1402。(多个)内容服务设备1430可以耦合至平台1402和/或至显示器1420。平台1402和/或(多个)内容服务设备1430可以耦合至网络1460以便将媒体信息传达至该网络1460或者从该网络传达(例如，发送和/或接收)。(多个)内容传递设备1440也可以耦合至平台1402和/或至显示器1420。

在各实现方式中，(多个)内容服务设备1430可以包括有线电视盒、个人计算机、网络、电话、能够传递数字信息和/或内容的支持互联网的设备或电器、以及能够在内容提供方与平台1402和/或显示器1420之间经由网络1460或直接地单向或双向传达内容的任何其他类似设备。将认识到，内容可以经由网络1460被单向地和/或双向地传达到系统1400中的组件中的任何一个组件和内容提供方且从系统中的组件中的任何一个组件和内容提供方被传达。内容的示例可以包括任何媒体信息，包括例如视频、音乐、医疗和游戏信息等。

(多个)内容服务设备1430可以接收如包括媒体信息、数字信息和/或其他内容的有线电视节目的内容。内容提供方的示例可以包括任何有线或卫星电视或无线电或互联网内容提供方。所提供的示例并不旨在以任何方式限制根据本公开的实现方式。

在各实现方式中，平台1402可以从具有一个或多个导航特征的导航控制器1450中接收控制信号。控制器1450的导航特征可以用于例如与用户界面1422进行交互。在各实施例中，导航控制器1450可以是定点设备，所述定点设备可以是允许用户输入空间(例如，连续的和多维的)数据到计算机的计算机硬件组件(特别是人机接口设备)。诸如图形用户界面(GUI)、和电视机以及监视器的许多系统允许用户使用物理姿势来控制计算机或电视机并向计算机或电视机提供数据。

可以通过指针、光标、对焦环或在显示器上显示的其他视觉指示器的移动在显示器(例如，显示器1420)上复制控制器1450的导航特征的移动。例如，在软件应用1416的控制下，位于导航控制器1450上的导航特征可以例如被映射至用户界面1422上显示的虚拟导航特征。在各实施例中，控制器1450可以不是独立组件但可以集成在平台1402和/或显示器1420内。然而，本公开不限于在此示出或描述的元素或内容。

在各实现方式中，驱动器(未示出)可以包括使用户能够通过例如在初始引导后启动的按钮的触摸立刻打开和关闭类似电视机的平台1402的技术。当平台被“关闭”时，程序逻辑可以允许平台1402将内容流传输到媒体适配器或其他(多个)内容服务设备1430或(多个)内容传递设备1440。此外，芯片组1405可以包括支持例如5.1环绕声音频和/或高清7.1环绕声音频的硬件和/或软件。驱动器可以包括用于集成图形平台的图形驱动器。在各实施例中，图形驱动器可以包括外围组件互连(PCI)快速图形卡。

在各实现方式中，系统1400中示出的组件中的任何一个或多个组件可以是集成的。例如，平台1402和(多个)内容服务设备1430可以是集成的，或者平台1402和(多个)内容传递设备1440可以是集成的，或者平台1402、(多个)内容服务设备1430和(多个)内容传递设备1440可以例如是集成的。在各实施例中，平台1402和显示器1420可以是集成单元。例如，显示器1420和(多个)内容服务设备1430可以是集成的，或者显示器1420和(多个)内容传递设备1440可以是集成的。这些示例并不旨在限制本公开。

在各实施例中，系统1400可以被实现为无线系统、有线系统、或二者的组合。当被实现为无线系统时，系统1400可以包括适合于通过如一个或多个天线、发送器、接收机、收发器、放大器、滤波器、控制逻辑等的无线共享介质进行通信的组件和接口。无线共享介质的示例可以包括无线光谱部分，如RF光谱等。当被实现为有线系统时，系统1400可以包括适用于通过有线通信介质(如输入/输出(I/O)适配器、利用相应有线通信介质连接I/O适配器的物理连接器、网络接口卡(NIC)、光盘控制器、视频控制器、音频控制器等)进行通信的组件和接口。有线通信介质的示例可以包括导线、电缆、金属引线、印刷电路板(PCB)、背板、交换光纤、半导体材料、双绞线、同轴电缆、光纤等。

平台1402可以建立一个或多个逻辑或物理信道以传达信息。所述信息可以包括媒体信息和控制信息。媒体信息可以指表示针对用户的内容的任何数据。内容的示例可以包括例如，来自语音对话、视频会议、流媒体视频、电子邮件(“email”)消息、语音邮件消息、字母数字符号、图形、图像、视频、文字等的数据。来自语音对话的数据可以是例如，语音信息、静默时间段、背景噪声、舒适噪声、声调等。控制信息可以指表示针对自动化系统的命令、指令或控制字的任何数据。例如，控制信息可以用于通过系统路由媒体信息、或者指示节点以预定方式处理所述媒体信息。然而，各实施例不限于图14中示出或描述的元素或上下文。

如上所述，系统1400可以用变化的物理风格或形成因子来体现。图15展示了可以用其具体化系统1500的小形成因子设备1500的实现方式。在各实施例中，例如，设备1500可以被实现为具有无线能力的移动计算设备。例如，移动计算设备可以指具有处理系统和移动电源或电源(诸如一个或多个电池)的任何设备。在一些示例中，如在此所讨论的，设备1500可以包括相机阵列(例如，相机阵列200)和/或经由相机阵列(例如，相机阵列200)接收多个图像(例如，图像211-214)。

如上所述，移动计算设备的示例可以包括个人计算机(PC)、膝上计算机、超级膝上计算机、平板机、触摸板、便携式计算机、手持式计算机、掌上型计算机、个人数字助理(PDA)、蜂窝电话、组合式蜂窝电话/PDA、电视、智能设备(例如，智能电话、智能平板机或智能电视)、移动互联网设备(MID)、消息设备、数据通信设备、相机(自动对焦相机、超级变焦相机、数码单镜头反光(DSLR)相机)等。

移动计算设备的示例还可以包括被安排来由人穿戴的计算机，如手腕计算机、手指计算机、戒指计算机、眼镜计算机、皮带夹计算机、臂带计算机、鞋计算机、服装计算机以及其他可穿戴计算机。在各实施例中，例如移动计算设备可以实现为能够执行计算机应用程序、以及语音通信和/或数据通信的智能电话。举例来讲，尽管一些实施例可以用被实现为智能电话的移动计算设备来描述，但可以理解的是，其他实施例也可以使用其他无线移动计算设备来实现。实施例并不局限于本上下文中。

如图15中所示，设备1500可以包括：壳体1502、显示器1504、输入/输出(I/O)设备1506、和天线1508。设备1500还可以包括导航特征1512。显示器1504可以包括适合于移动计算设备的用于显示信息的任何适当的显示单元。I/O设备1506可以包括用于将信息输入移动计算设备中的任何适当的I/O设备。I/O设备1506的示例可以包括：字母数字键盘、数字小键盘、触摸板、输入键、按钮、开关、摇杆式开关、麦克风、扬声器、语音识别设备和软件等。信息也可以通过麦克风(未示出)输入到设备1500中。这种信息可以由语音识别设备(未示出)数字化。实施例并不局限于本上下文中。

可以使用硬件元件、软件元件、或两者的组合来实现各实施例。硬件元件的示例可以包括：处理器、微处理器、电路、电路元件(例如，晶体管、电阻器、电容器、电感器等)、集成电路、专用集成电路(ASIC)、可编程逻辑器件(PLD)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、逻辑门、寄存器、半导体器件、芯片、微芯片、芯片组等。软件的示例可以包括：软件组件、程序、应用、计算机程序、应用程序、系统程序、机器程序、操作系统软件、中间件、固件、软件模块、例程、子例程、函数、方法、过程、软件接口、应用程序接口(API)、指令集、计算代码、计算机代码、代码段、计算机代码段、字、值、符号、或其任何组合。判定是否使用硬件元件和/或软件元件来实现实施例可以根据任何数量的因子而变化，如预期的计算速率、功率电平、耐热性、处理周期预算、输入数据速率、输出数据速率、存储器资源、数据总线速度以及其他设计或性能约束。

可以由机器可读介质上所存储的表属性指令实现至少一个实施例的一个或多个方面，所述指令代表处理器内的各种逻辑，当被机器读取时所述指令使所述机器制作用于执行在此所描述的技术的逻辑。此类表示(称为“IP核”)可以被存储在有形的机器可读介质上并提供给各顾客或制造设施以加载至实际制作所述逻辑或处理器的制作机器中。

虽然已经参照各实现方式描述了在此阐述的某些特征，但并不打算在限制性意义上解释本说明书。因此，本公开涉及的对本领域技术人员而言明显的对在此描述的实现方式以及其他实现方式的各种修改被视为是在本公开的精神和范围内。

下面的示例涉及进一步的实施例。

在一个或多个第一实施例中，一种用于提供图像重对焦的计算机实现的方法包括：基于经由相机阵列接收的多个图像确定全对焦参考图像并且生成基本重对焦图像；取所述全对焦参考图像与所述基本重对焦图像的差值以生成差值图像；以及至少部分地基于所述差值图像将空变滤波器应用于所述基本重对焦图像以生成最终重对焦图像，所述最终重对焦图像具有相对于所述全对焦参考图像而言增大的模糊的区域。

进一步针对所述第一实施例，基于所述差值图像应用所述空变滤波器包括在所述基本重对焦图像的第一区域中增加比在第二区域中更大量的模糊，其中所述第一区域与在所述差值图像中的第一差值相关联，并且所述第二区域与在所述差值图像中的第二差值相关联，并且其中所述第一差值大于所述第二差值。

进一步针对所述第一实施例，所述方法进一步包括：将低通滤波器应用于所述差值图像以生成低通差值图像，其中至少部分地基于所述差值图像应用所述空变滤波器包括基于所述低通差值图像应用所述空变滤波器。

进一步针对所述第一实施例，应用所述空变滤波器包括基于拉普拉斯金字塔近似来应用所述空变滤波器。

进一步针对所述第一实施例，应用所述空变滤波器包括基于拉普拉斯金字塔近似来应用所述空变滤波器，其中基于所述拉普拉斯金字塔近似来应用所述空变滤波器包括：基于所述基本重对焦图像生成基本重对焦图像拉普拉斯金字塔；基于所述差值图像生成掩码金字塔；确定所述掩码金字塔与所述基本重对焦图像拉普拉斯金字塔的乘积；以及重构所述乘积以生成所述最终重对焦图像。

进一步针对所述第一实施例，应用所述空变滤波器包括基于拉普拉斯金字塔近似来应用所述空变滤波器，其中基于所述拉普拉斯金字塔近似来应用所述空变滤波器包括：基于所述基本重对焦图像生成基本重对焦图像拉普拉斯金字塔；基于所述差值图像生成掩码金字塔；确定所述掩码金字塔与所述基本重对焦图像拉普拉斯金字塔的乘积；以及重构所述乘积以生成所述最终重对焦图像。并且所述方法进一步包括：将低通滤波器应用于所述差值图像以生成低通差值图像；基于所述全对焦参考图像生成噪声级掩码和梯度掩码；将所述噪声级掩码和所述梯度掩码应用于所述低通差值图像以生成具有减小的噪声效应和梯度效应的经处理低通差值图像，其中所述掩码金字塔基于所述经处理低通差值图像而生成。

进一步针对所述第一实施例，应用所述空变滤波器包括基于拉普拉斯金字塔近似来应用所述空变滤波器，其中基于所述拉普拉斯金字塔近似来应用所述空变滤波器包括：基于所述基本重对焦图像生成基本重对焦图像拉普拉斯金字塔；基于所述差值图像生成掩码金字塔；确定所述掩码金字塔与所述基本重对焦图像拉普拉斯金字塔的乘积；以及重构所述乘积以生成所述最终重对焦图像，其中生成所述掩码金字塔包括应用具有循环对称频率响应的内核。

进一步针对所述第一实施例，所述空变滤波器包括噪声级掩码或梯度掩码中的至少一者。

进一步针对所述第一实施例，取所述全对焦参考图像与所述基本重对焦图像的差值包括取所述全对焦参考图像的灰度版本与所述基本重对焦图像的灰度版本的差值。

进一步针对所述第一实施例，将所述空变滤波器应用于所述基本重对焦图像包括将所述空变滤波器独立地应用于所述基本重对焦图像的每个颜色通道。

进一步针对所述第一实施例，取所述全对焦参考图像与所述基本重对焦图像的差值包括取所述全对焦参考图像的灰度版本与所述基本重对焦图像的灰度版本的差值和/或其中将所述空变滤波器应用于所述基本重对焦图像包括将所述空变滤波器独立地应用于所述基本重对焦图像的每个颜色通道。

进一步针对所述第一实施例，所述全对焦参考图像包括所述多个图像之一，并且其中确定所述基本重对焦图像包括基于与期望深度相关联的位移使剩余的多个图像移位并且对所述全对焦参考图像和所述经移位的图像取平均以生成所述基本重对焦图像。

在一个或多个第二实施例中，一种用于在计算设备上提供图像重对焦的系统包括：中央处理单元，所述中央处理单元耦合至所述存储器，其中所述中央处理单元包括参考图像和基本重对焦图像确定电路，所述参考图像和基本重对焦图像确定电路被配置成用于基于经由相机阵列接收的多个图像确定全对焦参考图像并且生成基本重对焦图像；以及图像处理单元，所述图像处理单元耦合至所述存储器，其中所述图形处理单元包括：取差器电路，所述取差器电路被配置成用于取所述全对焦参考图像与所述基本重对焦图像的差值以生成差值图像；以及空变滤波器电路，所述空变滤波器电路被配置成用于至少部分地基于所述差值图像将空变滤波器应用于所述基本重对焦图像以生成最终重对焦图像，所述最终重对焦图像具有相对于所述全对焦参考图像而言增大的模糊的区域。

进一步针对所述第二实施例，所述图形处理单元进一步包括低通滤波器电路，所述低通滤波器电路被配置成用于将低通滤波器应用于所述差值图像以生成低通差值图像，其中所述空变滤波器电路被配置成用于至少部分地基于所述差值图像应用所述空变滤波器包括所述空变滤波器电路被配置成用于基于所述低通差值图像应用所述空变滤波器。

进一步针对所述第二实施例，所述空变滤波器电路被配置成用于基于拉普拉斯金字塔近似来应用所述空变滤波器。

进一步针对所述第二实施例，所述空变滤波器电路被配置成用于基于拉普拉斯金字塔近似来应用所述空变滤波器，并且图形处理单元进一步包括：金字塔电路，所述金字塔电路被配置成用于基于所述基本重对焦图像生成基本重对焦图像拉普拉斯金字塔并且基于所述差值图像生成加权高斯金字塔；乘积电路，所述乘积电路被配置成用于确定所述加权高斯金字塔与所述基本重对焦图像拉普拉斯金字塔的乘积；以及金字塔重构电路，所述金字塔重构电路被配置成用于重构所述乘积以生成所述最终重对焦图像。

进一步针对所述第二实施例，所述空变滤波器电路被配置成用于基于拉普拉斯金字塔近似来应用所述空变滤波器，并且图形处理单元进一步包括：金字塔电路，所述金字塔电路被配置成用于基于所述基本重对焦图像生成基本重对焦图像拉普拉斯金字塔并且基于所述差值图像生成加权高斯金字塔；乘积电路，所述乘积电路被配置成用于确定所述加权高斯金字塔与所述基本重对焦图像拉普拉斯金字塔的乘积；以及金字塔重构电路，所述金字塔重构电路被配置成用于重构所述乘积以生成所述最终重对焦图像，其中所述金字塔电路被配置成用于基于具有循环对称频率响应的内核来生成所述加权高斯金字塔。

进一步针对所述第二实施例，所述取差器电路被配置成用于基于所述全对焦参考图像的灰度版本和所述基本重对焦图像的灰度版本来取所述全对焦参考图像与所述基本重对焦图像的差值，并且其中所述空变滤波器电路被配置成用于将所述空变滤波器独立地应用于所述基本重对焦图像的每个颜色通道。

进一步针对所述第二实施例，所述空变滤波器包括噪声级掩码或梯度掩码中的至少一者。

进一步针对所述第二实施例，所述取差器电路被配置成用于基于所述全对焦参考图像的灰度版本和所述基本重对焦图像的灰度版本来取所述全对焦参考图像与所述基本重对焦图像的差值。

进一步针对所述第二实施例，所述空变滤波器电路被配置成用于将所述空变滤波器独立地应用于所述基本重对焦图像的每个颜色通道

进一步针对所述第二实施例，所述全对焦参考图像包括所述多个图像之一，并且其中所述参考图像和基本重对焦图像确定电路被配置成用于通过以下方式确定所述基本重对焦图像：所述参考图像和基本重对焦图像确定电路被配置成用于基于与期望深度相关联的位移使剩余的多个图像移位并且对所述全对焦参考图像和所述经移位的图像取平均以生成所述基本重对焦图像。

进一步针对所述第二实施例，所述系统进一步包括显示器，所述显示器被配置成用于将所述最终重对焦图像实时显示给用户。

在一个或多个第三实施例中，一种用于在计算设备上提供图像重对焦的系统包括：用于基于经由相机阵列接收的多个图像确定全对焦参考图像并且生成基本重对焦图像的装置；用于取所述全对焦参考图像与所述基本重对焦图像的差值以生成差值图像的装置；以及用于至少部分地基于所述差值图像将空变滤波器应用于所述基本重对焦图像以生成最终重对焦图像的装置，所述最终重对焦图像具有相对于所述全对焦参考图像而言增大的模糊的区域。

进一步针对所述第三实施例，用于应用所述空变滤波器的所述装置包括用于基于拉普拉斯金字塔近似来应用所述空变滤波器的装置。

进一步针对所述第三实施例，所述系统进一步包括：用于基于所述基本重对焦图像生成基本重对焦图像拉普拉斯金字塔的装置；用于基于所述差值图像生成掩码金字塔的装置；用于确定所述掩码金字塔与所述基本重对焦图像拉普拉斯金字塔的乘积的装置；以及用于重构所述乘积以生成所述最终重对焦图像的装置。

进一步针对所述第三实施例，所述系统进一步包括：用于基于所述基本重对焦图像生成基本重对焦图像拉普拉斯金字塔的装置；用于基于所述差值图像生成掩码金字塔的装置；用于确定所述掩码金字塔与所述基本重对焦图像拉普拉斯金字塔的乘积的装置；用于重构所述乘积以生成所述最终重对焦图像的装置；用于将低通滤波器应用于所述差值图像以生成低通差值图像的装置；用于基于所述全对焦参考图像生成噪声级掩码和梯度掩码的装置；以及用于将所述噪声级掩码和所述梯度掩码应用于所述低通差值图像以生成具有减小的噪声效应和梯度效应的经处理低通差值图像的装置，其中所述掩码金字塔基于所述经处理低通差值图像而生成。

在一个或多个第四实施例中，至少一种机器可读介质包括指令，所述指令响应于在计算设备上被执行而使所述计算设备通过以下各项提供图像重对焦：基于所述基本重对焦图像生成基本重对焦图像拉普拉斯金字塔；基于所述差值图像生成掩码金字塔；确定所述掩码金字塔与所述基本重对焦图像拉普拉斯金字塔的乘积；以及重构所述乘积以生成所述最终重对焦图像。

进一步针对所述第四实施例，应用所述空变滤波器包括基于拉普拉斯金字塔近似来应用所述空变滤波器。

进一步针对所述第四实施例，所述机器可读介质进一步包括指令，所述指令使所述计算设备通过以下各项提供图像重对焦：基于所述基本重对焦图像生成基本重对焦图像拉普拉斯金字塔；基于所述差值图像生成掩码金字塔；确定所述掩码金字塔与所述基本重对焦图像拉普拉斯金字塔的乘积；以及重构所述乘积以生成所述最终重对焦图像。

进一步针对所述第四实施例，所述机器可读介质进一步包括指令，所述指令使所述计算设备通过以下各项提供图像重对焦：基于所述基本重对焦图像生成基本重对焦图像拉普拉斯金字塔；基于所述差值图像生成掩码金字塔；确定所述掩码金字塔与所述基本重对焦图像拉普拉斯金字塔的乘积；重构所述乘积以生成所述最终重对焦图像；将低通滤波器应用于所述差值图像以生成低通差值图像；基于所述全对焦参考图像生成噪声级掩码和梯度掩码；以及将所述噪声级掩码和所述梯度掩码应用于所述低通差值图像以生成具有减小的噪声效应和梯度效应的经处理低通差值图像，其中所述掩码金字塔基于所述经处理低通差值图像而生成。

进一步针对所述第四实施例，所述机器可读介质进一步包括指令，所述指令使所述计算设备通过以下各项提供图像重对焦：基于所述基本重对焦图像生成基本重对焦图像拉普拉斯金字塔；基于所述差值图像生成掩码金字塔；确定所述掩码金字塔与所述基本重对焦图像拉普拉斯金字塔的乘积；重构所述乘积以生成所述最终重对焦图像；将低通滤波器应用于所述差值图像以生成低通差值图像；基于所述全对焦参考图像生成噪声级掩码和梯度掩码；以及将所述噪声级掩码和所述梯度掩码应用于所述低通差值图像以生成具有减小的噪声效应和梯度效应的经处理低通差值图像，其中所述掩码金字塔基于所述经处理低通差值图像而生成，其中生成所述掩码金字塔包括应用具有循环对称频率响应的内核。

进一步针对所述第四实施例，所述空变滤波器包括噪声级掩码或梯度掩码中的至少一者。

进一步针对所述第四实施例，取所述全对焦参考图像与所述基本重对焦图像的差值包括取所述全对焦参考图像的灰度版本与所述基本重对焦图像的灰度版本的差值，并且其中将所述空变滤波器应用于所述基本重对焦图像包括将所述空变滤波器独立地应用于所述基本重对焦图像的每个颜色通道。

在一个或多个第五实施例中，至少一种机器可读介质可以包括指令，所述指令响应于在计算设备上被执行而使所述计算设备执行根据以上实施例中的任一项所述的方法。

在一个或多个第六实施例中，一种装置可以包括：用于执行根据以上实施例中的任一项所述的方法的装置。

将认识到，这些实施例不局限于如此描述的这些实施例，而是可以在不背离所附权利要求书的范围的情况下通过修改和变更来实践。例如，以上实施例可以包括特征的特定组合。然而，以上实施例不局限于这个方面，并且在各实现方式中，以上实施例可以包括仅进行这种特征的子集、进行这种特征的不同顺序、进行这种特征的不同组合和/或进行除了明确例举的那些特征之外的附加特征。因此，这些实施例的范围应该参照所附权利要求来确定，连同考虑这些权利要求有资格考虑的等效物的全部范围。