基于景深估计的图像调节的制作方法

本专利申请得益于2016年9月6日提交的、名称为“useoffaciallandmarksindepthoffieldapplications”的申请no.62/384,029的优先权，其公开内容全文以引用方式并入本文。

背景技术：

许多现代消费电子产品具有捕获和处理图像数据的能力。例如，膝上型计算机，平板电脑，智能电话和个人媒体设备可具有捕获图像数据的相机和处理图像数据的图像编辑应用程序。图像编辑应用程序可提供用于修剪和/或旋转图像内容并且还例如通过改变图像亮度，颜色内容，锐度等来改变图像内容的工具。

一些图像编辑应用程序试图自主改变图像特征，从而减轻人类操作员选择和应用图像编辑工具的负担。一种此类自动化操作涉及滤波。图像编辑应用程序可尝试基于对部分特征的评估来识别要滤波的部分。然而，自动分析工具有时会产生“正误识”。例如，分析工具可分配图像的第一部分用于相对负担重的滤波但是分配图像的第二部分用于极少或无滤波。当这些滤波和未滤波部分实际上属于图像的公共元素诸如人脸时，滤波中的这些差异导致不期望的伪影。

附图说明

图1是根据本公开的实施方案的成像系统的框图。

图2示出了根据本公开的实施方案的一种方法。

图3(a)示出了可实现本公开的实施方案的示例性输入图像。

图3(b)示出了根据本公开的实施方案的roi识别的操作。

图3(c)示出了根据本公开的实施方案的深度映射。

图3(d)示出了根据本公开的实施方案的参数强度的映射。

图3(e)为示出根据本公开的实施方案的示例性参数强度的曲线图。

图4示出了根据本公开的另一实施方案的一种方法。

图5(a)，图5(b)和图5(c)中的每一个示出了可实现本公开的实施方案的示例性输入图像。

图6示出了根据本公开的另一实施方案的方法600。

图7(a)示出了可实现本公开的实施方案的示例性输入图像。

图7(b)为示出沿图7(a)中的线b-b的内容的理想化深度估计的曲线图。

图7(c)为示出可根据本公开的实施方案应用的示例性滤波器强度的曲线图。

图7(d)示出了根据本公开的实施方案生成的示例性感兴趣区域。

图7(e)为示出可根据本公开的实施方案应用的示例性滤波器强度的曲线图。

图8(a)和图8(b)各自示出了可由本公开的实施方案处理的示例性感兴趣区域。

图9示出了适合与本公开的实施方案一起使用的示例性计算机系统。

具体实施方式

本公开的实施方案提供用于图像数据的自动分析和滤波的技术。根据实施方案，分析图像数据以识别图像内容内的roi。图像数据还可具有应用于其中的内容的深度估计。可将roi中的一个或多个指定为具有基础深度，该基础深度代表可与其他内容的深度进行比较的图像内容的深度。此外，在roi的空间区域内的图像内容的深度可被设置为一致的值，而与可能已从其他来源分配的深度估计无关。然后，可基于图像内容中的与基础深度相比的相对深度以及任选地基于它们与指定roi的空间距离，图像内容的其他元素可为梯度中的分配的内容调节值。

上述技术预期降低正误识的可能性，如果常见面部的不同元素例如一只眼睛或两个眼睛或鼻子被分配与相同面部的其他元素不同的深度并且根据不同参数进行调节，则可能发生这种可能性。

在一个实施方案中，可对具有比基础深度较浅深度的图像内容和具有比基础深度较大的深度的图像内容两者应用参数调节。

在另一实施方案中，可从图像数据检测多个roi，并且每个roi的深度可被指定为相应的基础深度。内容调节参数可基于它们的深度和基础深度之间的差异而被分配给其他图像内容。

图1是根据本公开的实施方案的成像系统100的框图。系统100可包括捕获表示本地环境的图像数据的一个或多个相机110；以及对由一个或多个相机110提供的图像数据执行处理的图像处理器120。

一个或多个相机110可输出图像数据作为帧序列。图像处理器120可接收识别图像捕获的时刻的用户输入以及可响应于用户输入选择用作要捕获的图像的一个或多个帧。用户输入还可识别要使用的图像捕获模式，例如静态图像捕获，时间流逝捕获，立体镜图像捕获，视频捕获，慢运动视频捕获等，其中一些可能需要图像处理器120选择从一个或多个相机110输出的多个帧作为捕获图像。

图像处理器120可将帧输出至设备内的其他“图像接收器”部件130。例如，帧可输出至显示器132或存储在存储器134中。帧可输出至编码器136以进行压缩，并且最终传输至另一设备(未示出)。帧还可由在设备上执行的应用程序138(诸如图像编辑器或游戏应用程序)消耗。

图像处理器120可对所选图像执行内容调节操作，如下文所述。例如，与图像捕获相关联的帧可被滤波，它们可具有调节的亮度，它们可具有调整的颜色饱和度和/或色调，和/或它们可与来自一个或多个其他图像的内容混合。它并不需要图像处理器120向接收的所有帧或者输入到图像接收器130的所有帧应用此类滤波。例如，在图像捕获之前执行的图像组合操作期间，避免对输出到显示器132的帧执行滤波操作可能是方便的。当图像被组成并且用户命令设备执行图像捕获时，图像处理器120可对与图像捕获事件相关联的一个或多个图像执行其调节操作。

在一个实施方案中，一个或多个相机110和图像处理器120可被提供在处理设备140内，诸如智能电话，平板电脑，膝上型计算机，台式计算机，便携式媒体播放器等。处理设备140可具有其他部件，诸如用户输入设备150，其可为触摸屏控制器，控制按钮等。

图2示出了根据本公开的一个实施方案的方法200。该方法可从待处理的帧的图像内容识别感兴趣区域(roi)(框210)。方法200可将深度分配给帧内的图像内容(框220)。方法200可将基础深度设置在与所识别的roi相关联的深度(框230)。方法200可基于其各自深度与分配给roi的基础深度之间的差异来对图像内容的其他区域施加参数梯度(框240)。最后，方法200可根据参数调节执行图像调节(框250)。

roi识别(框210)可以多种方式发生。在第一实施方案中，可基于应用于图像内容的面部识别过程或身体识别过程执行roi识别。roi识别可通过具有预先确定的着色的图像的识别来执行，例如先前已注册为对应于皮肤色调的颜色。另选地，roi识别可基于图像内容在图像的时间连续序列上的相对移动来执行。例如，图像的前景中的内容往往在图像内容中表现出比相同图像的背景内容更大的总体运动，无论由于在图像捕获期间对象本身的移动或由于执行图像捕获的相机的移动。

深度分配(框220)可以多种方式发生。在一些实施方案中，深度分配可由图像内容本身的分析来进行。例如，深度估计可基于图像内容在图像的时间连续序列上的相对移动来执行。例如，图像的前景中的内容往往在图像内容中表现出比相同图像的背景内容更大的总体运动，无论由于在图像捕获期间对象本身的移动或由于执行图像捕获的相机的移动。深度估计还可通过对图像内容中模糊量的评估来执行。例如，可将焦点中的图像内容识别为位于对应于执行图像捕获的相机的焦点范围的深度处，而不在焦点中的图像内容可被识别为位于其他深度处。

在涉及立体相机的另一个实施方案中，可基于由立体相机输出的图像生成的视差图来进行深度分配。例如，右眼图像的图像内容可与左眼图像的内容进行比较，并且可针对相应图像中的每个像素位置计算视差。视差可表示用于估计深度值的映射。

在其他实施方案中，可从图像内容外部的数据源进行深度分配。当与具有可移动透镜系统的相机一起使用时，深度分配可来源于在自动对焦操作期间施加的透镜位置，这趋于对应于来自相机的前景图像的深度。深度分配可源自深度相机160(图1)，例如，结构光或飞行时间相机。

基础深度可以设置(框230)在与所选roi相关联的深度处。基础深度可表示将被赋予基础水平的图像调节(可能无)的图像内容的深度。因此，当应用模糊滤波时，可选择roi以具有滤波后由方法200输出的图像内容中的任何图像内容的最清晰内容，而与以另外方式可能已应用于框220中的roi内的内容的深度估计无关。类似地，当应用亮度调节时，可选择roi以具有滤波后由方法200输出的任何图像内容的最亮内容，并且可使其他图像内容变暗。此外，当施加色彩饱和度调节时，可以选择roi以具有滤波后由方法200输出的任何图像内容的最强颜色内容，并且可使得其他图像内容较不饱和(例如，更黑和更白)。当施加色彩色调调节时，可基于图像的深度来改变图像的颜色内容(例如，蓝色可在各种深度处转换为红色)。此外，当应用混合调节时，可基于内容与基础深度比较的深度，将混合权重分配给内容；混合权重可确定来自另一图像的内容可与正在调节的图像的内容混合的相对强度。当图像内容中存在多个roi时，可以多种方式来执行对其施加基础深度的roi的选择，诸如通过用户选择，基于对象类型的roi的优先级划分(例如，面部可优先于其他类型的对象)，如框220中确定的roi的深度估计等。

可以采用roi的基础水平的调节作为参考，以渐进方式为图像内容的其他区域定义参数调节(框240)。在其中roi没有模糊的示例中，可限定模糊梯度，该模糊梯度基于其与roi的距离而对图像内容的区域施加较重水平的模糊。因此，落在roi之外但与roi相邻的图像内容可被赋予比与roi相距更远的图像内容更浅的模糊水平。因此，方法200可开发将各种水平的模糊分配给图像的整个空间区域的映射。

还可基于与基础深度相比较的那些区域的相关深度来为其他区域定义参数调节。例如，当roi选自前台内容时，可基于其相对深度为空间上邻近roi的背景内容分配调节参数。如果图像包含处于浅深度处的前台内容(roi)，中间深度处的“中间层”内容和大深度处的背景内容，则即使中间层内容在空间上距roi比背景内容更远，也可基于其深度为中间层内容分配参数调节。

并且，当然，可基于区域与roi的空间距离的混合及其与roi的基础深度相比较的深度来将参数调节分配给其他区域。

另外，可以在roi的边缘区域处分配梯度水平，在该边缘区域中，梯度水平与其他图像元素交界。

可基于分配的调节参数水平将图像调节应用于图像(框250)。例如，可使用基于框240中分配的参数所分配的设置，由模糊滤波器执行模糊。类似地，可基于在框240中分配的参数水平来应用亮度调节，色彩饱和度/色调调节，混合调节等。

图3示出了图2的方法200对示例性图像数据的操作。在该示例中，图3(a)示出了方法200可在其上操作的示例性输入图像。图3(b)示出了roi识别的操作，在该示例中，该操作通过执行面部检测来进行。图3(c)示出了表示应用于输入图像数据的深度估计的深度图。图3(d)示出了表示要应用于图像数据的图像调节参数的映射。图3(e)为示出可沿图3(d)中的线e-e分配给图像数据的示例性权重的曲线图。

如图3(b)中所示，面部检测可从代表人脸特征的图像内容内检测预先确定的面部“界标”。例如，面部检测可识别图像数据内代表眼睛(由数据点310，315表示)，鼻子320，嘴325，眉毛330，335和头部的轮廓的内容。面部检测还可测量这些面部特征的特征以确定它们在图像数据中的尺寸。该方法可从图像内容识别roi，如图3(a)所示。

如图3(c)所示，深度估计可将前景与图像数据中的背景元素区分开。然而，深度估计可为深度图中的不同前景元素分配不同深度。例如，分别对应于围绕受试者的眼睛，鼻子，嘴和脸颊的结构的元素311，312，313和314显示具有不同深度。如果仅基于深度分配来施加滤波参数，则可为这些元素311-314分配与面部数据的其他部分不同的滤波强度，这可在所得图像数据中引入滤波伪影。

如所讨论的，图3(d)示出了可应用于图像数据的图像调节参数。在图3(c)中，暗色表示要应用于数据的最小调节水平，较浅的颜色表示要应用于图像数据的较重调节量。在实施方案中，与roi相关联的图像内容可被赋予较轻的调节设置(在一个实施方案中，不进行调节)，而与其中对内容进行的深度分配无关。然后，可分配参数梯度，其在深度不同于roi内容的深度的情况下提供对图像内容的增大水平的调节。示例性重量的曲线图在图3(e)示出。

图4示出了根据本公开的另一实施方案的方法400。根据该实施方案，方法400可将深度分配给输入内容(框410)。方法400可从输入图像识别一个或多个roi(框420)。方法400可确定是否接收到用户选择(框430)。如果接收到用户选择，则方法400可确定roi是否存在于与用户输入相关联的图像数据的区域内(框440)。如果在与用户输入相关联的图像数据的区域内存在roi，则方法400可根据用户评论的区域中的roi内的图像内容的深度来为所选择的roi分配基础深度(框450)。所选roi内的全部内容可以被分配共同深度值作为基础深度。

如果未接收到用户选择(框430)，或者如果在用户选择的区域内不存在roi(框440)，则方法400可根据由默认技术诸如通过内容深度，对象类型分类等所选择的roi来设置基础深度(框460)。然后，方法400可在除基础深度之外的深度处对图像内容应用参数调节(框470)，并且其可根据框470中的参数分配来执行图像调节(框480)。

在一个实施方案中，未选择的roi可具有分配给它们的受约束深度(框490)。即，未选择的roi的图像内容可具有分配给它们的共同深度，而与在框410处可分配给roi内容的深度无关。这样，在框470处分配参数调节时，未选择的roi的图像内容可在roi内容上应用均匀水平的调节。并且，因为roi未被选择，所以在框470的操作期间，基于未选择roi的深度和roi的基础深度之间的差异，它们可具有分配给它们的图像调节水平。

深度分配(框410)，roi识别(框420)，基础深度分配(框450，460)，参数梯度分配(框470)和图像调节(框480)可根据上文结合图2所述的任何技术来执行。

图5示出了根据图4的方法的示例性图像数据的处理。图5(a)示出了从其识别两个roi，roi1和roi2的示例性输入图像。图5(a)示出输入到屏幕上邻近roi2的区域中的用户输入(触摸焦点命令，或“ttf”)。因此，该方法可将roi2识别为具有要分配给基础深度的数据(图5(b))。

当图像数据的相应深度不同于roi2的基础深度(图5(c))时，可将参数调节分配给图像数据的其余部分。这样，可对roi1的图像内容和其他图像内容进行各种程度的图像调节。

注意到roi1的图像内容可能比roi2的图像内容具有较浅深度。在不存在触摸焦点命令的情况下，如果默认选择过程将内容深度优先于其他因素，则基础深度可设置在roi1的图像内容的深度处。在这种情况下，其他图像内容(包括roi2的图像内容)将由于其深度不同于roi1的深度而被调整。因此，图4的实施方案提供对图像内容内的基础深度的分配的用户控制。

框490的操作(图4)可使得未选择的roi—在这里，roi1—被分配在roi所占用的空间区域上的共同深度。以这种方式，如果框410中的深度分配(图4)使得roi1的不同部分分配给显著不同的深度，例如，一些部分具有相对较浅深度，而其它部分具有接近深度roi2的深度以及另外的其它部分具有超过roi2的深度，则可在roi1上分配不同水平的图像调节。当将共同深度分配给roi1的图像数据时，其可基于roi1和所选择的roi(roi2)之间的深度差异而导致对roi1施加均匀水平的滤波。

图6示出了根据本公开的另一实施方案的方法600。根据该实施方案，方法600可将深度分配给图像数据(框610)。方法600可从输入图像识别一个或多个roi(框615)，并且可确定是否检测到多个roi(框620)。如果检测到多个roi，则方法600可设置多个基础深度，每个基础深度在分别分配给roi的深度处(框625)。如果未检测到多个roi，则方法600可根据roi的深度来设置基础深度(框630)。方法600可基于在框625或框630中分配的其他内容和一个或多个基础深度之间的深度差异来对其他图像内容应用参数调节。然后，方法600可根据框635中分配的参数来执行图像调节(框640)。

在另一个实施方案中，当分配多个基础深度(框625)时，方法600可在roi周围生长边界区域(框645)。然后，方法600可在边界区域内以第一速率施加参数调节(框655)，并且其可在边界区域外以第二速率施加参数调节(框655)。方法600可前进到框640并根据分配的参数水平执行图像调节。

深度分配(框610)，roi识别(框615)，基础深度分配(框625，630)，和图像调节(框640)可根据上文结合图2所述的任何技术来执行。

图7示出了根据图6的方法的示例性图像数据的处理。图7(a)示出了从其识别两个roi，roi1和roi2的示例性输入图像。图7(b)为示出沿图7(a)中的线b-b的内容的理想化深度估计的曲线图。在实际中，深度估计数据可能将包括来自上述正误识的明显噪音伪影；此类伪影未在图7(b)中示出。

图7(c)示出可沿图7(a)中的b-b线分配给图像内容的一组示例性模糊滤波器设置。如图所示，框625和630的操作(roi1和roi2的数据可分配图像中所有数据的最小调整水平，并且其他图像区域的数据可根据它们的深度和roi的深度之间的差值分配调节参数设置。尽管其深度差异，roi的数据仍可被分配共同调节水平，如图7(b)所示。

图7(d)示出了生成的连接roi的示例性边界区域br。在框645-655的操作期间，边界区域br内的图像数据可根据其深度被分配第一水平的参数调节，而边界区域外的图像数据可被分配第二水平的参数调节。在图像数据深度偏离分配给roi的基础深度sd1，sd2时，可施加梯度。这样，即使背景图像数据具有与边界区域内的图像数据类似的深度值，roi1与roi2之间的空间区域中的图像数据的区域可比从任一roi进一步移除的背景图像数据更低的调节水平。

在另一个实施方案中(未示出)，可将多个roi的深度设置为单个共同基础深度，而与从图像分析中分配给roi的图像内容的深度无关。考虑图7(a)的roi，例如，其具有从图像分析中如图7(b)所示分配的深度估计。roi1和roi2可被分配单一的，共同的深度，该深度被设置为图像的基础深度。例如，虽然roi2的图像分析可导致其图像数据被分配大于roi1的深度的深度，但是roi2的深度可被重置为等于roi1的深度并且该共同深度值可被分配为基础深度。然后，可基于图像数据和图像的单个基础深度之间的深度差异来将参数调节分配给其他图像数据。这样，可参考单个基础深度而不是多个基础深度来分配梯度，如前述实施方案中的一些所述。

前述讨论已将图像调节描述为在不同于基础深度的深度处以增大水平应用于图像内容的技术。例如，讨论已假定基础深度处的图像内容不会发生滤波，亮度改变，颜色改变和/或混合，但此类调节将在不同于基础深度的位置和/或深度处以增大水平应用。这种讨论仅是示例性的。其他实施方案允许在基础深度处的图像内容的最强水平上应用图像调节，然后降低其他深度和/或其他位置处的水平。例如，亮度増强可以最强水平以基础深度施加，然后可在其他深度和/或其他位置降低増强水平。另选地，可对roi的内容施加最强水平的混合，以实现“掩模”效应；roi数据可替换为来自外部源的另选内容来将roi内容从图像屏蔽，以及可基于其估计深度以一个或多个减小水平来应用与其他内容的混合。

本公开的原理不限于上述具体示例。除了模糊，亮度改变，色彩调节和/或混合之外，图像调节技术可包括空间上采样或下采样等。并且，当然，本公开的原理允许在单个图像上应用多个滤波器，每个滤波器具有基于相对于roi的内容深度和/或位置及其基础深度分配的参数梯度的它们自己的选择。

在一个实施方案中，可基于roi的一个或多个特征来分配参数梯度。例如，在基于面部检测执行roi检测的情况下，如果面部被检测为完全存在于图像内容中(例如，面部面向相机)，或者如果面部被检测为部分存在于图像内容中(例如，面部为完全或部分轮廓)，则可分配不同的梯度。在另一种情况下，可基于所检测的roi的选定特征(例如，眼睛-鼻子分开距离，面部尺寸等)来施加参数梯度。

在一些情况下，可基于roi的取向以不同方式施加梯度。例如，如图8所示，当roi识别基于面部检测时，roi识别过程也可检测roi在图像内容中的取向。在图8(a)的示例中，检测出的面部被识别为具有与图像内容的竖直方向对齐的长轴。然而，在图8(b)中，检测出的面部具有相对于竖直方向旋转角度θ的长轴。梯度可基于其取向沿roi以定向特定方式施加，以改变将施加的图像调节的量。

在图8(a)和图8(b)所示的示例中，梯度可沿roi的长轴以不同的方式施加。例如，可沿对应于面部的下部的轴的部分施加梯度以减小图像调节的量。在该示例中，当roi表示例如具有胡须的面部时，梯度的这种管理可提供更好的调节结果。

在实施方案中，本文所述的技术可由计算机系统的中央处理器执行。图9示出了可执行此类技术的示例性计算机系统900。计算机系统900可包括中央处理器910，一个或多个相机920，以及以彼此通信地提供的存储器930。相机920可执行图像捕获，并且可将捕获的图像数据存储在存储器930中。可选地，设备还可根据需要包括接收器部件，诸如显示器940和编码器950。

中央处理器910可读取并执行存储在存储器930中的各种程序指令，该程序指令定义系统900的操作系统912和各种应用914.1-914.n。程序指令可根据本文所述的技术执行图像滤波。在执行这些程序指令时，中央处理器910可从存储器930读取由相机920产生的图像数据，并且其可执行如上文所述的roi检测，深度估计和滤波。

如图所示，存储器930可存储程序指令，该程序指令当被执行时使得处理器执行上文所述的技术。存储器930可在基于电、磁和/或光学的存储介质上存储程序指令。

可以多种具体实施提供图像处理器120(图1)和中央处理器910(图9)。它们可实施在集成电路，诸如专用集成电路、现场可编程门阵列和/或数字信号处理器和/或通用处理器中。

本文具体示出和/或描述了本公开的若干实施方案。然而，应当理解，在不脱离本公开的实质和预期范围的情况下，本公开的教导内容可在其他具体实施中找到。