基于背景像素的曝光计量的制作方法

文档序号:11162223阅读:317来源:国知局
基于背景像素的曝光计量的制造方法与工艺

所揭示技术大体上涉及图像捕获方法,且更明确地说涉及用于提供具有稳定和平衡亮度值的图像帧的前景和背景的曝光计量方法。各方面还涉及经配置用于所述方法的设备。



背景技术:

一些数字成像设备(例如数字摄像机)装备有自动曝光计量过程以增强所拍摄影像的视觉效果。曝光计量过程经设计以持续地确定和调整待由数字成像设备的图像传感器使用的曝光条件。通过包含时间、增益和孔径(f数)以及其它参数的参数来确定曝光条件。使用可在图像前景(例如,图像对象)与图像背景(例如,图像减图像对象)之间具有不平衡相对亮度值的习知曝光计量过程来产生许多数字图像。也就是说,前景或背景中的一者可相比于实际人类视觉体验而看起来不切实际地明亮或“反白”,而前景或背景中的另一者可相比于实际人类视觉体验而看起来不切实际地暗。举例来说,当在沙滩处衬着升阳或落日的背景拍摄一个人的面部的数字图像时,背景可能反白,而前景(即,人的面部特征)看起来过度暗。另一方面,在相对情形中,例如当衬着晚会的背景使用闪光拍摄一个人的面部的数字图像时,前景(即,面部特征)可能反白,而背景看起来过度暗。

图像帧的前景与背景之间的此不平衡有时可能归因于控制数字成像设备的曝光条件的曝光计量过程。一般来说,曝光条件是经确定参数,包含孔径、快门速度和ISO速度以及其它参数。孔径控制光可经由进入数字成像设备的图像传感器的区域。快门速度控制图像传感器的曝光的持续时间。ISO速度控制图像传感器对给定量的光的灵敏度。虽然孔径、快门速度与ISO速度的不同组合可用以达成类似曝光,但不同的权衡可随不同组合存在。这是因为孔径可影响景深,快门速度可影响运动模糊且ISO速度可影响图像噪音。一些数字成像设备装备有自动选择孔径、快门速度和ISO速度中的一些或全部的规范化计量过程。

一些数字成像设备装备有一或多个曝光计量选项,许多选项通过将相对加权指派到不同光区来工作。举例来说,在部分或点测光中,将相对更高加权指派到图像的一部分(例如,面部),以衬着大体上更亮或更暗的背景使所述部分(例如,面部)成像,而不将所述部分呈现为过度暗或过度亮。然而,虽然此些计量过程可通过计量出前景的至少一部分来允许具有所要亮度等级的稳定前景(例如,面部),但计量过程仍可能不通过允许具有所要亮度等级的稳定前景的曝光条件来防止背景变得过度亮或过度暗。



技术实现要素:

在一个方面中,一种方法包含接收包括多个像素的图像帧和从所述图像帧减去前景像素以获得背景像素。所述方法另外包含基于所述背景像素的至少一个子集而确定下一图像帧的曝光条件。所述方法进一步包含调整所述前景像素,使得所述下一图像帧的背景明度值与前景明度值之间的差在预定范围内。

在另一方面中,一种数字成像设备包含经配置以接收包括多个像素的图像帧的图像传感模块。所述设备另外包含经配置以从所述图像帧减去前景像素以获得背景像素的背景确定模块。所述设备另外包含经配置以基于所述背景像素的至少一个子集而确定下一图像帧的曝光条件的曝光条件确定模块。所述设备进一步包含经配置以选择性地调整所述前景像素的前景像素调整模块,使得所述下一图像帧的背景明度值与前景明度值之间的差在预定范围内。

在另一方面中,一种计算机可读媒体包括在被执行时引起处理器执行包含以下步骤的指令:接收包括多个像素的图像帧;从所述图像帧减去前景像素以获得背景像素;基于所述背景像素的至少一个子集而确定下一图像帧的曝光条件;以及调整所述前景像素,使得所述下一图像帧的背景明度值与前景明度值之间的差在预定范围内。

在又一方面中,一种数字成像设备包含用于接收包括多个像素的图像帧的装置。所述设备另外包含用于从所述图像帧减去前景像素以获得背景像素的装置。所述设备另外包含用于基于所述背景像素的至少一个子集而确定下一图像帧的曝光条件的装置。所述设备进一步包含用于调整所述前景像素使得所述下一图像帧的背景明度值与前景明度值之间的差在预定范围内的装置。

附图说明

图1A是由成像设备捕获的具有相对均匀地反射光的对象的示意性图像帧。

图1B是由成像设备捕获的具有相对不均匀地反射光的对象的示意性图像帧。

图1C是说明图1A和2B的图像帧的明度分布的示意性明度直方图。

图2A是说明根据一些实施例的捕获图像帧的方法的流程图。

图2B是说明根据一些实施例的确定曝光条件的方法的流程图。

图2C是说明根据一些实施例的选择性地调整前景像素的方法的流程图。

图3A到3B是说明根据一些实施例的确定曝光条件的方法的示意性明度直方图。

图4A到4B是说明根据一些其它实施例的确定曝光条件的方法的示意性明度直方图。

图5A是说明根据一些实施例的选择性地调整前景像素的方法的示意性明度直方图。

图5B是展示根据图5A中所说明的实施例的对应于选择性地调整前景像素的方法的伽玛调整曲线的图形。

图5C是说明根据一些其它实施例的选择性地调整前景像素的方法的示意性明度直方图。

图5D是展示根据图5C中所说明的实施例的对应于选择性地调整前景像素的方法的伽玛调整曲线的线图。

图6是根据一些实施例的使用曝光计量过程所捕获的示意性图像帧。

图7是说明根据一些实施例的配备有曝光计量过程的数字成像设备的框图。

具体实施方式

本发明的实施例涉及用于在图像帧中提供对象的平衡和稳定前景和背景照明的系统和方法。在一些实施例中,曝光计量过程用来基于图像帧的更稳定的部分而确定曝光条件。举例来说,一个部分可是图像帧的一或多个背景部分。发现此些自动曝光过程提供更不易受亮度的突然改变影响的更稳定自动曝光条件。这是由于图像帧的一些所选部分(例如图像帧的背景)相比于前景的部分相对更不频繁地改变。此外,所揭示曝光计量系统和过程可通过选择性地调整图像的前景部分来实现前景与背景之间的平衡相对亮度。

图1A说明在通过习知曝光计量过程所确定的第一曝光条件下由成像设备捕获的第一图像帧10。第一图像帧10说明多个对象,包含放置在典型照明环境下,例如在桌子12和椅子14接收且反射来自例如荧光吊顶灯的入射光的办公室中的桌子12和椅子14。如所展示,桌子12和椅子14的照明在图像帧内粗略地同等且平衡。

图1B说明在通过习知曝光计量过程所确定的第二曝光条件下由图像设备捕获的第二图像帧20。除了桌子22和椅子24以外,第二图像帧20还说明前景中的在帧中新捕获的手26。因为手26更接近图像捕获装置,所以手26可相比于桌子22和椅子24反射大体上更高量的光,并且因此在图像帧20中看起来亮得多。为了容纳相对亮的手26以及相对暗的桌子22和椅子24,习知曝光计量过程可将图1B的第二曝光条件调整为不同于图1A中所展示的第一曝光条件。由于调整,手26可呈现得过度亮,而桌子22和椅子24呈现得过度暗。可关于图1C的直方图进一步理解此效应。

图1C说明对应于分别由成像设备使用第一和第二曝光条件捕获的图1A和1B的第一图像帧10和第二图像帧20中的对象的像素的示意性明度直方图40。x轴表示由成像设备捕获的像素的明度值,且y轴表示具有相对应明度值的像素的数目。在图1C中和在整个本说明书中,可用明度值的范围,其可取决于特定成像设备,可在x轴上表示为在对应于像素内的最低明度值的最小明度(MIN LUMA)值与对应于像素内的最高明度值的最大明度(MAX LUMA)值之间的范围。举例来说,对于由成像设备捕获的具有8位的位深度的图像帧,最小明度值可对应于0且最大明度值可对应于255。当然,取决于特定成像设备的灰度的可用性,最大明度可更高或更低,例如,16、65536、16777216等,对应于4位、16位、24位的位深度。

应了解,具有超出最大明度的明度值的曝光过度像素可能不进一步与具有最大明度的明度值的像素区分,且因此相对应像素的明度值可能从图像帧丢失且无法恢复。举例来说,此些像素可显示为纯白色。类似地,具有低于最小明度的明度值的曝光不足像素可能不进一步与具有最小明度的明度值的像素区分,且因此举例来说,相对应像素的明度值可能丢失,且因此像素可显示为纯黑色。

图1C说明对应于在第一曝光条件下所获得的图1A中的第一图像帧10的桌子12和椅子14的像素42a的第一分布。图1C另外说明对应于将在用以获得第一图像帧10的第一曝光条件下所获得的手(图1A中未显示)的像素44a的第二分布。图1C另外说明对应于在用以获得第二图像帧20的第二曝光条件下所获得的桌子22和椅子24的像素42b的第三分布,和对应于在用以获得第二图像帧20(图1B)的第二曝光条件下所获得的手26的像素44b的第四分布。在习知计量过程下,可将第一分布42a和第三分布42b分类为背景,且可将第二分布44a和第四分布44b可分为前景。在图1C和整个本说明书中所说明的实例中,仅出于说明性目的,可将直方图描绘为具有特定形状。然而,应理解,直方图可基于像素的明度值而具有任何形状。

如所说明,对应于将对于手所获得的像素的第二分布44a内的像素的明度值大体上高于对应于已对于图1A中的桌子12和椅子14所获得的像素的第一分布42a内的像素的明度值。也就是说,如果用以获得第一图像帧10的第一曝光条件用以获得包含手的图像帧,那么像素44a的第二分布内的像素的相当大部分将具有超出最大明度的明度值。如上文所描述,当此发生时,其明度值超出最大明度的像素可变得“剪切”,其中高于最大明度阈值的明度值设定为最大明度值。因此,为了最小化此些丢失,习知计量过程可将曝光条件从第一曝光条件调整到第二曝光条件。举例来说,所述过程可增大捕获装置的快门速度。其结果是,第二分布44a的像素经移位以具有第四分布44b内的更低明度值,如由箭头48指示,使得对应于手的更多像素的恰当明度值可包含在可用明度范围内。然而,由于曝光条件的此调整,第一分布42a的像素的明度值也经移位以具有第三分布42b内的明度值,如由箭头46指示,此可引起桌子22和椅子24的非所需暗化,如图1B中所说明。在一些情形下,第三分布42b内的像素的具有低于最小明度的明度值的一部分可能剪切,使得那些像素的更低明度值设定为最小明度值。

图2A是说明根据一些实施例的使用曝光计量过程来捕获图像帧的方法50的流程图。方法50以在状态60处接收包括多个像素的图像帧开始。多个像素可包括背景像素区和前景像素区。在在状态60处接收多个像素之后,方法50前进以将像素的子集分类为前景像素。方法50包含在将像素的子集分类为前景像素之后,在状态70处从图像帧减去前景像素以获得背景像素。方法50包含在在状态70处减去以获得背景像素之后,在状态80处使用背景像素的至少一个子集来确定下一图像帧的曝光条件。背景像素的至少一个子集,相比于图像帧所述其它像素,相对更不频繁地改变,使得曝光条件更稳定且更不经受将图像帧的前景或背景呈现为过度暗或过度亮的过度调整。方法50另外包含在状态100处调整前景像素,使得下一图像帧的背景明度值与前景明度值之间的差在预定范围内,使得除了由于确定在状态80处所用的曝光条件而具有更稳定的曝光条件以外,下一图像帧还具有经调整以相对于背景具有更平衡的亮度的前景。

图2B是说明根据一些实施例的确定曝光条件的方法80的流程图。具体地说,方法80可对应于图2A的状态80,且更详细地说明使用背景像素的至少一个子集来确定下一图像帧的曝光条件的过程。确定曝光条件的方法80包括在在状态70(图2A)处从所接收图像减去前景像素以获得背景像素之后,在状态82处计算背景明度值和前景明度值。计算背景和前景明度值可包括计算例如前景像素或背景像素的明度值的平均值、中值、众数、最小值或最大值,以及其它适合的明度值。应了解,虽然此些计算的精确性可能在使用大体上所有前景像素和大体上所有背景像素时更高,但在一些情况下可能需要在一些实施方案中使用前景像素和背景像素的二次采样,以增大计算的速度。在在状态82处计算背景明度值和前景明度值之后,方法80前进以在状态84处确定背景明度值与前景明度值之间的差。在一些实施例中,在在决策状态88处确定差在预定范围内之后,方法前进到状态92以基于背景像素的至少子集而确定下一图像帧的曝光条件。举例来说,当背景明度值与前景明度值之间的差相对小使得可大体上仅基于背景像素而确定下一图像的曝光条件而不过度曝光或曝光不足前景时,情况可为如此。在一些其它实施例中,在在决策状态88处确定背景明度值与前景明度值之间的差在预定范围外之后,方法前进到状态96以基于背景像素的至少子集且另外基于前景像素的子集而确定下一图像帧的曝光条件。举例来说,当背景明度值与前景明度值之间的差相对大使得基于背景像素与前景像素的组合而确定下一图像的曝光条件,使得可最小化前景的曝光过度或曝光不足时,情况可为如此。

图2C是说明根据一些实施例的选择性地调整前景像素的方法100的流程图。方法100可对应于图2A的状态100,且更详细地说明调整前景像素使得下一图像帧的背景明度值与前景明度值之间的差在预定范围内。调整前景像素的方法100包含在决策状态104处确定在状态84(图2B)处所确定的背景明度值与前景明度值之间的差是否大于预定值。如果在决策状态104处确定所计算差在预定范围内,那么在状态108处不调整图像帧的伽玛曲线的前景区。另一方面,如果在决策状态104处确定所计算差大于预定范围,那么在状态112处方法前进以比较前景明度值的量值与背景明度值的量值。如果在决策状态116处确定前景明度值大于背景明度值(即,前景更亮),那么在状态120处方法前进以向下调整伽玛曲线的前景区的至少一部分,使得下一图像帧的背景明度值与前景明度值之间的差减小到在预定范围内。另一方面,如果在决策状态116处确定前景明度值小于背景明度值,那么在状态124处所述方法前进以向上调整伽玛曲线的前景区的至少一部分,使得下一图像帧的背景明度值与前景明度值之间的差增大到在预定范围内。

捕获图像帧的方法50的实施例,其使用根据图2A到2C如中所说明的一些实施例的曝光计量过程,在下文关于图3A、3B、4A、4B和5A到5D更详细地加以描述。在下文中,仅出于说明性目的,可将含有例如直方图或伽玛曲线的数据的曲线描绘为具有示意性形状。然而,应理解,曲线可取决于图像的性质而具有任何形状。

图3A和3B说明根据一些实施例的与使用图像帧的背景确定曝光条件相关联的示意性明度直方图。具体地说,实施例说明接收图像帧、获得背景像素和根据类似于上文关于图2A和2B所描述的方法的方法而确定曝光条件,其中前景的明度值与背景的明度值之间的差是相对小的。在图3A和3B中,x轴表示由成像设备捕获的具有在最小明度与最大明度之间的范围的像素的明度值,且y轴表示具有相对应明度值的像素的数目。

图3A说明包括背景像素区204和前景像素区208的图像帧的明度直方图200。可使用背景减去模型将明度直方图200的像素分类为背景像素和前景像素。根据一些实施例的背景减去模型包含通过使用数学过程检测前景像素来将像素分类为背景像素或前景像素、和从图像帧减去前景像素以获得背景像素。在一些实施例中,前景检测可基于对对象的运动的检测。在这些实施例中,可比较两个连续图像帧以基于数学模型而确定一些对象的位置改变,且对已在图像帧内移动了大于预定距离的对象进行分类为前景像素。数学模型可使用例如直方图的中值或平均值。可使用一些其它模型,例如高斯估计、或高斯估计的混合物、或核密度估计。但可使用一些其它模型,例如滤光技术。数学模型可使用某些特征用于模型化背景和用于检测前景,包含例如光谱特征(例如,颜色特征)、空间特征(例如,边缘特征、纹理特征或立体特征)和时间特征(例如,运动特征)。

在前景检测基于运动的检测的实施例中,从图像帧减去前景像素包括:识别图像帧的前景对象、预测前景对象的移动路径、和减去对应于掠过移动路径的前景对象的像素。举例来说,预测移动路径可包含基于一或多个先前图像帧的外推而确定包含方向和速度(speed)的速率(velocity)。

图3B说明根据一些实施例的在将像素分类为前景像素228和从图像帧200减去前景像素228以获得背景像素224之后的图像帧的明度直方图220。

一旦如图3B中所说明而获得背景像素224和前景像素228,那么确定背景明度值和前景明度值。背景明度值和前景明度值可包括相应背景像素228和前景像素224的明度值的平均值、中值、众数、最小值、最大值或峰值,以及其它适合的明度值。在图3A和3B中,出于说明性目的,相应前景和背景明度值分别对应于相应前景像素228和背景像素224的峰值明度值230和226。

在确定背景明度值226和前景明度值230之后,可确定背景明度值226与前景明度值230之间的差232。可接着比较差232与预定范围。仅借助于实例,预定范围可对应于例如可用明度值的范围的某一百分比(即,最大明度到最小明度)。应了解,可选择可用明度值的范围的百分比以防止前景或背景的饱和,且所选择百分比可取决于例如正使用的传感器的灵敏度等因素。举例来说,对于相对高灵敏度传感器(12位或更高),预定范围可对应于可用明度范围的约60%、可用明度范围的约70%、或可用明度范围的约80%。举例来说,对于相对低灵敏度传感器(8位或10位),预定范围可对应于可用明度范围的约40%、可用明度范围的约50%、或可用明度范围的约60%,但本发明涵盖其它百分比。

在图3B的所说明实施例中,差232可小于预定范围。在这些实施例中,基于背景像素226的至少一个子集而确定下一图像帧的曝光条件。在一些实施例中,基于背景像素226的至少所述子集(其不包含任何前景像素)而确定下一图像帧的曝光条件。

可基于多种技术而选择背景像素的至少所述子集。在一些实施例中,可基于图像帧内的位置而选择背景像素的子集。举例来说,可基于接近中心而定位的像素的一部分或接近周边而定位的像素的一部分而选择背景像素。在一些其它实施例中可基于背景内的特定对象(例如,图1A和1B中的桌子或椅子)而选择子集。在一些其它实施例中,可基于相对明度值而选择子集。在此上下文中,相对明度值可包含基于背景像素的明度值的更高或更低百分比。在一些其它实施例中,所选子集可是随机所选的前景像素的某一百分比。在又一些其它实施例中,基于由背景像素226占用的背景图象面积的百分比而确定下一图像帧的曝光条件。举例来说,背景像素的所选子集可包含从由背景像素226占用的背景图象面积的例如90%、95%、98%、99%或更多中选出的像素的子集。应了解,可基于计算的所要速度和精确性而选择背景图象面积和/或背景图象面积内的像素的百分比。

图4A和4B说明根据一些实施例的与使用图像帧的背景来确定曝光条件相关联的示意性明度直方图。具体地说,实施例说明接收图像帧、获得背景像素和根据类似于上文关于图2A和2B所描述的方法的方法而确定曝光条件,其中前景的明度值与背景的明度值之间的差是相对大的。

图4A说明根据另一实施例的在将像素分类为前景像素248和背景像素244之后的图像帧的明度直方图240。使用类似于上文关于图3A和3B所描述的方法的方法来对背景像素244和前景像素248进行分类。此外,使用类似于上文关于图3B所描述的方法的方法来确定背景明度值246、前景明度值250、和背景明度值246与前景明度值250之间的初始差252。类似于图3B,出于说明性目的,相应前景和背景明度值分别对应于相应前景像素248和背景像素244的峰值明度值250和256。

相比于图3B的实施例,在图4A的所说明实施例中,初始差252可大于上文关于图3B所描述的预定范围,其中预定范围可对应于例如可用明度值的范围内的某一百分比(即,最大明度到最小明度)。在这些实施例中,基于如关于图3B所描述的背景像素244的子集而确定下一图像帧的曝光条件。背景像素的子集可包含使用与关于图3B所描述的方法类似的方法来选择像素。此外,基于前景像素250的子集而确定下一图像帧的曝光条件。

类似于背景像素的子集,也可基于类似技术(例如,在一些实施例中,基于图像帧内的位置)而选择前景像素的子集。因此,接近中心而定位的像素的一部分或接近图像的周边而定位的像素的一部分。在一些其它实施例中,可基于前景内的特定对象而选择前景像素的子集。作为一个实例,子集可为如图1B中所示的手。在一些其它实施例中,可基于前景像素的相对明度值而选择前景像素的子集。因此,可基于前景像素的明度而选择值具有更高或更低百分比的前景像素。在一些其它实施例中前景像素的子集可为随机所选的前景像素的某一百分比。

在图4B中的明度直方图260中说明确定下一图像帧的曝光条件中的包含一些前景像素的结果。在明度直方图260中,背景明度值266与前景明度值270之间的所得差274小于图4A的初始差252。举例来说,当将来自前景像素248的具有更高明度值的像素的子集添加到图4A的背景像素244中使得经调整背景像素264相比于图4A的背景像素244的明度值246具有更高明度值266时,可获得更小所得差274。

在图3A和3B和图4A和4B中,描述图像帧的前景比图像帧的背景亮的实施例。然而,应理解,类似原理可应用于图像帧的前景比图像帧的背景暗的实施例。在此些实施例中,基于相比于前景像素具有更高明度值的背景像素的至少一个子集而确定下一图像帧的曝光条件。

图5A到5D是说明根据一些实施例的选择性地调整前景像素的方法的示意性明度直方图和伽玛曲线,类似于上文关于图2A和2C所描述的方法。

图5A说明根据一些实施例的使用应用于其中前景比背景亮的图像帧的曝光计量过程的由成像设备捕获的图像帧的示意性明度直方图300。在图5A中,x轴表示由成像设备捕获的具有在最小明度与最大明度之间的范围的像素的明度值,且y轴表示具有相对应明度值的像素的数目。

参考图5A,明度直方图300说明根据一些实施例的包含第一背景像素304a和第一前景像素308a的第一图像帧、和包含第二背景像素304b和第二前景像素308b的第二图像帧。可通过应用上文关于图3A和3B所描述的背景减去过程来从未分化图像帧获得前景像素和背景像素。第一图像帧可表示在第一曝光条件下从图像传感器接收的初始图像帧,且第二图像帧可表示在响应于前景对象的改变而将第一曝光条件修改为第二曝光条件之后从图像传感器接收的后续图像帧。如上文关于图3A和3B所描述,一旦已获得第一前景和背景像素308a和304a,那么以如上文所描述的类似方式确定第一前景像素308a的第一前景明度值310a与第一背景像素304a的第一背景明度值306a之间的第一差312a。

随后,如上文关于图2C所描述,在确定第一前景明度值310a大于第一背景明度值306a之后,即刻向下调整上部明度区316内的第一前景像素308a的明度值。所得第二前景像素308b具有减小的第二前景明度值310b,使得获得第二背景像素304b的第二前景明度值310b与第二背景明度值306b之间的所得第二差312b,第二差312b的值小于第一差312a。其结果是,减小了曝光过度前景的风险。

可基于多种技术(例如,在一些实施例中,基于图像帧内的位置(例如,接近中心而定位的像素的一部分或像素的接近周边而定位的像素的一部分))而选择在其内调整前景像素的上部明度区316。在一些其它实施例中,可基于前景内的特定对象(例如,图1B中的手)而选择上部明度区316。在一些其它实施例中,可基于相对明度值(例如,前景像素的基于其明度值的上部百分比)而选择上部明度区316。在一些其它实施例中,上部明度区316可选择随机所选的前景像素的某一百分比。

如上文关于图3A和3B所描述,背景明度值306a/306b和前景明度值310a/310b可包括相应背景像素304a/304b和前景像素308a/308b的明度值的平均值、中值、众数、最小值、最大值或峰值,以及其它适合的明度值。在图5A中出于说明性目的,相应前景和背景明度值对应于峰值明度值。

图5B是展示根据一些实施例的对应于选择性地调整前景像素的方法的默认伽玛调整曲线324和经调整伽玛曲线328的图形320。在图形320中,x轴表示对应于第一图像帧的输入明度值,且y轴表示对应于第二图像帧的输出明度值。默认伽玛曲线324可能不是直线。替代地,默认伽玛曲线324可具有可经优化以调整总体图像帧的总体弯曲,使得针对增强的对比度调整图像帧的中间调区。默认伽玛曲线324可能不选择性地调整特定前景区。

经调整伽玛曲线328说明可使用类似于用以调整图5A中的前景像素的曝光计量过程的曝光计量过程来进行的对前景像素的调整。经调整伽玛曲线328包含对应于像素的上部明度区332a的上部伽玛曲线区328a(所述区在更小虚线矩形与更大虚线矩形之间)。经调整伽玛曲线328另外包含对应于像素的下部明度区332b下部伽玛曲线区328b(所述区在更小虚线矩形内部)。如所说明,按下部伽玛曲线区328a向下大体上调整上部明度区332a内的像素,而下部明度区332b内的像素大体上不受上部伽玛曲线区328b影响。由于根据经调整伽玛曲线328所进行的调整,第一前景像素308a(图5A)经选择性地移位以变成具有减小的明度值的第二前景像素308b(图5A)。

图5C说明根据一些实施例的使用应用于其中前景比背景暗的图像帧的计量过程的由成像设备捕获的图像帧的示意性明度直方图340。在图5C中,轴和轴标记类似于上文关于图5A所描述的轴和轴标记。

参考图5C,明度直方图340说明根据一些实施例的包含第一背景像素344a和第一前景像素348a的第一图像帧、和包含第二背景像素344b和第二前景像素348b的第二图像帧。类似于上文关于图5A所描述的明度直方图300,第一图像帧可表示在第一曝光条件下从成像设备接收的初始图像帧,且第二图像帧可表示在响应于前景对象的改变而将曝光条件修改为第二曝光条件之后从成像设备接收的后续图像帧。类似于图5A,可通过应用上文关于图3A和3B所描述的背景减去过程来从未分化图像帧获得前景像素和背景像素。

也类似于图5A,一旦已获得第一前景像素348a和第一背景像素344a,那么确定第一前景像素348a的第一前景明度值350a与第一背景像素344a的第一背景明度值346a之间第一差352a。然而,不同于图5A,第一差352a是负值,这是因为第一前景像素348a相比于第一背景像素344a具有更低明度值(即,前景更暗)。随后,如上文关于图2C所描述,在确定第一前景像素348a的第一明度值350a低于第一背景像素344a的第一明度值346a之后,选择性地向上调整下部明度区356内的第一前景像素348a的明度值。所得第二前景像素348b具有增大的第二前景明度值350b,使得获得第二背景像素344b的第二前景明度值350b与第二背景明度值346b之间的所得第二差352b,第二差的值小于第一差352a。其结果是,减小了曝光不足前景的风险。

图5D是展示根据一些实施例的对应于选择性地调整前景像素的方法的默认伽玛调整曲线364和经调整伽玛曲线368的图形360。在图形360中,x轴表示对应于第一图像帧的输入明度值,且y轴表示对应于第二图像帧的输出明度值。类似于图5B,应了解,默认伽玛曲线364可能不是直线。

经调整伽玛曲线368说明可使用类似于用以调整图5D中的前景像素的曝光计量过程的曝光计量过程来进行的对前景像素的调整。经调整伽玛曲线368包含对应于像素的下部明度区372a下部伽玛曲线区368a(所述区在更小虚线矩形内)。经调整伽玛曲线368另外包含对应于像素的上部明度区372b的上部伽玛曲线区368b(所述区在更小虚线矩形与更大虚线矩形之间)。如所说明,按下部伽玛曲线区368a向上大体上调整下部明度区372a内的像素,而上部明度区372b内的像素大体上不受上部伽玛曲线区328b影响。由于根据经调整伽玛曲线368所进行的调整,第一前景像素348a(图5C)经选择性地移位以变成具有增大的明度值的第二前景像素348b(图5C)。

图6是根据一些实施例的使用曝光计量过程所捕获的示意性图像帧。曝光计量过程基于图像帧的背景像素的至少一部分而计算曝光条件,根据如上文所描述的各种实施例。类似于上文所描述的图1B,图6说明说明多个对象的图像帧390。帧中所示的例示性对象包含在典型办公室照明环境下的桌子392、椅子394和手396。类似于图1B,图6表示在将第二曝光条件应用于类似于图1B的第一图像帧之后的第二图像帧,其中通过根据本文中所揭示的实施例应用曝光计量过程来确定第二曝光条件。然而,不同于图1B,第二曝光条件尚未将手396呈现为过度亮,亦尚未将椅子392和桌子394呈现为过度暗。替代地,通过使用背景像素的至少一个子集来确定曝光条件(背景像素相比于图像帧内的其它像素相对更不频繁地改变)已稳定曝光条件且背景像素(对应于椅子392和桌子394)的明度分布以相比于图1B相对极少地改变,如上文关于图2A、2B和图5C到5D所描述。此外,前景像素(对应于手396)并不呈现过度明亮的,这是因为已调整明度值,如上文关于图2A、2C和图5A到5B所描述。因此,图像帧390具有含有相对于彼此平衡的亮度值的前景(手396)与背景(桌子392和椅子396)。

图7说明根据一些实施例的说明编程有曝光计量过程的数字成像设备400的功能框图。成像设备400包含图像传感模块430、曝光计量模块410和图像显示模块470。曝光计量模块410又包含像素分类模块414、背景确定模块418、曝光条件确定模块422和前景像素调整模块426。曝光计量模块410内的模块中的每一者通信连接到存储器模块440、微处理器模块450和存储模块460。存储器模块440、微处理器模块450和存储模块460彼此通过例如总线通信连接到曝光计量模块410。

图像传感模块430经配置以从对象吸收光子反射,且在显示或存储之前将光子转换为电信号用于处理。图像传感模块430包括包含多个像素的图像传感器。所述图像传感器的每个像素包括经配置以吸收光的入射光子的多个感光区(例如,光电二极管)。在一些实施例中,入射光子可由微透镜导向每一像素上方以增强光子收集的量子效率。所吸收光子转换为电子,其数目可取决于入射光子的能量。电子又转换为电压信号。

在一些实施例中,图像传感模块430包含电荷耦合装置(CCD)图像传感器。CCD图像传感器包括彩色滤光片阵列和像素阵列。CCD图像传感器的每一像素包括包含红色、绿色及蓝色滤光器的图案的彩色滤光器。穿过不同彩色滤光器的经滤光光子由像素阵列内的光电二极管吸收。光电二极管将所吸收的光子转换为电荷,且通过在被称作电荷耦合的过程中将不同电压施加到像素而使电荷移动到单个位置。因为通过施加不同电压而移动像素中的电荷,所以CCD图像传感器由外部电压发电机支持。

在一些实施例中,图像传感模块430包含互补金属氧化物半导体(CMOS)图像传感器。如同CCD图像传感器,CMOS图像传感器包含光敏二极管阵列,每一像素内一个二极管。然而,不同于CCD,CMOS成像器中的每一像素具有其自身的个别集成放大器。另外,可直接在x-y坐标系中读取CMOS成像器中的每一像素,而不用通过电荷的移动。因此,CMOS图像传感器像素直接检测光子,并且将其转换为被输出的电压。

在一些实施方案中,图像传感模块430包含用于将产生于入射光子的输出电压转换为数字信息的额外电路。此外,图像传感模块430可进一步包含图像传感器控制器,图像传感器控制器经配置以响应于各种命令和从背景导向计量单元410所接收的曝光参数而控制所述图像传感器。

根据一些实施例,曝光计量单元410经配置以接收产生于由图像传感模块430吸收且转换为电信号的光子的数字信息。电信号对应于包含背景像素区和前景像素区的多个像素。背景导向单元410的像素分类模块414经配置以在接收对应于多个像素的电信号之后将像素的子集分类为前景像素。背景确定模块418经配置以从图像帧减去前景像素以获得背景像素。曝光条件确定模块422经配置以使用背景像素的至少一个子集来确定下一图像帧的曝光条件。前景像素调整模块426经配置以选择性地调整前景像素,使得下一图像帧的背景明度值与前景明度值之间的差在预定范围内。因此,曝光计量单元410经配置以基于图像的背景而为连续帧提供更稳定的曝光条件,且经进一步配置以提供相对于相对应背景在亮度上具有更平衡的前景的图像帧。

图像显示模块470可经配置以在数字成像设备400的成像模式下“实时”显示图像帧。举例来说,可在每一帧由图像传感模块430产生前后显示图像帧,图像传感模块430中的一些可由背景导向计量模块经由例如前景像素调整模块426修改,如上文所描述。显示模块470可经进一步配置以在不在数字成像设备400的成像模式中时“脱机”显示图像帧,在此情况下可从存储器模块440或存储模块460检索所存储影像。

图像显示模块470包含显示装置和显示控制器。在一个实施例中,显示装置可包含有源矩阵有机发光二极管(AMOLED)显示器,其包括在电激活时产生光的有机发光二极管(OLED)像素的有源矩阵。OLED像素可集成到薄膜晶体管(TFT)阵列上,薄膜晶体管阵列充当一系列开关以控制流向每一个别像素的电流。显示装置的其它实施例是可能的,包含LED、LCD、OLED、AMOLED、或可被配置成用于数字图像设备400的显示装置的任何其它类似类型的显示器。

数字成像设备400进一步包含经配置以在数字成像设备400通电时存储信息的存储器模块440。存储器模块440可经配置以保持信息,例如在背景导向计量模块410的操作的各阶段处与图像帧相关联的经完全地或部分地处理的像素信息。存储器模块440可包含存储器装置,例如静态随机存取存储器(SRAM)和动态随机存取存储器(RAM)。存储器装置可经配置为不同层级的高速缓冲存储器,高速缓冲存储器通过存储器总线以通信方式耦合到微处理器模块450,存储器总线提供数据路径以供数据在存储器装置与微处理器模块450之间来回流动。

数字成像设备400进一步包含经配置以存储例如照片和视频文件的媒体以及软件代码的存储模块470。在一些实施例中,存储模块470经配置以永久性地存储媒体,甚至在将数字成像设备400断电时也如此。在一些实施方案中,存储模块270包含存储媒体,例如硬盘、非易失性存储器(例如快闪存储器、只读存储器(ROM)以及其它存储器)。

本文中所揭示的实施方案提供用于使用装置自身的显示器为前向图像传感器提供照明源的系统、方法和设备。所属领域的技术人员将认识到,这些实施例可能用硬件、软件、固件或其任何组合来实施。

在描述中,给出具体细节以提供对实例的透彻理解。然而,所属领域的技术人员将理解,可在没有这些具体细节的情况下实践实例。举例来说,可在框图中展示电组件/装置,以免用不必要的细节使实例模糊不清。在其它实例中,可详细展示此些组件、其它结构和技术以进一步解释实例。

还应注意,可将实例描述成过程,所述过程被描绘成流程图、流图、有限状态图、结构图或框图。虽然流程图可将操作描述成循序过程,但许多操作可并行或同时执行,并且过程可重复。另外,可以重新布置操作的顺序。过程在其操作完成时终止。过程可以对应于方法、函数、程序、子例程、子程序等。当过程对应于软件函数时,过程的终止对应于功能返回到调用函数或主函数。

提供对所揭示实施方案的前述描述来使得所属领域的技术人员能够制作或使用本发明。所属领域的技术人员将易于了解对这些实施方案的各种修改,且本文中所定义的一般原理可应用于其它实施方案,而不脱离本发明的精神或范围。因此,本发明不既定限于本文中所展示的实施方案,而是应被赋予与本文中所揭示的原理和新颖特征相一致的最广范围。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1