专利名称：使用噪声优化的选择标准计算场景白点的制作方法
技术领域：
本发明一般涉及色彩平衡的领域。特别地，但并非限制地，其涉及使用噪声优化的选择标准提高自动白平衡(AWB)算法的性能的技术。
背景技术：
色彩平衡可以被认为是图像中色彩强度的全局调整。色彩平衡的目标之一是使特定的颜色，例如中性白，尽可能准确地达到捕获图像的实际物理场景中所呈现的颜色。在正确表现中性白色的情况下，该过程通常被称为“白平衡”。大多数数字照相机的色彩平衡和色彩校正决策至少部分地基于场景光源的类型。例如，一张白纸在日光灯照明的情况下所显示的会与其直接在日光下所显示的不同。将要执行的色彩校正类型可以由知晓捕获图像的场景光源的数字照相机的用户手动指定，或者可以使用各种AWB算法的一个或多个以编程方式来设置。可以通过评估由具有对一组已知光源的已知响应的照相机图像传感器所捕获的一个或多个图像来估计场景的“白点”。照相机对光源的响应可通过下面的公式来描述Cwhite = S * P (公式 I)P代表光源的一组光谱功率分布，S是照相机的光谱灵敏度，Cwhite是照相机的响应矢量。换句话说，照相机的响应将是光源的特定类型以及照相机的特定光谱响应的函数。
在现实世界成像中，照相机的响应还是场景中从物体表面反射的光的函数。这个关系可被描述为Cobjects = S * R * P (公式 2)其中R代表物体表面的光谱反射率。AffB算法要处理的根本问题是试图使用已知响应和照相机灵敏度⑶以及场景中的未知物体表面(R)，解决由未知光源(P)引起的捕获的图像中的场景光源白点。在学术界和行业中已经研究各种不同的方法来解决仅从图像数据估计场景白点中的不确定性。最基本的“灰度世界”AWB算法对现实世界中的物体表面反射率分布做出了强有力的假设，即，整个场景的色彩将会平均为灰色，以便限制解决方案。其他已发表的方法包括一个版本的贝叶斯估计，其对表面反射率以及光源分布作出了不那么强的且更有原则性的建模，以达到更好的估计；“关联颜色”算法，其利用在用于光源估计的不同光源情况下的图像色度的独特分布；甚至从场景中的镜面或微型镜面反射信息导出白点值的一类算法。然而，在工业实践中，最普遍的白平衡方法仍然是那些宽松地基于改良的灰度世界方法的方法，由于其易于实施和适宜的稳定性。这样的方法可以有许多变化，但大多数涉及，首先选择可能来自于由可信光源照亮的中性表面的像素响应的子集，然后作出这些像素的平均色度有可能代表场景中真实的白/灰色的假设。这类方法在本文中将被称为“选择性灰度世界”算法。这种选择性灰度世界方法的最大限制是，等同于使原来的灰度世界方法不可行，即，假设“可能的灰色”像素响应真正做到平均为灰色。从将照相机对普通光源下典型对象表面反射率的响应建模，已经确定通常违反这种假设。例如，依赖于每个使用情形的光源和表面分布，一些“可能的灰色”像素响应相对于其他像素来说更可能是灰色，即，一些像素响应比其他像素响应携带更多的与真实白点有关的信息。一种加权方案可被用来有区别地处理这些像素响应，以便改进白点估计的准确度。一旦选择了被捕获图像的“可能的灰色”像素的子集，该场景的白点可被作为这些像素值的加权和来计算r = sum(R * W)/sum (W)；g = sum (G * W) /sum (W)；(公式 3)b = sum (B * W)/sum (W)，其中W表示权重矢量，而R、G、B是像素颜色矢量。仅需要调整两个通道以得到图像白平衡，通常是r和b通道R' = (g/r)R ;(公式 4)B' = (g/b)B ；其中R和R,是 白平衡调整之前和之后的红色通道响应，B和B'是白平衡调整之前和之后的蓝色通道响应。因此，需要一种在图像中使用改进的“选择性灰度世界”方法来提供更准确的白平衡的技术。当计算白平衡增益时，通过智能加权可能的中性像素值，可以更为准确地计算白点。
发明内容
本公开涉及用于实现更有效的“选择性灰度世界”的色彩平衡方法的设备和计算机可读介质。本文所描述的技术涉及噪声优化的选择标准的使用，并且更具体地，在一些实施例中，涉及当计算白平衡增益时在噪声优化的加权查找表(即，“加权表”)之间内插。估计出的场景照度等级可提供预期的场景噪声等级的有价值的指示器。本文描述的照相机图像处理技术可由图像捕获设备执行，或以通用PC软件应用格式来执行。本文描述的色彩平衡技术可由专用的或通用的硬件、一般的应用软件或计算机系统中软件和硬件的组合来实现。如背景技术部分所述，AffB算法的一个主要目的是，在捕获的图像中识别合理的“白色”像素，以计算场景白点，然后为那些选择的像素值创建可感知的统计，从而提供该场景白点的更准确的估计。除了场景成分的变化外，“像素是灰色的概率”也受传感器的特性，尤其是的传感器的光谱灵敏度和噪声属性所影响。例如，在低光照条件下传感器的噪声等级高时，在更明亮的灯光下不太可能来自灰色表面的像素响应在低光照条件下非常可能成为白点统计的很好的贡献者。这里描述的技术的目标之一是根据估计的传感器噪声等级为这些变化建模，以便以原则性的方式生成一组像素统计，提供白点的实际估计量，而不是不切实际地相信“可能灰色”的像素的平均值实际对应真实灰色的假设。本公开的一个方面提出了在大范围的图像捕获条件下根据图像的噪声特性的一系列的白色像素选择标准。这些所谓的“噪声优化的”选择标准可以具体实施为多种形式，例如，通过公式、经由二进制选择标准(即，像素或者“被考虑”或者“不被考虑”)、或者经由查找表(例如，具体化为加权表的形式，在一些实施例中可被形象化为加权掩模)、或任何其它适用的形式。这些标准可以根据照相机对不同光源的响应以及特定成像传感器的噪声特性的建模而用公式表示。该组白点选择标准可为每个照相机图像传感器预先计算并被存储在该图像捕获设备本身中，或者以应用软件格式存储。在领域应用中，每个捕获的图像的特定噪声等级可从诸如曝光持续时间以及传感器增益之类的图像捕获参数来估计，随后被用于从存储在设备或应用软件中的多组白点选择标准中确定要使用哪一组(或哪几组)白点选择标准。因此，在本文所述的一个实施例中，公开了一种可由可编程控制设备读取的非临时性程序存储设备，包括存储于其上的指令，用于使可编程控制设备在存储器中存储图像像素数据，其中该图像像素数据是从由图像传感器捕获的图像中获得；将该图像像素数据转换为色彩空间上的一组图像 像素值；估计图像的噪声等级；至少部分地根据估计的噪声等级确认噪声优化的加权表的值，其中该噪声优化的加权表中的每个值具有相应的图像像素值；将每个图像像素值乘以其相应的噪声优化的加权表值以生成噪声加权的图像像素数据；以及将该噪声加权的图像像素数据存储在存储器中。在本文所描述的另一个实施例中，公开了一种可由可编程控制设备读取的非临时性程序存储设备，包括存储于其上的指令，用于使该可编程控制设备在存储器中存储图像像素数据，其中该图像像素数据是从由图像传感器捕获的图像中获得；估计该图像的噪声属性；至少部分地根据估计的噪声属性，确认噪声优化的像素选择标准；将该噪声优化的选择标准应用到图像像素数据以生成加权的图像像素数据；以及将该加权的图像像素数据存储在存储器中。在本文所描述的又一实施例中，公开了一种可被可编程控制设备读取的非临时性程序存储设备，包括存储于其上的指令，用于使该可编程控制设备在存储器中存储图像像素数据，其中该图像像素数据是从由图像传感器捕获的图像中获得；估计该图像的照度等级；至少部分地根据该估计的照度等级，通过在多个预先存储的噪声优化的加权表中的相应值之间内插，来确认噪声优化的加权表；将该噪声优化的加权表应用到该图像像素数据以生成噪声加权的图像像素数据；使用该噪声加权的图像像素数据计算该图像像素数据的白点。根据本文描述的各个实施例的新颖的及改进的AWB技术可以容易地应用到具有合适的图像传感器的任意数量的电子图像捕获设备，例如移动电话、个人数字助理(PDA)、便携式音乐播放器、数字照相机、以及膝上型计算机系统和平板计算机系统。
本专利或申请文件包含至少一幅以彩色执行的附图。根据受理局的请求，将提供具有彩色附图的本专利或专利申请公开的副本，并支付必要的费用。图1A示出了用于校正照相机对人眼灵敏度的响应的感知模型。
图1B示出了用于执行色彩校正的抽象的和概念的图像处理管线。图2示出了根据一个实施例的用于利用噪声优化的加权表执行色彩平衡和校正的改进的图像处理管线。图3更详细地示出了根据一个实施例的用于创建噪声优化的加权表的过程。图4示出了根据一个实施例的在色率色度空间中，示例性的掩模形式的低照度等级(luxlevel)的噪声优化的加权表，以及普通光源的白点。图5示出了根据一个实施例的在色率色度空间中，示例性的掩模形式的室内照度等级(lux level)的噪声优化的加权表，以及普通光源的白点。图6示出了根据一个实施例的用于创建内插的噪声优化的加权表的过程。图7示出了具有显示器和图像传感器的代表性的电子设备的简化功能框图。图8示出根据一个实施例的代表性的电子设备的简化功能框图。图9示出根据另一个实施例的代表性的电子设备的简化功能框图。图10示出根据又一实施例的有代表性的电子设备的简化功能框图。图11示出根据又一实施例的有代表性的电子设备的简化功能框图。
具体实施例方式描述用于实施 “选择性灰度世界”的色彩平衡方法的方法、设备和装置。所公开的技术涉及使用噪声优化的选择标准，更具体地，在一些实施例中，涉及当计算白平衡增益时在噪声优化的加权表的相应值之间内插。估计的照度等级可为预期的场景噪声等级提供有价值的指示。本文描述的图像处理技术可由图像捕获设备或执行用户级软件应用的通用处理器(例如个人计算机)来执行。所描述的色彩平衡技术可由专用的或通用的硬件、通用的应用软件或计算机系统中软件和硬件的组合来实现。为清楚起见，在本说明书中并未描述所有实际实现的特征。当然可以理解，在任何这样的实际实现(如在任何开发项目)的开发中，必须做出大量决定以实现开发人员的特定目标(例如，符合系统相关和商业相关的约束)，并且这些目标在一个实现与另一个之间会有所不同。进一步可以理解的是，这种开发的努力可能是复杂和耗时的，但是对于那些受益于本公开的普通技术人员来说只是常规任务。在以下描述中，为了解释的目的，阐述许多具体细节，以便提供本发明构思的透彻理解。作为说明书的一部分，一些结构和设备以框图的形式示出，以避免模糊本发明。此外，在本公开中所用的语言主要是为可读性和指导的目的而选择，并且不是为了界定或限定本发明的主题而选择，要确定本发明的主题，诉诸权利要求书是必要的。说明书中对“一个实施例”或“一种实施例”的提及意味着与该实施例有关的特定特征、结构或特性被包含在本发明的至少一个实施例中，并且多次提及“一个实施例”或“一种实施例”不应当被理解为必然都涉及同一实施例。首先转向图1A，出于解释的目的示出了用于校正照相机对人眼灵敏度的响应的感知模型。在基本层面上，照相机的图像传感器将具有对穿过图像传感器所敏感的波长的整个频谱的入射光的特征响应100。所捕获的场景还可以被不同类型的光源照亮，其具有的效果的形式是，场景中的色彩被再现并被人眼感知。因此，可以基于不同的光源类型来采用不同的优化102，例如色彩平衡。
如果在人眼的可视范围内图像传感器的灵敏度与人眼灵敏度是一样的，那么就不再需要在色彩平衡之外的色彩校正；然而，如果在人类视觉的特定范围内图像传感器的灵敏度与人眼的灵敏度不同，那么就还可以对图像传感器捕获的数据采用进一步的色彩校正，例如色彩校正矩阵(CCM)的应用，以确保由人眼104感知到的色彩尽可能地如真实世界场景色彩般准确。现在转到图1B，为解释的目的示出了一种用于执行色彩校正的抽象的且概念的图像处理管线145。首先，该场景由图像处理器106捕获。数据以RGB原始数据格式108从图像传感器输出。接下来，计算场景白点，并且对捕获的图像传感器数据110运行白平衡算法，以确定是否R、G或B通道的任何一个的增益需要被调整，以便白像素呈现为白色。可以使用多个可能的白平衡算法中的任何一个，例如灰度世界算法、选择性灰度世界算法或加权累加算法。接下来，根据光源的类型，进一步的色彩校正112，例如，CCM，可被应用于图像数据。CCM中的数值可以是场景白点和场景照度等级的函数。因此，具有相同白点的两幅图像会具有非常不同的CCM。一旦图像数据如所述已被色彩平衡和色彩校正，可将例如sRGB(即，标准RGB)形式的输出数据发送到期望的显示设备114。利用这个结构，说明书的其余部分将讨论可被用于和施加到来自元件108的原始像素数据以使得白点计算和色彩平衡处理110可以更加高效的技术。具体而言，本文所讨论的技术将涉及用于例如通过使用加权表创建和内插噪声优化的选择标准的图像处理技术。现在转到图2，根据一个实施例，示出了利用噪声优化的加权表进行色彩校正的改进的图像处理管线150。与图1B中所示的图像处理管线145相比，改进的图像处理管线150在于元件108处接收原始数据以及于元件110处执行白点计算和色彩平衡之间具有被标记为“由RGB值创建直方图并乘以噪声优化的加权表”的元件109。现在，在下文中将进一步详细描述通过使用噪声优化的加权表109来对原始像素数据进行变换。根据一些实施例中，其中累`积了图像像素数据直方图的色彩空间或“色度空间”，可由一系列的数学变换定义，以便给予空间以特定形状或导致实行其它期望的属性。此外，变换参数可被优化以适应特定传感器的光谱灵敏度。在下述的实施例中，色度空间将是色率空间。可使用任意期望的色彩空间，比如直的色率空间(如，R/G与B/G)。构建“噪声优化的加权表”如上所述，图像传感器信息可以以RGB原始数据，即，未准备好用于显示的未处理的线性RGB信号的形式从图像传感器进入图像处理管线150。现在转到图3，更为详尽地示出了用于创建将要被应用于图像像素数据的“噪声优化的加权表”的处理流109。为了将输入信号从三色维度(即，红色、绿色和蓝色)减少到两色维度，可将RGB信号转换成色度值。这里所用的色度，将指代独立于其光亮度(即，亮度)的颜色的品质的客观规范。一旦亮度从考虑中移除，则颜色的剩余分量可由两个变量来定义，有时称为X和I。这是有用的，因为它允许色度空间被映射到2D绘图，其中全部现有颜色都可被唯一地识别为色度空间中的一个χ-y坐标位置。这些色度值随后可被累计到在该色彩空间上创建的2D直方图(元素116)。颜色值的直方图可以或者在处理流109接收(B卩，由一些外部处理构建)，或者在处理流109之内被构建。接下来，处理流109可以尝试来估计场景噪声等级(元素118)。正如上文所述，估计的场景噪声等级可被证明在构建适合的加权表时是有价值的。各种捕获条件可影响图像的噪声等级，包括传感器满阱容量、传感器读出噪声、传感器模拟增益、场景照度等级以及传感器量化等。接下来，处理流109会识别对应于估计的场景噪声等级的一个或多个加权表(兀素120)。在一些实施例中,代表性的加权表可被存储,其中每个代表性的加权表对应于多个预定的照度等级中的特定的一个。然后，一旦对给定的图像作出了场景照度等级的估计，处理109就可以在与估计的场景照度等级最接近地对应的存储的代表性加权表中的对应值之间进行内插，以便生成对于给定图像的估计的场景照度(因此，噪声)等级定制的内插的加权表(元素122)。在一些这样的实施例中，噪声加权表中的每个值可被用于内插计算，尽管表中每个值的使用不是严格必需的。在另一些实施例中，如果有充足的存储空间和处理能力是可用的，则元素120和122可被根据估计的场景噪声等级“实时地”分析地计算加权表的单个步骤取代，而不是在预先存储的加权表中内插。最后，例如，以2D图像直方图的形式的图像数据可以随后乘以噪声加权表中的对应值，以生成一组噪声加权的图像像素数据，即，有可能为给定传感器和估计的噪声等级的场景产生更准确的白点计算的一组加权的值(元素124)。该噪声加权的图像像素数据随后可被传递到期望的AWB算法110'，用于由任意期望的方法计算场景白点。在一些实施例中，该AWB算法110'可以仅仅包含这样的算法，其假设剩余的噪声加权的图像像素数据平均为灰色，即，“选择性灰度世界”方法。在其他的实施例中，可以如上讨论的那样采用更复杂的AWB算法。在一些实施例中，图像噪声传感器模型可用于生成代表性的加权表，其中每个代表性的加权表对应于一个特定的噪声等级。根据一个实施例，一个不例性的图像传感器噪声模型可表示如下Vn = (C/K * Ga+Vl * Ga2+V2) * K2，(公式 5)其中Vn是与特定的像素响应C相关的噪声方差，K是传感器的转换增益，Ga是在捕获时的模拟增益，Vl和V2分别是独立于增益的噪声源(kT/C，源极跟随器，放大器输入噪声)的方差和依赖于增益的噪声源(电子和量化噪声)的方差。给定在上述 公式5中的噪声模型，并假定加性噪声性质，照相机对光源的响应可按如下表示C = S* P+n,(公式 6)其中，η是噪声矢量，S和P如上述背景技术部分的描述。假设噪声项η的(已大大简化的)正态分布N
，那么，从上述公式1，特定像素响应C的分布可被表达为N[S * P，Vn]。给定特定的光源P，获得特定照相机响应的概率则可以以这种方式容易地被求出。使用上述公式来确定给定特定光源的给定像素的响应的概率，可以生成对应于特定噪声等级的各种代表性的加权表的值。为了从照相机响应数据得到更准确的白点估计，给定照相机响应和估计的噪声等级的白点的概率分布可以被使用，即，D (P I C，η)。此概率分布D可以使用上述照相机和噪声模型，为在不同光照等级下的每个光源并利用不同场景表面构成，通过编译照相机响应的似然性，即，L(Cl P，R，η)，而计算，从而得到概率分布D，可以按如下表示D (P I C，n) =L (C | P，R，η) * D (P，R) /D (C)(公式 7)一旦每个白点的相对概率以这种方式建模，就可通过使用各种可能的统计来形成像素选择和加权标准。如一个实施例，所有照相机响应C的线性加权和可被用来估计白点，其中给定真实世界中物体表面反射率分布，对于具有低于特定阈值的D(P|C，η)的照相机响应，权重被强制为零，并且计算其他非零的权重以反映像素是白色表面的相对似然性。从上面的公式可以看出，由于例如噪声分布N
的差异，不同的噪声等级下的白点的概率分布可以彼此非常不同。图4和5示出分别在两个不同的场景照度等级，SP，非常低的照度等级和室内光照照度等级下，根据上面描述的方法计算的白点的概率分布。直方图中较亮的颜色对应于更大的、落在色度空间中那个位置的给定像素对应于白色表面的可能性，而直方图中较暗的颜色对应于更小的、落在色度空间中那个位置的给定像素对应于白色表面的可能性。根据图4和5中示出的两种分布之间的差异，可以推断出应当使用不同的选择标准来选择在不同噪声等级的AWB计算中所包含的像素，并且应当使用不同的统计来将这些像素值组合到白点估计中。现在转到图4，在一个色率色度空间中，一个示例性的非常低的照度噪声优化的加权表130以掩模形式示出，连同普通光源白点160。为了参考，平均的室内照明的范围从100到1000照度，平均室外阳光是约50，000照度。如上所述，通过估计场景照度，可以推断出一组可能的照明光源类型，然后可以推断出这种光源的已知可能的白色值的范围，也就是图4中的非黑色区域。例如，在低的照度等级中，掩模中的非黑色区域将需要相对大，因为这组可能的光源较大，并且，在非常高的照度等级，已知可能的白色值的范围可能会相对较小，例如，被限制到接近日光白点区域。如图4中所示，在非常低的照度等级下，几乎整个示范性的色度空间上的概率分布可能是非黑色的(即，在任何非黑色位置的像素具有至少一点可能性——出现在这样位置的像素可能来自白色表面，较亮的颜色对应于存储在加权表中对应位置处的较高的权值)。这反映了一个事实，在低照度等级下预期有大量的噪声，并且因此很难从这样低的光照等级的场景白点的计算中丢弃任何像素(或者至少完全丢弃任何像素)。图5示出了图4所示的色度空间中，一个示例性的掩模形式的常规室内照明照度噪声优化的加权表140，以及普通光源白点160。与图4相比较，图5中所示的照度等级的概率分布在色度空间中更大的部分中是黑色。在图5中，概率分布的非黑色区域被更紧密地限制到普通光源白点160所在区域。这反 映了一个事实，甚至在常规室内照明等级下，存在的预期噪声也较少，从而在场景白点的计算中，没有位于普通光源范围内或接近普通光源范围的像素可以更安全地被丢弃或至少在很大程度上被低估(即，给予较低的权重)。作为更直观地说明使用以估计的噪声等级为条件的多重选择标准的需要的另一个例子，假定AWB算法工作于[R/G，B/G]设备色率空间，并且在低噪声捕获条件下，例如在日光下，白色像素选择标准由下述两个公式来描述Thl < R/G < Th2 (公式 8)Th3 < B/G < Th4由于噪声引入的不确定性，对于高噪声捕获，也就是说，低光照条件下，如晚上在户外捕获的图像，挑选白色像素的标准可以简单地被公式8中的上述标准来表达，具有通过成像传感器的噪声模型计算出的更宽的公差Λ。例如Thl-Λ I < R/G < Th2+A2(公式 9)Th3- Δ 3 < B/G < Th4+ Δ 4额外的公差Λ I到Λ 4反映了一个事实，即像素值的噪声给像素是白色像素的似然性引入了额外的不确定性，因此当噪声更高时就要向该场景的白点计算计入更多的像素。在上述说明性实施例中，如果使用线性加权和模型来计算最终的白点，并且如果单一权重被赋予到通过上述标准选择的所有像素，那么较高噪声(即，低光照)场景的白点将是r = sum (R+ AR) / (η+ Δ η)；g = sum (G+ AG) / (η+ Δ η)；(公式 10) b = sum (Β+ Δ B) / (η+ Δ η).其中AR’ AG, Λ B是代表进入计算的附加像素的矢量，η和Λη分别表示进入计算的像素的原始数量以及在高噪声场景中进入计算的附加像素的数量。因此可以看出，相比于在图像噪声等级变化时不相应地对白色像素选择标准做适应性调整的AWB解决方案，考虑在捕获的图像中噪声的变化将导致在统计上更为精确和稳定的解决方案。如上所述，由于固有的局限性，在一些实施方式中，可能不能为每个可能的估计的噪声等级分析地计算中性像素选择标准。这种情况下，可以仅仅存在中性像素选择标准的有限的选择。这些标准可以例如对应于在真实世界中使用图像捕获设备的环境中可能存在的稀疏采样的噪声等级或照度等级。在这种情况下，噪声相关的像素选择标准不会基于分析公式——即使在现实中，噪声状态是一个连续的过程。在这些情况下，对于任何落在稀疏采样的噪声等级之间的噪声等级，可以使用在存储的选择标准之间的内插来计算该噪声等级的相应的白色像素选择标 准。例如，该选择标准可能以数值形式存在，比如查找表(LUT)阵列，各个LUT的元素对应于噪声等级矢量N。对于噪声等级η的输入图像，白色像素选择标准可以被线性内插到与两个相邻的采样的噪声等级，例如N1-1和Ni所对应的两个LUT元素之间，如果η是在这两个噪声等级之间的话。如果图像噪声η小于最小采样的噪声等级，那么可以使用最小噪声等级的像素选择标准。同样能适用于大于最大采样噪声等级的估计的噪声等级，也就是说，可以使用最大噪声等级的像素选择标准。现在转到图6，根据一个实施例，更详细地示出创建内插的噪声优化的加权表153的过程。曲线图155表示在跨越该曲线的横轴的估计的场景照度以及跨越该曲线的纵轴的估计的噪声之间的示范性的关系。如曲线图155所示，当估计的场景照度增加时，估计的噪声等级以基本上渐进的方式降低。例如，低光照条件156对应于预先存储的低光照加权表130 (参见附图4)，而中等范围光照条件157对应于预先存储的中等范围加权表140 (参见附图5)。此外在横轴的右侧，日光条件158对应于预先存储的日光加权表150。注意在日光加权表150中的非黑色区域甚至被更紧密地限制在对应于日光的普通光源范围。在图6的说明性的实施例中，示出了三个预先存储的加权表，但在其他实施例中，当然会有更多数量的预先存储的加权表，以便于对可能的场景照度值的范围进行充分地采样。如图6所示，估计的场景照度等级159 (由曲线图中的大星号表示)落在对应于低光照156和中等范围光照157的光照条件的预先存储的加权表的等级之间。因此，可以经由适当的内插运算152(例如，线性或对数内插)来生成内插的加权表153，以便创建更适合具有估计的场景照度等级159的当前场景的内插的加权表153。在这个实施例中，图像像素数据直方图116可随后被应用于，例如乘以，最近生成的内插的加权表153的值，以便创建一组噪声加权的图像像素数据，例如，噪声优化的图像像素数据直方图154。该噪声优化的图像像素数据直方图154可随后被期望的AWB算法所利用以计算更准确的场景白点。应当注意，标引和使用多个优化的白色像素选择和加权标准以提高AWB性能并不被限制于以估计的图像噪声等级为基础。其可以根据与图像的噪声属性，例如场景照度、传感器模拟增益等等，相关的任何物理的或数值的品质。还应当注意的是，被用来为末存储的噪声等级计算加权标准的内插方法可通过线性内插或其他任何适合的非线性内插方法来执行。还应当注意的是，本文已经描述的噪声模型是说明性和示例性的。为建模的目的可以使用任何具有合理的工程基础的适合的噪声模型。现在参照图7，根据一个说明性的实施例，示出了具有显示器200的代表性的电子设备，例如，电子图像捕获设备200的简化的功能框图。该电子设备200可包括处理器216、显示器220、接近传感器/环境光传感器226、麦克风206、音频/视频编解码器202、扬声器204、通信电路210、位置传感器224 (例如，加速度计或陀螺仪)、具有相关照相机硬件的图像传感器208、用户接口 218、存储器212、存储设备214以及通信总线222。处理器216可以是任何适合的可编程控制设备，并且可以控制许多功能的运行，例如产生和/或处理图像数据，以及由电子设备200执行的其他功能。处理器216可以驱动显示器220，并且可以接收来自用户接口 218的用户输入。嵌入式处理器提供通用和鲁棒的可编程控制设备，其可被利用来实现所公开的技术。存储设备214可以存储媒体(例如，图像和视频文件)、软件(例如，用于在设备200上实现各种功能)、 偏好信息、设备简档信息以及任何其他合适的数据。存储装置214还可以包括一个或多个有形地记录图像数据和程序指令的存储介质，包括，例如，硬盘驱动器、如ROM的永久存储器、如RAM的半永久存储器、或高速缓存。程序指令可以包括以任何期望的语言(例如，C或C++)编码并被组织到一个或多个程序模块中的软件实施方式。存储器212可包括一个或多个不同类型的存储器，其可以用于执行设备功能。例如，存储器212可以包括高速缓存、ROM和/或RAM。通信总线222可以提供数据传输通道，用于向/从至少存储设备214、存储器212和处理器216传输数据，或在其间传输数据。用户接口 218可以允许用户与电子设备200交互。例如，用户输入设备218可以采取各种形式，如按钮、键盘、拨号、点击轮或触摸屏。在一个实施例中，个人电子设备200可以是一种能够处理和显不媒体,如图像和视频文件，的电子设备。例如，个人电子设备200可以是这样的设备，如移动电话、个人数据助理(PDA)、便携式音乐播放器、监视器、电视机、相似性计算机、桌上型计算机、以及平板计算机，或其它适合的个人设备。现在参照图8，根据一个实施例，示出了代表性的电子设备的简化功能框图。根据图8，该电子设备300包括图像处理装置301和图像传感器302。图像处理装置301可以包括第一存储单元3011，被配置为在存储器中存储图像像素数据，其中，图像像素数据从由图像传感器捕获的图像获得；变换单元3012，被配置为将图像像素数据变换成在色彩空间上的一组图像像素值；估计单元3013，被配置为估计图像的噪声等级；识别单元3014，被配置为至少部分地根据估计的噪声等级来识别噪声优化的加权表的值，其中噪声优化的加权表中的每个值具有相应的图像像素值；乘法单元3015，被配置为将每个图像像素值乘以它相应的噪声优化的加权表值以生成噪声加权的图像像素数据；以及第二存储单元3016，被配置为在存储器中存储噪声加权的图像像素数据。图像处理装置301可进一步包括计算单元3017，其被配置为至少部分地根据噪声加权的图像像素数据计算色彩空间中的图像像素数据的场景白点。该图像处理装置301还可以进一步包括色彩平衡单元3018，被配置为使用计算的场景白点来色彩平衡图像像素数据。现在参考图9，根据另一个实施例示出了代表性的电子设备的简化功能框图。根据图9，该电子设备400包括的图像处理装置401和图像传感器402。该图像处理装置401包括获得单元4011，其被配置为从由图像传感器捕获的图像中获得图像像素数据；估计单元4012，被配置为估计该图像的噪声属性；识别单元4013，被配置为至少部分地根据估计的噪声属性识别噪声优化的加权表；以及应用单元4014，被配置为将噪声优化的加权表应用到图像像素数据以生成噪声加权的图像像素数据。
图像处理装置401可进一步包括发送单元4015，被配置为发送噪声加权的图像像素数据到自动白平衡(AWB)程序模块。该图像处理器装置401还可以进一步包括计算单元4016，被配置为计算图像像素数据的白点。该图像处理装置401还可进一步包括色彩平衡单元4017，被配置为根据计 算出的白点来色彩平衡该图像像素数据。现在参照图10，根据一个实施例示出了代表性的电子设备的简化功能框图。根据图10，电子设备500包括图像处理装置501和图像传感器502。图像处理装置501包括第一存储单元5011，被配置为在存储器中存储图像像素数据，其中图像像素数据从由图像传感器捕获到的图像获得；估计单元5012，被配置估计图像的噪声属性；识别单元5013，被配置为至少部分地根据估计的噪声属性识别噪声优化的像素选择标准；应用单元5014，被配置为将噪声优化的像素选择标准应用到图像像素数据，以生成加权的图像像素数据；以及第二存储单元5015，被配置为在存储器中存储加权的图像像素数据。图像处理装置501可以进一步包括计算单元5016，被配置来计算场景白点。现在参照图11，根据一个实施例示出了代表性的电子设备的简化功能框图。根据图11，电子设备600包括图像处理装置601和图像传感器602。图像处理装置601包括存储单元6011，被配置为在存储器中存储图像像素数据，其中，图像像素数据从由图像传感器捕获的图像获得；估计单元6012，被配置为估计该图像的照度等级；识别单元6013，其被配置为至少部分地根据所估计的照度等级，通过在多个预先存储的噪声优化的加权表中的相应值之间内插，来识别噪声优化的加权表；应用单元6014，被配置为将噪声优化的加权表应用到图像像素数据以产生噪声加权的图像像素数据；以及计算单元6015，配置为使用噪声加权的图像像素数据来计算该图像像素数据的白点。应当理解的是，单元、装置和设备可以以软件、已知或将来发展的硬件、和/或这样的软件和硬件的组合的形式来实现。优选实施例和其他实施例的前面的描述并不着意于限制或约束由本申请人所构想的发明构思的范围或适用性。作为一个例子，虽然本公开专注于手持个人电子图像捕获设备，将会被理解的是，本公开的数导可以应用到其他实施方式中，如传统的数字照相机。作为公开此处包含的发明构思的交换，申请人期望由所附的权利要求书提供的所有专利权。因此，其目的在于，所附的权利要求书包括在以下的权利要求或其等同物的范围内的完整程度的所有的修改和变 更。
权利要求
1.一种图像处理方法，包括在存储器中存储图像像素数据，其中该图像像素数据从由图像传感器捕获的图像中获得;将该图像像素数据变换为色彩空间中的一组图像像素值；估计该图像的噪声等级；至少部分地基于估计的噪声等级，识别噪声优化的加权表的值，其中噪声优化的加权表中的每个值具有相应的图像像素值；将每个图像像素值乘以其相应的噪声优化的加权表值，以生成噪声加权的图像像素数据；以及在存储器中存储该噪声加权的图像像素数据。
2.根据权利要求1所述的方法，还包括至少部分地基于该噪声加权的图像像素数据， 计算该色彩空间中的该图像像素数据的场景白点。
3.根据权利要求1所述的方法，其中识别噪声优化的加权表的值包括在多个预先存储的噪声优化的加权表中的相应值之间进行内插。
4.一种图像处理方法，包括从由图像传感器捕获的图像中获得图像像素数据；估计该图像的噪声属性；至少部分地基于估计的噪声属性，识别噪声优化的加权表；以及将该噪声优化的加权表应用到该图像像素数据以生成噪声加权的图像像素数据。
5.根据权利要求4所述的方法，进一步包括将该噪声加权的图像像素数据发送到自动白平衡AWB程序模块。
6.根据权利要求4所述的方法，进一步包括使用该噪声加权的图像像素数据计算该图像像素数据的白点。
7.一种图像处理方法，包括在存储器中存储图像像素数据，其中该图像像素数据从由图像传感器捕获的图像中获得;估计该图像的噪声属性；至少部分地基于估计的噪声属性，识别噪声优化的像素选择标准；将该噪声优化的像素选择标准应用到该图像像素数据以生成加权的图像像素数据；以及在存储器中存储该加权的图像像素数据。
8.根据权利要求7所述的方法，进一步包括使用该加权的图像像素数据计算场景白
9.一种图像处理方法，包括在存储器中存储图像像素数据，其中该图像像素数据从由图像传感器捕获的图像中获得;估计该图像的照度等级；至少部分地基于估计的照度等级，通过在多个预先存储的噪声优化的加权表中的相应值之间进行内插，来识别噪声优化的加权表；将该噪声优化的加权表应用到图像像素数据以生成噪声加权的图像像素数据；以及使用该噪声加权的图像像素数据来计算该图像像素数据的白点。
10.一种用于图像处理的装置，包括第一存储单元，被配置为在存储器中存储图像像素数据，其中该图像像素数据从由图像传感器捕获的图像中获得；变换单元，被配置为将该图像像素数据变换成色彩空间中的一组图像像素值；估计单元，被配置为估计该图像的噪声等级；识别单元，被配置为至少部分地基于估计的噪声等级识别噪声优化的加权表的值，其中该噪声优化的加权表中的每个值具有相应的图像像素值；乘法单元，被配置为将每个图像像素值与其相应的噪声优化的加权表值相乘，以生成噪声加权的图像像素数据；以及第二存储单元，被配置为在存储器中存储该噪声加权的图像像素数据。
11.根据权利要求10所述的装置，进一步包括计算单元，被配置为至少部分地基于该噪声加权的图像像素数据计算该色彩空间中的图像像素数据的场景白点。
12.根据权利要求11所述的装置，进一步包括色彩平衡单元，被配置为使用该计算出的场景白点来色彩平衡该图像像素数据。
13.一种用于图像处理的装置，包括获得单元，被配置为从由图像传感器捕获的图像中获得图像像素数据；估计单元，被配置为估计该图像的噪声属性；识别单元，被配置为至少部分地基于估计的噪声属性，识别噪声优化的加权表；以及应用单元，被配置为将该噪声优化的加权表应用到该图像像素数据以生成噪声加权的图像像素数据。
14.根据权利要求13所述的装置，进一步包括发送单元，被配置为将该噪声加权的图像像素数据发送到自动白平衡AWB程序模块。
15.根据权利要求13所述的装置，进一步包括计算单元，被配置为计算该图像像素数据的白点。
16.根据权利要求13所述的装置，进一步包括色彩平衡单元，被配置为根据计算出的白点来色彩平衡该图像像素数据。
17.一种用于图像处理的装置，包括第一存储单元，被配置为在存储器中存储图像像素数据，其中该图像像素数据从由图像传感器捕获的图像中获得；估计单元，被配置为估计该图像的噪声属性；识别单元，被配置为至少部分地基于估计的噪声属性，识别噪声优化的像素选择标准；应用单元，被配置为将该噪声优化的像素选择标准应用到该图像像素数据以生成加权的图像像素数据；以及第二存储单元，被配置为在存储器中存储该加权的图像像素数据。
18.根据权利要求17所述的装置，进一步包括计算单元，被配置为计算场景白点。
19.一种用于图像处理的装置，包括存储单元，被配置为在存储器中存储图像像素数据，其中该图像像素数据从由图像传感器捕获的图像中获得；估计单元，被配置为估计该图像的照度等级；识别单元，被配置为至少部分地基于估计的照度等级，通过在多个预先存储的噪声优化的加权表中的相应值之间进行内插，来识别噪声优化的加权表；应用单元，被配置为将该噪声优化的加权表应用到该图像像素数据以生成噪声加权的图像像素数据；以及计算单元，被配置为使用该噪声加权的图像像素数据来计算该图像像素数据的白点。
20.—种电子设备,包括图像传感器；根据权利要求10-19中任意一个所述的图像处理装置。
全文摘要
公开了一种用于实施“选择性灰度世界”方法以达到色彩平衡的方法、设备和装置。所公开的技术涉及使用噪声优化的选择标准，更具体地，在一些实施例中，涉及当计算白平衡增益时在噪声优化的加权表中的相应值之间进行内插。估计的场景照度等级可为预期的场景噪声等级提供有价值的指示。本文描述的图像处理技术可由图像捕获设备或执行用户级软件应用的通用处理器(例如个人计算机)来执行。所描述的色彩平衡技术可由专用的或通用的硬件、通用的应用软件或计算机系统中软件和硬件的组合来实现。
文档编号H04N5/357GK103051905SQ20121050513
公开日2013年4月17日 申请日期2012年9月28日 优先权日2011年10月12日
发明者白英俊, 张雪梅, D·郭 申请人:苹果公司