专利名称：自动白平衡控制的制作方法
技术领域：
本发明总体涉及自动白平衡控制，例如在彩色数码相机或成像处理软件包中以及，更具体地，在限定在颜色空间内所谓的有限白色区域中，其中仅仅考虑有限白色区域内的像素用于自动白平衡控制。
背景技术：
在彩色数码相机中，当相机在给定照度下成像的非彩色的白色对象表示为具有相同输出水平的红色(R)、绿色(G)和蓝色(B)信号时，获得白平衡。由于由彩色摄像机产生的RGB表示，即典型地随着景象照度的改变而改变，因而需要白平衡。在一些环境下，对于某些照度条件的彩色摄像机白色平衡(white balanced)对于其它照度条件将不是白色平衡。因此，对象在两种不同的照度下将具有两种不同的RGB表示是可能的，即使人类观察员感觉该对象在两种照度下具有相同的颜色。
在手动操作中，通过在所感兴趣的照度下成像非彩色的白色对象，并通过调整红色、绿色和蓝色信号中的一个或多个的放大系数，直到它们各自的输出水平相同，而获得所谓白平衡。在自动白平衡(AWB)操作中，成像感兴趣的照度下的非彩色的白色对象并且自动调整每一个红色和蓝色信号的放大水平。例如，可以使红色和蓝色信号的输出水平与绿色信号的输出水平相同。
传统的AWB电路倾向于控制为R＝G＝B＝1，相应于某一预设白色，并且关于这些电路，使用所谓的“有限白色区域”(LWA)是已知的，该LWA为用于确定颜色是否是“近白色”的二维颜色空间中的某一限定区域。由于人类大脑可以自我适应各种照明条件，该照明条件为日光、灯光或日光和灯光之间的任何光，人类大脑将所有这些照明条件下的真实白色对象认为是白色的。所以“近白色”的定义可以认为是日光和灯光之间的所有光源。传统的AWB电路包括平均白色测量中的每一个像素的RGB值。这种系统被称为世界灰色假设(WGA)。这样的系统假定任意景象中所有像素的R、G和B值的单独平均将产生白色。
在一个已知的AWB系统中，参考图1，使用由4条线组成的非常简单的LWA100，并且在图1中相对于黑体辐射曲线102的二维RGB空间(具有R/G和B/G轴)中示出(限定了“近白色”光源的各种色温)。
当比率R/G和B/G落在LWA100之内时执行白平衡。更具体地，确定从实际的图像数据所获得的比率R/G和B/G是否在LWA之内以及，如果是，白平衡测量包括平均白色计算中的具体图像数据。当测量一个完整帧时，基于平均白色计算而计算得出颜色信号R和B的增益级。这些增益级可以在下一个帧或在两部分位置中用在实际的图像数据上。因此，当相机聚焦于“近白色”目标时，来自相应放大器的三个原始颜色信号R、G和B的输出信号水平设置为彼此相同，即R∶G∶B＝1∶1∶1。
然而，此简单的LWA100具有两个主要缺点，即(i)在LWA100的两个端部，该端部的区域是楔形并且，因为在相机的色彩滤镜矩阵的转换函数上和在IR滤镜上总有容许的误差，在这些端部的区域太窄，因此端点104a、104b在一端部104a必须是比实际所需的温度低而在另一端部104b必须是比实际所需的温度高。
(ii)由于与LWA线相比，黑体辐射曲线102不是笔直的，所以许多的额外色彩错误地被考虑用于平均R、G和B加法器。特别地，肤色经常落在限定的LWA内，这扰乱了AWB测量系统。在图1所示的实例中，限定的肤色值106恰好在LWA区域的边缘，但是又由于色彩滤镜矩阵和IR滤镜转换函数中的容许的误差以及不同光源，所以这种肤色将经常落在LWA100之内。
在欧洲专利申请No.EPA-0400606中描述了一种AWB控制系统，其中，利用在具有各种色温的光源下观察“白色”相机目标时所获得的测量结果产生黑体辐射曲线，并且在限定LWA的黑体辐射曲线的每一侧上设置跟踪范围。
然而，必须在系统的制造阶段获得黑体辐射曲线的测量结果并校准黑体辐射曲线，以及必须将参数和测量结果存储在永久的存储装置中。
现在我们已经设计了一种改进的装置，并且本发明的目的是提供一种用于在彩色数字图像捕获设备中执行自动白平衡控制的系统，该彩色数字图像捕获设备包括这样一种用于执行自动白平衡控制的系统和相应的方法，其中，与制造相反，在系统操作期间确定的黑体辐射曲线的真实形状，该形状用于限定围绕黑体辐射曲线的更紧凑的LWA，产生更好的自动白平衡控制效果。
发明内容
如此，根据本发明，提供了一种用于执行关于彩色数字图像的自动白平衡控制的系统，该系统关于图像布置并配置为a)限定预定颜色空间，其中在所述颜色空间的至少两个城内的黑体辐射曲线是已知的；以及b)通过应用依赖于所述颜色空间的所述至少两个域的近似函数模拟所述黑体辐射曲线，以及将所述模拟曲线向左和/或向右移动以限定围绕在所述颜色空间之内的所述黑体辐射曲线的有限白色区域；所述系统还包括用于确定(18)捕获图像内的像素的颜色值是否落在所述有限白色区域之内以及，如果是，执行(24)关于它的自动白平衡。
本发明提供了一种用于限定上述限定的自动白平衡系统的有限白色区域的电路，其特征在于，在所述预定颜色空间的至少两个域内的黑体辐射曲线的位置是已知的，所述电路包括装置，该装置用于通过应用依赖于所述颜色空间的所述至少两个城的近似函数模拟所述黑体辐射曲线，以及将所述近似曲线向左和/或向右移动以，限定围绕所述颜色空间内的所述黑体辐射曲线的有限白色区域。
本发明还提供了一种彩色数字图像捕获设备，包括用于捕获图像帧的图像传感器，该图像帧包括多个所述捕获图像设备的视区内景象的像素表示，以及上述限定的自动白平衡控制系统，该自动白平衡控制系统用于执行关于通过所述图像传感器所捕获的图像帧的自动白平衡控制。
一旦颜色空间已经被限定并已知，黑体辐射曲线的精确位置也已知。
如此，所述有限白色区域由公式(或模拟函数)清楚地限定，该公式(或模拟函数)在至少两个(优选为r/g和b/g)城内基本准确地符合黑体辐射曲线，该公式是所述两个域的函数。然后向左和/或向右(优选两者)偏移函数以限定围绕黑体辐射曲线的有限白色区域。在制造时不必进行校准，并且不需要永久的存储器以存储自动白平衡的相应的参数和测量结果。
倘若预先使用色彩矩阵，以将图像捕获设备的CCD或CMOS传感器的颜色空间(或颜色范围)转换为已知的颜色空间(例如sRGB或EBU)，可以使用合成的有限白色区域。在此已知的颜色空间中，黑体辐射曲线的准确位置是已知的，并且因此上述的公式可以用于形成围绕它的LWA探测范围。
用于黑体辐射曲线的r/g和b/g城的优选近似函数是bg=C1·rg+C2rg+C0]]>其中C0、C1和C2是部分地限定了所述有限白色区域形状的系数。
此外，因为使用已知的颜色空间，可以确定照亮景象的光源的色温(并且可以考虑其中的变化)，这进一步增强了本发明的将捕获的景象表示保持为接近由人类观察员所感觉的图象的能力。传统的自动白平衡系统倾向于控制到R＝G＝B＝1，如上所述，其相应于某一预定白色，例如D6500。当人类观察员具有景象的暖印象时，这具有使得一些景象看起来“冷”的缺点。然而，在本发明的系统中，优选地提供了用于测量捕获图像的白点，例如3200k的装置，以及可以有益地提供用于经过转换函数(没有必须的校准)将所测的白点映射于新白点的装置。例如，所测的3200k景象可以是白平衡到5000K，4000K的景象，可以是白平衡到5500K，5000k的景象，可以是白平衡到6500k，5000K到6500K，以及6500k以上的每个景象都保持不变。
提出了一种用于从有限白色区域确定来确定景象色温的快速、精确的法则，该法则找到了从所测的平均有限白色区域颜色到黑体辐射曲线的最近点。
在优选实施方案中，测定图像帧的每一个像素(或其子集)的色值，并且仅当颜色值被确定落在有限白色区域之内时，为自动白平衡控制处理的目的积分(intergrated)(或积聚)这些颜色值，相反在传统系统中，积分所有像素的所有的R、G和B值。关于本发明的优选实施方案的所提出的受限积分倾向于产生相对于现有技术的更好结果。例如，考虑捕获图像中有许多红色部分但是也有白色部分的情况。在现有技术装置中，在确定是否合成的平均白色落在LWA之内之前，首先积分(即积聚)所有的R、G和B值(在一个帧内)，所述图像的白色部分将不足以抵消大量的积聚红色部分，因此合成的积分值将落在LWA之外，从而表明没有自动白平衡是可能的。然而如果每一个像素的颜色值单独与LWA相比，并且然后为自动白平衡控制处理的目的仅仅积分这些落在LWA内的颜色值，这个问题被克服。
在本发明的具体的示例实施方案中，任何像素都必须满足落在有限白色区域内的方程式可以设置如下，以RGB表示R·(B+C1·G)≥G·(C0·B+C2·G)∧R·(B+C4·G)≤G·(C3·B+C5·G)∧B≤C6·G ∧R≤C7·G ∧ F＜Y＜E其中C3、C4和C5是除了C0、C1和C2以外，限定有限白色区域的形状的参数，C6和C7依赖于被有限白色区域限定的所希望的温度范围，并且分别依赖于所需温度范围的最高和最低的色温，Y是亮度，E和F是其参数。
本发明的另一个潜在优点是，在其实现中能够仅仅使用与通常占有更多资源(根据面积和能量消耗)的除法器相反的乘法器(以及加法器)。
本发明的这些和其它方面将从在此所述的实施方案中变得明显，并参考在此所述的实施方案得到说明。
现将仅以示例的方式并参考附图描述本发明的实施方案，其中图1是根据现有技术所限定的预定有限白色区域的示意性图示；图2是示出了根据本发明的示例实施方案的执行自动白平衡控制的方法中的主要步骤的示意性流程图；图3是通过根据本发明的示例实施方案的方法所获得的有限白色区域的r/g和b/g域内的图示；图4是CIE色品图的u’、v’域中的图2的有限白色区域表示；图5是示出了根据本发明的示例实施方案的系统的示例配置的示意性电路图；以及图6是示出了有限白色区域的r/g和b/g域中如何确定景象色温的图示。
具体实施例详述在本发明的以下示例实施方案的自动白平衡系统中，有限白色区域由公式所限定，该公式几乎准确地符合r/g和b/g域内的黑体辐射曲线。此公式分别为r/g和b/g的函数，并且左右偏移，以限定围绕黑体辐射的有限白色区域(LWA)。
参考图2，为了便于以上述方式限定有限白色区域，首先在步骤10通过彩色数码相机的CCD或CMOS传感器捕获图像帧，并且在步骤12利用颜色矩阵转换，将该传感器的颜色空间转换为已知的颜色空间，例如sRGB或EBU。
如本技术领域中的普通技术人员所熟知的，颜色空间是一种方法，通过该方法能够指定、创建和可视化颜色，其中通常使用三个坐标或参数来指定颜色。这些参数描述了所使用的颜色空间之内的颜色位置，尽管它们实际上不能显示是什么颜色(这依赖于所使用的颜色空间)。例如，考虑利用三种颜色红(R)、绿(G)和蓝(B)，可以模拟许多其它的颜色并且，如果在颜色空间内，这些颜色中的每一个都可以分配一个0和255之间的数字，那么这些颜色的256*3的组合意味着在给出了R-G-B的各自颜色值的格式‘61-153-115’中的颜色空间内可以指定16,777,216种颜色。现有技术中已知许多类型的颜色空间模型，其中sRGB模型(国际标准)是目前最广为接受的，尽管已知其它很多的颜色空间模型。
如此，一旦传感器的颜色空间已经转换为一个已知的颜色空间，在该颜色空间内的黑体辐射曲线的准确位置也已知。接下来，在步骤16，使用函数模拟黑体辐射曲线的形状，而用于黑体辐射曲线的r/g和b/g域的非常好的模拟函数是bg=C1·rg+C2rg+C0]]>然后通过上下偏移这个函数(即左右偏移)，这个公式还用于限定(在步骤16)有限白色区域。因此，参考附图中图3，在图3中r/g、b/g域内示出限定遵循黑体辐射曲线202形状的新有限白色区域(LWA)200。
在本发明的示例电路实现中，如附图中图5所示，此部分处理可能需要12个乘法器、4个加法器和4个比较器。然而，如果四条直线用于近似遵循黑体辐射曲线，这可以减少到10个乘法器、4个加法器和6个比较器，或如果使用模拟精度更小则需要的乘法器、加法器和比较器更少，尽管对于本技术领域中的普通技术人员来说显而易见的是，LWA越紧密地遵循黑体辐射曲线，则自动白平衡处理将越精确。另一方面，如果仅仅关于每一个其它的像素，即帧执行AWB处理，那么通过流水线操作乘法器的数目可以从12减少到6(在上述实施例中)，而不损失精度。更通常地是，在这点上，全部帧尺寸的子集(例如由矩形窗区域所限定的)可以用于限定必须测量的像素。
颜色范围是被三维的颜色空间所封闭的区域。通常将颜色表示系统的范围图示地表示为颜色范围。通常所述颜色范围仅以二维表示，例如，在附4中的CIE u’v’色品图上，LWA200示出在这种色品图的u’、v’域中。
然后确定所捕获帧中的每一个像素的颜色值并与所述LWA比较(在步骤18)，并且只有当在步骤20，像素的颜色值被确定落在LWA之内时，该像素应用到步骤24所指示的自动白平衡(AWB)处理中，并且为此目的积分(积聚)相应的R、G和B值。否则，对于AWB处理，忽略该像素。
应该理解的是，一旦已经确定哪些像素具有落在限定的LWA之内的颜色值，可以使用任何实际上执行自动白平衡的合适(已知)方法，并且在这点上不意欲限制本发明。
在本发明的示例实施方案中，以下给出了以RGB表示的确定像素的RGB值落在限定的LWA之内必须满足所需条件R·(B+C1·G)≥G·(C0·B+C2·G)∧R·(B+C4·G)≥G·(C3·B+C5·G)∧B≤C6·G ∧R≤C7·G ∧F＜Y＜E在示例电路实现中，两个额外的比较器可以用于排除低或高的光区，其(历史地)定义为亮度信号Y的参数E和F。
在方程式1和2中使用的参数C0、C1、C2、C3、C4和C5限定了LWA的形状并且原则上是固定的。原则上对于本技术领域中的普通技术人员来说显然的是，限定LWA的弯曲形状是相对简单的，实际上只有两条线限定区域的两个端点，区域的剩余部分通常保持相同。
因此在本发明的示例实施方案中，固定参数可以计算为C0＝0.3119C1＝-0.2594C2＝0.8008C3＝0.3119C4＝0.2471C5＝1.2344其它两个参数C6和C7依赖于被LWA所覆盖的所希望的色温范围，并且分别依赖于该范围的最高或最低色温。优选地，两种色温都是可编程的。C6和C7可以从包括对r/g和b/g坐标从2000K到75000K的景象温度的表格确定。此表格可以从Planck的著名的黑体辐射公式计算得出，随后对增加的CIE x、y、z标准人类观察员曲线积分，给出X、Y、Z值，随后转换到具有(著名的)XYZ→sRGB3×3矩阵的sRGB颜色空间。这些概念为本技术领域中的普通技术人员所熟知，在此将不再详细讨论。在示例实施方案中，最低温度应该在所述步骤，即100K中可以编程为从2000K到3500K。在相同的示例实施方案中，最高温度应该在1000K的步骤中可编程为从7000K到22000K。
因为使用已知的颜色空间，可以确定照亮景象的光源的色温(并且可以考虑其中的变化)，这进一步增强了该系统将捕获的景象表示保持为接近由人类观察员所感觉的图象的能力。参考图6，可以从CWA法则测量捕获图像的平均白点X，并且景象色温可以通过在黑体辐射曲线202上首先发现的最近点Y来确定。一旦已经定位最近点，使用与上述表格相反的表格可以确定所述色温。
在本发明的示例实现中所使用的写寄存器(其中存有相应数据的概述)可以包括，例如C0、C35比特寄存器，用于有限白色区域系数C1、C4、C66比特寄存器，用于有限白色区域系数C2、C5、C77比特寄存器，用于有限白色区域系数E 8比特寄存器，用于LWA测量的最大亮度值F 8比特寄存器，用于LWA测量的最小亮度值理论上，所提出的自动白平衡系统可用在类似领域中，尽管在上述实施例中，因为计算特性和在数字领域更易于实现并维护，自动白平衡系统仅仅用在数字领域。所提出的自动白平衡系统可应用于数字图像捕获设备和图像处理软件包中，例如照片编辑包等。
应该注意到上述实施方案仅是说明而不是限制本发明，并且不脱离如被附加权利要求所限定的本发明范围，本技术领域中的那些普通技术人员将能够设计很多的替换实施方案。在权利要求中，任何放置在圆括号内的参考符号不应解释为限定权利要求。词语“包括(comprising)”和“包括(comprises)”等等，不排除存在除了作为一个整体列举在任一权利要求或说明书中的元件或步骤。一个元件的单数涵义不排除这种元件的复数涵义，反之亦然。本发明可以通过包括几个不同元件的硬件装置以及通过适当编程的计算机来实现。在一个枚举几个装置的设备权利要求中，这些装置中的几个可以通过硬件的一个或相同项目具体化。起码的事实是，在彼此不同的从属权利要求中陈述的某些测量并不预示这些测量的组合不能产生良好效果。
权利要求
1.一种用于执行关于彩色数字图像的自动白平衡控制的系统，该系统关于图像布置并配置为-限定(12)预定颜色空间，其中在所述颜色空间的至少两个域内的黑体辐射曲线(202)是已知的；以及-通过应用依赖于所述颜色空间的所述至少两个域的近似函数模拟(16)所述黑体辐射曲线，以及将所述模拟曲线向左和/或向右移动，以限定围绕在所述颜色空间之内的所述黑体辐射曲线(202)的有限白色区域(200)；所述系统还包括用于确定(18)捕获图像内的像素的颜色值是否落在所述有限白色区域之内以及，如果是，执行(24)关于它的自动白平衡.
2.根据权利要求1的系统，其特征在于，所述至少两个域包括r/g和b/g域。
3.根据权利要求1的系统，其特征在于，所述模拟曲线向所述黑体辐射曲线(202)的左和右偏移，以限定所述有限白色区域(200).
4.根据权利要求1的系统，其特征在于，所述近似函数是用于黑体辐射曲线(202)的r/g和b/g域的近似函数，形式为bg=C1·rg+C2rg+C0]]>其中C0、C1、和C2是部分地限定了有限白色区域(200)形状的系数.
5.根据权利要求1的系统，包括用于测量捕获图像的白点的装置。
6.根据权利要求5的系统，包括用于经过转换函数将所测的白点映射于新的白点的装置。
7.根据权利要求1的系统，其特征在于，像素必须满足落在有限白色区域(200)之内的方程式以R、G、B表示为R·(B+C1·G)≥G·(C0·B+C2·G)∧R·(B+C4·G)≥G·(C3·B+C5·G)∧B≤C6·G∧R≤C7·G∧F＜Y＜E此处C3、C4和C5是除了C0、C1和C2以外，限定了有限白色区域的形状的参数，C6和C7依赖于被该有限白色区域所限定的所需的温度范围，并且分别依赖于所需的温度范围的最高和最低的色温，Y是亮度，E和F是其参数.
8.一种用于限定用于根据权利要求1的自动白平衡系统的有限白色区域(200)的电路，其特征在于，在所述预定颜色空间的至少两个域内的黑体辐射曲线的位置是已知的，所述电路包括装置，该装置用于通过应用依赖于所述颜色空间的所述至少两个域的近似函数模拟所述黑体辐射曲线(202)，以及将所述近似曲线向左和/或向右移动，以限定围绕所述颜色空间内的所述黑体辐射曲线(202)的有限白色区域(200).
9.一种彩色数字图像捕获设备，包括用于捕获图像帧的图像传感器，该图像帧包括多个所述捕获图像设备的视区内景象的像素表示，以及根据权利要求1的自动白平衡控制系统，该自动白平衡控制系统用于执行关于通过所述图像传感器所捕获的图像帧的自动白平衡控制。
全文摘要
一种用于执行自动白平衡(AWB)控制的系统，其中所述有限白色区域(200)由公式清楚地限定，该公式在至少两个域内准确地符合黑体辐射曲线(202)，该公式是所述两个域的函数。该函数然后向左和/或向右偏移以限定围绕黑体辐射曲线(202)的有限白色区域(200)。制造时不必进行校准，并且不需要永久的存储器以存储自动白平衡的相应的参数和测量结果。倘若预先使用色彩矩阵，以将图像传感器的颜色空间转换为已知的颜色空间，可以使用合成的有限白色区域(200)。在此已知的颜色空间中，黑体辐射的准确位置是已知的，并且因此上述的公式可以用于形成围绕它的LWA探测范围。
文档编号H04N5/235GK101088297SQ200580044593
公开日2007年12月12日 申请日期2005年12月19日 优先权日2004年12月22日
发明者W·J·德哈恩 申请人:皇家飞利浦电子股份有限公司