专利名称：数字图像处理链中用于调节色彩平衡的方法及系统、用于实现此方法的相应设备以及软 ...的制作方法
技术领域：
本发明涉及数字图像处理链中用于调节色彩平衡的方法，在该方法中-对象按像素被成像，从而形成色彩分量的值集，-从色彩分量的值集形成分量特定的直方图，-从分量特定的直方图形成累积直方图，-从累积直方图来定义与至少一个色彩分量对应的照明色，-采用目标色和所定义照明色对于至少两个色彩分量来定义调节色彩平衡的增益系数。
另外，本发明还涉及用于实现此方法的相应系统、设备及软件部件。
大家知道，人类视觉系统能够适应不同的照明色。视野中的对象在照明色的变化范围内看起来好像具有不变的色彩。这种情况的一个实例是，白色对象在阳光以及在白炽光照明中被识别为白色，而不管阳光的浅蓝色调。一旦照明色离开人类自适应的范围，适应的程度减小，但是仍然感到色彩中的某种变化。例如，白色对象在日落中观看时看起来略带黄色。
人类视觉系统中的自适应的机制和工作仍然未被完全了解和理解。自适应部分在视网膜上发生，其中，色彩接收体的灵敏度在特定周期中根据它们的刺激均匀改变。还知道，自适应机制的其它部分由大脑皮层控制，在其中发生的过程极为复杂。
在评估正确的色彩平衡时，自适应过程的部分看起来采用所谓的记忆色。记忆色的实例是例如白色、肤色、草地、天空之类的色彩以及一般地在特定情况中具有特定原色的其它色彩。
用于数字照相机的传感器无法自动提供与人类视觉系统相似的适应性(甚至不能提供对应于视网膜的功能性)。传感器确定从成像对象反射的光的数量和色彩，但决不是与其相关的视觉。因此，已经拍摄并且没有进行调整的图像看起来好像具有失真的色彩平衡。这是因为，当某人正观察对象时，其视觉系统适应环境的照明而不是图像的内容。根据图像是室内还是室外拍摄的，白色对象可能看起来为蓝色或黄色。根据照明，当然也可能出现其它色彩。
其中还由于上述因素，一般在数字照相机设备以及在图像处理链中进行某种色彩平衡调节。调节经常称作自动白平衡，或者如果手动执行调节，则只是称作白平衡。目的是调节色彩平衡，使得图像在中性观察条件中看起来自然。
但是，与达到适当色彩平衡有关的问题极为困难。人类视觉系统的工作极为复杂，并且到目前为止证明不可能对它完全分析和理解。但是，一般来说，问题可分为两个部分。也就是1)在拍摄图像时对照明色的估算；以及2)所需校正的类型的定义以及对所拍摄图像的适当校正量的计算和自适应。
自动系统执行这些任务，而无需由照相机设备的用户进行任何动作。在手动执行的照明色调节方法中，照明色通过照相机用户的动作来设置。照相机可具有预定义的设定，例如室内和室外成像模式或者色温调节。用户也可把照相机对准已知颜色，通常为白色，以及照相机则根据这个所选参考色从其中定义校正。
在先有技术中公开了对上述问题的大量解决方案，因为色彩平衡调节在数字成像设备中是绝对必需的。调节可在照相机中实现或者在其它某种装置(例如在PC的图像处理程序中)作为所拍摄图像的后处理来实现。
从用户的观点来看，也许对该问题的最令人满意的解决方案是在照相机中设置自动色彩平衡调节功能，它结合图像的拍摄来实现。在这种解决方案中，不需要用户具有图像处理或者甚至一般的照相机调节按钮控制的任何具体知识。
大家知道，对于照明色存在至少三种基本类型的调节，它们基于采用照明色估算算法。
灰色世界算法是这些算法的第一种之一。它们基于视觉的自适应能力的简单模拟。在简化形式中，图像的平均色在其中被计算。这假定色彩应当是中性的、换言之为灰色。然后，图像的色彩分量经过调节，使得其平均色彩接近这个灰色。目的是控制调节量，其方式是，或多或少考虑人类视觉的整体适应性。灰色世界算法极广泛地用作在数字照相机装置中的色彩平衡调节算法的基础。
第二个这种调节算法称作最亮白平衡。大家知道，纯白色表面将反射照明的整个光谱。因此，白色区域的颜色也将表明照明色。当完全适应时，白色区域应当保持白色，使得可直接补偿照明色。图像的最亮区域通常为白色表面，使得亮度可用来搜索白色区域。
还可考虑色彩饱和及色调。这些属性也可用来确定色彩平衡校正的量和类型，其方式是，可或多或少地考虑视觉的适应性。由于白色的显著重要性，整组色彩平衡算法往往称作白平衡算法，即使它们甚至不从白色来测量照明色或者平衡白色。
基于最大色彩的算法可作为第三实例提供。如果图像甚至具有完全反射照明光谱的某个部分的一个表面，则光谱的这个部分将为已知。如果对于各部分存在完全反射表面，则整个光谱可被重构。照相机传感器通常不测量整个光谱，而是仅测量它的子波段或色彩通道的一部分。因此，如果图像包含完全反射照明的各部分、因而影响这些色彩通道的表面的组合，则可估算照明对于图像外观的影响。
即使不是全部，也是大部分数字照相机采用三个色彩通道来记录场景的色彩。这些通常为红、绿和蓝(RGB)。简单来说，这意味着，如果图像包括完全反射照明色的红、绿和蓝分量的表面，则可从其中估算照明色。
各色彩分量的最大值通常与全反射相关。通过这种假设，可以断定，色彩分量的最大值还确定照明色。应当注意，这些值经常从最亮的白色表面反射。在那种情况中，基于最大色彩的方法的使用将接近最亮白色算法。但是，白色的存在在采用最大色彩方法时决不是必需的。用于所述实现的最适当色彩空间也是不同的。与其它方法相似，基于最大色彩的方法可根据估算照明来调节校正的量和类型。
另外，以上所述的方法也可进行组合。因而，一些方法可能属于以上组中的一个以上。可通过同时采用若干方法并且明智地组合其结果，使色彩平衡更健壮。
在照相机装置特定的图像处理链中，色彩平衡算法必须与其它图像处理算法配合工作。链可在实际的照相机装置中实现，或者也可作为其它某种装置中的后处理功能来实现。链的典型算法不仅涉及色彩平衡调节，而且还涉及滤色器阵列内插(CFAI)、数字增益控制、黑电平调节、噪声降低、晕光校正、几何变形校正、如锐化和γ校正之类的图像增强、或者其它某种传感器响应校正。
链的实现还可分为要在照相机中执行的功能以及要作为后处理来执行的功能。另外，它们可作为硬件和软件解决方案来实现。该实现可完全与其它算法的实现分离，使得它们可以只取来自前一算法的图像数据作为输入进行分析和处理，而没有例如与前一算法相关的其它信息。
另一方面，算法也可非常密切地相互配合。这种情况的一个典型实例是一种配置，在其中，色彩平衡算法可控制色彩分量的增益。解决方案的实现可能是模拟的和数字的。总之，如果色彩平衡调节算法可在照相机特定的图像处理链中有效且自然地实现，则是极为有利的。
根据先有技术的解决方案的主要弱点是无效或错误操作。它们的作用随算法而不同。对于所有方法的一般问题(例如在日落时拍摄的风景照中)是实现有效工作的色彩平衡调节与景色的色彩外观的损失之间的折衷。除此之外，各组算法还具有其自己的典型错误情况。
灰色世界算法调节图像的色彩内容，其方式是，图像的平均效果变为中性。它们的主要问题在于，中性图像仅在一些特殊场合才是最理想的。这些情况是其中在平衡之后应当存在所有色彩的相等数量的情况。与此相反的情况的一个实例是肖像照，其中，平均色彩应当明确地接近肤色。这种方法还对图像中的大面积色彩极为敏感。它们使色彩平衡朝主体的互补色失真。若干修改已经用来增加这些算法的健壮性。例如，色调的加权平均、饱和或空间分布可用来减小高饱和色彩和大面积色彩的影响。类似问题仍然保持，除非色彩平衡的作用受到限制。在这种情况中，需要平衡的许多图像将保持未校正。
最亮白平衡算法对像素值的饱和极为敏感。如果超过照相机传感器的动态范围，则像素值将限制为最大值。最亮白平衡算法极适合与定义亮度信号的色彩空间配合使用。但是，传感器通常定义来自RGB通道的色彩。因此，饱和还出现在RGB域中。如果所有分量都饱和，则最亮白平衡方法将错误地把照明色估算为白色，因而不会执行平衡。如果一个或两个分量饱和，则对于其它某种照明色将得出错误估算值。这些方法还要求在图像中找到白色表面。否则，该方法将无法估算照明色。
基于最大色彩的方法也对像素值的饱和敏感。这些方法通常选择某个数量的最亮值，它们定义照明色。因此，允许轻微饱和。但是，在一些情况中，这产生问题。该算法还要求对于所有色彩分量在成像对象中必须找到全反射表面。由于例如在自然图像的情况中不满足这个条件，因此这些方法也时常失效。
还已知问题出现于实质上与色彩平衡调节的成功非常相关的功能中或者至少在它们与其的兼容性中。这些功能的一个实例是传感器中低劣属性导致的对于偏置和晕光消除的需要。在许多情况中，实际上重要的是以某种方式偏置传感器，因为否则传感器将产生信号，即使它所检测的完全是黑色。对晕光消除的需要通常也由传感器的‘低劣’引起，在这种情况中，遮光可能出现于边缘区域。
作为引用专利公开的一种先有技术，可提及美国公开US-2003/0174216 A1和US-2002/0024609 A1。
本发明意在创建一种在数字图像处理链中用于调节色彩平衡的新型方法及系统。根据本发明的方法的特性特征如所附权利要求1所述以及系统的特性特征如权利要求15所述。另外，本发明还涉及相应的设备，其特性特征如权利要求20所述；以及用于实现该方法的软件部件，其特性特征如权利要求21所述。
大体上，在根据本发明的方法中，对象最初作为像素被成像，从而形成色彩分量(R、G、B)的值集，从其中，根据一个实施例，根据本发明的方法，至少所有这些独立像素值或者由若干像素值组成的图像区域，其中甚至在一个值集中的一个或多个像素值超过/满足所选标准，被从各值集中滤出。因此，例如，当估算照明色时，可消除饱和像素导致的失真。
然后，从已过滤值集形成色彩分量的累积直方图，从其色彩曲线定义与各色彩分量对应的照明色(Rill、Gill、Bill)。
在根据本发明的方法中，从每个已过滤累积直方图结束处的色彩曲线的平坦区域定义照明色。从至少一个色彩分量的平坦区域寻找在其中相继像素强度值之间的比率Ci/Ci+1(或者差值)满足为它设置的标准的公共点hi。在累积直方图中，因而对于各色彩分量相同的点hi的间隔可设置为相当适当，因为其中饱和像素还在该方法的前一级被滤出。因此，所定义的照明色则用来组成调节色彩平衡的按分量映射。因此，照明色可通过采用任何已知方法来补偿。本发明主要涉及照明色的这种定义。在一个实施例中，平坦区域采用两个色彩分量来识别，以及至少一个色彩分量被调节。
根据本发明的方法的使用允许色彩平衡校正增益的健壮且有效的控制和类型定义。另外，它还在困难的照明条件中取得良好结果。
根据本发明的色彩平衡调节方法可在照相机特定的成像链中极为有效地实现。可使它自然地与其它算法配合工作。例如，保持适当的方法复杂度使它适用于照相机装置。但是，该方法例如还可适用于在照相机装置外部进行的后处理。
根据一个实施例，在根据本发明的方法中，三个子标准用来定义照明色。在其中，对应于相继累积分布的像素(强度)值关系以设置方式与为其设置的标准值进行比较。标准值例如可基于已经表明在色彩平衡调节中提供良好结果的经验数据。
根据另一个实施例，在根据本发明的色彩平衡调节之前，例如还可对原始矩阵像素值执行消隐脉冲电平消除。这将明显减少传感器所产生的不必要信号。
可结合在根据本发明的方法中的其它功能性包括晕光消除、暗色校正以及γ校正。
根据本发明的方法甚至可按照全自动方式在照相机装置中实现，但是也可作为后处理来实现。另外，用户本身的判断也易于连接到该方法。
根据本发明的方法及系统可以相当轻松地结合在现有图像处理链和照相机装置中以及那些当前设计中。根据本发明的方法几乎不向照相机装置添加导致例如对设备的处理能力或其存储器使用的明显损害的太多复杂度。根据一个实施例，甚至在纯软件级实现的方法也可极易结合到例如照相机装置中。纯硬件级实现和硬件/软件级实现的组合自然是可能的。该方法可实现自动或半自动。
通过所附权利要求将十分清楚根据本发明的方法、系统、设备和软件部件的其它特性特征，同时可实现的附加优点在描述部分进行详细阐述。
下面参照附图更详细地描述根据本发明的方法、用于实现该方法的系统、设备及软件部件，它们不限于以下所述的实施例，附图包括
图1说明根据本发明的图像处理链的一个实例的示意图，图2说明传感器中的色彩分量像素的一个实例，图3a和图3b说明在从其中形成按分量直方图时，先有技术与根据本发明的方法之间的比较，图4a和图4c说明作为与根据本发明的方法结合的示意实施例的按分量累积直方图，图5说明偏移校正的原理的示意图，图6说明暗色校正的原理的示意图，图7说明根据本发明的方法的直方图的处理，图8说明作为大体上的实例的γ校正曲线的实例，以及图9说明用于根据本发明的色彩平衡调节方法中的标准值的表格实例。
图1的示意图说明根据本发明的数字图像处理链10的一个实例。这种图像处理链10例如可设置在数字照相机装置中，或者一般设置在配备了照相机传感器的装置中，它们现在例如甚至可见于移动台中。根据本发明的色彩平衡校正方法很适合于大量不同的照相机特定成像链，其实现自然可与图1所示不同。另外，链10自然还可适用于后处理，例如采用软件部件(例如结合图像处理软件)来实现。
色彩平衡调节方法与图像处理链10中设置的其它功能之间的协作也可相当轻松地有效实现。在这种情况中，根据本发明的方法在图像处理链10中表示，它包括CFAI、晕光消除VE、传感器消隐脉冲电平消除PE以及γ校正/估算GE、GA。整个链10上的任何点当然也可包括其它信号处理功能，其中的一个实例是设置在γ校正之前的色域转换CGC(未示出)。
根据本发明的实际色彩平衡调节方法包括若干子级，例如照明色估算级CBA和校正级CBC。图1说明色彩平衡调节级CBA、CBC如何与成像链10中的其它功能相关。在图10中，带交叉阴影线的块CBA、CBC是该方法的核心组件。阴影块PE、GE、GC可与根据本发明的方法密切配合工作。无阴影块VE和CFAI可以是独立的，但也与色彩平衡调节相关。
随后，根据本发明的方法及系统在根据本发明的图像处理链10中来描述，作为应用的个别实例，它属于例如可处于根据本发明的照相机设备中的一种，从涉及色彩平衡调节的功能CBA、CBC开始。
实际色彩平衡调节的第一级是照明色Rill、Gill、Bill的估算。在根据本发明的方法中，根据图像的色彩分量直方图来执行估算。然后，从主要色彩R、G、B形成按分量的色彩曲线。
像素的亮/暗(强度)在直方图的X轴上表示，使得例如X轴的右端为亮端，而左端为暗端。类似地，Y轴用来表示与各亮度等级对应的像素数量。直方图的形成表示一种技术，它同样是已知的，因此在这方面不作更详细描述。各色彩分量(R、G、B)的信号值(即强度值)的直方图相互分开地测量。
按分量的直方图可从内插信号来收集，或者也可像这个实现实例中使用的那样在信号内插之前收集。这意味着，色彩分量直方图可从原始图像数据定义，在其中，照相机传感器的各物理像素仅表示一个色彩分量。虽然在本例中传感器的色系是在RGB级描述的，但是，其它技术(CMYK、YUV等)对于本领域的技术人员也是明显的。
用于执行这种操作的典型实现例如是众所周知的拜耳矩阵排列，如图2所示。更一般来说，这意味着，按像素的对象的描绘组成色彩分量R、G、B的值集[R]、[G]、[B]。在本申请所述的RGB应用实例的情况中，四个像素中的两个像素为绿色，而一个像素为红色以及一个为蓝色。存在更多绿色像素，因为绿色极好地描绘亮度，因此从眼睛的角度来说是重要的。但是，这种传感器也是可行的，在其中，例如仅每第五个像素表示绿色G。传感器通常对绿色比对红色或蓝色更敏感。
直方图通过扫描图像的像素来收集。对于各色彩分量R、G、B计算每个可能的信号电平的发生次数。因此，例如在RGB图像的情况中，得到三个直方图，如图3a所示。
但是，在图3a所示的情况中可看到一个重要的缺点，它一般涉及先有技术的照明色估算方面。这个问题是由可能的饱和像素的有害影响引起的，甚至各镜头的图像点15.1-15.3中的单个饱和像素G(S)也足以干扰图像主题的其它像素R、G、B。在直方图3a中，这表示具有最高信号值的大量像素。这导致在本申请的前面部分更详细描述过的问题。这表现为在各色彩曲线R、G、B中可见的直方图中的峰值(图3a中)。
在根据本发明的方法中，在直方图的收集阶段，不仅这些饱和像素G(S)令人吃惊地被丢弃，而且图像点15.1的相应像素R、G、B也是如此。图3b说明在根据本发明的方法中的直方图上的这种程序阶段的作用。这个操作消除原本会导致先有技术中出现的照明色估算差错的直方图的高峰。
像素值从各值集[R]、[G]、[B]中的过滤在形成累积直方图之前执行。过滤针对这类像素值G(S)，或者除此之外，还针对这类图像点15.1的像素，在其中，甚至图像点的单个值集[R]、[G]、[B]中相同图像点15.1的单个像素值也超过或满足为它设置的所选标准。
根据本发明的照明色的估算没有受到这些饱和像素G(S)以及相同图像点15.1上的其它像素R、G、B的丢弃的干扰-反而使色彩估算更可靠。定义饱和的极限点、即标准值可经过设置，使该方法例如有利地与消隐脉冲电平消除级兼容，稍后更详细地进行描述。有利的值取决于实现的一般配置。在示例情况中，如果从最大信号值中扣除因子消隐脉冲电平值/2，则能够采用所得到的标准值，其中，消隐脉冲电平值可能为例如64。暗端也可按照类似方式来处理。
因此，如果甚至相同图像点15.1的像素的色彩分量R、G、B之一饱和(G(S))，则图像点15.1的其它分量值R、G、B也被丢弃。在没有执行CFAI的原始图像的情况中，这意味着属于相同原始像素组15.1的所有色彩分量R、G、B被丢弃。这种情况及其对所收集直方图的影响如图3a和图3b中示意说明。
在图3a和图3b中，存在两个原始像素组15.1-15.3，在其中的一个中，所述饱和问题出现于绿色像素G(S)中。峰值则形成在图3a的直方图中，它的形成考虑所有图像点，即原始像素组15.1-15.3。在图3b中，导致问题的原始像素组15.1被丢弃，使得分量的直方图曲线R、G、B变为实质上不太陡峭。
在方法的下一级，从已过滤色彩分量所形成的直方图估算照明色。图4a-4c说明色彩分量R、G、B的累积直方图，它们从实际直方图形成，以及已经从其中滤出饱和像素G(S)及其相应的图像点15.1，如上所述。根据一个实施例，例如，可在累积直方图的X轴上以预定所选间隔来表示像素百分比的累积和或像素数量或者对应于像素的数量/比例的其它某个量，在这种情况中，与其对应的强度值可表示在Y轴上。在根据实施例的一个示例情况中，例如，像素的累积百分比hi在X轴上以预定间隔设置，说明在与其对应的强度点Ri、Gi、Bi之前已过滤像素的比例(或数量)为多大。
在根据先有技术的方法中，采用表示具有比参考值更低的值的像素的特定百分比的设置色，从累积直方图的点来估算照明色。
在根据本发明的方法中，从已过滤累积直方图的最亮端的基本平坦区域(图4a-4c的直方图中的色彩曲线的右端)来定义照明色。在这个平坦区域或者可看作是基本平坦(例如与曲线的其它区域相比)的区域中，直方图的曲线实质上不再按照其设置的标准条件上升，即，色彩的强度值实质上不再按照为它设置的条件变化。
在一个实施例中，主要部分通过用于搜索色彩曲线的平坦区域的程序来进行，从已经从其中滤出饱和像素G(S)及其图像点15.1的累积直方图来执行。在设置以设置方式附加的预定累积像素比例点h1、h2、…、hn以及计算对应于这些点的强度值(R1-Rn，G1-Gn，B1-Bn)之后，根据本发明的方法的主要原理，在色彩曲线R、G、B的平坦区域中搜索公共点hi，它对于各色彩曲线R、G、B以设置间隔来定义，以及在其中，与以设置分割间隔定义的相继点hi、hi+1对应的像素强度值的比率Ci/Ci+1(C＝R，G，B)满足为其设置的标准值。
根据本发明的方法，通过分析对应于这些点hi的顺序强度值Ci、Ci+1，来定义照明色Rill、Gill、Bill。可以看到，如果忽略像素值的饱和的过滤级，则该方法在很大程度上根据先有技术，在其中，取决于当前所选百分比门限的一组点(Ri，Gi，Bi)被估算为照明色。
但是，在根据本发明的方法中，色彩采用更高度发展的算法来估算，它对于与照明色(Rill，Gill，Bill)对应的点hi设置特定子标准。
通过增加值i，直到对色彩曲线设置的平坦度条件对于各曲线R、G、B基本满足，来寻找与照明色(Rill，Gill，Bill)对应的点hi。一般对于各色彩分量不同的、对应于点hi(即对应于所述点的百分比)的强度值Ri、Gi、Bi被设置为照明色(Rill，Gill，Bill)。
根据一个实施例，这个标准还可描述为三个子标准。在这些子标准的第一级，能够搜索色彩分量曲线R、G、B的每个以寻找曲线R、G、B公共的这种点hi，在其中，与以特定方式设置的相继点hi、hi+1对应的像素强度值Ci、Ci+1的比率rc小于为其设置的第一门限值ti。换言之，子标准也可按照数学方式以公式表示，其方式是rc=CiCi+1<ti,]]>其中C＝(R，G，B)作为该方法中的下一个子标准级，可检查在第一级中搜索的满足第一子标准的像素值的比率rR、rG、rB之和是否小于为其设置的第二门限值t2。如果不满足这个条件，则返回到第一级以便寻找满足第一子标准的色彩分量的新三元组，它们因而将全部处于相同的百分比点hi，但是对应于这个点hi的强度值Ri、Gi、Bi一般相互不同。这个第二子标准也可按照数学方式以公式表示，其方式是RiRi+1+GiGi+1+BiBi+1<t2]]>如果在百分比点hi中不满足第二子标准，则程序返回到第一子标准级。但是，如果采用已经找到的色彩分量的三元组(在点hi处找到的)也满足第二子标准，则程序转移到第三子标准级。
在第三子标准级，检查第一子标准级中找到的像素值Ri、Gi、Bi的变化的相对速度的最大像素值变化与最小像素值变化之间的比率是否小于为其设置的第三门限值t3。此条件也可按照数学方式以公式表示，其方式是 表9的列3和列4说明门限值t1、t2的列表的实例，它们经实验证明是有效的。门限值t1可通过这种方式设置例如，它处于1.04与1.125之间，其中，它以经实验证明是有效的间隔增加，从基值1.04开始，对应于索引值1。门限值t2可通过这种方式设置例如，它处于3.07与3.24之间，其中，它以经实验证明是有效的间隔增加，从值3.07开始，对应于索引值1。门限值t3例如可设置成大约为4。
对应于预设百分比值的索引i例如可按照经实验证明是有效的间隔增加31次。在表9中，在累积直方图中设置为固定的百分比集h1可根据列2来设置。索引i＝1对应于来自所述色彩分量的直方图中设置的最大强度值(100％)，在其中，当收集直方图时，饱和像素G(S)以及在与饱和像素G(S)相同的图像点15.1上形成的像素R、G、B被滤出。强度值根据表格中的百分比减小，即，例如，在点h10，在直方图中设置的99.6％的强度值的幅度小于或等于与所述强度值对应的点。一旦采用所述百分比间隔采取31步，最后完全可假定，对于照明色已经找到满足所有子标准的色彩三元组(Rill，Gill，Bill)。这种色彩三元组的查找将在直方图收集阶段帮助采用所述百分比分割滤出确切的饱和像素G(S)以及由它们组成的图像点15.1。
如果由于某种原因，情况是无法找到满足子标准的索引点i，则在那种情况中，所述的索引值i＝32未经比较被选作参考点，即作为最亮的平坦区域，以及对应于所述点h32的各色彩分量R、G、B的强度值被选作对应的照明色。
在表9的尾部，例如索引值i＝32-34可用于选择γ值以及检验色彩的正确性。
门限值t1、t2、t3的值集是基于本申请人进行的对照明色的优良估算程序的实验观察，因而没有对它们的具体逻辑说明。
仍然作为示意说明，作为实例具体参照图4a-4c中的插图，这些插图示出平坦区域的放大，从其中寻找直方图R、G、B的公共百分比点hi。必须理解，插图中的直方图采用极为夸张的陡度来表示，而在其它方面，由于它们的形式的相似性，描述信息也是相当不真实的，但是在这种情况中，它们只是意在说明根据本发明的方法的基本原理。
从直方图R和G可以看到，其中的延伸到直方图的最右端的平坦区域至少与直方图B相比相当早开始。因此，大体上，根据本发明的方法，色彩曲线R和G已经在其极右端、或者至少比色彩曲线B的情况中更接近极端处满足子标准。
另一方面，其间至少与色彩分量R和G相比、色彩B的强度相当急剧变化、并且实质上比在这种平坦区域的极右端仍然平坦区域更陡的百分比区间h1-h4可在直方图B中看到。累积直方图B中的这种升高例如可能由成像情况中主要的照明条件引起，正因为它，镜头的色彩平衡必须被校正，以便消除照明色的影响。
在使用根据本发明的方法时，参照图4a-4c的插图，满足色彩分量中每一个共同的设置标准的百分比点hi这时在点h4找到，其中，根据本发明的方法，从色彩分量B的直方图找到满足子标准的平坦区域。这时从对应于点h4的强度值R4、G4、B4得到相应照明色Rill、Gill、Bill，它一般对于各色彩分量R、G、B都不相同。
采用以上定义的子标准，可进行照明色(Rill，Gill，Bill)的非常健壮的估算。另外，估算的可靠性可采用适当算法来测试，以及从其中得到的结果用来判定所需的校正量以及是否需要可能的重新调节。
校正量、换言之增益系数GR、GG、GB用来调节色彩平衡。校正量与各估算照明色被转换到的设置的目标等级Rtgt、Gtgt、Btgt直接相关。调节色彩平衡的各色彩R、G、B的增益系数采用目标色彩Rtgt、Gtgt、Btgt以及以上述方式定义的、对应于各色彩分量R、G、B的照明色Rill、Gill、Bill来获得，在其中GR＝Rtgt/RillGG＝Gtgt/GillGB＝Btgt/Bill在全等级校正中，目的是使照明为白色(tgt＝白色；关于相应缩放的值则为1000)。然后，色彩分量信号采用增益系数来放大，其方式是，照明色变成白色。目标等级可随着饱和像素的数量增加而减小，或者随着原始图像的亮度减少而减小。这是因为不希望在图像的亮度减小时将增益设置过高，而是黑暗中拍摄的图像应当比在光线下拍摄的图像略微更暗。
通过适当地处理所定义增益系数GR、GG、GB，可使色彩平衡调节更为健壮。例如，增益系数GR、GG、GB可以相互比较，并且对于每个可能的组合，可能需要满足以下条件kminGCrefGC≤C1refGC1≤kmaxGCrefGC，其中C＝(R‖G‖B) ja C1＝(R‖G‖B，C1C)kmin＜1，kmax＞1在那种情况中，与绿色G的校正系数GG相比，红色C1＝R的校正系数GR将具有特定间隔。这种相同情况相对于其它色彩R、G、B施加到所有色彩R、G、B。根据一个实施例，在这些条件中，例如能够设置kmin＝0.66和kmax＝4/3。值Gcref说明标准照明中的色彩分量的相互关系，传感器的色彩灵敏度属性相对于该相互关系产生对于定义的需要。这是因为传感器通常对于绿色分量G比对于红色分量R和蓝色分量B更为敏感。进行自动校正例如将取决于传感器制造商。如果已经进行自动校正，则参考值对于所有色彩分量通常将为1。如果没有进行校正，例如，则可对绿色G设置GGref＝1，在这种情况中，红色可相应地被设置，可对红色R设置GRref＝1.6，以及对于蓝色B设置GBref＝2.1。
应当理解，这些数值可在某个程度上改变，因而决不限制为这里所述的值。这些值也基于实验结果，它在算法的开发的试制阶段中出现。增益GR、GG、GB被改变，直至满足上述条件。
通过采用这些已修改的增益系数GR、GG、GB，还可对每个色彩分量R、G、B计算中间值。如果注意到所选参考色彩分量的中间值与另一个色彩分量的中间值之间的差值较大，则增益经过调节，使得它们之间的差异减小。例如，绿色分量G可用作参考色彩分量。
此外，作为对增益系数GR、GG、GB的最后限制，可设置一个条件它们中的每个必须在以下范围Gmin≤GC≤Gmax，其中C＝(R，G，B).
在这里，值Gmin、即绝对值可设置为例如1，以及值Gmax例如可设置为16，根据一个实施例，例如10。
如果在预定义的系数GR、GG、GB的任一个的情况中不满足上述限制，则所述的增益系数经过修改，以及其它系数以相同关系进行相应地重新调整。
一旦增益系数GR、GG、GB已经接收它们的最终形式，它们随后可用来形成各色彩分量R、G、B的按分量的映射，这将调节色彩平衡。在这些映射中，下标In表示由照相机传感器所检测的色彩，而下标Out表示通过增益系数(GR，GG，GB)校正的色彩，即ROut＝GR*RInGOut＝GG*GInBOut＝GB*BIn按分量的原始直方图在图7的上面描述信息中表示，而中间描述信息则表示它们的采用根据本发明的方法所定义的增益系数从其中形成的按分量函数映射，其中，根据本发明的方法因而考虑照明色。最低直方图表示根据本发明的方法处理的按分量直方图，在其中，还考虑通过其来增加暗端对比度的所谓偏移减少。
在根据本发明的方法中，上述色彩平衡的自动调节CBA、CBC之外的其它操作也可应用于设置在照相机装置本身中或者设置在外部设备中的图像处理链系统10。
图5说明这些操作的第一实例，它称作所谓的消隐脉冲电平消除PE，即对原始矩阵执行的像素值的偏移校正。从说明图像处理链的图1可看到，这种校正可在链10中对于直接从传感器得到的原始图像执行。
偏移是从色彩信号定义的最小值，它例如在捕捉全暗镜头时获得。数字照相机装置的传感器对于各色彩通道可能具有不同偏移。但是，从健壮色彩平衡的调节操作的观点来看，重要的是，让偏移尽可能完美地被消除，以及因而让传感器线性化。消除可设置为永久的以及传感器特定的，只要相同的偏移在色彩分量信号中系统地增加。也可采用自适应模式。
与实现的方式无关，在先有技术中，在像素值的偏移校正的原理中，偏移值用来减小像素值。但是，在试制阶段测试中，这种操作已经表明减小信号的动态范围，因为最亮值也被减小。
在根据本发明的方法中，像素值的偏移校正至少部分线性地执行。根据一个实施例，如果像素的信号电平低于对其设置的极限值t，则这例如可通过经由直接减法计算消除消隐脉冲电平p来执行。如果像素的信号电平超过所设置的极限值t，则消隐脉冲电平p被减去，但是同时，信号也经过放大，使得最大信号电平没有实质下降。
例如，在根据本发明的方法的情况中，当估算照明色以及尝试基本消除饱和像素值的影响时，这种消隐脉冲电平消除级PE极为有利。通过上述方式、即部分线性执行，饱和像素将在消隐脉冲电平消除PE中保持饱和。
根据本发明执行的消隐脉冲电平消除PE的性能大体上可采用下式来描述，参照图5y＝0，当x＜py＝x-p，当p≤x＜ty=x-p+x-txmax-tp,]]>当x≥t其中p＝消隐脉冲电平ja t＝门限值坐标轴模拟被明确应用，其方式是y＝Out，以及x＝In。在这些式中，例如可能是xmax＝1023，p＝64，以及t＝xmax-(p/2)＝＞1023-(64/2)＝991。
根据又一个实施例，图像处理链10还可包括所谓的边缘校正，它在本领域所述的那些术语中称作晕光消除VE。晕光消除VE例如可在消隐脉冲电平消除PE之后设置在图像处理链10中。采用晕光消除VE的一个优点是图像中的角落暗化的减小。图像的角落的暗化一般由传感器的光学和物理属性引起。晕光现象的特征在于图像的亮度值的减小，从图像的中心开始，并向图像的各角落径向进行。
根据本发明的晕光消除算法VE可用来补偿这个缺陷，其方式是，它在图像中施加空间变化的偏移以及其中还可取决于像素位置的晕光现象校正系数vf。校正系数vf的值随着晕光现象与中心点的距离r增加而增加。
中心点(r＝0)例如可设置为图像的中心。校正系数vf可发展为取决于传感器特定参数和距离的函数。参数例如可采用校准成像来定义，其中传感器用于对具有标准照明的白色表面成像，以及从其中参数的适当基本估算用来定义参数，使得它们可用于消除晕光现象。距离r可通过一种本身已知的方式(例如勾股定理)来确定，其中，但是，必须将所谓的纵横比作为附加系数来考虑。如果各像素值乘以对应于与其对应的距离r的系数vf，则直接得到晕光消除。另外，还必须考虑以下事实由于衰减的不同方式，可对于各色彩分量Rvf、Gvf、Bvf分别推导校正系数。如果色彩分量被分别衰减，则校正由此产生的差错是良好的，使得不会在实际色彩平衡调节中导致差错。
有利的是，以下列方式来设置晕光消除算法VE它例如在消隐脉冲电平消除PE之后以及在色彩平衡估算级CBA之前在图像处理链10中进行，因为在那种情况中，在图像中将不可能存在暗角落而使实际色彩平衡调节CBC失真。
图6说明可能附加到根据本发明的方法的另一个子级的一个实例。作为根据本发明的图像处理链中的最后子级，根据一个实施例，可能还存在暗色校正。其中，从累积直方图寻找满足为其设置的特定具体门限的值。在暗色校正中，根据门限值所确定的最暗色彩分量朝黑色伸展某个设置量，以及其它分量也可按照相同比例来处理。通过将设置幅度的偏移添加到色彩转换函数来进行伸展，如图6所示。
根据一个实施例，暗端门限值例如可通过以下方式来定义从色彩分量R、G、B的每个的直方图寻找例如对应于像素数量的1％的强度点。此后，对应于各色彩分量的1％点的强度值乘以对应于各色彩分量的当前校正系数，以及因而得到的已修改强度值的最小值被选取，该已修改强度值还乘以0.7，然后选作校正的幅度。
以上定义及选取的校正幅度随后除以当前校正系数GR、GG、GB，作为其结果，对于各色彩分量得到除法偏移值OffsetR、OffsetG、OffsetB。应当注意，偏移值不影响色彩，只是将其伸展以变得更暗。为了可使色彩平衡调节目标等级保持为最初预计的那样，新调节的校正系数GR’、GG’、GB’仍然必须被定义。如果图像中没有暗点，则对比度可(略微)增加。
图7中最下面的直方图表示一个实例，说明通过暗像素的色彩的校正得到的直方图，其中，当校正暗像素的色彩时，以上述方式定义的偏移被添加到转换函数中，从而产生转换函数的放大的重新调节。作为暗端的校正的结果，转换函数接收以下形式
ROut＝GR′*(RIn-OffsetR)GOut＝GG′*(GIn-OffsetG)BOut＝GB′*(BIn-OffsetB)然后，这个过程的结果是，比定义点更亮的点被转换为明亮的，而比它更暗的点则变得更暗。变化对于直方图的影响在图7的最下方描述信息中说明，它还示出作为根据本发明的图像处理链10的结果得到的最终按分量的直方图。从色彩分量形成的映射函数在中部In/Out描述信息中表示。
线性转换函数可用于根据本发明的方法。如果所使用的算法进一步与可能的γ校正结合，非线性也可被添加并且通常被添加，作为附加实施例。
根据一个实施例，γ校正GC可通过这样的方式来实现首先定义图像的类型。根据实施例的一个实例，这可通过搜索累积直方图的X轴上的25％、50％和80％点来进行，其中，在25％点、例如组成图像的像素的25％具有比该点更暗或相等的强度值。可根据其来判定当前处理的镜头是常规、背光还是低对比度的用于强度值的标准被设置为对应于百分比25、50和80。定义之后，与图像应当加亮的程度成比例地选择较小的γ值。在图8中，对于SRGB(标准RGB)图像，在CEI/IEC组织(Commission Internationale de l’Eclairage(维也纳)/(国际电化学委员会(日内瓦))中，已选择γ等级0.45＝1/2.2。在根据本发明的方法中，γ值例如可从0.20到0.60变化。一般极近似地来说，可以指出，在γ校正中，色彩平衡在调节链10的最后级中通过以幂的数量级增加进行调节，其中，对于强度值进行适当的强度区域自乘，其中幂的数量级对应于γ值。直接幂的数量级增加不是在曲线的初始区域中执行，以便防止暗区的变化过快(陡峭)。
根据一个实施例，根据本发明的色彩平衡调节方法的子级可综述如下。
1.消除消隐脉冲电平PE，2.消除晕光VE，3.通过滤出饱和像素值G(S)以及对应它们的图像点15.1来收集直方图，4.根据本发明的方法，采用边界条件t1、t2、t3，从累积直方图定义照明色Rill、Gill、Bill的估算值，5.采用照明色的估算值来定义必要的色彩转换映射函数，以及采用它们来调节已推导的边界条件和限制，6.调节色彩分量R、G、B的最暗值，7.当判定γ校正的视觉最佳值时，采用加法和直方图数据。
级3、4、5和6组成根据本发明的方法的核心组件。应当注意，取决于实现，这些级可按照若干不同方式重新设置或组合。
必须理解，以上描述及相关特征只是意在说明本发明。因此，本发明决不是仅限制到所公开或者权利要求中陈述的实施例，本领域的技术人员将会十分清楚可能处于所附权利要求定义的本发明实质的范围之内的本发明的许多不同变更和修改。
权利要求
1.一种在数字图像处理链(10)中用于调节色彩平衡的方法，在所述方法中-对象按像素被成像，从而形成色彩分量(R，G，B)的值集，-从所述色彩分量(R，G，B)的值集形成分量特定的直方图，-从所述分量特定的直方图形成累积直方图，-从所述累积直方图定义与至少一个色彩分量对应的照明色(Rill，Gill，Bill)，-采用目标色(Rtgt，Gtgt，Btgt)和所定义的照明色(Rill，Gill，Bill)对于至少两个色彩分量(R，G，B)定义调节色彩平衡的增益系数(GR，GG，GB)，其特征在于，在所述方法中-从所述累积直方图的结束处的色彩曲线的基本平坦区域来定义这种点hi，其中，在至少一个色彩分量(R，G，B)的情况中，对应于相继点hi、hi+1的按色彩分量的像素强度值Ci、Ci+1满足为其设置的标准条件，以及-对于至少一个色彩分量(R，G，B)将对应于公共定义点hi的按色彩分量的强度值Ci设置成对应于所述照明色(Rill，Gill，Bill)。
2.如权利要求1所述的方法，其特征在于，通过搜索满足以下子标准的最小索引i，从所述累积直方图定义所述照明色(Rill，Gill，Bill)1)在各色彩分量(R，G，B)中，对应于根据设置区间分割所选的两个相继点hi、hi+1的像素值Ci、Ci+1的比率rc小于为它们设置的第一门限值t1，即rC=CiCi+1<t1,C=(R,G,B)]]>2)对应于所述像素值Ci、Ci+1的比率rc的这样产生的和小于为它们设置的第二门限值t2，RiRi+1+GiGi+1+BiBi+1<t2]]>3)最大像素值变化与最小像素值变化之间的所述像素值Ci、Ci+1的变化的相对速度的比率小于为其设置的第三门限值t3， 其中，满足所述条件1-3的对应于所述点hi的各色彩分量的强度值Ci被设置成对应于所述照明色(Rill，Gill，Bill)。
3.如权利要求2所述的方法，其特征在于，所述第一门限值t1在范围1.0-1.5之内、优选地在范围1.01-1.2之内变化。
4.如权利要求2或3所述的方法，其特征在于，所述第二门限值t2在范围3.0-4.0之内、优选地在范围3.0-3.5之内变化。
5.如权利要求2-4中的任一项所述的方法，其特征在于，所述第三门限值t3在范围3.0-5.0之内变化，优选地大约为4.0。
6.如权利要求1-5中的任一项所述的方法，其特征在于，在所述方法中，在色彩平衡调节(CBC)之前，还对原始矩阵的像素值执行消隐脉冲电平消除(PE)。
7.如权利要求6所述的方法，其特征在于，所述消隐脉冲电平消除(PE)至少部分线性地执行，例如，以如下方式-当色彩分量(R，G，B)的像素值电平低于为其设置的门限值(t)时，通过直接减法来扣除偏移(p)，而且，在设置门限值(t)之后，-所述偏移(p)被扣除，但是同时以这样的方式增强所述像素值，使得所述最大像素值电平实质上没有减小。
8.如权利要求1-7中的任一项所述的方法，其特征在于，在所述方法中，优选地在所述消隐脉冲电平消除(PE)之后以及在所述色彩平衡调节(CBC)之前，还执行晕光消除程序(VE)。
9.如权利要求8所述的方法，其特征在于，空间变化的偏移和像素值增益系数(vf)用于晕光消除程序(VE)中。
10.如权利要求9所述的方法，其特征在于，分别为各个色彩分量(R，G，B)推导所述增益系数(vf)。
11.如权利要求1-10中的任一项所述的方法，其特征在于，与所述方法结合，还执行暗色校正程序，其中，作为子级，-从所述累积直方图中寻找满足为其设置的门限条件(dpcc)的这类像素值，-所定义的最暗色彩分量采用所定义幅度的偏移朝所述直方图的暗端伸展，同时还以相同比例处理其它色彩分量，以及-对转换函数的增益(GR，GG，GB)执行重新调节。
12.如权利要求1-11中的任一项所述的方法，其特征在于，为各个色彩分量(R，G，B)定义中间像素值，以及如果所选参考分量的中间像素值和所述色彩分量(R，G，B)的中间像素值以设置的方式相互不同，则调节所述增益(GR，GG，GB)，以便减小差异。
13.如权利要求1-12中的任一项所述的方法，其特征在于，所述方法还包括γ校正级GC，其中-从所述累积直方图来定义拍摄类型，所述类型可以是例如常规、背光或低对比度，-根据拍摄类型定义，被选择用于γ校正的γ值与图像应当加亮的程度成比例地减小，所述γ值可以例如在范围0.10-0.80之内、优选地在范围0.20-0.60之内变化。
14.如权利要求1-13中的任一项所述的方法，其特征在于，在所述累积直方图形成之前，其中甚至一个值集中的相同图像点(15.1)的像素值满足所选标准的至少这类像素值(G(S))被从至少一个值集中滤出。
15.一种在数字图像处理链(10)中用于调节色彩平衡的系统，所述系统包括-用于按像素将对象成像而形成色彩分量(R，G，B)的值集的部件，-用于从所述色彩分量(R，G，B)的值集形成按分量的直方图的部件，-用于从所述按分量的直方图形成累积直方图的部件，-用于从所述累积直方图定义与至少一个色彩分量对应的照明色(Rill，Gill，Bill)的部件，-用于采用目标色(Rtgt，Gtgt，Btgt)和所定义的照明色(Rill，Gill，Bill)为至少两个色彩分量(R，G，B)定义调节色彩平衡的增益系数(GR，GG，GB)的部件，其特征在于，所述系统还包括-用于从累积直方图的结束处的色彩曲线的基本平坦区域定义这种点hi的部件，其中，在至少一个色彩分量(R，G，B)的情况中，对应于相继点hi、hi+1的按色彩分量的像素强度值Ci、Ci+1设置成满足为它们设置的标准条件，以及-用于对于至少一个色彩分量(R，G，B)将对应于定义公共点hi的按色彩分量的强度值Ci设置成对应于所述照明色(Rill，Gill，Bill)的部件。
16.如权利要求15所述的系统，其特征在于，所述系统还包括设置在色彩平衡调节(CBC)之前、用于对原始矩阵的像素值执行消隐脉冲电平消除(PE)的功能性。
17.如权利要求15或16所述的系统，其特征在于，所述系统还包括用于执行优选地设置在所述消隐脉冲电平消除(PE)之后以及在所述色彩平衡调节(CBC)之前的晕光消除(VE)的部件。
18.如权利要求15-17中的任一项所述的系统，其特征在于，所述系统还包括用于校正暗色的部件。
19.如权利要求15-18中的任一项所述的系统，其特征在于，所述系统还包括用于在所述累积直方图形成之前滤出至少一个值集的至少这类像素值(G(S))的部件，其中甚至一个值集中的相同图像点(15.1)的像素值满足所选标准。
20.一种用于调节色彩平衡的设备，其中，所述设备包括数字图像处理链(10)，其中所述链(10)包括-用于按像素将对象成像而形成色彩分量(R，G，B)的值集[R]、[G]、[B]的部件，-用于从所述色彩分量(R，G，B)的值集形成按分量的直方图的部件，-用于从所述按分量的直方图形成累积直方图的部件，-用于从所述累积直方图定义与至少一个色彩分量对应的照明色(Rill，Gill，Bill)的部件，-用于采用目标色(Rtgt，Gtgt，Btgt)和所定义的照明色(Rill，Gill，Bill)为至少两个色彩分量(R，G，B)定义调节色彩平衡的增益系数(GR，GG，GB)的部件，其特征在于，所述设备还包括-用于从累积直方图的结束处的色彩曲线的基本平坦区域定义这种点hi的部件，其中，在至少一个色彩分量(R，G，B)的情况中，对应于相继点hi、hi+1的按色彩分量的像素强度值Ci、Ci+1设置成满足为它们设置的标准条件，以及-用于对于至少一个色彩分量(R，G，B)将对应于定义公共点hi的按色彩分量的强度值Ci设置成对应于所述照明色(Rill，Gill，Bill)的部件。
21.用于实现如权利要求1所述的方法的软件部件，其中，所述部件包括用于接收图像数据的接口-用于按像素将对象成像而形成色彩分量(R，G，B)的值集的软件部件，-用于从所述色彩分量(R，G，B)的值集[R]、[G]、[B]形成按分量的直方图的软件部件，-用于从所述按分量的直方图形成累积直方图的软件部件，-用于从所述累积直方图定义与至少一个色彩分量对应的照明色(Rill，Gill，Bill)的软件部件，-用于采用目标色(Rtgt，Gtgt，Btgt)和所定义的照明色(Rill，Gill，Bill)为至少两个色彩分量(R，G，B)定义调节色彩平衡的增益系数(GR，GG，GB)的软件部件，其特征在于，在所述软件部件中，还设置-用于从累积直方图的结束处的色彩曲线的基本平坦区域定义这种点hi的软件部件，其中，在至少一个色彩分量(R，G，B)的情况中，对应于相继点hi、hi+1的按色彩分量的像素强度值Ci、Ci+1设置成满足为它们设置的标准条件，以及-用于对于至少一个色彩分量(R，G，B)将对应于定义公共点hi的按色彩分量的强度值Ci设置成对应于所述照明色(Rill，Gill，Bill)的软件部件。
全文摘要
本发明涉及在数字图像处理链(10)中用于调节色彩平衡的方法。在该方法中，对象被成像作为色彩分量(R，G，B)，从其中形成累积直方图。从这些色彩曲线中，以所选方式来定义照明色(R
文档编号G06T5/40GK1856800SQ200480027313
公开日2006年11月1日 申请日期2004年9月9日 优先权日2003年9月24日
发明者O·卡莱沃, P·内诺宁 申请人:诺基亚有限公司