自适应局部白平衡调节的系统与方法

文档序号:7733659阅读:326来源:国知局
专利名称:自适应局部白平衡调节的系统与方法
技术领域
本发明一般涉及图像传感器,尤其涉及图像传感器中的自适应局部白平衡调节的 装置、系统和方法。
背景技术
根据拍摄图像时入射到景物上的光源的类别(即,何种发光体),该图像中的景物 的颜色看起来会不同。这是因为不同的发光体(比如白炽灯、荧光灯和日光)具有不同的 光谱能量分布。白平衡(WB)是除去不真实的偏色的处理,使得景物中看起来很白的物体在 该景物的图像中也看起来很白。在CMOS图像传感器中,该问题是这样解决的调节三原色 信道红绿蓝的增益。自动地执行白平衡而无需用户干涉的能力被称为自动白平衡(AWB)。最广为使用的AWB处理是基于“灰色世界”的假设;该假设认为景物中的平均颜色 是灰色或无色的。另一种常用的假设是“白色世界”的假设,该假设认为景物中最明亮的点 是白色,这意味着景物中最明亮的点处的红绿蓝的值彼此相等。尽管这些假设通常在许多情形中是真实的,但是它们无法在对多个发光体所照明 的景物拍摄的图像中提供合适的白平衡。例如,阳光所照明的户外景物中具有宽阴影的图 像就落在此类别中。当将普通的AWB方法应用于这些景物时,要么仅图像的一部分经白平 衡处理过而其它部分具有不正确的偏色,要么在这些AWB方法试图在不同发光体之间权衡 折衷时没有哪个部分是经恰当校正的。


下文参照附图描述了本发明的非限定性且非穷尽性的实施方式,其中除非另有说 明,否则在这些附图中相同的标号表示相同的部件。图1是包括图像传感器的成像系统的实施方式的示意图。图2是像素阵列的实施方式的视图,示出了用于自动白平衡调节的实施方式的局 部和全局域的实施方式。图3是示出了自动白平衡调节的处理的实施方式的流程图。
具体实施例方式本文描述了自适应局部白平衡调节的装置、系统和方法。在下文中,描述了大量的 特定细节,以透彻理解本发明的实施方式。然而,本领域技术人员将会认识到,在没有这些 特定细节或者使用其它方法、部件、材料等的情况下也可以实施本发明。在其它情形中,并 未详细示出或描述公知的结构、材料或操作,但是它们被包括在本发明的范围中。在本说明书中,所提到的“一个实施方式”或“实施方式”意味着结合该实施方式所 描述的特定的特征、结构或特性被包括在本发明的至少一个实施方式中。由此,在本说明书 中出现的“在一个实施方式中”或“在实施方式中”这种表述并不必然指代同一实施方式。 此外,在一个或多个实施方式中,可以恰当地组合上述特定的特征、结构或特性。
图1示出了成像系统100的实施方式。光学器件101可以包括折射、衍射或反射 光学器件或它们的组合,将光学器件101耦合到图像传感器102,以将图像聚焦到图像传感 器的像素阵列104中的像素上。像素阵列104拍摄该图像,装置100的其余部分处理来自 该图像的像素数据。图像传感器102包括像素阵列104以及信号读取与处理电路110。像素阵列104 是二维的,并且包括排列在行106和列108中的多个像素。在像素阵列104拍摄图像的操 作期间,像素阵列104中的每个像素捕获在某一曝光周期内入射的光(即光子)并且将收 集到的光子转换成电荷。可以读出每个像素所产生的电荷作为模拟信号,并且该模拟信号 的特征(比如其电荷、电压或电流)将代表上述曝光周期内入射到该像素上的光的强度。所示的像素阵列104是规则成形的,但是在其它实施方式中,该阵列可以具有与 所示不同的规则或不规则排列方式,并且可以包括更多或更少的像素、行和列。此外,在不 同的实施方式中,像素阵列104可以是彩色图像传感器,它包括红绿蓝像素,这些像素被设 计成在光谱的可见光部分中拍摄图像;或者,像素阵列104可以是黑白图像传感器和/或一 种设计成在光谱的非可见光部分(比如红外或紫外)拍摄图像的图像传感器。图像传感器102包括信号读取与处理电路110。除此之外,电路110可以包括用 于有条理地读取来自每个像素的模拟信号并对这些信号进行滤波、校正有缺陷的像素等的 电路与逻辑。在一些实施方式中,电路110也可以执行下述的自动白平衡处理中的一些或 全部。在电路110仅执行上述自动白平衡处理的一部分的实施方式中,可以由一个或多个 其它的部件(比如信号调节器112或DSP 116)来执行该处理的其余部分。尽管图中示出 了读取与处理电路110是与像素阵列104分开的元件,但是在一些实施方式中,读取与处理 电路110可以与像素阵列104集成到同一个基板上,或者可以包括嵌入到该像素阵列内的 电路与逻辑。然而,在其它实施方式中,读取与处理电路110可以是像素阵列104外部的元 件,正如本图所示那样。在其它实施方式中,读取与处理电路110可以不仅是像素阵列104 外部的元件,而且还是图像传感器102外部的元件。将信号调节器112耦合到图像传感器102,以接收并调节来自像素阵列104和读取 与处理电路110的模拟信号。在不同的实施方式中,信号调节器112可以包括用于调节模拟 信号的各种部件。可以在信号调节器中找到的部件的示例包括滤波器、放大器、偏移电路、 自动增益控制等。在一些实施方式中,信号调节器112也可以执行下述的自动白平衡处理 中的一些或全部。在信号调节器112仅执行上述自动白平衡处理的一部分的实施方式中, 可以由一个或多个其它的部件(比如电路110或DSP 116)来执行该处理的其余部分。将 模数转换器(ADC) 114耦合到信号调节器112,以接收来自于信号调节器112的经调节的模 拟信号(这些模拟信号对应于像素阵列104中的每个像素),并且将这些模拟信号转换成数 字值。将数字信号处理器(DSP) 116耦合到模数转换器114,以接收来自ADC 114的经数 字化的像素数据,并且处理这种数字数据以产生最终的数字图像。DSP116可以包括处理器 和内部存储器,可以在该内部存储器中存储并检索数据。在一些实施方式中,DSP 116也可 以执行下述的自动白平衡处理中的一些或全部。在DSP 116仅执行上述自动白平衡处理的 一部分的实施方式中,可以由一个或多个其它的部件(比如电路110或信号调节器112)来 执行该处理的其余部分。在DSP 116处理该图像之后,可以将其输出到存储单元118(比如闪存或光学/磁学存储单元)和显示单元(比如LCD屏幕)之一或两者。图2示出了像素阵列200的实施方式,并将用于解释自动白平衡处理的实施方式。 图2中的每个点代表了像素阵列(比如图1所示像素阵列104)中单独的像素。在阵列200 中,每个单独的像素可以用其在阵列中的坐标来标识;在所示的实施方式中,像素204是用 坐标对(x,y)来标识的,该坐标对表示该像素在该阵列中实际的χ和y坐标,阵列200中的 其它像素可以按相似的方式来标识。然而,在其它实施方式中,可以使用其它方式来标识单 独的像素(比如行/列坐标或单独的像素地址)。当像素阵列200拍摄彩色图像时,每个单独的像素通常仅捕获一种颜色,这取决 于该像素所使用的滤色片的类型。在像素阵列200是红绿蓝(RGB)像素阵列的实施方式中, 一些像素可以是“红色像素”,它们包括红色滤光片并只捕获红色;一些像素可以是“绿色像 素”,它们包括绿色滤光片并只捕获绿色;一些像素可以是“蓝色像素”,它们包括蓝色滤光 片并只捕获蓝色。这些红绿蓝像素可以按照各种图案(比如公知的Bayer图案)布置在像 素阵列200中。在一些实施方式中,像素阵列200也可以包括“白色像素”,它们不具有滤色 片。尽管只捕获一种颜色,但是像素阵列200中的每个像素(x,y)将输出红色值R(x, y)、绿色值G(x,y)和蓝色值B(x,y)。这是因为,对于特定的像素,该像素原先未捕获的那 些颜色的值是从相邻像素中内插而来的。例如,红色像素(χ,y)将只捕获来自该图像的红 色值R(x,y),但仍将具有从相邻的绿色像素中内插而来的绿色值G(x,y)以及从相邻的蓝 色像素中内插而来的蓝色值B (X,y)。由此,在图像捕获和一些最初的处理之后,像素阵列 200中的每个像素(X,y)最终都具有一组红绿蓝值。然后,可以从像素阵列200中输出这 组RGB数据以便进一步处理,这包括下文会进一步描述的自动白平衡(AWB)处理。自动白 平衡处理的实施方式是基于一种关于人类视觉的广为接受的假设,即,图像是景物中的物 体的反射率与光源的照度的乘积I(x,y) =R(x,y)L(x, y),方程⑴其中在每个点(x,y)处,R(x,y)是反射率且L(x,y)是照度。为了简单计算R和 L,通常假设L平滑地变化而R陡然地变化。将该图像的低通滤波视为该景物的照度,用这 种从该景物中计算出的照度进行自动白平衡调节。在自动白平衡处理的实施方式中,用各向异性滤波来计算该景物的照度L,该各向 异性滤波使用上述假设,通过对该图像进行低通滤波从而提取L。下文显示了这种滤波的细 节。通过使每个原始的R、G、B值乘以该像素相应的权重k,就计算出每个像素(x,y)的经 白平衡调节的红色值R’、绿色值G’和蓝色值B’,正如方程(2)所示R' (x, y) = kE(x, y)R(x, y)G' (χ, y) = kG(χ, y)G(χ, y)方程(2)B' (χ, y) = kB(x, y)B(x, y)其中,红色权重kK、绿色权重ke和蓝色权重kB是用方程(3)计算的kE = max (Rw (χ,y) Gw (χ,y) Bw (χ,y)) /Rw (χ,y)kG = max (Rw (χ,y) Gw (χ,y) Bw (χ,y)) /Gw (χ, y)方程(3)kB = max (Rw (χ,y) Gw (χ,y) Bw (χ,y)) /Bw (χ,y)在方程(3)中,通过使用局部和全局分量的组合,可以为每个像素(x,y)确定调节量RW、GW*BW。使用局部和全局分量产生了自适应各向异性双向滤波,这种滤波是边缘-保 存型和色度-保存型。下文进一步描述民、Gw和Bw以及局部和全局分量的确定过程。如它的名称所指的那样,特定像素的局部分量民义或Bw是基于局部像素(即,该 特定像素以及该特定像素附近的其它像素)而计算的。正如图2所示,选择包含该阵列的 像素子集的局部域ω,以围绕着正确定其!^丄^^和礼值的那个像素。在所示的实施方式中, 像素204具有坐标(X,y),局部域ω是由围绕着像素204的矩形框定义的。局部域ω内 所包括的所有的像素构成了可用于计算上述局部分量的像素数据组。在其它实施方式中, 局部域ω可以更大些或更小些,可以具有与所示出的形状不同的形状,并且不需要以正计 算其局部分量的那个像素为中心。一旦建立了局部域ω,就可以计算上述照度,即局部分量Rw、Gw*Bw。在一个实施 方式中,方程4、5使用红色作为示例,被用于计算该局部域内特定的像素s的局部分量
权利要求
一种装置,包括图像传感器,所述图像传感器包括具有多个像素的像素阵列;自动白平衡(AWB)电路,被耦合到所述像素阵列以执行下列操作确定每个像素的局部白平衡分量,确定每个像素的全局白平衡分量,并且将白平衡调节应用于每个像素,所应用的白平衡调节包括局部白平衡分量和全局白平衡分量的组合。
2.如权利要求1所述的装置,其特征在于,所述AWB电路确定由每个像素输出的每个红、绿和蓝值的局部白平衡分量。
3.如权利要求1所述的装置,其特征在于,所述AWB电路使用围绕着特定像素的局部域之内的其它像素的数据来确定所述特定 像素的局部白平衡分量。
4.如权利要求1所述的装置,其特征在于,所述AWB电路使用全局域中的像素的图像数据来确定特定像素的全局白平衡分量,所 述全局域不同于所述局部域。
5.如权利要求4所述的装置,其特征在于,所述全局域包括在所述像素阵列中所有的有效像素。
6.如权利要求1所述的装置,其特征在于,所述AWB电路使用空间域高斯核函数和强度域高斯核函数来确定局部白平衡分量。
7.如权利要求1所述的装置,其特征在于,局部白平衡分量和全局白平衡分量的组合是线性组合。
8.一种系统,包括 光学元件;图像传感器,被耦合到所述光学元件,所述图像传感器包括具有多个像素的像素阵列, 自动白平衡(AWB)电路,被耦合到所述像素阵列以执行下列操作 确定每个像素的局部白平衡分量, 确定每个像素的全局白平衡分量,并且将白平衡调节应用于每个像素,所应用的白平衡调节包括局部白平衡分量和全局白平 衡分量的组合;以及显示单元和存储单元之一或两者,被耦合到所述数字信号处理器。
9.如权利要求8所述的系统,其特征在于, 所述AWB电路是在所述图像传感器之内的电路。
10.如权利要求8所述的系统,其特征在于,所述AWB电路是耦合到所述图像传感器的数字信号处理器。
11.如权利要求8所述的系统,其特征在于,所述AWB电路确定由每个像素输出的每个红、绿和蓝值的局部白平衡分量。
12.如权利要求8所述的系统,其特征在于,所述AWB电路使用围绕着特定像素的局部域之内的其它像素的数据来确定所述特定 像素的局部白平衡分量。
13.如权利要求8所述的系统,其特征在于,所述AWB电路使用全局域中的像素的图像数据来确定特定像素的全局白平衡分量,所 述全局域不同于所述局部域。
14.如权利要求13所述的系统,其特征在于,所述全局域包括在所述像素阵列中所有的有效像素。
15.如权利要求8所述的系统,其特征在于,所述AWB电路使用空间域高斯核函数和强度域高斯核函数来确定局部白平衡分量。
16.如权利要求8所述的系统,其特征在于,局部白平衡分量和全局白平衡分量的组合是线性组合。
17.一种处理过程,包括接收来自像素阵列中的每个像素的图像数据; 确定每个像素的图像数据的局部白平衡分量, 确定每个像素的图像数据的全局白平衡分量,以及将白平衡调节应用于每个像素的图像数据,所应用的白平衡调节包括局部白平衡分量 和全局白平衡分量的组合。
18.如权利要求17所述的处理过程,其特征在于, 确定局部白平衡分量包括确定由每个像素输出的每个红、绿和蓝值的局部白平衡分量。
19.如权利要求17所述的处理过程,其特征在于, 确定局部白平衡分量包括使用围绕着特定像素的局部域之内的其它像素的数据来确定所述特定像素的局部白 平衡分量。
20.如权利要求17所述的处理过程,其特征在于, 确定全局白平衡分量包括使用全局域中的像素的图像数据, 所述全局域不同于所述局部域。
21.如权利要求20所述的处理过程,其特征在于, 所述全局域包括在所述像素阵列中所有的有效像素。
22.如权利要求17所述的处理过程,其特征在于, 确定局部白平衡分量包括使用空间域高斯核函数和强度域高斯核函数。
23.如权利要求17所述的处理过程,其特征在于, 局部白平衡分量和全局白平衡分量的组合是线性组合。
全文摘要
本发明揭示了包括图像传感器的装置的实施方式,该图像传感器包括具有多个像素的像素阵列以及耦合到该像素阵列的自动白平衡(AWB)电路。这种AWB电路被用于确定每个像素的局部白平衡分量,确定每个像素的全局白平衡分量,并将白平衡调节应用于每个像素,所应用的白平衡调节包括局部白平衡分量和全局白平衡分量的组合。本发明还揭示了一种处理过程的实施方式,该处理过程包括接收来自像素阵列中的每个像素的图像数据;确定每个像素的图像数据的局部白平衡分量;确定每个像素的图像数据的全局白平衡分量;将白平衡调节应用于每个像素的图像数据,所应用的白平衡调节包括局部白平衡分量和全局白平衡分量的组合。也揭示并主张了其它实施方式。
文档编号H04N9/73GK101983510SQ200980112405
公开日2011年3月2日 申请日期2009年3月11日 优先权日2008年4月8日
发明者W·熊, 邝江涛 申请人:美商豪威科技股份有限公司
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1