一种影像传感器的阴影补偿方法及装置的制作方法

专利名称：一种影像传感器的阴影补偿方法及装置的制作方法
技术领域：
本发明涉及图像处理领域，具体涉及一种影像传感器的阴影补偿方法及 装置。
背景技术：
一般图像处理设备，比如视频处理、数码相机、数码摄像机、摄像头、 投影设备等所呈现的图像，都会产生图像画面周边亮度较暗，而中心区域亮 度较亮的情形，在同一张图像画面中，越靠近中心点的像素，所呈现出来的
亮度越亮，相反，越靠近图像画面边缘的像素，所呈现出来的亮度则越暗； 因此，在同一张图像画面中会呈现不同的亮度，这将会造成用户^L觉上的不 舒适感，并且造成图像画面的不协调，使得图像画面效果也较差。
现有的一种技术利用初始点像素与中心点像素的距离，计算图像中多个 像素中每个像素与中心点像素的距离，根据该距离调整多个像素的亮度。
由于该技术没有在Bayer格式的原始图像上进行处理，没有对每个颜色 分量进行单独处理；因此影响图像处理的效果；而且只适用于成像特性为圆 的模型时的情况。

发明内容
本发明要解决的技术问题是提供一种影像传感器的阴影补偿方法及装 置，能够适用于影像传感器的成像特性为椭圆模型时的情况。
为了解决上述问题，本发明提供了一种影像传感器的阴影补偿方法，包 括以下步骤
分别计算图像中各像素点的校正因子gain(x, y):
gfl/"(x,力=(1 + J(jc — jc0)2 + 50 - y0)2)2;
7其中，x是该像素点所在的列，y是该像素点所在的行；A， B为用于表 示影像传感器成像特性的椭圆模型的参数，x0， yO为椭圆的中心点位置；
对于每个像素点，将影像传感器采集到的该像素点的原始强度值 ""0c，j;)乘以gain(x, y),得到强度值Lo"《;c,力，将该像素点的强度值调整为
进一步地，按迭代的方法计算j(;c-10)2和^>-_y0)2;所述迭代的方法为 尸l(x +1) = + — 1 — , —1 — Jc0c +1) = 。i^w—1 — + 2^ ;
"o+1) = F2(力+o炎"—i—, 。#"—i—:K少+1)=。炎"—i _ y(力+2￡;
其中F1(jc)=爿(x - x0)2 ,尸2(力=5(少一 y0)2 ; 一 1 一 ;c(O)=爿+ 2^4(0 - x0);
一 1 一 ；;(O) = 5 + 25(0 _ ;;0)。
进一步地，分别计算图像中各像素点的校正因子gain(x, y)的步骤具体包
括
A、 设置第0行第0列的像素点的F1(0)和F2(0),以及offset—1—x(0)和 offset—l_y(0);得到该像素点的gain(x，y);
B、 对于第0行其它列的各像素点，F2(y)均等于F2(0),由F1(0)和 offset—l—x(0)通过迭代的方法依次得到各像素点的Fl(x)，从而得到各像素 点的gain(x， y); i=l;
C、 对于第i行第0列的像素点，Fl(x)均等于Fl(O)，由F2(i- l)和 offset—l_y(i)通过迭代的方法得到该像素点的F2(i),从而得到该像素点的 gain(x， y);
D、 对于第i行中其它列的各像素点，F2(y)均等于该行第O列的像素点 的F2(i),由F1(0)和offset—l—x(0)通过迭代的方法依次得到各像素点的 Fl(x)，从而得到各像素点的gain(x,y);
E、 判断是否已计算完所有像素点的Fl(x)和F2(y),如果不是，则i=i+l， 返回步骤C;否则结束。
进一步地，计算像素点的校正因子gain(x，y)时，在Bayer格式原始图像 上对不同颜色分量分别计算gain(x,y);对不同颜色分量的像素点，所述A， B， x0, yO分别为该颜色分量的椭圓模型的参数和中心点位置。进一 步地，按迭代的方法计算各颜色分量的像素点的^(x-x0)2和 BO - y0)2;所述迭4戈的方法为
线jc + 2) = Fl(x) + o炎W—x(x), — xO + 2) = — x(;c) + 8J ;
F2(} + 2) = F2(力+ _少(力，—少(y + 2) = c#W—少(力+ 85 ;
其中F10) = X(x - xO)2 、 F2(力=SO - y0)2 , 一 x(0) = " + "(0 — x0),
_y(0) = 45 + 4S(0-_y0); A、 B、 x0和y0为相应颜色分量的椭圆才莫型的参
凄史和中心点位置。
进一步地，分别计算图像中各像素点的校正因子gain(x, y)的步骤具体包
括
分别设置各颜色分量的offset—x(O)， offset_y(0),并分别对于各颜色分量， 保存该颜色分量中行数和列数都最小的一个像素点P的Fl(Xp)和F2(yp)，计 算P的gain(x,y);
对于各颜色分量，分别按照下列步骤计算其它像素点的gain(x，y):
对于该颜色分量中和像素点P同行的第k列的像素点将F2(yp)作为 该像素点的F2(y);由本行第k - 2列的像素点的Fl(k - 2)，用迭代的方法计 算该像素点的Fl(k)，得到该像素点的gain(x,y);
对于该颜色分量中和像素点P同列的第i行的像素点将Fl(Xp)作为该 像素点的Fl(x)，由本列第i-2行的像素点的F2(i-2),用迭代的方法计算 该像素点的F2(1),得到该像素点的gain(x，y);
对于该颜色分量中第i行第k列的像素点，将F2(i)作为该像素点的 F2(y)，由本行第k - 2列的像素点的Fl(k - 2),用迭代的方法计算该像素点 的Fl(k);得到该像素点的gain(x，y);
其中，i和k为大于或等于2的整数，i最大值不超过像素点的总行数减 1, k最大值不超过像素点的总列数减1。
本发明还提供了一种影像传感器的阴影补偿装置，包括
增益系数计算单元，用于确定各像素点的增益系数gain(x,y):
g"/"(x，少)=(l +— iO)2 +— y0)2)2;
9其中，x是该像素点所在的列，y是该像素点所在的行；A， B为用于表 示影像传感器成像特性的椭圓模型的参数，x0， yO为椭圆的中心点位置；
接收单元，用于接收影像传感器所采集的原始图像中各像素点的原始强 度值Z/"(x,力；
强度值计算单元，用于将""(x,力乘以gain(x，y),得到各像素点阴影补 偿后的强度值Zo"^c,力；
调整单元，用于分别将各像素点的强度值调整为丄o""x，少)。，
进一步地，所述增益系数计算单元按照迭代的方法计算=我x-x0)2 和F2(力-50-yO)2;迭^的方法为
Fl(;c +1) = Fl(x) + o炎"_ 1 一 x(;c) ， 丄难+1) = 。#" —1 — ;c(;c) + 2^ ;
+1) = F2(力+。#"—l—x力，。#"—i _ :K^y+1) = 。#"—1—x力+ 25;
o#s" — 1 — 乂(O)=爿+ 2爿(0 — x0); —1 一 y(O) = 5 + 25(0 — j0)。
进一步地，所述增益系数计算单元确定各像素点的增益系数gain(x，y) 具体是指
所述增益系数计算单元保存第0行第0列的像素点的F1(0)和F2(0)，以 及offset—1—x(0)和offset_l_y(0);得到该像素点的gain(x, y);
所述增益系数计算单元对于第0行第k列的像素点将F2(0)作为该像 素点的F2(y);由第0行第k - 1列的像素点的Fl(k - 1),用迭代的方法计算 该像素点的Fl(k)，得到该^象素点的gain(x，y);
所述增益系数计算单元对于第i行第0列的像素点将F1(0)作为该像 素点的Fl(x)，由本列第i-1行的像素点的F2(i-1)，用迭代的方法计算该 像素点的F2(i)，得到该像素点的gain(x，y);
所述增益系数计算单元对于第i行第k列的像素点将F2(i)作为该像 素点的F2(y);由本行第k - 1列的像素点的Fl(k - 1),用迭代的方法计算该 像素点的Fl(k),得到该像素点的gain(x，y);
其中，i和k为大于或等于1的整数，i最大值不超过像素点的总行数减 1， k最大值不超过像素点的总列数减1。进一步地，所述增益系数计算单元包括
R颜色分量增益系数计算子单元，用于确定R颜色分量的像素点的 gain(x,y),所述A, B, x0， y0为R颜色分量的椭圆模型的参数和中心点位
置；
Gl颜色分量增益系数计算子单元，用于确定Gl颜色分量的像素点的 gain(x,y)，所述A， B, x0， y0为Gl颜色分量的椭圓模型的参数和中心点 位置；
G2颜色分量增益系数计算子单元，用于确定G2颜色分量的像素点的 gain(x,y),所述A, B, x0， y0为G2颜色分量的椭圆模型的参数和中心点 位置；
B颜色分量增益系数计算子单元，用于确定B颜色分量的像素点的 gain(x,y),所述A, B， x0， y0为B颜色分量的椭圆模型的参数和中心点位 置。
进一步地，各颜色分量增益系数计算子单元分别按照迭代的方法计算 =」(x - x0)2和F2(力=50 -_y0)2;迭代的方法为
FIO + 2) = FIO) + o炎W—;cO) ， o炎"—x(x + 2) = — x(x) + 8爿；
F2Q; + 2) = F2O0 + O#"—y(力，—X^ + 2) = o#"_y(力+ 85;
其中，x(0) = " + "(0 —x0), y(0) = 45 + 45(0-_y0); A、 B、 x0
和y0为相应颜色分量的椭圆模型的参数和中心点位置。
进一步地，各颜色分量增益系数计算子单元分别确定该颜色分量的像素 点的gain(x，y)具体是指
各颜色分量增益系数计算子单元中分别保存该颜色分量的offset_x(0)， offset—y(O),并分别保存该颜色分量中行数和列数都最小的一个像素点P的 Fl(Xp)和F2(yp),计算该像素点P的gain(x，y);
各颜色分量增益系数计算子单元对于该颜色分量中和像素点P同行的 第k列的像素点将F2(yp)作为该像素点的F2(y);由本行第k - 2列的像 素点的Fl(k-2),用迭代的方法计算该像素点的Fl(k),得到该像素点的 gain(x, y);各颜色分量增益系数计算子单元对于该颜色分量中和像素点P同列的
第i行的像素点将Fl(Xp)作为该像素点的Fl(x)，由本列第i-2行的像素 点的F2(i - 2),用迭代的方法计算该像素点的F2(i)，得到该像素点的gain(x,
y);
各颜色分量增益系数计算子单元对于该颜色分量中第i行第k列的像素
点，将F2(i)作为该像素点的F2(y)，由本行第k-2列的像素点的Fl(k-2)， 用迭代的方法计算该像素点的Fl(k);得到该像素点的gain(x， y);
其中，i和k为大于或等于2的整数，i最大值不超过像素点的总行数减 1， k最大值不超过像素点的总列数减1。
本发明的技术方案可以适用于影像传感器的成像特性为椭圆模型时的 情况，包含圓的模型；本发明的一个优化方案在Bayer格式原始图像上对四 个颜色分量分别进行处理，提高了图像质量，避免了插值所带来的会破坏原 始图像各个颜色分量特性、以及各个颜色分量的频镨混叠，引入处理假象， 破坏原来的影像传感器的阴影特征的问题；本发明的另一优化方案对各颜色 分量分别进行迭代计算，减少了计算量，相对于在插值后的图像上处理，可 以节省2/3的计算量；本发明的又一个优化方案采用迭代处理，虽然适用的 模型复杂，但运算量较低，且硬件设计简化，只需要加法器。


图1为Bayer格式原始图像的排列格式的示意图2为Bayer格式原始图4象的示意图之一；
图3为Bayer格式原始图像的示意图之二；
图4为实施例二中影像传感器的阴影补偿装置的示意框图。
具体实施例方式
下面将结合附图及实施例对本发明的技术方案进行更详细的说明。 实施例一， 一种影像传感器的阴影补偿方法，包括以下步骤 对于图像中各像素点，计算该像素点的校正因子或补偿因子gain(x,y)，
12其中，x是该像素点所在的列，y是该像素点所在的行；
根据影像传感器釆集到的各像素点的原始强度值i^(jc，;;)，通过下式得 到各像素点阴影补偿后的强度值kW(;c,力，分别将各像素点的强度值调整为 丄ow";c,力。
力=Zz'w(a:， >>) x gflf/w(x,力 (1)
Z/"(x，力为Bayer格式原始图像上(x, y)位置上的〗象素的输入强度值 (Intensity),民P^-像传感器采集到的原始强度值；kw(jc，力为Bayer格式原始 图像上(x, y)位置上的像素的阴影补偿后的强度值。
对于同一个影像传感器，各像素点的gain求一次即可。
其中，每一像素点上的校正因子gain(x， y)的求取方法为
ga/"0, >0 = (1 + 乂O — x0)2 + ￡0 — y0)2 )2 (2)
=(1 + F12(x，力)2 = (1 + Fl (x) + F2(力)2
j(x - x0)2 + 5(乂 -少0)2是用于表示影像传感器成像特性的椭圆模型的表达 式，如果A-B则为圆的表达式。其中，A, B为关于椭圆才莫型的参数，x0, y0为椭圆才莫型的中心点位置。
该椭圓模型的参数A, B及中心点，可以通过镜头的光学参数，以及透 镜和影像传感器装配的位置来得到，采用提取透镜参数的方法即可得到。
也可以通过图像处理的方法得到，具体步骤为
在均匀光照的条件下，用影像传感器拍摄一张亮度均匀的白纸或灰纸， 得到一张图像。如果是完美的成像系统的话，那么这张图像上的相同类型的 颜色的像素的强度值也应该是均匀的；但现在得到的实际图像是不均匀的， 其形状大概类似椭圆；通过曲面拟合，得到椭圆模型的参数和中心点位置。
进一步地，可以对该图像的各个颜色分量的部分或所有像素点，通过曲 面拟合，得到该颜色分量的椭圆模型的参数和中心点位置。
本实施例的 一种实施方式中，对Bayer格式原始图像上对四个颜色分* 分别进行处理；所谓Bayer格式原始图像，是指每个感光单元只接收一种颜 色(R或Gl或G2或B)的强度值，并且按如图1所示的格式排列。整个原始图像就是由图1所示的2x2的单元构成的，如图2所示。
该实施方式也适用于CMYG或其它的影像传感器，只要整个影像传感 器是由2x2单元所扩展开来的就可以。
该实施方式中，对于不同颜色分量分别计算gain(x,y);对不同颜色分量 的像素点，A， B， x0， yO分别是该颜色分量的椭圆模型的参数和中心点位 置，因》匕取/"0，>;," = (1 +^一r(jc一;c0一02+5 — r(> — >)0 — r)2)2
一(x， 乂 gl) = (1 + ( gl(x - x0 — gl)2 + 5 一 - ;;0 一 gl)2 )2
ga/"(x, 乂 g2) = (1 + J 一 g2(x — xO — g2)2 + 5 一 g2(y —一 g2)2 )2 (3)
ga/"0， 乂6) = (1 + ^ 一 6(x - x0—W2 +万—-— 6)2 )2
A一r, B_r, x0—r， y0_r分别为R颜色分量的椭圓模型的参数和中心点位 置；A_gl， B_gl， x0—gl, y0—gl分别为Gl颜色分量椭圆模型的参数和中 心点位置；A—g2, B—g2， x0_g2， y0—g2分别为G2颜色分量椭圓模型的参 数和中心点位置；A—b, B—b, x0—b, yO_b分别为B颜色分量椭圆模型的参 数和中心点位置。
各个颜色分量的波长是不同的，影^f象传感器对各个颜色分量的响应是不 一样的，也就表现为各个颜色分量的阴影模型是三个不同位置不同形状的椭 圆，如果考虑绿色分量为Gl, G2,则各个颜色分量的阴影模型是四个不同 位置不同形状的椭圓；对各个颜色分量分别进行处理的好处是可以精确反映 各个颜色分量的阴影表现特征。
下面重点讨论如下2个等式
Fl(x)"(x-jcO)2 (4)
F2(力-5Cy-:y;0)2 (5)
在不对颜色分量分别进行处理的实施方式中，各像素点是彼此邻近的， 可以利用迭代的方法，通过前一像素点的距离相关的值，得到后一像素点的
距离相关的值；或者利用上一像素点的距离相关的值，得到下一像素点的距 离相关的值。
Fl(x +1) = + ^ + 2雄—xO)
14令—l—= ^+2雄-x0)
贝'J:尸l(x + l)-Fl(x) + o炎"—l一;c(x) (6) 这是一个关于Fl(x)函数的迭代等式，其初始值为F1(0) = 4(0-jcO)2 再进一步
1一丰+1) = (#^—1j(X) + 2^ (7) 2A对于整幅图像，是一个常数。
等式(7)是一个关于offset一x(x)函数的迭代等式，offset—l一x(x)的初始值
为
o炎"—1 — ;c(O) = 4 + 2 ^(0 - x0)
因此，本来等式(4)需要2次乘法，两个乘法器，通过等式(6)和(7)的两 次迭代，只需要两次加法就可以完成；硬件设计节省2个乘法器，而乘法器 在硬件中是代价很大的。
同理，F2O + l)-尸2O0 + 5 + 25O — :v0)
令o炎"—1—Xy) = ^ + 2^y-y0)
则F20 + l)-F2(力+o炎"一1—X力 (8) 这是一个关于F(y)函数的迭代等式，其初始值为 "(0) = 5(0->;0)2
o炎"-l—+1) = o炎"—1 _ + 25 (9) 这是一个关于offset一lj(y)函数的迭代等式，offset—lj(y)的初始值为 oJ^e/ 一 1—少(O) - 5 + 25(0—y0)
因此，本来等式(5)需要2次乘法，两个乘法器，通过等式(8)和(9)的两 次迭代，只需要两次加法就可以完成。
综上，因此通过上面的x方向迭代和y方向迭代的处理，对于等式(4) 和(5)中的4个乘法器，仅仅需要加法，就可以得到相同的结果，节省了芯 片逻辑，减少了计算量。
整个计算各像素点的gain(x， y)的过程可以如下A、 i殳置第0 4亍第0列的像素点的F1(0)和F2(0)，以及offset—1—x(0)和 offset—lj(0);得到该像素点的gain(x,y);
B、 对于第0行其它列的各像素点，F2(y)均等于F2(0),通过等式(6)和 (7),由F1(0)和offset—l_x(0)开始迭代，依次得到各像素点的Fl(x),从而 得到各像素点的gain(x， y); i=l;
C、 对于第i行第0列的像素点，Fl(x)均等于Fl(O),通过等式(8)和(9) 进行迭代，由F2(i - l)和offset—lj(i)得到该像素点的F2(i),从而得到该像 素点的gain(x， y);
D、 对于第i行中其它列的各像素点，F2(y)均等于该行第0列的像素点 的F2(i)，通过等式(6)和(7)，由F1(0)和offset—l—x(0)开始迭代，依次得到 各像素点的Fl(x),从而得到各像素点的gain(x,y);
E、 判断是否已计算完所有像素点的Fl(x)和F2(y),如果不是，则i=i+l, 返回步骤C;否则结束。
上述过程是按照一行接一行的顺序完成所有像素点的Fl(x)和F2(y)的计 算，也可以按照一列接一列的顺序，此时的步骤B到E如下
B、 对于其它行第0列的各像素点，Fl(x)均等于Fl(O),通过等式(8) 和(9),由F2(0)和offset—l_y(0)开始迭代，依次得到各像素点的F2(y),从 而得到各像素点的gain(x,y); k=l;
C、 对于第0行第k列的像素点，F2(y)均等于F2(0)，通过等式(6)和(7) 进行迭代，由Fl(k-l)和offset—1—x(i)得到该像素点的Fl(k),从而得到该像 素点的gain(x, y);
D、 对于第k列中其它行的像素点，Fl(x)均等于该列第0行的像素点的 Fl(k)，通过等式(8)和(9),由F2(0)和offset—l_y(0)开始迭代，依次得到各 像素点的F2(y),从而得到各像素点的gain(x,y);
E、 判断是否已计算完所有像素点的Fl(x)和F2(y)，如果不是，则k=k+l， 返回步骤C;否则结束。
当然，还可以仅仅计算第0行各列像素点的Fl(x)，以及各行第1列像 素点的F2(y)，然后对于其余像素点，Fl(x)与第0行中同一列的像素点的相同，而F2(y)与第0列中同 一行的像素点的相同。
而在对Bayer格式原始图像上对四个颜色分量分别进行处理的实施方式 中，由于在Bayer格式图像上，在水平或垂直方向相邻的、具有相同的颜色 分量的两像素点，在水平或垂直方向上间隔1个像素，比如图2中，对于第 m行、第n列的R颜色分量，在水平方向上相邻的R颜色分量分别为第m 行的第n+2列和第n-2列的R颜色分量，而在垂直方向上相邻的R颜色分 量分别为第n列的第m+2行和第m-2行的R颜色分量；因此，当按照不 同的颜色分量分别计算F1和F2，可以利用迭代的方法，通过前一像素点的 距离相关的值，得到后一具有相同颜色分量的点的距离相关的值；或者利用 上一点的距离相关的值，得到下一具有相同颜色分量的点的距离相关的值
Fl(x + 2) =+ " + "(jc - x0)
令孝w—jc(jc) =+ 4j(jc -竭
贝'j: F1(jc + 2) = F1(x) + o#s"_x00 (10) 这是一个关于Fl(x)函数的迭代等式，其初始值为
Fl(l) = j(l - x0)2 再进一步
* + 2)=。炎"—x(x) + cow —爿 (11) cow 一爿=
con—A对于整幅图像，是一个常数。
等式(10)是一个关于offset一x(x)函数的迭代等式，offset一x(x)的初始值为
— ;c(O) = " + "(0 — ;c0)
因此，本来等式(4)需要2次乘法，两个乘法器，通过等式(10)和(11)的 两次迭代，只需要两次加法就可以完成；硬件设计节省2个乘法器，而乘法 器在硬件中是代价4艮大的。
同理，可以得到F2(y):
F2(y + 2) = F2(力+ 45 + 45(_y —少0)令o#"_:K>0 = 4B + 45O-}0)
则"(>;+ 2)="(力+ 0#" j(力 (12) 这是一个关于F(y)函数的迭代等式，其初始条件为 F2(0)^5(0-y0)2 F2(1) = 5(1-^0)2
一力+ 2) = 。#" 一力)+ co" — 5 (13) co" —5 = 85
这是一个关于offsetj(y)函数的迭代等式，offset—y(y)的初始值为 oi^" 一 :K0) = 45 + 45(0 - _y0)
因此，本来等式(5)需要2次乘法，两个乘法器，通过等式(12)和(13)的 两次迭代，只需要两次加法就可以完成。
综上，因此通过上面的x方向迭代和y方向迭代的处理，对于等式(4) 和(5)中的4个乘法器，仅仅需要加法，就可以得到相同的结果，节省了芯 片逻辑，减少了计算量。
在对Bayer格式原始图像上对四个颜色分量分别进行处理时，等式(4) 和(5)的迭代算法可以推广到等式(3)中针对不同颜色分量 6勺Fl—=爿一 r(x 一 —r)2和— rO) = 5 — rO — — 。2;
Fl — glW " — gl(;c - ;c0 — gl)2和—=5—gl(_y -义gl)2;
Fl — g2(;c) = ^ — g2(x — x0—g2)2和一 g2(力=5 — g2(j; —— g2)2;以及
尸1一6(;0 = 乂一&0:-10_6)2和尸2—6(力=5 —6O-y0一6)2;原理同等式(10)到
(13)，只要采用相应颜色分量的椭圆模型参数和中心点即可；相应的，由 于不同颜色分量的椭圓模型参数和中心点不同，因此对于不同的颜色分量， offset一x(x)， offsetj(y)分别为offset_x_r(x), offset_y—r(y); offset—x一gl(x)， offset丄gl (y); offset—x—g2 (x), offset_y_g2 (y); offset—x_b (x)， offset_y—b (y)。
Bayer格式共有4种，不失一般性，以图3的格式为例， 一种实施方式 的处理流程如下
(l)设置[O,O]，
, [1,0]， [l,l]的四个像素点(在图3中，这四个像素点分别为R、 Gl、 G2、 B颜色分量中，行数和列数最小的像素点)的F1 和F2，即设置F1—r(O), F2—r(0); F1—gl (1)， F2一gl (0) ; F1—g2(0)， F2—g2 (1); F1—b(l)， F2—b(l);并分别得到上述四个像素点的gain(x， y)。另外， 设置各颜色分量的offset—x(O)和offset_y(0)，即设置offset_x_r(0)， offset—x一gl(O)， offset_x_g2(0), offset—x一b(O), Offset_y—r(O), offset_y—gl(l), offset丄g2(0), offset丄b(O)。
(2)对于第0行和第1行的其它列的像素点[i，k](i-O， l，k>=2):由[i,k -2]的像素点的Fl(k - 2)，根据等式(10 )和(11)来计算Fl(k)。
该处理流程中，以像素点所处的行和列[i,k]来表示像素点的位置，其中 k为像素点的列数x, i为像素点的行数y。从Bayer图像格式可见，对于[i,k] 像素点而言，必然与[i - 2,k]像素点和[i，k - 2]像素点属于同一个颜色分量。
由于第0行中R颜色分量的各像素点的行数y都与[O,O]像素点相同，所 以对于第0行中R颜色分量的像素点，y相关的量F2—r(y)都为F2—r(0);类 似的，对于第0行中Gl颜色分量的像素点，y相关的量F2—gl(y)都为 F2_gl(0);对于第1行中G2颜色分量的像素点，y相关的量F2—g2(y)都为 F2—g2(l);对于第1行中B颜色分量的像素点，y相关的量F2—b(y)都为 F2—b(l)。
得到第0行和第1行的其它列的像素点的Fl(x)和F2(y)就可以得到这些 像素点的gain(x, y)。
(3 )对于i行(>=2)的像素点
对于R颜色分量的[i， 0]的1象素点，Fl(x)为F1—r(O),由[i-2， O]的像素 点的F2(i - 2)，根据等式(12)和(13 )来计算该像素点的F2(i)，得到该像 素点的gain(x， y);
对于G2颜色分量的[i，0]的像素点，Fl(x)为F1—g2(0),由[i-2，0]的像 素点的F2(i - 2),根据等式(12 )和(13 )来计算该像素点的F2(i),得到该 4象素点的gain(x, y);
对于Gl颜色分量的[i, 1]的像素点，Fl(x)为F1—gl(l)，由[i-2， l]的像 素点的F2(i - 2)，根据等式(12 )和(13 )来计算该像素点的F2(i),得到该对于B颜色分量的[i， 1]的像素点，Fl(x)为F1—b(l)，由[i-2， l]的像素 点的F2(i - 2)，根据等式(12 )和(13 )来计算该像素点的F2(i),得到该像 素点的gain(x， y)。
对于第i行(b^2)的其它列的^f象素点[i， k](k>=2), F2(y)都为相同颜色分 量的像素点的F2(i)，由[i， k - 2]的像素点的Fl(k — 2)，根据等式(10 )和(11 ) 来计算该像素点的Fl(k)，得到该像素点的gain(x,y)。
上述步骤中，需要注意的是，对于不同颜色分量的像素点，在根据等式 (11 )或(13 )进行计算时，所使用是该颜色分量对应的offset—x(O)、 offset_y(0)、 A和B。
这样处理的好处是，如果第i行的值，全部通过第i-2行的值来计算， 那么需要一个行内存，来存储整个第i-2行的数据，代价就大了。
而现在的处理方式，只有第i行的第0列的像素点的F2(y)是通过i - 2 行的第0列的数据计算的，第1列的像素点的F2(y)与第0列的相同，然后 第i行的其它列的的像素点的F2(y)与第0列的相同，而Fl(x)就可以通过迭 代方式计算出来；这样只需要临时保存2个点的数据就可以了，而不用保存 整行的数据，可以节省存储空间，也减少运算量。
对于各类Bayer格式的原始图像，上述步骤可以概括如下
分别设置各颜色分量的offset一x(O)， offsetj(O),并分别对于各颜色分量， 保存该颜色分量中行数和列数都最小的一个像素点P的Fl(Xp)和F2(yp),计 算P的gain(x,y);
对于各颜色分量，分别按照下列步骤计算其它像素点的gain(x,y):
对于该颜色分量中和像素点P同行的第k列的像素点将F2(yp)作为 该寸象素点的F2(y);由本行第k - 2列的像素点的Fl(k - 2)，用迭代的方法计 算该像素点的Fl(k)，得到该像素点的gain(x,y);
对于该颜色分量中和像素点P同列的第i行的像素点将Fl(Xp)作为该 像素点的Fl(x)，由本列第i - 2行的像素点的F2(i - 2),用迭代的方法计算 该像素点的F2(i)，得到该像素点的gain(x,y);
20对于该颜色分量中第i行第k列的像素点，将F2(i)作为该像素点的 F2(y)，由本行第k-2列的像素点的Fl(k-2),用迭代的方法计算该像素点 的Fl(k);得到该像素点的gain(x, y);
其中，i和k为大于或等于2的整数，i最大值不超过像素点的总行数减 1, k最大值不超过像素点的总列数减1。
上面的步骤中，是一行一行计算的，在同一行中，只需要进行水平方向 的迭代来更新x相关的量Fl(x);当换行时，F1(0)和F1(1)不需要重新计算， 只需在该行的第0列进行垂直方向的迭代来得到该行的F2(y)，对于同一行 的其他列，F2(y)都是固定不变的；这可以极大地减少计算量。
在其它实施方式中，也可以一列一列计算，即在同一列中，只需要进 行垂直方向的迭代来更新y相关的量F2(y);当换列时，F2(0)和F2(l)不需要 重新计算，只需在该列的第O行进行水平方向的迭代来得到该列的Fl(x)， 对于同一行的其他列，Fl(x)都是固定不变的。
实施例二， 一种影像传感器的阴影补偿装置，如图4所示，包括
增益系数计算单元，用于通过等式(2)确定各像素点的增益系数 gain(x,y);
接收单元，用于接收影像传感器所采集的原始图像中各像素点的原始强 度值z/"(x，力；
强度值计算单元，用于根据h'"(x,力和gain(x,y),通过等式(1 )得到各 像素点阴影4卜偿后的强度值力；
调整单元，用于分别将各像素点的强度值调整为丄ow(x，力。
本实施例中，所述增益系数计算单元按照迭代的方法计算 F1(jc)-^(;c-x0)2和F2O)-50-yO)2;迭代的方法分别如等式(6)和(7)、等式(8) 和(9)所示。
本实施例中，所述增益系数计算单元确定各像素点的增益系数gain(x，y) 具体是指
所述增益系数计算单元保存第0行第0列的像素点的F1(0)和F2(0),以及offsetj一x(0)和offset—l_y(0);得到该像素点的gain(x, y);
所述增益系数计算单元对于第0行第k列的像素点将F2(0)作为该像 素点的F2(y);由第0行第k - 1列的像素点的Fl(k - 1)，用迭代的方法计算 该像素点的F1 (k),得到该像素点的gain(x, y);
所述增益系数计算单元对于第i行第0列的像素点将Fl(O)作为该像 素点的Fl(x),由本列第i - 1行的像素点的F2(i - 1)，用迭代的方法计算该 像素点的F2(i)，得到该像素点的gain(x，y);
所述增益系数计算单元对于第i行第k列的像素点将F2(i)作为该像 素点的F2(y);由本行第k - 1列的像素点的Fl(k - 1)，用迭代的方法计算该 像素点的Fl(k),得到该像素点的gain(x,y);
其中，i和k为大于或等于1的整数，i最大值不超过像素点的总行数减 1, k最大值不超过像素点的总列数减1。
所述增益系数计算单元所保存的F1(0)和F2(0),以及offset—1—x(0)和 offsetjj(0)可以由外界设置，也可以由所述增益系数计算单元计算得到。
本实施例的一种实施方式中，对Bayer格式原始图像上对四个颜色分量 分别进行处理；所述增益系数计算单元包括
R颜色分量增益系数计算子单元，用于确定R颜色分量的像素点的 gain(x,y);所述A， B, x0， y0为R颜色分量的椭圆模型的参数和中心点位
置；
Gl颜色分量增益系数计算子单元，用于确定Gl颜色分量的像素点的 gain(x，y);所述A， B， x0， y0为Gl颜色分量的椭圆模型的参数和中心点 位置；
G2颜色分量增益系数计算子单元，用于确定G2颜色分量的像素点的 gain(x，y);所述A, B, x0, y0为G2颜色分量的椭圆模型的参数和中心点 位置；
B颜色分量增益系数计算子单元，用于确定B颜色分量的像素点的 gain(x，y)。所述A， B， x0, y0为B颜色分量的椭圆模型的参数和中心点位
置；本实施方式中，各颜色分量增益系数计算子单元分别按照迭代的方法计 算Fl(;c)-J(;c-x0)2和F2(力-5(y-_y0)2;迭代的方法分别如等式(IO)和(I 1)、等 式(12)和(13)所示；其中，A、 B、 xO和yO为相应颜色分量的椭圓模型的参 凄t和中心点位置。
本实施方式中，各颜色分量增益系数计算子单元分别确定该颜色分量的 像素点的gain(x，y)具体是指
各颜色分量增益系数计算子单元中分别保存该颜色分量的offset一x(O)， offsetj(O)，并分别保存该颜色分量中行数和列数都最小的一个像素点P的 Fl(x》和F2(yp)，计算该像素点P的gain(x,y);
比如在图3所示的Bayer格式原始图像中，R颜色分量中行数和列数最 小的一个像素点P为第0行第0列的像素点，Fl(x》和F2(y》分别为F1_R(0) 和F2—R (0); Gl颜色分量中行数和列数最小的一个像素点P为第0行第1 列的像素点，Fl(Xp)和F2(yp)分别为Fl—Gl (1)和F2—Gl (0); G2颜色分量中 行数和列数最小的一个像素点P为第1行第0列的像素点，Fl(x》和F2(yp) 分别为FLG2(0)和F2—G2(l);而B颜色分量中行数和列数最小的一个像素 点P为第1行第1列的像素点，Fl(x》和F2(y》分别为Fl—B (l)和F2—B (1)。 其它Bayer格式原始图像的情况类推。
各颜色分量增益系数计算子单元对于该颜色分量中和像素点P同行的 第k列的像素点将F2(yp)作为该像素点的F2(y);由本行第k - 2列的像 素点的Fl(k-2),用迭代的方法计算该像素点的Fl(k),得到该像素点的 gain(x， y);
各颜色分量增益系数计算子单元对于该颜色分量中和像素点P同列的 第i行的像素点将F1(X》作为该像素点的Fl(x),由本列第i-2行的像素 点的F2(i - 2),用迭代的方法计算该像素点的F2(i)，得到该像素点的gain(x，
y);
各颜色分量增益系数计算子单元对于该颜色分量中第i行第k列的像素
点，将F2(i)作为该像素点的F2(y),由本行第k-2列的像素点的Fl(k-2), 用迭代的方法计算该像素点的Fl(k);得到该像素点的gain(x, y);其中，i和k为大于或等于2的整数，i最大值不超过像素点的总行数减 1, k最大值不超过像素点的总列数减1。
各颜色分量增益系数计算子单元所保存的Fl(x》和F2(yp),以及 offset一1—x(0)和offset—lj(O)可以由外界设置，也可以由所述增益系数计算单 元计算得到。
其它实现细节可以与实施例一中相同。
当然，本发明还可有其他多种实施例，在不背离本发明精神及其实质的 形，但这些相应的改变和变形都应属于本发明的权利要求的保护范围。
权利要求
1、一种影像传感器的阴影补偿方法，包括以下步骤分别计算图像中各像素点的校正因子gain(x，y)gain(x，y)＝(1+A(x-x0)2+B(y-y0)2)2；其中，x是该像素点所在的列，y是该像素点所在的行；A，B为用于表示影像传感器成像特性的椭圆模型的参数，x0，y0为椭圆的中心点位置；对于每个像素点，将影像传感器采集到的该像素点的原始强度值Lin(x，y)乘以gain(x，y)，得到强度值Lout(x，y)，将该像素点的强度值调整为Lout(x，y)。
2、 如权利要求1所述的阴影补偿方法，其特征在于，按迭代的方法计 算爿O - jc0)2和5(_y -少0)2;所述迭代的方法为<formula>formula see original document page 2</formula>其中<formula>formula see original document page 2</formula>
3、 如权利要求2所述的阴影补偿方法，其特征在于，分别计算图像中 各像素点的校正因子gain(x，y)的步骤具体包括A、 设置第0行第0列的像素点的F1(0)和F2(0)，以及offset—1—x(0)和 offset_l_y(0);得到该像素点的gain(x, y);B、 对于第0行其它列的各像素点，F2(y)均等于F2(0),由F1(0)和 offset—l一x(O)通过迭代的方法依次得到各像素点的Fl(x),从而得到各像素 点的gain(x, y); i=l;C、 对于第i行第0列的像素点，Fl(x)均等于Fl(O),由F2(i- l)和 offset—l_y(i)通过迭代的方法得到该像素点的F2(i)，从而得到该像素点的 gain(x， y);D、 对于第i行中其它列的各像素点，F2(y)均等于该行第0列的像素点的F2(i),由F1(0)和offset—l—x(0)通过迭代的方法依次得到各像素点的 Fl(x)，从而得到各像素点的gain(x，y);E、判断是否已计算完所有像素点的Fl(x)和F2(y),如果不是，则i=i+l, 返回步骤C;否则结束。
4、 如权利要求1所述的阴影补偿方法，其特征在于计算像素点的校正因子gain(x，y)时，在Bayer格式原始图像上对不同颜 色分量分别计算gain(x，y);对不同颜色分量的像素点，所述A, B, xO, y0 分别为该颜色分量的椭圆模型的参数和中心点位置。
5、 如权利要求4所述的阴影补偿方法，其特征在于，按迭代的方法计 算各颜色分量的像素点的X(x-10)2和^0;->;0)2;所述迭代的方法为<formula>formula see original document page 3</formula>其中7^0) = ^> —;c0)2 、 ^2(力=50—少0)2 ， o炎"—乂(0) = " + "(0 —x0)， o#"__y(0) = 45 + 45(0 —_y0); A、 B、 x0和y0为相应颜色分量的椭圆才莫型的参 数和中心点位置。
6、 如权利要求5所述的阴影补偿方法，其特征在于，分别计算图像中 各像素点的校正因子gain(x,y)的步骤具体包括分别设置各颜色分量的offset—x(0), offset_y(0)，并分别对于各颜色分量， 保存该颜色分量中行数和列数都最小的一个像素点P的Fl(Xp)和F2(yp),计 算P的gain(x,y);对于各颜色分量，分别按照下列步骤计算其它像素点的gain(x,y):对于该颜色分量中和像素点P同行的第k列的像素点将F2(yp)作为 该像素点的F2(y);由本行第k - 2列的像素点的Fl(k - 2)，用迭代的方法计 算该像素点的Fl(k)，得到该像素点的gain(x，y);对于该颜色分量中和像素点P同列的第i行的像素点将Fl(Xp)作为该 像素点的Fl(x)，由本列第i-2行的像素点的F2(i-2)，用迭代的方法计算 该像素点的F2(i)，得到该像素点的gain(x，y);对于该颜色分量中第i行第k列的像素点，将F2(i)作为该像素点的 F2(y),由本行第k-2列的像素点的Fl(k-2)，用迭代的方法计算该像素点 的Fl(k);得到该像素点的gain(x,y);其中，i和k为大于或等于2的整数，i最大值不超过像素点的总行数减 1 ， k最大值不超过像素点的总列数减1 。
7、 一种影像传感器的阴影补偿装置，其特征在于，包括 增益系数计算单元，用于确定各像素点的增益系数gain(x，y): ga/"0，力=(1 +雄—x0)2 + 50 _ y0)2 )2;其中，x是该像素点所在的列，y是该像素点所在的行；A, B为用于表 示影像传感器成像特性的椭圆模型的参数，x0, yO为椭圆的中心点位置；接收单元，用于接收影像传感器所采集的原始图像中各像素点的原始强强度值计算单元，用于将""(x，力乘以gain(x,y)，得到各像素点阴影补 <尝后的强度^f直￡0^0，力；调整单元，用于分别将各像素点的强度值调整为丄冊/(;c，力。
8、 如权利要求7所述的阴影补偿装置，其特征在于所述增益系数计算单元按照迭代的方法计算= 乂(x - x0)2和 F2(力=50 - yo)2;迭 的方法为+1) = F1(jc) + o炎"_ 1 一 x(jc) , —1 — xO +1) = 。#" — 1—乂O) + 2爿；"(少+ 1)=尸2(力+ 0#"一1 j(力，o#e,_l_jK>; + l) = 0#"_l — Xy) + 25;o^S"—1 — jc(O) = ^ + 2 j(0 _ x0); oi^W 一 1—少(O) = 5 + 25(0 — y0)。
9、 如权利要求8所述的阴影补偿装置，其特征在于，所述增益系数计 算单元确定各像素点的增益系数gain(x，y)具体是指所述增益系数计算单元保存第0行第0列的像素点的F1(0)和F2(0),以 及offset_l—x(0)和offset—l_y(0);得到该像素点的gain(x, y);所述增益系数计算单元对于第0行第k列的像素点将F2(0)作为该像素点的F2(y);由第0行第k- 1列的像素点的Fl(k - 1),用迭代的方法计算 该像素点的Fl(k)，得到该像素点的gain(x，y);所述增益系数计算单元对于第i行第0列的像素点将Fl(O)作为该像 素点的Fl(x),由本列第i-1行的像素点的F2(i-1)，用迭代的方法计算该 像素点的F邓)，得到该像素点的gain(x,y);所述增益系数计算单元对于第i行第k列的像素点将F2(i)作为该像 素点的F2(y);由本行第k- 1列的像素点的Fl(k- 1),用迭代的方法计算该 像素点的Fl(k)，得到该像素点的gain(x,y);其中，i和k为大于或等于1的整数，i最大值不超过像素点的总行数减 1, k最大值不超过像素点的总列数减1。
10、 如权利要求7所述的阴影补偿装置，其特征在于，所述增益系数计 算单元包括R颜色分量增益系数计算子单元，用于确定R颜色分量的像素点的 gain(x，y),所述A， B, x0， y0为R颜色分量的椭圓才莫型的参数和中心点位置；Gl颜色分量增益系数计算子单元，用于确定Gl颜色分量的像素点的 gain(x，y),所述A, B， x0， y0为Gl颜色分量的椭圆;^莫型的参数和中心点 位置；G2颜色分量增益系数计算子单元，用于确定G2颜色分量的像素点的 gain(x,y)，所述A， B， x0， y0为G2颜色分量的椭圓模型的参数和中心点 位置；B颜色分量增益系数计算子单元，用于确定B颜色分量的像素点的 gain(x,y),所述A， B, x0, y0为B颜色分量的椭圆模型的参数和中心点位 置。
11、 如权利要求IO所述的阴影补偿装置，其特征在于各颜色分量增益系数计算子单元分别按照迭代的方法计算 = ^(jc — x0)2和F2(力=万Cy — _y0)2 ;迭 的方法为F1(jc + 2) = Fl(;c) + —x(jc) ， — ;c(x + 2) = 一 x(;c) + 8^ ;F2(y + 2) = F2(力+ o炎"一 jK力，— y(y + 2) = _ y(力+ ;其中，o#"_x(0) = 4^4 + 4J(0 —jcO) , o#W — ;K0) = 4￡ + 45(0 —少0); A、 B、 x0 和y0为相应颜色分量的椭圆模型的参数和中心点位置。
12、如权利要求11所述的阴影补偿装置，其特征在于，各颜色分量增 益系数计算子单元分别确定该颜色分量的像素点的gain(x,y)具体是指各颜色分量增益系数计算子单元中分别保存该颜色分量的offset一x(O), offsetj(O)，并分别保存该颜色分量中行数和列数都最小的一个像素点P的 Fl(Xp)和F2(yp),计算该像素点P的gain(x，y);各颜色分量增益系数计算子单元对于该颜色分量中和像素点P同行的 第k列的像素点将F2(yp)作为该像素点的F2(y);由本行第k - 2列的像 素点的Fl(k-2),用迭代的方法计算该像素点的Fl(k)，得到该像素点的 gain(x, y);各颜色分量增益系数计算子单元对于该颜色分量中和像素点P同列的 第i行的像素点将F1(X》作为该像素点的Fl(x),由本列第i - 2行的像素 点的F2(i - 2),用迭代的方法计算该像素点的F2(i),得到该像素点的gain(x,y);各颜色分量增益系数计算子单元对于该颜色分量中第i行第k列的像素 点，将F2(i)作为该像素点的F2(y)，由本行第k - 2列的像素点的Fl(k - 2)， 用迭代的方法计算该像素点的Fl(k);得到该像素点的gain(x，y);其中，i和k为大于或等于2的整数，i最大值不超过像素点的总行数减 1, k最大值不超过像素点的总列数减1。
全文摘要
本发明公开了一种影像传感器的阴影补偿方法及装置；方法包括分别计算图像中各像素点的校正因子gain(x，y)，对于每个像素点，将影像传感器采集到的该像素点的原始强度值Lin(x，y)乘以gain(x，y)，得到强度值Lout(x，y)，将该像素点的强度值调整为Lout(x，y)；gain(x，y)＝(1+A(x-x0)²+B(y-y0)²)²；x是该像素点所在的列，y是该像素点所在的行；A，B为椭圆模型的参数，x0，y0为椭圆的中心点位置。本发明能够适用于影像传感器的成像特性为椭圆模型时的情况。
文档编号H04N9/04GK101505431SQ200910080310
公开日2009年8月12日 申请日期2009年3月18日 优先权日2009年3月18日
发明者李忻彤, 操 沈, 浩 王 申请人:北京中星微电子有限公司