镜头阴影补偿装置和方法以及使用该镜头阴影补偿装置和方法的图像处理器的制作方法

专利名称：镜头阴影补偿装置和方法以及使用该镜头阴影补偿装置和方法的图像处理器的制作方法
技术领域：
本发明涉及图像传感器，更具体地涉及一种图像传感器中的用于根 据像素的位置来补偿信号幅度差以保持原始图像的质量的镜头阴影补偿 装置和镜头阴影补偿方法。
背景技术：
近来，带有图像传感器的便携式设备(例如，数字相机、移动通信
终端等)己经被引入市场。图像传感器由被称作像素或光点(photosite) 的光敏二极管的阵列构成。
像素本身通常不从光中提取色彩，而是将宽频谱带中的光子转换为 电子。为了通过单个传感器来记录彩色图像，传感器是滤光的，从而不 同的像素接收不同的颜色。这种传感器被称为滤色器阵列(CFA)。不同 的滤色器按照预定模式排布在传感器上。
作为最通用的模式，CFA中广泛采用了 Bayer (拜尔)模式。在Bayer 模式下，像素总数的一半是绿色(G)，而总数的两个四分之一被分配给 红色(R)和蓝色(B)。为了获得色彩信息，红色、绿色和蓝色滤色器以 特定顺序排布以形成重复的模式。Bayer模式由2X2阵列构成。
Bayer模式基于这样的前提人眼从绿光种获取大多数亮度数据。因 此，与同样数量的红色、绿色和蓝色像素交替的情况相比，使更多的像 素为绿色可以生成分辨率更高的图像。
然而，近来销售的便携式设备中的常规图像传感器存在这样的问题 像素阵列的几何模式造成了图像失真。这是由该图像传感器较小的外镜 头和高f数造成的。
图1例示了镜头的中心部分和边缘之间的透射率的不一致。如图1
所示，图像传感器的CFA的中心部分的像素和边缘的像素从不同方位
(position)暴露至光源。
这些方位上的微小差别导致了照度(illumination)的差别，并且由 于光频率和折射率的差别，照度的差别影响了颜色。因此，不可避免地 发生了取决于像素位置的颜色失真和信号幅度的减小，降低了原始图像 的质量。这种现象被称为镜头阴影(shading)现象。
图2 (a)和图2 (b)例示了根据红色(R)、绿色(G)和蓝色(B) 光形成的镜头阴影图像的中心点和特性。如图2 (a)所示，像素阵列200 的中心点210与镜头阴影图像203、 206、 209的中心点213、 216和219 中的任何一个都不一致，其中镜头阴影图像203、 206、 209是根据穿过 镜头的红色、绿色和蓝色光在图像传感器的像素阵列200上形成的。此 外，如图2 (b)所示，可以注意到，这些镜头阴影图像具有不同的镜头 阴影图像特性223、 226、 229。
为了补偿镜头阴影现象，已经引入了一种在拍摄白色区域的图像后 使像素阵列的所有像素的亮度均衡的方法。
图3是示出一种使亮度均匀的常规图像处理方法的流程图。
参照图3，在输入了原始图像(S310)后，执行暗电平补偿(S320) 和噪声移除(S330)。随后，执行镜头阴影补偿(S340)和颜色插值(S350)。 然后，通过颜色调整、伽玛转换、格式转换等来提高图像的质量(S360)， 最后将图像数据输出到显示单元(S370)。
然而，上述镜头阴影补偿(S340)是在红色、绿色和蓝色的镜头阴 影图像具有相同的形状和中心点的前提下应用的。此外，在颜色插值S350 之前，像素阵列的每个像素都根据Bayer模式而具有红色、绿色和蓝色 中的任何一个的像素值，而相邻像素都具有不同的颜色分量，从而难以 在不干扰其它颜色的情况下针对每个颜色来补偿镜头阴影图像。
图4 (a)、图4 (b)和图4 (c)例示了另一种实施方式的镜头阴影 图像。
参照图4 (a)，镜头阴影图像405的中心点415相对于像素阵列400 的中点410向左偏离。参照图4 (b)，镜头阴影图像相对于像素阵列400
的纵向倾斜425或不倾斜420。参照图4(c)，镜头阴影图像405相对于 像素阵列400的横向倾斜435或不倾斜430。
沿纵向倾斜425或沿横向倾斜435时，镜头阴影图像405不能有均 匀的亮度。然而，目前还未提出一种对镜头阴影图像的倾斜特性425或 435进行补偿的方法。

发明内容
为了解决上述问题，本发明提供了一种图像传感器、镜头阴影补偿 装置以及镜头阴影补偿方法，其单独地对红色、绿色和蓝色进行颜色插 值，然后根据其特性来补偿每种颜色的镜头阴影图像。
而且，本发明还提供了一种图像处理器、镜头阴影补偿装置以及镜 头阴影补偿方法，其能够分析和补偿镜头阴影现象，而无需考虑其它颜 色或不受其它颜色的干扰。
而且，本发明还提供了一种能够补偿倾斜镜头阴影图像的图像传感 器、镜头阴影补偿装置和镜头阴影补偿方法。
通过下述实施方式，本发明的其它目的将变得更加明显。
为了实现上述目的，本发明的一方面提供了一种镜头阴影补偿装置。 在本发明的实施方式中，该镜头阴影补偿装置包括像素值分析部分， 其根据原始图像数据来生成亮度信息，该原始图像数据被颜色插值，从 而每个像素都有红色、绿色和蓝色分量，针对每种颜色来生成亮度信息； 自动曝光值设置部分，其通过该亮度信息来测量像素阵列的一部分的平 均亮度，并将该平均亮度设置为自动曝光值，像素阵列的所述一部分位 于该像素阵列的第一中心像素的周围；中心像素检测部分，其与该亮度 信息相对应地从镜头阴影图像中检测第二中心像素；表生成部分，其根 据与第二中心像素的距离以块为单位来划分像素，生成并存储与该自动 曝光值相对应的每块补偿值；像素位置计算部分，其计算目标像素(object pixel)和第二中心像素之间的距离；蒙板(mask)图像生成部分，其利 用与目标像素和第二中心像素之间的距离相对应的每块补偿值来产生该 目标像素的补偿值，并且创建每颜色阴影蒙板图像；以及补偿部分，其通过将该原始图像数据与该阴影蒙板图像进行组合而生成像素补偿信息。
中心像素检测部分利用封闭曲线上的多个交点来检测第二中心像 素，该曲线是通过亮度边界值而产生的，该亮度边界值被设置为位于与 像素阵列的每个像素有关的亮度信息的最小值和最大值之间，该封闭曲 线在这些交点处与穿过第一中心像素的垂直中心线或水平中心线相交。
自动曝光值设置部分设置自动曝光上限和自动曝光下限，使得自动 曝光值位于它们之间。
表生成部分根据与第二中心像素的距离以块为单位来划分像素，并 且连续对块中包括的像素应用不同的补偿值，直到它找到这样一个补偿 值为止，并将该补偿值存储为每块补偿值，在该补偿值处，最大数量的 像素具有介于自动曝光上限和自动曝光下限之间的值。
上述镜头阴影补偿还包括用于检测镜头阴影图像的斜度(slope)的 斜度检测部分。
蒙板图像生成部分生成倾斜蒙板图像以补偿该斜度，并且补偿部分 通过将阴影蒙板图像和该倾斜蒙板图像与原始图像数据进行组合来生成 像素补偿信息。
在本发明的另一种实施方式中， 一种用于补偿镜头阴影现象的图像 装置的图像处理器一其中该图像装置包括传感器单元、该图像处理器和
显示单元一包括插值部分，其对从传感器单元输入的数字图像信号进
行颜色插值，使得像素阵列的所有像素都有红色、绿色和蓝色分量；镜 头阴影补偿部分，其根据颜色来分析与像素阵列的所有像素的由该插值 部分颜色插值的红色、绿色和蓝色有关的亮度信息，测量具有预定尺寸 并位于该像素阵列的第一中心像素周围的一部分的亮度，将该部分的亮 度设置为自动曝光值，与该亮度信息相对应地从镜头阴影图像中检测第 二中心像素，根据与第二中心像素的距离以块为单位来划分像素，生成 与该自动曝光值相对应的每块补偿值，将每块补偿值保存为补偿表，计 算目标像素和第二中心像素之间的距离，利用与目标像素和第二中心像 素之间的距离相对应的每块补偿值来计算该目标像素的补偿值，由此产
生每种颜色的阴影蒙板图像，并且通过将该阴影蒙板图像与该亮度信息
进行组合来生成像素补偿信息并将其输出；以及后续处理部分，其对像
素补偿信息进行处理，以通过该显示单元进行显示。
第二中心像素是利用封闭曲线上的多个交点来检测的，该封闭曲线
是通过被设置为位于与像素阵列的每个像素有关的亮度信息的最小值和
最大值之间的亮度边界值而产生的，该封闭曲线与在这些交点处穿过第 一中心像素的水平中心线或垂直中心线相交。
每块补偿值是这样确定的根据与第二中心像素的距离以块为单元 来划分像素，并且连续对块中包括的像素应用不同的补偿值，直到找到 这样一个补偿值为止，在该补偿值处，最大数量的像素具有介于自动曝 光上限和自动曝光下限之间的值，该自动曝光上限和自动曝光下限被设 置成使自动曝光值位于它们之间。
镜头阴影补偿部分检测在某个方向倾斜的镜头阴影图像的斜度，产 生倾斜蒙板图像来补偿该斜度，并且通过将该亮度信息与该倾斜蒙板信 息进行组合来生成像素补偿信息。
在本发明的另一种实施方式中， 一种用于补偿图像传感器中的镜头 阴影现象的方法包括以下步骤(a)针对每种颜色，根据已进行过颜色 插值从而每个像素都有红色、绿色和蓝色分量的原始图像数据来生成亮 度信息；(b)通过该亮度信息来测量具有预定尺寸并位于像素阵列的第
一中心像素周围的一部分的平均亮度，并将该部分的平均亮度设置为自
动曝光值；(c)与该亮度信息相对应地从镜头阴影图像中检测第二中心
像素；(d)根据与第二中心像素的距离以块为单位来划分像素，生成并
保存与该自动曝光值相对应的每块补偿值；(e)计算目标像素和第二中
心像素之间的距离；(f)利用与该目标像素和第二中心像素之间的距离相
对应的每块补偿值来产生该目标像素的补偿值，并且针对每种颜色来创
建阴影蒙板图像；以及(g)通过将原始图像数据与阴影蒙板图像进行组
合来生成像素补偿信息，并输出该补偿像素信息。
步骤(c)包括以下步骤设置边界亮度值，使其位于与像素阵列的 每个像素有关的亮度信息的最小值和最大值之间；检测穿过第一中心像
素的水平中心线或垂直中心线与通过该亮度边界值而产生的封闭曲线的 相交像素；以及利用这些相交像素来检测第二中心像素。
步骤(b)还包括以下步骤设置曝光上限和曝光下限，使得自动曝 光值位于它们之间。
步骤(d)包括以下步骤(d-l)根据与第二中心像素的距离以块为
单位来划分像素；(d-2)对块中包括的像素应用任意补偿值，并且对具有 位于自动曝光上限和自动曝光下限之间的值的像素的数量进行计数；以 及(d-3)将计数最大处的补偿值保存为该块的补偿值，其中对原始图像 数据的整个区域重复执行步骤(d-l)到步骤(d-3)。
上述方法在步骤(b)和步骤(c)之间还包括以下步骤检测在某 个方向倾斜的镜头阴影图像的斜度。
上述方法在步骤(f)和步骤(g)之间还包括以下步骤生成倾斜
蒙板图像以补偿该斜度，其中步骤(g)通过将阴影蒙板图像和该倾斜蒙 板图像与原始图像数据进行组合来生成像素补偿信息。


图1例示了镜头的中心部分与边缘之间的透射率的不一致。
图2 (a)和图2 (b)例示了各自从红色(R)、绿色(G)和蓝色(B)
光生成的镜头阴影图像。
图3是示出了使亮度均匀的常规图像处理方法的流程图。
图4 (a)、 4 (b)和4 (c)例示了另一种实施方式的镜头阴影图像。
图5是根据本发明实施方式的图像处理装置的框图。
图6是根据本发明实施方式的详细示出镜头阴影补偿部分的结构的框图。
图7 (a)和7 (b)例示了根据本发明实施方式的用于检测镜头阴影 图像的中心像素的方法。
图8 (a)和8 (b)例示了根据本发明实施方式的用于检测镜头阴影 图像的斜度的方法。
图9例示了根据本发明实施方式的用于产生补偿表的方法。图10例示了通过用蒙板图像来补偿镜头阴影现象而拉平透射率的方法。
图11是根据本发明实施方式的用于补偿镜头阴影现象的方法的流程图。
具体实施例方式
以下将参照附图来详细描述本发明的实施方式。
下面的说明仅例示了本发明的原理。因此本领域技术人员可以设计 出实现本发明的原理且不会脱离本发明的主旨和范围的各种方法及其装 置，即使它们可能没有在本说明书中清楚地解释或图示。而且，要认识 到，不仅本发明的原理、观点和实施方式，而且列出了具体实施方式
的 所有详细描述都旨在包括结构和功能等效形式。
说明书中使用的术语(例如，第一、第二等)仅用于以顺序的方式 区分同等或相似的项目。
而且，说明书中使用的术语仅用于描述下面的实施方式，而并不限 制本发明。除非被清楚地使用，否则单数形式的表达包括复数含义。在 该申请中，"包括"和"存储"的措辞意图表达特性、数字、步骤、操作、 元件、部分或其组合的存在，而并不排除其它特性、数字、步骤、操作、 元件、部分或其任何组合，或对此进行的任何添加。
除非另外定义，否则这里使用的包括科学或技术术语的术语具有本 发明所属领域普通技术人员通常理解的相同含义。这里使用的术语不应 仅基于任何字典的定义，而且还应基于本发明所属领域中使用的含义来 理解。而且，除非清楚地定义，否则这里使用的术语不应被过于理想化 或形式化地解释。
在本发明中，对像素阵列的所有像素顺序地拍摄白色空白图像以具 有均匀的亮度。
图5是示出根据本发明实施方式的图像处理装置的结构的框图。参 照图5，图像处理装置500包括传感器单元510、图像处理单元520和显 示单元530。此外，还可包括键输入单元、存储器等，但是省略了对它们 的描述，因为它们与本发明的主旨不相关。
传感器单元510包括滤色器阵列(CFA) 512和A/D转换器514。传 感器单元510还可包括镜头(未示出)。
滤色器阵列512将通过镜头输入的光信号转换为电信号，并输出这 些电信号。此时，滤色器阵列512可使用例如Bayer模式的各种模式， 并向每个像素输出包含仅与红色、绿色和蓝色中的一个有关的色彩信息 的图像信号。
包含与红色有关的信息的图像信号从与R (红色)模式相对应的像 素输出，包含与绿色有关的信息的图像信号从与G (绿色)模式相对应 的像素输出，而包含与蓝色有关的信息的图像信号从与B (蓝色)模式 相对应的像素输出。
对通过具有Bayer等模式的滤色器阵列512而获得的每个像素值进 行插值(例如，可以通过对右侧和左侧的两个像素值，或相邻四侧的四 个像素值求平均来推断残缺的色彩信息)，以获得完整的色彩信息。这种 插值是在插值部分521中进行的。
A/D转换器514将经过滤色器阵列512转换的图像信号转换为数字 信号，并将该数字信号发送到插值部分521。
图像处理单元520包括插值部分521、插值用存储器522、镜头阴影 补偿部分523、补偿表寄存器部分524、颜色调整部分525、伽玛转换部 分526、伽玛表527、格式转换部分528和格式转换表529。图像处理单 元520还可包括定时生成部分(未示出)，该定时生成部分用于生成水平 同步信号(Hsync)、垂直同步信号(Vsync)和像素时钟(PCLK)中的 各种定时信号。
插值部分521针对每个像素来生成红色、绿色和蓝色的像素信号。 当从滤色器阵列512输出的图像信号具有Bayer模式时，不能从与红色 相对应的像素获得绿色或蓝色的像素信号。因此，插值部分521通过执 行插值操作，针对与红色相对应的像素来生成绿色和蓝色的像素信号。
为此，将相邻像素的像素信号暂时保存在插值用存储器522中，从 而插值部分521可以使用这些记录的像素信号来执行插值操作。
镜头阴影补偿部分523根据预定处理，对每个像素的像素信号的亮 度和电平进行分析、检测镜头阴影图像的中心像素和斜度，并生成能够 补偿镜头阴影现象的蒙板图像。
这种通过电平分析、镜头阴影图像中心像素检测和斜度检测的补偿 是通过设置自动曝光值来实现的。电平与每个像素的亮度有关，并且例 如，当像素的电平全部为io时，可以认为图片的整体亮度是10。
如上所述，镜头阴影补偿部分523根据通过设置自动曝光值而设置 的电平，对与一帧相对应的像素阵列中的所有像素的图像信号，即，包 含与红色、绿色和蓝色有关的信息的像素信号进行补偿，从而使原始图 像的质量不被劣化。将会参照图6详细描述镜头阴影补偿部分523的组 成和功能。
补偿表是根据亮度分量生成的并且是基于镜头阴影图像的中心像素 和/或斜度生成的。可针对红色、绿色和蓝色中的每一个来生成一个补偿 表。该补偿表保存在补偿表寄存器部分524中。补偿表由N个块和与这 些块相对应的N个亮度值构成，每个块都有相等的宽度(例如，16个像 素、32个像素、64个像素等)并且是沿与阴影图像的中心像素的距离而 形成的。
块的宽度越宽，其边界之间的补偿值的差就越大，从而降低了补偿 的精度。在使用16个像素的块的情况下，能够进行精确的镜头阴影补偿 但是需要许多寄存器，因此通常使用32个像素的块。此外，块是在像素 中形成的，以便在镜头阴影补偿期间进行能够忽略划分操作的偏移(shift) 操作。
颜色调整部分525调整色调，而伽玛转换部分526将图像数据转换 为适于设备特性(伽玛特性)，以输出到显示单元(例如，LCD、 CRT) 530。伽玛表527中存储有用于转换为伽玛特性的转换表。
作为将像素信号转换为具有适于显示单元530的格式的装置，格式 转换部分528将像素信号转换为具有如NTSC、 YUV、 YCbCr等的数字 格式并输出它们。格式转换表529是用于转换到如NTSC或TUV等的显 示信号格式的表。
图6是示出根据本发明实施方式的镜头阴影补偿部分的结构的框
图。图7 (a)和7 (b)例示了根据本发明实施方式的检测镜头阴影图像 的中心像素的方法。图8 (a)和8 (b)例示了根据本发明实施方式的检 测镜头阴影图像的斜度的方法。图9例示了根据本发明实施方式的生成 补偿表的方法。图IO例示了通过用蒙板图像来补偿镜头阴影现象而使透 射率均衡的方法。
镜头阴影补偿部分523利用通过插值部分521进行了颜色插值的图 像数据，针对红色、绿色和蓝色中的每一个来生成镜头阴影图像，使其 相对于所有像素都具有包含与红色、绿色和蓝色有关的信息的像素信号， 并且生成用于补偿该镜头阴影图像的蒙板图像。
即使针对红色、绿色和蓝色中的每一个形成了不同的镜头阴影补偿 部分523，硬件资源也基本上不增加，因为可以共享公共元件。
尽管下面的描述集中于对由像素的红色分量形成的镜头阴影图像中 出现的镜头阴影现象的补偿，但是它也可以应用到由绿色或蓝色分量形 成的镜头阴影图像。
参照图6，镜头阴影补偿部分523包括像素值分析部分610、自动曝 光值设置部分620、中心像素检测部分630、斜度检测单元640、表生成 部分650、像素位置计算部分660、蒙板图像生成部分670和补偿部分680。
像素值分析部分610接收由经插值部分521进行了颜色插值的数字 图像信号构成的图像数据，并且分析每个像素的亮度信息和电平(level) 信息。像素值分析部分610可逐行地，或对整个帧，或通过采样仅对中 心线进行图像数据的分析。显然，像素值分析部分610可与图像信号的 位信息(例如，10位、8位)相对应地以不同方式来进行这种分析。
自动曝光值设置部分620从图像的像素阵列的中心区域选择预定尺 寸的区域(例如，由200X200个像素构成的区域)，并将所选区域的平 均亮度设置为自动曝光值。自动曝光值位于自动曝光上限和自动曝光下 限之间。这里，自动曝光上限和自动曝光下限是从镜头阴影图像的亮度 图表中选择的任意两个亮度值，并且被中心像素检测部分630用来检测 镜头阴影图像的中心像素。自动曝光上限和自动曝光下限之间的间隙可
以是预定的或者由用户来预定。
通过使用自动曝光值，固定了像素阵列的中心的亮度，从而可以基 于它来调整中心以外的其他区域的亮度。换句话说，自动曝光值是要通 过补偿来实现的目标值。这种自动曝光值存储在补偿表寄存器部分524
中，在表生成部分650生成补偿表时使用。
中心像素检测部分630从白色空白图像中检测镜头阴影图像的中心 像素，从而在像素阵列的中心与其不一致时，可以基于镜头阴影图像的 中心来进行补偿。检测到镜头阴影图像的中心像素后，将其位置存储在 补偿表寄存器部分524中，从而基于该中心像素来生成用于补偿镜头阴 影现象的蒙板图像。
下面参照图7来描述用于检测镜头阴影图像的中心像素的方法。中 心像素检测部分630设置第一亮度边界值和第二亮度边界值，使第一亮 度边界值低于与所有像素有关的亮度信息的最高亮度值的亮度边界值， 并使第二亮度边界值高于该最低亮度值的亮度边界值，从而确定第一亮 度边界值和第二亮度边界值。这里，第一亮度边界值大于第二亮度边界 值。
亮度在第一亮度边界值和第二亮度边界值之间的像素被映射到第一 预设值(例如，"255")，而其他像素被映射到第二预设值(例如，"0")。 映射到第一值的像素形成了两个同心圆或两个椭圆，如图7 (b)所示。
两个同心圆说明镜头阴影图像既不水平倾斜也不垂直倾斜，而两个 椭圆说明镜头阴影图像在特定方向上倾斜。后一种情形将在稍后描述斜 度检测部分640时加以描述。下面的描述集中于镜头阴影图像没有斜度 的情形。
圆形带由亮度值在第一亮度值和第二亮度值之间的像素形成，并且 具有8个交点721、 723、 725、 727、 731、 733、 735和737，其中像素阵 列的垂直中心线710a和水平中心线710b在这些交点上与圆形带的内边 界和外边界相交。这里，垂直中心线710a和水平中心线710b是预先确 定的。
圆形带的内边界在两个点721和725处与垂直中心线710a交，形成
了弦721-725，并且在两个点723和727处与水平中心线710b交，形成 了另一条弦723-727。这两条弦的中垂线的交点是镜头阴影图像的中心像 素715。这基于如下理论圆的两条弦的中垂线经过圆心。这对于圆形带 的外边界也成立。
当然，也可以使用其他各种方法来检测镜头阴影图像的中心像素。 检测镜头阴影图像的中心像素715的重要性在于，如果没有对镜头阴影 图像的中心像素进行适当补偿，就会出现色差从而导致图像边缘的彩色 条纹。
在镜头阴影图像具有斜度的情况，斜度检测部分640检测斜度以对 其进行补偿。下面参照图8来描述用于检测镜头阴影图像810的斜度的方法。
如果由亮度值属于某个亮度级的像素构成的像素带未形成两个同心 圆，则这表示镜头阴影图像810具有特定方向的斜度。
图8 (a)中例示的镜头阴影图像810具有从左到右倾斜的斜度。在 此情形下，镜头阴影图像810的左边比右边更亮。因此，产生具有能够 补偿这种亮度差的斜度的蒙板图像。斜度可以根据左右之间的亮度偏差 和与镜头阴影图像810的中心像素815的距离而获得。
按照与中心像素检测部分630检测镜头阴影图像的中心像素相同的 方式来设置第一亮度限和第二亮度限，以检测如图8 (b)中所示的像素 带820。像素带820左边的宽度824比右边的宽度822要宽，这表示镜头 阴影图像向其右边倾斜。可以根据左边宽度824和右边宽度822来计算 斜度，以产生用于补偿斜度的蒙板图像。
尽管未在图8中示出，但是也可以按相同的方式来检测向另一方向 倾斜的斜度，并且可以根据它来产生蒙板图像。
表生成部分650根据在像素值分析部分610中分析出的亮度信息(例 如，每个像素的亮度信息和电平值)、由自动曝光值设置部分620设置的 自动曝光值以及自动曝光上限和自动曝光下限、由中心像素检测部分630 检测到的镜头阴影图像的中心像素的位置和/或由斜度检测部分640检测 的镜头阴影图像的斜度，来生成补偿表，并将补偿表存储在补偿表寄存
器部分524中。
在斜度检测部分640检测到镜头阴影图像的斜度的情形下，可以在
生成补偿表之前先对斜度进行补偿以形成没有斜度的新的镜头阴影图
参照图9，根据从镜头阴影图像的中心像素到另一像素的距离以块 为单位对镜头阴影图像的像素进行划分，从而生成每块补偿值(例如， 某块的开始和结束位置)。
为了生成每块补偿值，对单元块内具有自动曝光上限和自动曝光下 限之间的值的像素的数量进行计数。根据补偿值的增大或减小来监控单 元块中具有自动曝光上限和自动曝光下限之间(调谐范围)的值的像素 数量的改变，从而将与最大数量的像素相对应的补偿值最终确定为该单 元块的补偿值。
在图9的块A的情况下，最初没有具有调谐范围内的值的像素，但 是当添加了补偿值"a"后，块A中的几乎所有像素都可具有调谐范围内 的值。对剩余的块重复执行该过程，以确定每个块的补偿值。显然，当 自动曝光值小于阴影图像的中心像素的亮度值时，补偿值可以是负值。
在将补偿表存储到补偿表寄存器部分524中之前可进行错误测试。 镜头阴影图像具有下开口抛物线(convexparabola)表面，以透镜阴影图 像的中心像素为轴。因此，假定补偿值形成了上开口抛物线(concave pambola)。因此，检测是否(1)某个块的补偿值异常地大于其之前的块 的补偿值(例如，为100或更大)，或(2)某个块的补偿值小于其之前 块的补偿值(例如，块D的补偿值"d"小于块C的补偿值"c"的情况)。 如果结果满足上面的条件，则断定补偿表有错，从而应当重新生成补偿 表。
像素位置计算部分660计算由中心像素检测部分630检测到的镜头 阴影图像的中心像素与另一像素之间的距离。例如，补偿部分523根据 从水平方向和垂直方向输入的图像信号的输入顺序，对它们进行计数(例 如，计数可由像素值分析部分610或单独的计数装置来执行)，并且计得 数表明，可通过査阅预先建立的表通过该计得数而获知镜头阴影图像中相应像素的位置。因此，像素位置计算部分660可计算出镜头阴影图像 的中心像素与每个像素之间的距离，从而可以成组地将像素分割为单元
块(参照图9)。
而且，计得数使得存储在补偿表寄存器部分524中的补偿值可以与 每个像素关联起来。
蒙板图像生成部分670通过与计得数相对应地提取存储在补偿表寄 存器部分524中的补偿值来计算某个像素的补偿值。存储在补偿表寄存 器部分524中的补偿表被配置为与像素阵列的单位块相对应(例如，16 个像素、32个像素、64个像素)。可利用两个表值(例如，与块的开始 位置相对应的第一补偿值和与块的结束位置相对应的第二补偿值)来计 算单位块内的补偿值。
通常，目标像素的位置是相对于该像素所属块的开始位置和结束位 置相对确定的，并且对与这两个点相对应的两个补偿值进行线性插值以 找到与位置相对应的补偿值。也可以应用其他各种方法来类推每个像素 的补偿值。
在类推出所有像素的补偿值后，生成可以补偿镜头阴影现象的蒙板 图像。
在斜度检测部分640检测到镜头阴影图像的斜度的情况下，还额外 生成倾斜蒙板图像以补偿阴影蒙板图像，从而创建完整的蒙板图像。
补偿部分680通过将原始图像数据和蒙板图像(倾斜蒙板图像和阴 影蒙板图像的组合)进行组合来生成像素补偿信息，并将该像素补偿信 息传递给颜色调整部分525 (参照图IO)。
图11是根据本发明实施方式的用于补偿镜头阴影现象的方法的流程 图。参照图11，在步骤S1100，像素值分析部分610从插值部分521接 收经插值的图像数据，其中插值部分521对与原始白色图像相对应的数 字图像信号进行颜色插值，该原始白色图像是白色区域的拍摄图像。这 里，由于镜头的几何特性，原始图像中出现了镜头阴影现象，从而与原 始白色图像的中心越远，亮度就变得越小。像素值分析部分610生成每 个像素的亮度信息。
在步骤SlllO，自动曝光值设置部分620利用每行输入的数字图像信 号，来测量像素阵列的中心像素周围的预定区域的平均亮度。随后，在
步骤S1120,自动曝光值设置部分620将步骤S1110测量出的平均亮度设 置为自动曝光值。此外，还确定曝光上限和曝光下限，使得自动曝光值 位于曝光上限和曝光下限之间。
在步骤S1130，斜度检测部分640在镜头阴影图像具有斜度的情况 下检测镜头阴影图像的斜度。
在步骤S1140，中心像素检测部分630从图像数据中检测镜头阴影 图像的中心像素，如图7和8所示。
在步骤S1150，表生成部分650利用亮度信息、自动曝光值、镜头 阴影图像的中心像素、斜度，以及镜头阴影图像的中心像素与每个像素 (其可以被划分为块)之间的距离，来生成每个像素(或每块)的补偿 值。然后，将生成的补偿值和/或亮度信息、自动曝光值、镜头阴影图像 的中心像素以及中心像素与每块之间的距离存储在补偿表寄存器部分 524中。
在步骤S1160，像素位置计算部分660利用表示了每个像素的位置 的计得数来计算中心像素与每个像素之间的距离。
在步骤S1170，蒙板图像生成部分670提取存储在补偿表寄存器部 分524中的补偿表，以计算相应像素的补偿值。在计算出所有计算值之 后，生成蒙板图像。
在步骤S1180，补偿部分680将根据步骤S1100的亮度信息而生成 的镜头阴影图像与步骤S1170的蒙板图像进行耦合，并生成像素补偿信 息。补偿部分680进行到步骤S1190，将像素补偿信息传递到颜色调整部 分525。
上述镜头阴影补偿方法可分别对红色、绿色和蓝色执行，从而可以 针对图像数据的每个颜色分量来生成镜头阴影图像和蒙板图像，该图像 数据已经由插值部分521颜色插值为具有红色、绿色和蓝色分量。
根据本发明的图像处理器、镜头阴影补偿装置和镜头阴影补偿方法 对红色、绿色和蓝色的每一种进行颜色插值，并且针对每个颜色对镜头
阴影图像中的镜头阴影现象进行补偿。
而且，利用该图像处理器、镜头阴影补偿装置和镜头阴影补偿方法， 可以对镜头阴影现象进行分析和补偿，而无需考虑其他颜色或来自其他 颜色的干扰。
而且，利用该图像处理器、镜头阴影补偿装置和镜头阴影补偿方法， 可补偿具有斜度的镜头阴影图像。
尽管本发明是针对每种颜色分别进行分析和执行镜头阴影补偿，但 是这基本没有增加硬件资源，因为可以共享公共硬件。
尽管已经参照公开的实施方式描述了本发明，但是应该理解，本领 域的技术人员可以改变或修改各实施方式而不背离如权利要求书中所述 的本发明的主旨和范围或其等价形式。
本申请要求2006年12月28日提交的PCT/KR2006/005846的外国
优先权，此处通过引用将该申请的全部内容并入。
权利要求
1、一种镜头阴影补偿装置，该镜头阴影补偿装置包括像素值分析部分，其根据原始图像数据来生成亮度信息，该原始图像数据被颜色插值，从而每个像素都有红色、绿色和蓝色分量，针对每种颜色来生成该亮度信息；自动曝光值设置部分，其通过该亮度信息来测量像素阵列的一部分的平均亮度，并将该平均亮度设置为自动曝光值，像素阵列的所述一部分位于该像素阵列的第一中心像素的周围；中心像素检测部分，其与该亮度信息相对应地从镜头阴影图像中检测第二中心像素；表生成部分，其根据与第二中心像素的距离以块为单位来划分像素，生成并存储与该自动曝光值相对应的每块补偿值；像素位置计算部分，其计算目标像素和第二中心像素之间的距离；蒙板图像生成部分，其利用与目标像素和第二中心像素之间的距离相对应的每块补偿值来产生该目标像素的补偿值，并且创建每种颜色的阴影蒙板图像；以及补偿部分，其通过将该原始图像数据与该阴影蒙板图像进行组合而生成像素补偿信息。
2、 根据权利要求1所述的镜头阴影补偿装置，其中该中心像素检测 部分利用封闭曲线上的多个交点来检测第二中心像素，该曲线是通过亮 度边界值而产生的，该亮度边界值被设置为位于与该像素阵列的每个像 素有关的亮度信息的最小值和最大值之间，该封闭曲线在这些交点处与 穿过第一中心像素的垂直中心线或水平中心线相交。
3、 根据权利要求2所述的镜头阴影补偿装置，其中该自动曝光值设 置部分设置自动曝光上限和自动曝光下限，使得该自动曝光值位于它们 之间。
4、 根据权利要求3所述的镜头阴影补偿装置，其中该表生成部分根 据与第二中心像素的距离以块为单位来划分这些像素，并且连续对块中 包括的像素应用不同的补偿值，直到它找到这样一个补偿值为止，并将 该补偿值存储为每块补偿值，在该补偿值处，最大数量的像素具有介于 该自动曝光上限和该自动曝光下限之间的值。
5、 根据权利要求1所述的镜头阴影补偿装置，该镜头阴影补偿装置 还包括用于检测镜头阴影图像的斜度的斜度检测部分。
6、 根据权利要求5所述的镜头阴影补偿装置，其中该蒙板图像生成 部分生成倾斜蒙板图像以补偿该斜度，并且该补偿部分通过将该阴影蒙 板图像和该倾斜蒙板图像与该原始图像数据进行组合来生成该像素补偿"(曰息c
7、 一种用于补偿镜头阴影现象的图像装置的图像处理器，其中该图 像装置包括传感器单元、该图像处理器和显示单元，该图像处理器包括:插值部分，其对从该传感器单元输入的数字图像信号进行颜色插值， 使得像素阵列的所有像素都有红色、绿色和蓝色分量；镜头阴影补偿部分，其根据颜色来分析与该像素阵列的所有像素的 由该插值部分颜色插值的红色、绿色和蓝色有关的亮度信息，测量具有 预定尺寸并位于该像素阵列的第一中心像素周围的一部分的亮度，将该 部分的亮度设置为自动曝光值，与该亮度信息相对应地检测镜头阴影图 像中的第二中心像素，根据与第二中心像素的距离以块为单位来划分像 素，生成与该自动曝光值相对应的每块补偿值，将该每块补偿值保存为 补偿表，计算目标像素和第二中心像素之间的距离，利用与目标像素和 第二中心像素之间的距离相对应的该每块补偿值来计算该目标像素的补 偿值，由此产生每种颜色的阴影蒙板图像，并且通过将该阴影蒙板图像 与该亮度信息进行组合来生成像素补偿信息并将其输出；以及后续处理部分，其对该像素补偿信息进行处理，以通过该显示单元 进行显示。
8、 根据权利要求7所述的图像处理器，其中第二中心像素是利用封 闭曲线上的多个交点来检测的，该封闭曲线是通过被设置为位于与该像 素阵列的每个像素有关的亮度信息的最小值和最大值之间的亮度边界值 而产生的，该封闭曲线在这些交点处与穿过第一中心像素的水平中心线 或垂直中心线相交。
9、 根据权利要求8所述的图像处理器，其中该每块补偿值是这样确 定的根据与第二中心像素的距离以块为单元来划分像素，并且连续对 块中包括的像素应用不同的补偿值，直到找到这样一个补偿值为止，在 该补偿值处，最大数量的像素具有介于自动曝光上限和自动曝光下限之 间的值，该自动曝光上限和自动曝光下限被设置成使该自动曝光值位于 它们之间。
10、 根据权利要求7所述的图像处理器，其中该镜头阴影补偿部分 检测在某个方向倾斜的镜头阴影图像的斜度，产生倾斜蒙板图像来补偿 该斜度，并且通过将该亮度信息与该倾斜蒙板信息进行组合来生成该像 素补偿信息。
11、 一种用于补偿图像传感器中的镜头阴影现象的方法，该方法包 括以下步骤(a) 针对每种颜色，根据已进行过颜色插值从而每个像素都有红色、 绿色和蓝色分量的原始图像数据来生成亮度信息；(b) 通过该亮度信息来测量具有预定尺寸并位于像素阵列的第一中 心像素周围的一部分的平均亮度，并将该部分的平均亮度设置为自动曝光值；(c) 与该亮度信息相对应地从镜头阴影图像中检测第二中心像素；(d) 根据与第二中心像素的距离以块为单位来划分像素，生成并保 存与该自动曝光值相对应的每块补偿值；(e) 计算目标像素和第二中心像素之间的距离；(f) 利用与目标像素和第二中心像素之间的距离相对应的该每块补 偿值来产生该目标像素的补偿值，并且针对每种颜色来创建阴影蒙板图 像；以及(g) 通过将该原始图像数据与该阴影蒙板图像进行组合来生成像素 补偿信息，并输出该补偿像素信息。
12、 根据权利要求ll所述的方法，其中步骤(c)包括以下步骤 设置边界亮度值，使其位于与该像素阵列的每个像素有关的亮度信 息的最小值和最大值之间；检测穿过第一中心像素的水平中心线或垂直中心线与通过该亮度边界值而产生的封闭曲线的相交像素；以及 利用这些相交像素来检测第二中心像素。
13、 根据权利要求12所述的方法，其中步骤(b)还包括以下步骤设置曝光上限和曝光下限，使得该自动曝光值位于它们之间。
14、 根据权利要求13所述的方法，其中步骤(d)包括以下步骤 (d-l)根据与第二中心像素的距离以块为单位来划分这些像素； (d-2)对块中包括的像素应用任意补偿值，并且对具有位于该自动曝光上限和该自动曝光下限之间的值的像素的数量进行计数；以及 (d-3)将计得数最大处的补偿值保存为该块的补偿值， 其中对该原始图像数据的整个区域重复执行步骤(d-l)到步骤(d-3)。
15、 根据权利要求ll所述的方法，该方法在步骤(b)和步骤(c) 之间还包括以下步骤检测在某个方向倾斜的该镜头阴影图像的斜度。
16、 根据权利要求15所述的方法，该方法在步骤(f)和步骤(g) 之间还包括以下步骤生成倾斜蒙板图像以补偿该斜度，其中步骤(g)通过将该阴影蒙板图像和该倾斜蒙板图像与该原始图像数据进行组合来 生成该像素补偿信息。
全文摘要
本发明公开了一种镜头阴影补偿装置和一种图像传感器中的镜头阴影补偿方法，其根据像素的位置来补偿信号幅度的差异，以保持原始图像的质量。该镜头阴影补偿装置包括像素值分析部分、自动曝光值设置部分、中心像素检测部分、表生成部分、像素位置计算部分、蒙板图像生成部分和补偿部分。上述装置和方法针对红色、绿色和蓝色分别执行颜色插值，然后根据其特性针对每种颜色来补偿镜头阴影图像。而且，上述装置和方法可以分析和补偿镜头阴影现象而无需考虑其他颜色或其他颜色的干扰。
文档编号H04N9/64GK101352049SQ200680050055
公开日2009年1月21日 申请日期2006年12月28日 优先权日2005年12月28日
发明者鲁尧焕 申请人:安泰科技有限公司