处理彩色和全色像素的制作方法

专利名称：处理彩色和全色像素的制作方法
技术领域：
本发明涉及对具有彩色和全色像素的数字图像进行处理。
技术背景电子成像系统依靠电子图像传感器来建立可视图像的电子显示。这样的电子图像传感器的例子包括电荷耦合装置(CCD)图像传感器和 有源像素传感器UPS)装置(因为能够在互补金属氧化物半导体处理 中制造APS装置，所以APS装置经常被叫做CMOS传感器)。典型地， 这些图像传感器包括多个光敏像素，经常以行和列的规则图案进行排 列。为了捕获彩色图像，在像素图案上典型地制造滤波器的图案，其 所带有的不同滤波器材料被用于使单独的像素仅对部分可见光谱感 光。滤色器必定减少了到达每个像素的光量，从而减少了每个像素的 光敏度。需要持续提高光敏度或拍摄速度，在较短的曝光时间内，电 子彩色图像传感器允许图像在较低光等级下被捕获或允许在较高光等 级下被捕获。图像传感器即可以是线性的也可以是两维的。通常，这些传感器 具有两种不同类型的应用。两维传感器典型地适用于诸如数码相机、 蜂窝电话和其他应用的图像捕获设备。线性传感器经常用于扫描文档。 无论哪种情况，当应用滤色器时，图像传感器只有下降的灵敏度。由Eastman Kodak公司制造的KLI-4104线性图像传感器包括四个 线性的、单个像素宽的像素阵列，其具有应用到三个阵列上的滤色器 以使每个阵列整体上对红色、绿色或蓝色感光；进一步地，三个彩色 阵列具有较多的像素来补偿由于滤色器光感应度的减少，以及第四格 阵列具有较少像素来捕获高分辨率单色图像。当使用图像传感器捕获 图像时，该图像表现为连同三个低分辨率图像一起的高分辨率、高摄 影灵敏度的单色图像，它们一般具有相同的拍摄灵敏度以及三个图像 中的每一个对应来自图像的红色、绿色或蓝色光；因此，在电子图像 中的每个点包括单色值、红色值、绿色值和蓝色值。然而，因为这是 线性图像传感器，它需要在图像传感器和图像之间的相对机械运动，5以便通过四个线性像素阵列扫描图像。还存在本领域中公知的电子成像系统，其在Akira Muramatsu的 美国专利4, 823, 186中被描述，其包括两个传感器，其中每个传感器 包括两维像素阵列，但是一个传感器不具有滤色器，以及另一个传感 器包括在像素中的滤色器图案，以及带有光束分裂器来向图像传感器 提供图像。因为彩色传感器具有应用在其上的滤色器图案，所以彩色 传感器中的每个像素仅仅提供单一色彩。当用该系统捕获图像时，电 子图像中的每个点包括单色值和一个彩色值，以及彩色图像一定具有 在从邻近色彩内插的每个像素位置上丢失的色彩。虽然该系统提高了 单个传统图像传感器的光感度，但是该系统的整体复杂度、大小和成 本比需要两个传感器和光速分裂器的系统要大。进一步地，光束分裂 器将到达每个图像传感器的光量减少了 1/2，限制了拍摄速度的提高。除了上面提到的线性图像传感器之外，本领域中公知的还有具有 两维像素阵列的图像传感器，其中该像素包括不具有应用到其上的滤 色器的像素。例如，参见Sato等人的美国专利4, 390， 895， Yamagami 等人的美国专利5， 323， 233以及Gindele等人的美国专利6， 476， 865。在每个所引证的专利中，未滤波或单色像素的感光度比彩色像素 要稍微高一些，需要增益的应用以便匹配来自像素阵列的彩色和全色 信号。增加增益增加了噪声和信号，导致得到的图像的信噪比降低。 在美国专利申请2003/0210332中的框架(frame)公开了具有多个未 滤波像素的像素，但是彩色像素遭遇如上面所提到的相同感光度。当在低光线条件下捕获图象时有效处理提供了高分辨率彩色图像。发明内容本发明涉及一种用于处理具有彩色和全色像素的数字图像的改进 方法。用于生成具有彩色和全色像素的数字图像的线性或两维图像阵 列传感器可以捕获这些像素。简单的概括，根据本发明的一个方面，本发明提出了一种用于形 成最终数字彩色图像的方法，包括a)使用具有与至少两个色彩光响应对应的全色像素和彩色像素的 图像传感器来捕获图像；b) 从所捕获的图像中提供数字全色图像和中间数字彩色图像；以及c) 使用该数字全色图像和该中间数字彩色图像来提供最终数字彩 色图像。通过由数字图像形成数字全色图像和中间数字彩色图像，提供改 进的最终数字彩色图像。全色图像能够具有高分辨率，以及中间数字 彩色图像能够具有较低分辨率。当改变光线条件的情况下捕获图像时， 所得到的最终图像具有改善的质量。根据本发明处理具有彩色和全色像素的数字图像特别适用于在低 水平照明条件下捕获的数字图像，其中这样的低水平照明条件是低场 景照明、短曝光时间、小光團或对光到达传感器的其它限制的结果。 所述处理具有广泛的应用以及多种类型的图像捕获装置能够有效地使 用该处理。根据下面优选实施例的详细描述和所附权利要求以及通过参考附 图，本发明的这些和其他方面、目的、特征和优点将更加容易明白和 理解。


图1是传统数码相机系统的框图，它能够应用传统的传感器和处 理方法或本发明的传感器和处理方法；图2 (现有技术)是传统的Bayer滤色器阵列图案，示出了最小重复单元和非最小重复单元；图3提供了典型的红、绿、蓝像素的光谱量化效率曲线，以及较 宽的光谱全色量化效率，全部与红外线截断滤波器的传输特性相乘；图4A-D提供用于本发明的滤色器阵列图案的几种变型的最小重复 单元，其具有与被排列成行或列的彩色光响应相同的彩色像素；图5示出了图4A中的最小重复单元的单元格(cell)结构；图6A是用于图4A的内插过的全色图像；图6B是与图4A和图5中的单元格对应的低分辨率彩色图像；图7A-C示出了组合图4A的像素的几种方式；图8A-D示出了具有彩色像素的图4A的滤色器阵列图案，该彩色 像素具有可替换的彩色光响应特性，包括四个颜色替换以及青色、品红和黄色替换；图9提供了本发明的替换滤色器阵列的最小重复单元，在其中全 色像素在对角线上被排列；图10A-B提供了本发明的替换滤色器阵列的两种变型的最小重复单元，在其中全色像素形成网格，彩色像素嵌入到该网格中；图11A-D提供了本发明的替换滤色器阵列的两种变型的最小重复 单元和平铺排列，在其中每个单元格有两种色彩；图12A-B提供了本发明的替换滤色器阵列的两种变型的最小重复单元和平铺排列，在其中每个单元格有两种色彩，以及全色像素在对角线上被排列；图13A-C提供了图4A的变型，其中最小重复单元小于8X8像素；图14A-B提供了本发明的替换滤色器阵列的两种变型的最小重复 单元，在其中最小重复单元是6X6像素；图15A-B提供了本发明的替换滤色器阵列的两种变型的最小重复 单元，在其中最小重复单元是"4像素；图16是图4A的最小重复单元，带有每个最小重复单元中各个像 素的下标；图17A-E示出了图16的一个单元格的全色像素和彩色像素，以及将彩色像素进行组合的多种方式；图18是本发明的处理框图，其示出了用于处理来自本发明的传感器的彩色和全色像素数据的方法；以及图19A-D说明了本发明的方法，其用于在图18的低分辨率部分彩 色图像中内插丢失的色彩。
具体实施方式
因为应用成像装置和用于信号捕获和校正以及啄光控制的相关电 路的数字相机是公知的，所以本说明书特别涉及本发明所述的形成其 部分或直接与之协作的单元、方法和装置。根据本领域的常识可以选 择并非本文特别示出或描述的单元。所描述的实施例的特定方面是以 软件形式提供的。对本发明的实施例是有用的、在下面的材料中给出 的本发明所示出和描述的系统、并非本文特别示出、描述或建议的软 件是传统的，是这些领域的一般技术。现在回到图1,示出了被示为具体实施本发明的数码相机的图像捕 获装置。虽然现在将对数码相机进行解释，但是本发明可以明确地应 用于其他类型的图像捕获装置。在所公开的相机中，来自目标场景的光IO输入到成像级11，其中由透镜12聚焦该光以在固态成像传感器 20上形成图像。图像传感器20将入射光转换为每个图像单元(像素) 的电信号。优选实施例的图像传感器20是电荷耦合装置(CCD)类型 或有源像素传感器(APS)类型(因为能够用互补金属氧化物半导体工 艺制造它们，所以APS装置经常被叫做CMOS传感器)，使用具有像素 的二维阵列的其他类型的图像传感器，假设它们采用本发明的图案。 本发明也可以使用具有彩色和全色像素的二维阵列的图像传感器20， 这将在描述过图1之后在本说明书中稍后变得清楚。在图像传感器20 中使用的本发明的彩色和全色像素图案的例子在图4A-D、图8A-D、图 9、图IOA-B、图IIA、图IIC、图13A-C、图14A-B和图15A-B示出，虽然在本发明的精神下可以使用其他图案。到达传感器20的光量被光圏块14调整，其可以改变孔径和包含 插入到光路中的一个或多个中性密度(ND)滤光片的ND滤光片块 (filter block) 13。还调整全部光级是打开快门块18的时间。曝光 控制器块40响应亮度传感器块16测量的场景中可用的光量并控制这 些调整功能。特定相机配置的该描述是本领域技术人员熟悉的，并且多种变型 和附加特征是现有的。例如，添加自动聚焦系统，或者该透镜是可分 离和可交换的。应当明白，本发明可以应用到任何类型的数码相机， 其中通过替换部件来提供类似的功能。例如，数码相机是一种相对简 单的点击数码相机，其中快门18是相对简单的可活动的叶片式快门等， 而不是更复杂的聚焦平面布置。本发明还可以实施在包含在诸如移动 电话和自动车辆的非相机装置里的成像部件上。来自图像传感器20的模拟信号经过模拟信号处理器处理，并施加 到模数(A/D)转换器24。定时生成器26生成各种时钟信号来选择行 和像素以及同步模拟信号处理器22和A/D转换器24的操作。图像传 感器级28包括图像传感器20、模拟信号处理器22、 A/D转换器24和 定时生成器26。图像传感器级28的部件是单独制造的集成电路，或它 们可以被制造为单一的集成电路，其通常与CMOS图像传感器一起制造。从A/D转换器24的数字像素值所得到的流被存储在与数字信号处理器 (DSP ) 36相关联的存储器32中。数字信号处理器36是本实施例中除了系统控制器50和曝光控制 器40之外的三个处理器或控制器之一。虽然在多个控制器和处理器之 间划分相机功能控制是典型的，但是在不影响相机的功能操作和本发 明应用的情况下可以以多种方式来组合这些控制器或处理器。这些控 制器或处理器可以包含一个或多个数字信号处理器装置、微控制器、 可编程逻辑装置或其他数字逻辑电路。虽然这些控制器或处理器的组 合已经被描述，但是应当注意， 一个控制器或处理器被指定为执行所 有需要的功能。所有这些变型可以执行相同的功能并落在本发明的范 围内，以及术语"处理级"才艮据需要来使用以在一个短语内包含该功 能性的全部，如在图1中的处理级38中。在所说明的实施例中，DSP36根据永久存储在程序存储器54并复 制到存储器32中用于在图像捕获期间执行的软件程序来操作存储器 32中的数字图像数据。DSP36执行实施图18所示成像处理所需的软件。 存储器32包括任何类型的随机存取存储器，诸如SDRAM。总线30包括 地址和数据信号的路径，其将DSP36连接到其相关的存储器32、 A/D 转换器24和其他相关装置。系统控制器50基于存储在程序存储器54中的软件程序来控制相 机的全部操作，存储器54可以包括快闪EEPROM或其他非易失性存储 器。该存储器还可以用来存储图像传感器校准数据，用户设定选择和 其他数据，它们必须在相机关闭时能够得到保存。通过命令曝光控制 器40操作前述透镜12、 ND滤光片13、光圈14和快门18，命令定时 生成器26操作图像传感器20和相关单元以及命令DSP36处理所捕获 的图像数据，系统控制器50控制图像捕获的顺序。图像被捕获和处理 之后，存储在存储器32中的最终图像文件通过接口 57被传送到主机， 存储在可移动存储卡64或其他存储装置中并在图像显示器88上显示 给用户。总线52包括地址、数据和控制信号的路径，并将系统控制器50 连接到DSP36、程序存储器54、系统存储器56、主机接口 56、存储卡 接口 60和其他相关装置上。主机接口 57提供高速连接给个人计算机 (PC)或其他主机用于图像数据的传输，该图像数据用于显示、存储、操作或打印。该接口是IEEE1394或USB2. 0串行接口或任何其他合适 的数字接口。存储卡64典型地是一种插入到插槽中并通过存储卡接口 60连接到系统控制器50的致密闪存(CF)卡。可用的其他类型的存储 器包括但不限于PC卡、多媒体卡(MMC)或安全数字(SD)卡。处理过的图像被复制到系统存储器56中的显示緩冲器，并通过视 频编码器80连续读出以便生成视频信号。该信号被直接从相机输出以 便在外部监视器上显示或通过显示控制器82处理并在图像显示器88 上呈现。该显示器典型地是有源矩阵彩色液晶显示器(LCD)，然而也 可以使用其他类型的显示器。包括取景显示器70、曝光显示器72、状态显示器76和图像显示 器88和用户输入74的所有或任何组合的用户接口由在曝光控制器40 和系统控制器50上执行的软件程序的组合来控制。用户输入74典型 地包括按钮、摇臂开关、操纵杆、旋转拨号盘或触摸屏的某种组合。 曝光控制器40操作光线测量、曝光模式、自动聚焦和其他曝光功能。 该系统控制器50管理在一个或多个显示器上呈现的图形用户界面 (GUI)，例如在图像显示器88上。该GUI典型地包括用于生成各种 选项选择和检查所捕获图像的预览模式的菜单。啄光控制器40接受选择膝光模式、透镜孔径、啄光时间(快门速 度)和曝光指数或ISO感光度标定值的用户输入，并引导透镜和快门 从而用于随后的捕获。亮度传感器16被用于测量场景的亮度并提供膝 光表功能用于用户指定什么时候手动设定ISO感光度标定值、孔径和 快门速度。在该情况下，当用户改变一个或多个设置时，在取景显示 器70上呈现的曝光表标志告诉用户图像将超过或曝光不足到什么程 度。在自动曝光模式下，用户改变一个设置，并且曝光控制器40自动 变更其他的设置以便维持正确的曝光，例如，对于给定的ISO感光度 标定值，当用户减小透镜孔径时，曝光控制器40自动增加啄光时间以 便维持相同的整体膝光。ISO感光度标定值是数码静拍相机(digital still camera)的 重要属性。曝光时间、透镜孔径、透镜透射比、场景照明的等级和语 分布以及场景反射率确定数码静拍相机的啄光等级。当使用不充足的 曝光捕获来自数码静拍相机的图像时，适当的色调再现通常可以通过 增加电子或数字增益来得以维持，但是图像将包含不可接受的噪声量。200680027624.6说明书第l/24页处理彩色和全色像素技术领域本发明涉及对具有彩色和全色像素的数字图像进行处理。
技术背景电子成像系统依靠电子图像传感器来建立可视图像的电子显示。这样的电子图像传感器的例子包括电荷耦合装置(CCD)图像传感器和 有源像素传感器UPS)装置(因为能够在互补金属氧化物半导体处理 中制造APS装置，所以APS装置经常被叫做CMOS传感器)。典型地， 这些图像传感器包括多个光敏像素，经常以行和列的规则图案进行排 列。为了捕获彩色图像，在像素图案上典型地制造滤波器的图案，其 所带有的不同滤波器材料被用于使单独的像素仅对部分可见光谱感 光。滤色器必定减少了到达每个像素的光量，从而减少了每个像素的 光敏度。需要持续提高光敏度或拍摄速度，在较短的曝光时间内，电 子彩色图像传感器允许图像在较低光等级下被捕获或允许在较高光等 级下被捕获。图像传感器即可以是线性的也可以是两维的。通常，这些传感器 具有两种不同类型的应用。两维传感器典型地适用于诸如数码相机、 蜂窝电话和其他应用的图像捕获设备。线性传感器经常用于扫描文档。 无论哪种情况，当应用滤色器时，图像传感器只有下降的灵敏度。由Eastman Kodak公司制造的KLI-4104线性图像传感器包括四个 线性的、单个像素宽的像素阵列，其具有应用到三个阵列上的滤色器 以使每个阵列整体上对红色、绿色或蓝色感光；进一步地，三个彩色 阵列具有较多的像素来补偿由于滤色器光感应度的减少，以及第四格 阵列具有较少像素来捕获高分辨率单色图像。当使用图像传感器捕获 图像时，该图像表现为连同三个低分辨率图像一起的高分辨率、高摄 影灵敏度的单色图像，它们一般具有相同的拍摄灵敏度以及三个图像 中的每一个对应来自图像的红色、绿色或蓝色光；因此，在电子图像 中的每个点包括单色值、红色值、绿色值和蓝色值。然而，因为这是 线性图像传感器，它需要在图像传感器和图像之间的相对机械运动，5子数量，或者测量自由电子产生的速率能够测量每个像素处的光等级。 在以往的情况中，累计电荷从像素阵列中移出到如在电荷耦合装置(CCD)中的电荷至电压测量电路，或每个像素附近的区域能够包含如 在有源像素传感器(APS或CMOS传感器)中的电荷至电压测量电路的 元件。在下面的描述中无论什么时候一般的参考文献都被做成图像传感 器，其被理解为图l的图像传感器20的代表。应当进一步明白，在该 说明书中公开的本发明的图像传感器结构和像素图案的所有实例及其 等效物被用于图像传感器20。在图像传感器的情况下，像素("图像单元"的缩写)指的是与 光感测区域相关联的离散光感测区域和电荷偏移或电荷测量电路。在 数字彩色图像的情况下，术语像素通常指的是在具有相关彩色值的图 像中的特定位置。为了生成彩色图像，在图像传感器中的像素阵列典型地具有置于 其上的滤色器图案。图2示出了通常所使用的红、绿、蓝滤色器的图 案。发明人Bryce Bayer在US 3， 971， 065中/>开之后，该特定的图 案通常被称为Bayer滤色器阵列(CFA )。该图案被有效地使用在具有两维彩色像素阵列的图像传感器中。因此，每个像素具有特定的彩色 光响应，在这种情况下，其对红、绿或蓝光是半睡眠感应。彩色光响 应的其他有效变型是对品红、黄色或青色光半睡眠感应。在每个情况 下，特定的彩色光响应对可见光谱中的某一部分具有高感光度，而同 时对可见光谱中的其他部分具有低感光度。术语彩色像素指的是具有 彩色光响应的像素。被选择用在传感器中的彩色光响应组通常具有三个颜色，如Bayer CFA中所示，但是它也可以包括四个或更多颜色。如本文中所使用的， 全色光响应指的是具有比在所选择的彩色光响应组中的那些光谦感光 度要宽的光谱感光度的光响应。术语全色像素指的是具有全色光响应 的像素。虽然该全色像素通常具有比彩色光响应组要宽的光谱感光度， 但是每个全色像素可以具有相关的滤波器。这样的滤波器可以是中性 密度滤光片或滤色器。当彩色和全色像素的图案在图像传感器的面上时，每个这样的图 案具有重复单元，其是用作基本构建块的像素的连续子阵列。通过将重复单元的多个副本(copy)并置来生成所有的传感器图案。沿对角 线方向以及水平方向和垂直方向来设置重复单元的该多个副本的并 置。最小的重复单元是其他的重复单元都不具有更少的像素的重复单 元。例如，图2中的CFA包括最小的重复单元，它是如图2中的像素 框100所示的2像素X 2像素。该最小的重复单元的多个副本被平铺 以便覆盖图像传感器中的整个像素阵列。最小的重复单元与右上角的 绿色像素一起示出，但是通过将粗线框区域向右移动一个像素、向下 移动一个像素，或向右下对角地移动一个像素，三个替换的最小重复 单元能够被容易地区分。虽然像素框102是重复单元，但是它不是最 小重复单元，因为像素框100是重复单元，并且框100具有比框102 更少的像素。使用具有图2所示的两维阵列的CFA的图像传感器捕获的图像仅 仅在每个像素处具有一个颜色。为了生成全彩色图像，需要用于在每 个像素处外推或内插失去的颜色的多个技术。这些CFA内插技术是本 领域公知的，并且参考下面的专利US5506619 、 US5629734和 US5652621。图3示出在典型的相机应用中带有红、绿和蓝色滤波器的像素的 相关光谱感光度。图3中的X轴表示以纳米为单位的光波长，以及Y 轴表示效率。在图3中，曲线110表示典型的滤波器的光谱传输特性， 其用于阻塞对到达图像传感器的红外线光和紫外线光。需要这样的滤 波器，因为用于图像传感器的滤色器典型地不阻塞红外线光，因此该 像素不能区分红外线光和位于那些相关滤色器通频带中的光。曲线110 所示的红外线阻塞特性防止红外线光掺杂在可见光信号中。用于应用了红、绿、蓝滤波器的典型硅传感器中的光谱量子效率，即能够被捕 获并被转换为可测量的电信号的入射光子的比例，与由曲线110所表 示的红外线阻塞滤波器的光谦传输特性相乘以便生成由红色的曲线 114、绿色的曲线116和蓝色的曲线118所表示的组合系统量子效率。 从这些曲线中知道，每个彩色光响应仅仅对一部分可见光感光。通过 对比，没有应用滤色器的同样的硅传感器的光响应由曲线112示出； 这是全色光响应的例子。通过将彩色光响应曲线114、 116和118与全 色光响应曲线112进行比较，应当清楚全色光响应对宽光谙光比任何200680027624.6说明书第8/24页当增加曝光时，增益减小，从而图像噪声一般可以被减小到可接受的 程度。如果过分增加曝光，那么在图像的亮区域中得到的信号超过图 像传感器或相机信号处理的最大信号等级能力.这将引起图像高亮被削减(clipped)以形成均匀的亮区域，或图像的周围区域变亮。在设 置合适的曝光中引导用户是重要的。ISO感光度标定值企图充当这样的 引导。为了让拍摄者容易理解，数码静拍相机的ISO感光度标定值应 当直接涉及照相胶片相机的ISO感光度标定值。例如，如果数码静拍 相机具有ISO 200的ISO感光度标定值，然后相同的曝光时间和孔径 对于胶片/处理系统设定的ISO 200来说是合适的。IS0感光度标定值企图与胶片IS0感光度标定值进行协调。然而， 电子和基于胶片的成像系统之间存在差异，这排除了精确的等效性。 数码静拍相机可以包括可变增益，以及可以在图像数据被捕获之后提 供数字处理，使得能够在相机爆光范围内实现色调再现。因此，数码 静拍相机可以具有感光度标定值范围。该范围被定义为ISO感光度宽 容度(speed latitude)。为了避免混淆，该信号值被设置为固有的 ISO感光度标定值，且ISO感光度宽容度上限和下限表示该感光度范 围，即包括有效感光度标定值的范围，其不同于固有的ISO感光度标 定值。需要注意，固有的ISO感光度是数值，其是根据在数码静拍相 机的聚焦平面处提供的曝光计算的，以便生成指定的相机输出信号特 性。固有的感光度通常是曝光指数值，其生成给定相机系统的一般场 景的峰值图像质量，其中爆光指数是数值，其与图像传感器提供的膝 光成反比。前面对数码相机的描述是本领域技术人员所熟悉的。显而易见的 是，存在该实施例的多种变型，其是可以的，并且被选择以便减少成 本、增加特征或提高相机的性能。接下来的描述将详细公开本发明的 用于捕获图像的相机操作。虽然本说明书参考的是数码相机，但是应 当明白，本发明可以应用到具有彩色和全色像素的图像传感器的任何 类型的图像捕获装置。如图1所示的图像传感器典型地包括在硅衬底上制造的光敏像素 的两维阵列，其提供将每个像素处的入射光转换为被测量的电信号的 方式。当传感器被暴露于光时，在每个像素的电子结构中产生并捕获 自由电子。在某段时间内捕获这些自由电子以及然后测量所捕获的电异。在具有四个非重叠单元格的最小重复单元的情形下，每个单元格具有两个相同色彩的像素和两个全色像素，应当明白，最小重复单元 包括十六个像素。在具有三个非重叠单元格的最小重复单元的情形下， 每个单元格具有两个相同色彩的像素和两个全色像素，应当明白，最 小重复单元包括十二个像素。根据本发明，图4A的最小重复单元，当根据图5中所标识的单元 格结构来考虑时，能够呈现为高分辨率全色图像和低分辨率Bayer图 案彩色图像的组合，其被排列为允许在不同的照明条件下对所捕获的 彩色图像的再现。Bayer图案图像的独立单元格在相应的单元格中呈现 为彩色像素的组合。第 一组像素定义了低分辨率滤色器阵列图像以及 第二组像素定义了高分辨率的全色图像。参见图6A和图6B。图6A呈 现了对应图4A的高分辨率全色图像，包括来自图4A的全色像素P和 内插的全色像素P';以及图6B呈现了低分辨率的Bayer图案彩色图像， 其中R'、 G'和B'表示为图5框住的每一个单元格，该单元格色彩关联着 单元格内组合的彩色像素。在下面的讨论中，图4B-D, 8A-D, 9， IOA-B， IIA， IIC， 12A-B, 13A-C， 14A-B和15A-B中的所有单元格都是由粗线来描述，正如图4A 那样。除了图4A的替换的最小重复单元之外，该图案的每个单元格被旋 转90度以生成如图4B所示的图案。这是基本相同的图案，但是它是 在垂直方向上具有最高全色采样频率而不是在水平方向上。对使用图 4A或图4B的选择依赖于是否分别想要在水平还是垂直方向上具有较 高的全色空间采样。然而，应当清楚，建立两个图案那样的最小重复 单元的最终单元格对于两个图案来说都生成相同的低分辨率彩色图 像。因此，图4A和图4B从色彩角度看是等效的。 一般地，图4A和图 4B是实施本发明的例子，其具有在行或列上线性排列的全色像素。进 一步地，图4A具有单行全色像素，其每一行与相邻行的全色像素被彩 色像素行分开；图4B在列方向上具有相同的特性。图4C还呈现了另一个替换的图4A的最小重复单元，其具有基本 相同的单元格颜色特性。然而，图4C示出了由以逐个单元格为基础交 错的全色和彩色行。这可以提高垂直全色分辨率。另一个替换的图4A的最小重复单元在图4D中呈现，其中全色和彩色行由列对来交错。这 也具有提高垂直全色分辨率的潜力。图4A-D中的所有最小重复单元的 特性是两个或更多相同彩色像素的组在行或列上都被并排排列。图4A-D都具有与单元格相同的彩色结构，所述单元格构成表示低 分辨率Bayer图案的最小重复单元。因此，能够看到在本发明的精神 下，能够构造多种全色像素和分组彩色像素的排列。为了增加彩色感光度以便克服全色感光度和彩色感光度之间的不 均衡，通过多种方式来组合每个单元格中的彩色像素。例如，在CCD 传感器或允许分级的有源像素传感器中组合或分级来自相同的着色像 素中的电荷。可替换地，在相同的着色像素中的与测量过的电荷数量 对应的电压被均分，例如通过连接并行电容器来把这些电压充电到这 些电容器上。在另外的一个方式中，在相同着色像素上的光等级的数 字表示被求和或求平均。将来自两个像素的电荷进行组合或分级使信 号级加倍，而与采样和读出组合信号相关联的噪声是相同的，从而信 噪比增加了两倍，表示组合像素的感光度相应地提高两倍。在求和来 自两个像素的光等级数字表示的情况下，得到的信号增加两倍，但是 来自读取两个像素的相应噪声正交组合，从而将噪声增加了 2的平方 根；从而所得到的组合像素的信噪比比未组合的信号增加了 2的平方 根。类似的分析应用到电压或数字平均化。单独或组合使用上述用于来自单元格内相同着色像素的组合信号 的方式。例如，通过垂直组合，来自分为两组的图4A中的相同着色像 素的电荷生成具有图7A所示的组合信号R、、 G、和B、的组合像素。在 这种情况下，每个R、、 G、和B、具有两倍于未组合的像素的感光度的感 光度。可替换地，(电压或数字)由分为四组的图4A中的相同着色像 素水平地组合测量的值生成具有图7B所示的组合信号R、、 G、和B、的 组合像素。在这种情况下，因为信号增加了四倍，而噪声增加了2倍， 所以每个R、、 G、和B、具有两倍于未组合像素的感光度的感光度。在另 一个替换组合方案中，垂直组合来自分为两组的图7A所示的相同着色 像素的电荷，以及水平求和或平均化图7A中分为四组的组合像素的已 测量的像素来生成图7C中最后的组合彩色像素，且R〃、 G〃和B〃表示 相同着色像素的最后组合。在该组合方式中，图7C中的每个最后的组 合彩色像素具有四倍于未组合像素的感光度的感光度。 一些传感器结构，特别是一些CCD配置能够允许将来自每个单元格内的所有八个相 同着色像素的电荷组合为图7C中的形式，导致组合彩色像素的感光度 增加八倍。根据上面所述，现在应当明白，出于调整彩色像素感光性的目的， 存在多个组合彩色像素的自由度。公知的组合方案被建议给本领域技 术人员，并且这是基于场景内容、场景照明、整体光线等级或其他标 准。进一步地，选择组合方案以便有意地允许组合像素具有比全色像 素更少或更多的感光度，为了达到该目的，应用了红绿蓝滤波器的图像传感器被描述。采 用可替换的滤波器选择来实施本发明。应用了青色、黄色和品红传感 器的图像传感器是本领域公知的，并且采用青色、品红和黄色滤波器 来实施本发明。图8A示出了图4A的青色、品红和黄色的等效物，其 中C表示青色像素、M表示品红像素和Y表示黄色像素。本发明还可以使用具有三个以上的彩色光响应的像素。图8B示出本发明的最小重复单元，其包括青色像素(由C表示)、 品红像素(由M表示)、黄色像素(由Y表示)和绿色像素(由G表 示)。这保留了图5所示的最小重复单元的整体单元格排列，但是包 括四个不同的着色像素和四个不同的着色像素对应的单元格。图8C示出了另一个可替换的四个色彩排列，其包括红色像素(由R表示)、蓝 色像素(由B表示)、具有一个彩色光响应的绿色像素(由G表示) 和具有不同彩色光响应的替换绿色像素(由E表示)。图8D示出了另 一个可替换的四个色彩排列，其中图4A中的其中一个绿色单元格被置 换为黄色单元格，其中黄色像素由Y表示。除了全色像素以外还采用少于三个的颜色来实施本发明。例如， 具有对应于颜色红和蓝的单元格的最小重复单元适于使用。在本发明的精神内实施图4A的多种替换。例如，图9呈现了本发 明的可替换的最小重复单元，其采用了与图4A相同的单元格结构，除 了全色像素的棋盘图案。该图案提供了图像的均勻的全色采样，克服 了图4A、 4C和4D中的垂直全色采样缺陷。图9的特征为通过沿对角 线排列全色像素来实施本发明的例子。图9进一步的特征为具有单一 的对角线全色像素，其中全色像素的每个对角线与相邻对角线被彩色 像素的对角线分开。图9的另一个特征是沿着对角线并排排列的两个或更多个相同彩色像素，到目前为止所述的图案具有相同数目的全色和彩色像素.本发明不限于这种排列，如全色像素比彩色像素更多。图IOA还示出本发明 的另一个实施例，其中彩色像素被嵌入到全色像素的网格图案中。该 图案提供了非常好的全色空间采样，同时表现了与图4A和9所示相同 的彩色单元格排列。图IOB提供了全色网格图案的四个颜色的实施例。 通常，图10中的最小重复单元的特征在于通过一个或多个全色像素把 每个彩色像素与相邻彩色像素分开。对于给定的像素图案，最小重复单元已经在前面被定义为比其他 的重复单元具有更少像素的重复单元。在相同的场景中，根据在重复 单元中像素总数来比较来自不同像素图案的重复单元的大小。作为例 子，来自一个像素图案的4像素X 8像素的重复单元比来自另一个像 素图案的6像素X 6像素的重复单元要小，因为在第一个重复单元中 的像素总数(4X8-32)比在第二个重复单元中的像素总数(6X6-36) 要小。作为另一个例子，比具有8像素X 8像素的重复单元要小的重 复单元包括总数小于64个的像素。到目前为止所示的所有图案显示了单元格结构，其中每个单元格 除了全色像素之外还包含单一的颜色。进一步地，到目前为止所示的 所有图案显示了具有8X8像素范围的最小重复单元。还可以使用这样 的最小重复单元，即在每个单元格中具有一种以上颜色的单元格。同 样，最小重复单元格被定义为其范围小于8X8像素。例如，图11A中的最小重复单元具有两个单元格且每个单元格包括两种颜色在左侧 单元格中的蓝色和绿色(分别由B和G表示)，以及在右侧单元格中 的红色和綠色(分别由R和G表示)。在图11A中，单元格中包含两 种颜色，以及这些颜色被排列以便使为了提高颜色的感光度而组合相 同颜色变得容易。图IIB示出了如何平铺图IIA中的最小重复单元以 便使红色和蓝色交错。图11C提供了一种应用了四个颜色并在每个单 元中具有两个颜色的最小重复单元。图IID示出了如何平铺图11C中 的最小重复单元以便使红色和蓝色交错。在图11D中，不精确图案的 特征在于在绿色范围(分别由G和E表示)内的两个不同颜色光感应 的棋盘与红和蓝(分别由R和B表示)的棋盘相互交错。图12A提供 了图IIA的全色棋盘型式，以及图12B提供了图IIC的全色棋盘型式。通常，图11A和11C的最小重复单元的特征在于由不同的像素来在行 和列上将每个彩色显和相邻彩色像素彼此分开，其中该不同的像素或 者是不同的彩色像素或者是全色像素。到目前为止所描述的最小重复单元具有8X8或4X4的像素范围。 然而，最小重复单元是比较小的。例如，图13A类似于图14A，但是每 个彩色单元格是3像素宽乘4像素高以及整个最小重复单元是6像素 宽乘8像素高。图13B消除了图13A中的两个彩色像素行，从而生成 具有3X3像素的单元格，以及6X6像素的最小重复单元。图13C进一 步消除了两个全色行，从而生成具有3像素宽乘2像素高的单元格(每 个单元格包含3个全色像素和3个彩色像素)，以及具有6像素宽乘4 像素高的最小重复单元。如果在每个单元格中组合颜色的方案需要比 图4A所示要少的像素数量和其他图案，那么图13A-13C所示图案是特别有用的。图14A还示出了另一种最小重复单元。图14A中的最小重复单元 是6X6像素，其中每个单元格包括单一颜色的4像素菱形图案且其余5 像素是全色像素。如图14A所示的全色空间采样图案稍微有些不规则， 建议图14B的图案，其在由单一颜色占据的每个3X3单元格中具有全 色棋盘和其余像素。图15A示出了 4X4像素的最小重复单元，并且包括四个2X2像素 单元格。注意，每个单元格中包括两个全色像素和两个相同颜色的像 素。该发明在每个2X2单元格中需要两个相同颜色像素的布局，以便 使在每个单元格中组合彩色像素变得容易。图15B类似于图15A,但是 采用全色棋盘图案。现在回到图16，图15中的最小重复单元被划分为四个单元格，单 元格是具有比最小重复单元还少的像素的连续像素子阵列。需要提供 下列处理的软件被包含在图1中的DSP36中。单元格220、 224、 226 和228是单元格的例子，其中这些单元格包含分别具有绿、红、蓝和 绿色光响应的像素。在该例子中，单元格220包含全色像素和彩色像 素，绿色像素被标识为像素组222。最后的目的是通过组合像素组222 中的绿色像素的八个绿色信号来生成单元格220的单绿色信号。依赖 于图像传感器的操作模式，通过组合模拟域中的所有八个绿色信号(通 过电荷进仓(charge binning))来生成单绿色信号，或通过组合比像素组222中的像素更少的像素组来生成多个绿色信号。在图17A中 示出了单元格220中的全色像素。在下面的例子中，所有来自这些全 色像素的八个信号被单独数字化。单元格220的绿色像素被图17B-17E 示出，其中，根据这些信号在模拟域中被组合的方式，将它们一起分 组。图17B描述了所有的八个绿色像素被组合来生成单元格220(图6)中的单绿色信号的情况。传感器能够生成两个绿色信号，例如，通过 首先组合来自像素G21、 G22、 G23和G24的信号以及然后组合来自像 素G41、 G42、 G43和G44的信号，如图17C所示。还可以采用其他方 式来生成两个信号。该传感器首先可以组合来自像素G21、 G22、 G41 和G42的信号，然后再组合来自像素G23、 G24、 G43和G44的信号， 如图17D所示。传感器还可以通过组合四对信号来生成单元格220的 四个绿色信号，例如，通过组合像素G21和G22，然后组合G23和G24， 然后组合G41和G42，以及最后组合G43和G44，如图17E所示。应当 清楚，存在多种其他的方式来组合单元格220中的绿色像素对(图16)。 如果传感器根本没有进行组合，那么所有八个绿色信号单独向单元格 220报告。因此，在单元格220的情形下，传感器能够生成单元格220 的一个、两个、四个或八个绿色值，并且能够依赖于传感器的操作模 式以不同的方式来生成它们。对于单元格224、 226和228 (图16 )来说，由传感器依赖于它的 操作模式来生成类似彩色信号。单元格224、 226和228的彩色信号分 别是红色、蓝色和绿色。回到单元格220的情况，不管在该单元格中有多少信号被数字化， 本发明的图像处理算法进一步组合数字化的绿色值以便生成单元格的 单绿色值。捕获单绿色值的一种方式是通过均分单元格220中生成的 数字化绿色值。在单元格包含不同光响应的彩色像素的情况下，单元 格中所有彩色被类似地组合，以便对单元格中表示的每个彩色光响应 都存在单一值。属于原始传感器中的像素的彩色值，其中该传感器捕获原始图像 数据，与属于原始传感器中单元的彩色值之间的区别是重要的。两个类型的彩色值被用来生成彩色图像，但是得到的彩色图像具有不同的 分辨率。具有与原始传感器中的像素相关联的像素值的图像被称为高分辨率图像，以及具有与原始传感器中的单元相关联的图像被称为低分辨率图像。现在回到图18，所示出的数字信号处理器块36 (图1)从数据总 线30 (图1)接收所捕获的原始图像数据。该原始图像数据被送到低 分辨率部分彩色块202和高分辨率全色块204中。图像传感器中的最 小重复单元的例子已经在图5和图16中示出。在单元格220的情况下 (图16)，所捕获的原始图像包括由图17A所示的独立全色像素生成 的全色数据。同样，对于单元格220 (图16),还包括一个或多个绿 (色)值，例如，从图17B-E所示的组合。在低分辨率部分彩色块202 (图18)中，从所捕获的原始图像数 据中生成部分彩色图像，部分彩色图像是这样的彩色图像，其中每个 像素具有至少一个彩色值以及每个像素还丢失了至少一个彩色值。依 赖于传感器的操作模式，所捕获的原始数据包含由每个单元格中的彩 色像素生成的一定数目的彩色值。在低分辨率部分彩色块202中，这 些彩色值被减小到每个单元格中所表现出的每个颜色的单一值。对于 单元格220 (图16)，作为例子，产生单一的绿色值。同样，对于单 元格224、 226和228来说，分别生成单一的红色、蓝色和绿色值。低分辨率部分彩色块202以类似的方式来处理每个单元格，得到 彩色值阵列，每个单元格一个。因为得到的图像阵列基于单元格而不 是原始传感器中的像素，所以其在每个维度中比原始捕获的原始图像 数据阵列要小四倍。因为得到的阵列是基于单元格并且因为每个像素 具有一些而不是全部的彩色值，所以得到的图像是低分辨率部分彩色 图像。因此，低分辨率部分彩色图像被色彩平衡化。现在观察高分辨率全色块204，使用如图16所示的相同的原始图 像数据，然而仅仅使用全色值(图17A)。这次的任务是通过在那些不 具有全色值的像素上估计全色值来内插全色值。在单元220的情形下 (图16)，全色值必须被估计为在像素组222 (图16)中的绿色像素。 一种用于估计丢失的全色值的简单方式是作垂直平均化。因此，例如， 我们可以按照下述来估计像素22上的全色值P22 = ( P12+P32 ) /2还可以使用自适应方法。例如， 一种自适应方法是使用如图17A 所示的全色值来计算三个梯度值并取它们的绝对值 SCUS=ABS (P31-P13)VCLAS=ABS (P32-P12) BCLAS-ABS(P33-P11) 同样，计算三个预测值 SPRED= (P31+P13)/2 VPRED= (P32+P12)/2 BPRED- (P33+P11)/2然后，组P22等于与最小分类值相对应的预测值。在另一情况下， 组P22等于指定预测值的平均。全色内插继续贯穿于该图像而不考虑 单元格界限。当执行高分辨率全色块204的处理时，得到的数字全色 图像具有与原始捕获的原始图像一样的大小，使得它成为高分辨率全色图像。低分辨率部分彩色块206接收由块204生成的高分辨率全色图像 阵列，并生成与由块202生成的低分辨率部分彩色图像一样大小的低 分辨率部分彩色图像阵列。在给定的单元格中，对具有滤色器的那些 像素来说，通过平均估计的全色值来捕获每个低分辨率全色值。在单 元格220的情形下(图16)，之前像素组222 (图16)中的绿色像素 被估计为高分辨率全色值，现在它被一起平均以生成单元格中的单一 低分辨率的全色值。同样，使用在具有红色滤波器的像素上被估计的 高分辨率全色值来计算单元格224中的单一低分辨率全色值。在该方 式下，每个单元格以单一低分辨率全色值结束。低分辨率彩色差分块208从块202接收低分辨率部分彩色图像以 及从块206接收低分辨率全色阵列。然后通过根据来自低分辨率全色 图像进行彩色内插低分辨率部分彩色图像来形成低分辨率中间彩色图 像。将在后面讨论的彩色内插算法依赖于像素光响应，其被用于捕获 原始图像数据。在形成低分辨率中间彩色图像之后，对其进行彩色校正。 一旦低 分辨率中间彩色图像被校正，那么通过从每个低分辨率彩色平面中一 个一个地减去低分辨率全色图像来计算低分辨率彩色差分图像。高分 辨率彩色差分块210从块208接收低分辨率彩色差分图像，并使用双 线性内插，上采样该低分辨率彩色差分图像以便匹配原始图像数据的 大小。结果是高分辨率彩色差分图像具有与块204生成的高分辨率全 色图像一样的大小。高分辨率最终图像块212从块210接收高分辨率彩色差分图像以 及从块204接收高分辨率全色图像。然后通过将高分辨率全色图像加入到每个高分辨率彩色差分平面中来形成高分辨率最终彩色图像。然 后进一步处理得到的高分辨率最终彩色图像。例如，它被存储在DSP 存储器块32 (图1)中，然后被锐化和压缩以存储在存储卡块64 (图 1)上。如图4A-D， 8A， 9， IOA， 13A-C, 14A-B和15A-B所示的传感器滤 波器图案具有最小重复单元，以便在块202中生成的所得到的低分辨 率部分彩色图像显示了滤色器的重复Bayer图案G RB G除了单一彩色值之外，其由低分辨率部分彩色图像给定，每个单元格还具有由低分辨率全色图像给定的全色值。考虑到在低分辨率部分彩色图像中呈现该Bayer图案的情况，现 在更为详细地描述在低分辨率彩色差分块208 (图18)中的彩色内插 任务。彩色内插开始于在不总是具有绿色值的像素上内插绿色值，如 图19A中的像素234所示。如像素230、 232、 236和238所示的四个 相邻像素都具有绿色值，并且它们也都具有全色值。中心像素234具 有全色值，但是不具有由问号(？)表示的绿色值。第一步是计算两个分类值，涉及水平方向的第一分类值和涉及垂 直方向的第二分类值HCUS=ABS (P4-P2) +ABS (2孝P3-P2-P4)VCUS=ABS (P5-P1)+ABS(2丰P3-P1-P5)然后，计算两个预测值，涉及水平方向的第一预测值和涉及垂直 方向的第二预测值HPRED= (G4+G2)/2+(2*P3-P2-P4) /2 VPRED= (G5+G1)/2+ (2*P3-P1-P5) /2最后，让THRESH成为经验性地确定的阈值，我们能够根据下述来 自适应地计算丢失的值，G3:IF MAX鹏AS， VCUS)<THRESHG3=(HPRED+VPRED)/2 ELSEIF VCUS<HCLASG3=VPREDELSEG3=HPREDEND因此，如果两个分类值比阈值都要小，那么对G3计算两个预测值 的平均值。如果不是，那么依赖于哪一个分类值HCLAS或VCLAS更小 来使用HPRED或VPRED。一旦所有失去的绿色值被估计，那么丢失的红色和蓝色值被内插。 如图19B所示，像素242丢失了红色值，但是它的两个水平相邻像素 240和244分别具有红色值R2和R4。所有三个像素都具有绿色值。在 这些条件下，按照如下方式计算像素242的红色值(R3)的估计R3= (R4+R2)/2+ (2*G3-G2-G4) /2在类似的条件下以类似的方式来计算丢失的蓝色值。因此，仍然 丢失红色和蓝色值的像素仅仅是那些需要垂直内插的像素。如图19C 所示，像素252丢失了红色值，以及它的两个垂直相邻像素250和254 分别具有红色值Rl和R5。在这些条件下，按照如下方式计算像素252 的红色值(R3)的估计R3- (R5+R1)/2+ (2*G3-G1-G5)/2在类似的条件下以类似的方式来计算丢失的蓝色值。这完成了低 分辨率部分彩色图像的内插以及结果是低分辨率中间彩色图像。如上 所述，现在，可以通过从每个彩色平面中减去低分辨率全色值来计算 低分辨率彩色差分刚刚讨论过的例子中的红色、绿色和蓝色。注意，所有传感器生成低分辨率部分彩色图像，其呈现了彩色值 的重复Bayer图案。例如，如图11A所示的传感器图案确定每个单元 格接收两个彩色值无论绿色和红色还是绿色和蓝色。因此，在这种 情况中，低分辨率彩色差分块208 (图18)中彩色内插的任务估计每 个像素的所丢失的红色值或所丢失的蓝色值。参考图19D,所示像素 264具有绿色值(G3)而不是具有红色值(R3)。四个相邻像素260、 262、 266和268具有绿色值和红色值。用于内插4象素264 (图19D)的 红色值的方法类似于用于内插像素234 (图19A)的绿色值的方法。第一步是计算两个分类值，涉及水平方向的第一分类值和涉及垂 直方向的第二分类值HCLAS=ABS (G4-G2)+ABS(2*G3-G2-G4) VCLAS-ABS (G5-G1)+ABS(2*G3-Gl-G5)然后，计算两个预测值，涉及水平方向的第一预测值和涉及垂直 方向的第二预测值HPRED- (R4+R2)/2+ (2*G3-G2-G4) /2 VPRED= (R5+R1)/2+(2*G3-G1-G5) /2最后，让THRESH成为经验性地确定的阈值，我们能够根据下述来 自适应地计算丢失的值，G3:IF MAX (HCUS， VCUS) <THRESHR3=(HPRED+VPRED)/2 ELSEIF VCLAS<HCUS R3=VPREDELSER3=HPREDEND因此，如果两个分类值比阈值都要小，那么对R3计算两个预测值 的平均值。如果不是，那么依赖于哪一个分类值HCLAS或VCLAS更小 来使用HPRED或VPRED。使用代替红色的蓝色值的相同方式精确地内插所丢失的蓝色值。 一旦完成，那么如上面所描述的那样来计算低分辨率彩色差分。已经特别参考一些优选实施例详细地描述了本发明，但是应当明 白，在本发明的精神和范围内可以实现多种变型和修改。部件列表10 来自目标场景的光11 成像级12 透镜13 中性密度滤光片14 光圈16 亮度传感器18 快门20 图像传感器22 模拟信号处理器24 模数(A/D)转换器26 定时发生器28 图像传感器级30数字信号处理器(DSP)总线32数字信号处理器(DSP)存储器34数字信号处理器(DSP)38 处理器级40 曝光控制器50 系统控制器52 系统控制器总线54 程序存储器56 系统存储器57 主机接口 60 存储卡接口 62 存储卡插槽 64 存储卡68 用户控制和状态界面70 取景器显示器72 啄光显示器74 用户输入76 状态显示器80 视频编码器82 显示控制器88 图像显示器100 Bayer图案的最小重复单元102不是最小的Bayer图案的重复单元110红外线阻塞滤波器的光谱传输曲线112传感器的未滤波的光谱光响应曲线114传感器的红色光响应曲线116传感器的绿色光响应曲线118传感器的蓝色光响应曲线120第一绿色单元格122红色单元格124蓝色单元格126第二绿色单元格202低分辨率部分彩色块204高分辨率全色块206低分辨率全色块208低分辨率全色彩色差分块210高分辨率彩色彩色差分块212高分辨率最终图像块220第一绿色单元格222在第一绿色单元格中的绿色像素224红色单元格226蓝色单元格228第二绿色单元格230用于内插丢失的绿色值的上像素值232用于内插丢失的绿色值的左像素值234具有丢失的绿色值的像素236用于内插丢失的绿色值的右像素值238用于内插丢失的绿色值的下像素值240用于内插丢失的红色值的左像素值242具有丢失的红色值的像素244用于内插丢失的红色值的右像素值250用于内插丢失的红色值的上像素值252具有丢失的红色值的像素254用于内插丢失的红色值的下像素值260用于内插丢失的红色值的上像素值262用于内插丢失的红色值的左像素值264具有丢失的红色值的像素266用于内插丢失的红色值的左像素值268用于内插丢失的红色值的下像素值
权利要求
1、一种用于形成最终数字彩色图像的方法，包括a)使用具有与至少两个彩色光响应对应的全色像素和彩色像素的图像传感器来捕获图像；b)由所捕获的图像提供数字全色图像和中间数字彩色图像；以及c)使用该数字全色图像和该中间数字彩色图像来提供最终数字彩色图像。
2、 如权利要求l所述的方法，其中步骤a)中的图像传感器的像 素图案具有4X4或更大尺寸的最小重复单元。
3、 如权利要求2所述的方法，其中该最小重复单元被进一步划分 为单元格，其每一个具有至少两个全色像素和具有相同光谱光响应的至少两个彩色像素。
4、 如权利要求2所述的方法，其中步骤a)中的图像传感器的像 素图案具有8X8或更大尺寸的最小重复单元。
5、 如权利要求4所述的方法，其中该最小重复单元被进一步划分 为单元格，其每一个具有至少两个全色像素和具有相同光谱光响应的 至少两个彩色像素。
6、 一种用于处理由图像传感器所捕获的彩色图像以允许在不同照明条件下对所捕获的彩色图像进行有效再现的方法，包括a) 捕获用由具有第 一和第二组像素的两维像素阵列产生的信号表 示的图像，其中第一组像素具有比第二组像素窄的光谱光响应，以及 其中笫 一组像素包含具有与至少两个颜色的组相对应的不同光谱光响 应的像素，该图像阵列被排列为单元格，其每一个包含具有相同光谱 光响应的第一组中的至少两个像素，b) 使用所述信号用于每个单元格中的像素，其与第一组像素中的 类似着色像素相对应，以便为每个单元格生成至少一个第一信号，c) 使用第一信号组用于每个单元格以及所述信号用于第二组像素 中的每个像素以生成调整的彩色数字图像，其补偿不同的照明条件。
7、 如权利要求6所述的方法，其中步骤c)包括i)使用所述信号用于第二组像素中的像素来为每个单元格生成 第二信号，i i )使用来自每个单元格的第一和第二信号以及来自至少一个相来为每个单元格生成彩色内插信号组，以 及iii) 使用所述彩色内插信号组用于每个单元格以及所述信号 用于第二组像素中的每个像素以生成调整的彩色数字图像，其补偿不 同的照明条件.
8、 如权利要求7所述的方法，其中用于第一和第二组的每一个中 的像素的信号是模拟信号，以及其中这些模拟信号用于步骤b.)和c i.)来为每个单元格生成第一和第二信号。
9、 如权利要求8所述的方法，其中，模拟信号是电荷以及通过将 电荷加在一起来生成用于每个单元格的第一和笫二信号。
10、 如权利要求8所述的方法，其中模拟信号生成电压以及通过 将电压加在一起来生成用于每个单元格的第一和第二信号。
11、 如权利要求7所述的方法，其中第一和第二信号被数字化。
12、 如权利要求11所述的方法，其中步骤cii)包括使用彩色差 分来提供彩色内插，以及步骤c iii.)包括上采样彩色差分。
13、 一种用于处理由图像传感器所捕获的彩色图像以允许在不同 照明条件下对所捕获的彩色图像进行有效再现的方法，包括a)使用图像传感器来捕获由信号表示的图像，其中该图像传感器 是具有生成信号的第一和第二组像素的两维像素阵列，其中第一组像 素具有比第二组像素窄的光谱光响应，以及其中第 一组像素包含限定 高分辨率全色图像的具有与至少两个滤色器的组和第二组像素相对应 的不同光谱光响应的像素，b )组合来自每个单元格中的第 一组像素的类似彩色像素的第 一信 号以形成低分辨率稀疏彩色图像，c)在高分辨率全色图像中使用来自第二组像素中的像素的第二信 号来内插对应于第一组像素中的像素的像素值并提供全色内插的高分 辨率图像，d )使用低分辨率稀疏彩色图像和全色内插的高分辨率图像来生成 高分辨率彩色图像。
14、 如权利要求13所述的方法，其中步骤b)包括求和来自类似 彩色像素的第一信号。
15、 如权利要求13所述的方法，其中步骤d)包括求和来自高分 辨率内插的全色图像的像素值，以生成低分辨率全色图像；使用低分像；以及使用高分辨率彩色差分图像和高分辨率全色内插图像来生成高分辨率彩色图像。
16、 如权利要求14所述的方法，其中步骤d)包括求和来自高分辨率内插的全色图像的像素值以生成低分辨率全色图像；使用低分辨 率全色图像和低分辨率滤色器阵列图像来生成高分辨率彩色差分图 像；以及使用高分辨率彩色差分图像和高分辨率全色内插的图像来生 成高分辨率彩色图像。
17、 一种用于处理由图像传感器所捕获的彩色图像以允许在不同照明条件下对所捕获的彩色图像进行有效再现的方法，包括a) 捕获用由具有第一和第二组像素的两维像素阵列产生的信号表 示的图像，其中第 一组像素的像素具有比第二组像素的像素窄的光谱 光响应，以及其中第 一组像素包含具有与至少两个颜色的组相对应的 光谱光响应的独立像素，第一和第二组像素的布置限定具有包括至少 十二个像素的最小重复单元的图案，该最小重复单元具有多个单元格，其中每个单元格具有从第二组像素中选择的多个像素以及具有对应于 从笫 一组像素选择的特定颜色的相同的光谱光响应的至少两个像素，b) 使用所述信号用于每个单元格中的像素，其与第一组像素的类 似着色像素相对应，以便为每个单元格生成至少一个第一信号，c) 使用第一信号组用于每个单元格以及所述信号用于第二组像素 中的每个像素以生成调整的彩色数字图像，其补偿不同的照明条件。器阵列图像来生成高分辨率彩色差分图
全文摘要
一种用于形成最终数字彩色图像的方法，包括使用具有与至少两个色彩光响应对应的全色像素和彩色像素的图像传感器来捕获图像；从所捕获的图像中提供数字全色图像和中间数字彩色图像；以及使用该数字全色图像和该中间数字彩色图像来提供最终数字彩色图像。
文档编号H04N9/04GK101233763SQ200680027624
公开日2008年7月30日 申请日期2006年7月20日 优先权日2005年7月28日
发明者J·F·小哈米尔顿, J·T·坎普顿 申请人:伊斯曼柯达公司