在变化照明条件下捕获图像的制作方法

专利名称：在变化照明条件下捕获图像的制作方法
技术领域：
本发明涉及一种图像捕获设备，其包括具有提高的光敏度的二维图 像传感器，本发明还涉及对于来自该设备的图像数据的处理。
背景技术：
图像捕获设备依赖于电子图像传感器来产生视觉图像的电子表示。这种电子图像传感器的例子包括电荷耦合器件(CCD)图像传感器以及 有源像素传感器(APS)设备(APS设备常常被称作CMOS传感器，这 是因为能够用互补金属氧化物半导体工艺来制造所述APS设备)。 一般 来说，这些图像传感器包括多个光敏像素，所述光敏像素常常被布置在 行和列的规则图案中。为了捕荻彩色图像，通常在所述像素图案上制造 滤光器图案，其中使用不同的滤光器材料以使得各单独像素只对可见光 谱的一部分敏感。所述彩色滤光器必然会减少到达每个像素的光量，从而会降低每个像素的光敏度。 一直需要提高电子彩色图像传感器的光敏 度或摄影速度，以便允许在较低的光级下捕获图像，或者允许以较短的 啄光时间捕获较高光级下的图像。图像传感器是线性的或二维的。 一般来说，这些传感器具有两种不 同类型的应用。二维传感器通常适用于诸如数字照相机、蜂窝电话以及 其他应用之类的图像捕获设备。线性传感器常常被用来扫描文献。在任 一情况下，当采用彩色滤光器时，所述图像传感器的灵敏度都被降低。因此，对于采用具有二维像素阵列的单个传感器的电子捕获设备， 需要提高光敏度。此外，还需要提高光敏度以有益于捕获场景细节以及 捕获场景色彩。发明内容简而言之，根据本发明的一方面，本发明提供一种用于在变化照明 条件下捕获场景图像的方法，该方法包括a) 提供具有全色和彩色像素的图像传感器；b) 用户选择场景模式，并且根据照明条件和所选场景模式来调节图像捕获曝光；以及c)利用调节后的膝光，通过该图像传感器来捕获场景。根据本发明的用于捕获场景图像的方法特别适用于低水平照明条 件，其中这种低水平照明条件是低场景照明、短曝光时间、小光图或者对于到达传感器的光的其他限制的结果。这种方法可以被有效地用在多 种应用中。通过查看下面对优选实施例的详细描述以及所附权利要求书并且 通过参考附图，本发明的这些和其他的方面、目的、特征和优点将得到 更清楚的理解和认识。


图1是根据本发明的数字捕获设备的方框图；图2(现有技术)是示出最小重复单位和非最小重复单位的常规的 Bayer彩色滤光器阵列图案；图3提供红色、绿色和蓝色像素的代表性光语量子效率曲线以及更 宽光语全色量子效率，它们全都与红外截止滤光器的透射特性相乘；图4A-D提供本发明的彩色滤光器阵列图案的几种变型的最小重复 单位，所述阵列图案具有布置成行或列的彩色光响应相同的彩色像素；图5示出来自图4A的最小重复单位的单元结构；图6A是图4A的插值全色图像；图6B是对应于图4A和图5中的单元的低分辨率彩色图像； 图7A-C示出组合图4A的像素的几种方式；图8A-D示出图4A的彩色滤光器阵列图案，其彩色像素具有替换 的彩色光响应特性，其中包括四色替换方案以及青色、品红色和黄色替 换方案；图9提供本发明的替换彩色滤光器阵列的最小重复单位，其中全色 像素被布置在对角线中；图10A-B提供本发明的替换彩色滤光器阵列的两种变型的最小重 复单位，其中全色像素形成一个栅格，彩色像素被嵌入到所述栅格中；图11A-D提供本发明的替换彩色滤光器阵列的两种变型的最小重 复单位和拼接布置，其中每个单元有两种颜色；图12A-B提供本发明的替换彩色滤光器阵列的两种变型的最小重复单位，其中每个单元有两种颜色，并且全色像素被布置在对角线中；图13A-C提供图4A的变型，其中最小重复单位小于8x8像素；图14A-B提供本发明的替换彩色滤光器阵列的两种变型的最小重 复单位，其中所述最小重复单位是6x6像素；图15A-B提供本发明的替换彩色滤光器阵列的两种变型的最小重 复单位，其中所述最小重复单位是4x4像素；图16是图4A的最小重复单位，其中具有对应于该最小重复单位内 的各单独像素的下标；图17A-E示出图16的一个单元的全色像素和彩色像素以及组合所 述彩色像素的各种方式；图18是本发明的过程图，其示出本发明的对来自传感器的彩色和 全色像素数据进行处理的方法；以及图19A-D说明本发明用于对图18的低分辨率部分色图像中的缺失 颜色进行插值的方法。
具体实施方式
由于采用成像设备和用于信号捕获及校正以及用于曝光控制的相 关电路的数字照相机是公知的，因此这里的描述将特别针对形成根椐本 发明的方法和设备的 一部分或者与其直接协作的元件。没有在这里专门 示出或描述的元件是从本领域中已知的元件中选择的。将要描述的实施 例的某些方面是用软件提供的。在下面的材料中给出根据本发明示出及 描述的系统的情况下，没有在这里专门示出、描述或提出的可用于实施 本发明的软件是常规的，并且是本领域技术人员所能想到的。现在转到图1,其中示出图像捕获设备的方框图，其被显示为具体 实现本发明的数字照相机。虽然现在将解释数字照相机，但是本发明显 然适用于其他类型的图像捕获设备。在所公开的照相机中，来自对象场景的光IO被输入到成像级11,所述光在该成像级处被透镜12聚焦，从 而在固态图像传感器20上形成图像。图像传感器20把入射光转换成用 于每个图像元素(像素)的电信号。该优选实施例的图像传感器20是 电荷耦合器件(CCD)类型或有源像素传感器(APS)类型(APS设备 常常被称作CMOS传感器，这是因为能够用互补金属氧化物半导体工艺 来制造所述APS设备)。还使用具有二维像素阵列的其他类型的图像传感器，只要它们采用本发明的图案。本发明还利用了具有彩色和全色像素的二维阵列的图像传感器20,在描述了图l之后，这一点在本说明书 的后面的部分中将变得显而易见。用于所述图像传感器20的本发明的 彩色和全色像素的图案实例可以在图4A-D、图8A-D、图9、图IOA-B、 图UA、图IIC、图13A-C、图14A-B以及图15A-B中看到，尽管在本 发明的精神内也可以使用其他图案。图像传感器20从对象场景接收光。从图像传感器20的每个像素所 得到的电信号通常与到达该像素的光的强度以及允许该像素累积或积 分来自输入光的信号的时间长度相关。这一时间被称作积分时间或曝光 时间。在本上下文中，所述积分时间是在其间快门18允许光到达图像 传感器20并且该图像传感器同时操作来记录所述光的时间。总体光强 度与积分时间的组合被称作曝光。应当理解，可以通过光强度和积分时 间的各种组合来实现等效的曝光。例如，可以把长积分时间用于具有非 常低光强度的场景，以便实现与把短积分时间用于具有高光强度的场景 的情况相同的曝光。图1包括几个用来调整咏光的元件。滤光器组件13和虹膜14在所 迷传感器处修改光强度。快门18提供一种用于允许或防止光到达所述 图像传感器的机制，而定时发生器26提供一种控制该图像传感器何时 主动记录图像的方式。这样，快门18和定时发生器26联合决定所述积 分时间。虹膜块14通过使用机械光圏来阻挡光路中的光，从而控制到 达图像传感器20的光的强度。虹膜14可以包括一个具有可变尺寸的机 械光圏，或者它可以包括几个不同尺寸的固定光圏，所述不同尺寸的固 定光圏可以被选择性地插入到光路中。滤光器组件块13提供通过选择 性地把光吸收或光反射滤光器放置在光路中来提供另一种控制到达图 像传感器20的光的强度的方式。该滤光器可以是均等地减少所有颜色 的光的中性滤光器，或者它可以是比起其他颜色来更优先地减少某些颜 色的色平衡滤光器。例如当用白炽灯照明所述场景时可以使用色平衡滤 光器，所述白炽灯提供比蓝光相对更多的红光。滤光器组件块13可以 包括几个滤光器，可以选择性地把所述滤光器单独地或组合地插入到光 '路中。快门18也被称作机械快门，其通常包括连接到致动器的帘幕或 可移动叶片，该致动器在积分时间开始时把所述帘幕或叶片从光路中移 除，并且在积分时间结束时把所述帘幕或叶片插入到光路中。 一些类型的图像传感器允许通过重置所述图像传感器并且随后在后来的某一时 间读出该图像传感器来电子地控制积分时间。所述重置与读出之间的时间间隔限定所述积分时间的边界，并且该时间间隔由定时发生器块26控制。虽然图l示出几个曝光控制元件，但是一些实施例可能没有包括这 些元件当中的一个或多个，或者可以有替换的控制曝光机制。在本发明 所能适用的多种图像捕获设备中将会预期到这些变型。如前所述，可以通过光强度与积分时间的各种组合来实现等效的啄 光。虽然所述曝光是等效的，但是对于捕获给定的场景图像来说，比起 其他等效曝光而言可能更加优选光强度与积分时间的特定曝光组合。例 如，在捕获体育事件时，短积分时间通常是优选的，以便避免由于在积 分时间期间跑或跳的运动员的运动而导致的模糊图像，在这种情况下， 所述虹膜块可以提供用于高光强度的大光圏，并且所述快门可以提供短 积分时间。这种情况用作场景模式的一个例子，具体来说就是比起小光 圈更偏向短积分时间的体育场景模式。 一般来说，场景模式是用于选择 及控制组合来实施曝光的各元件的优选项，以便最优地捕获特定场景类 型。场景模式的另一个例子是风景场景模式。在这种场景模式中，优选 小光圈以提供良好的景深，其中调节积分时间以提供最优曝光。场景模 式的又一个例子是一般场景模式，其优选小光圏以获得良好景深，其中 积分时间随着场景光级降低而增大，直到积分时间对于特定光级变得足 够长从而手持式照相机抖动成了问题，此时积分时间保持固定，并且所 述虹膜提供大光圏以提高在所述传感器处的光强度。图1中的曝光控制器块40对上面概述的各曝光调整元件进行控制 或调节。亮度传感器块16包含至少一个对可见光谱中的光做出响应的 传感器。例如，亮度传感器块16可以具有单个宽光响应传感器，或者 它可以具有多个传感器，所述多个传感器具有不同的窄光响应，比如红 色、绿色和蓝色。亮度传感器块16向曝光控制器块40提供至少一个表 示场景光强度的信号。例如，如果由膝光控制器40接收到的(多个) 亮度信号表明总体场景亮度级对于传感器20过高，则曝光控制器40可 以指示滤光器组件块13把特定ND滤光器插入到光路中。或者，如果 红色亮度信号比蓝色亮度信号电平超出了指定量，则曝光控制器块40 可以指示滤光器组件块13把特定色平衡滤光器插入到光路中，以补偿所述更大量的可用红光。除了使用来自滤光器组件13的滤光器之外， 曝光控制器40还可以指示虹膜14打开或关闭各种指定量，其可以打开 或关闭机械快门18，并且它还可以通过系统控制器50间接地控制定时 发生器26。曝光控制器40可以单独地或者以任何组合使用任何上述曝 光控制动作。曝光控制器块40还从用户输入端块74以及从系统控制器块50接 收输入。上面描述的场景模式通常由用户作为用户输入提供。当快速连 续进行多次图像捕获时，还可以从在前一次捕获时所获得的数字化图像 数据估计对应于下一次捕获的照明强度。可以由曝光控制器40使用经 过数字信号处理器36和系统控制器50的所述图像数据，以便增强或覆 盖来自亮度传感器16的数字信号。膝光控制器块40使用来自亮度传感器16、用户输入端74 (包括场 景模式)以及系统控制器50输入端的(多个)光强度信号来确定如何 控制所述各咏光调整元件以提供适当的曝光。膝光控制器40可以自动 确定如何控制或调节所有所述曝光调整元件以产生正确的曝光。可选择 地，通过用户输入端块74，用户可以人工控制或调节所述曝光调整元件 以产生用户选择的曝光。此外，用户可以人工地控制或调节仅仅一些曝 光调整元件，同时允许膝光控制器40自动控制剩余的元件。所述曝光 控制器还通过取景器显示器70和曝光显示器72向用户提供关于咏光的 信息。用于用户的所述信息包括所述自动或人工确定的积分时间、光圈 以及其他曝光调整元件。在基于各曝光调整元件的操作极限而无法实现 正确曝光的情况下，所述信息还可以包括图像捕获将被欠曝光或过曝光 的程度。在图1中被显示为数字照相机的图像捕获设备还可以包括其他特 征，比如自动聚焦系统或者可拆卸并且可互换的透镜。将会理解，本发 明适用于任何类型的数字照相机或其他图像捕获设备，其中通过替换的 部件来提供类似的功能。例如，所述数字照相机是相对简单的"对准即 拍"数字照相机，其中快门18是相对简单的可移动叶片快门或类似装 置，而不是更加复杂的焦平面布置。还可以在被包括在非照相机设备(比 如移动电话和机动车辆)中的成像部件上实践本发明。来自图像传感器20的模拟信号被模拟信号处理器22处理，并且被 施加到模数(A/D)转挺器24。定时发生器26产生各个时钟信号，以便选择行和像素并且同步模拟信号处理器22与A/D转换器24的操作。 图像传感器级28包括图像传感器20、模拟信号处理器22、 A/D转换器 24以及定时发生器26。图像传感器级28的各部件是单独制造的集成电 路，或者它们被制造成单个集成电路，对于CMOS图像传感器通常就是 这样做的。来自A/D转换器24的所得到的数字像素值流被存储在与数 字信号处理器(DSP) 36相关联的存储器32中。数字信号处理器36是该实施例中的三个处理器或控制器的其中之 一，另外两个是系统控制器50和曝光控制器40。虽然在多个控制器和 处理器之间划分照相机功能控制是典型的，但是在不影响照相机的功能 操作以及本发明的应用的情况下，可以以各种方式組合这些控制器或处 理器。这些控制器或处理器可以包括一个或多个数字信号处理器设备、 微控制器、可编程逻辑设备或者其他数字逻辑电路。虽然已经描述了这 种控制器或处理器的组合，但是下述应当是明显的，即可以指定一个控 制器或处理器来执行全部所需功能。所有这些变型都可以执行相同的功 能并且都落在本发明的范围内，以及将按照需要使用术语"处理级"来 把所有上述功能都包含在一个短语内，比如图1中的处理级38。在所示出的实施例中，DSP36根据软件程序在其存储器32中操纵 所述数字图像数据，所述软件程序被永久性地存储在程序存储器54中， 并且被拷贝到存储器32以便在图像捕获期间执行。DSP 36执行对于实 践图18中所示出的图像处理所必须的软件。存储器32包括任何类型的 随机存取存储器，比如SDRAM。包括用于地址和数据信号的路径的总 线30把DSP 36连接到其相关存储器32、 A/D变换器24以及其他相关 设备。系统控制器50基于存储在程序存储器54中的软件程序来控制所述 照相机的总体操作，该程序存储器可以包括闪速EEPROM或者其他非 易失性存储器。该存储器还可以被用来存储图像传感器校准数据、用户 设置选择以及在关闭照相机时所必须保留的其他数椐。系统控制器50 通过以下方式来控制图像捕获序列指导曝光控制器40如前所述地操 作透镜12、滤光器组件13、虹膜14和快门18，指导定时发生器26操 作图像传感器20和相关联的元件，以及指导DSP 36处理所捕获的图像 数据。在捕获并处理了图像之后，通过接口 57把存储在存储器32中的 最终图像文件传送到主计算机，将其存储在可移动存储卡64或其他存储设备上，并且在图像显示器88上为用户进行显示。总线52包括用于地址、数据和控制信号的路径，并且把系统控制 器50连接到DSP 36、程序存储器54、系统存储器56、主机接口 57、 存储卡接口 60以及其他相关设备。主机接口 57提供到个人计算机(PC) 或其他主计算机的高速连接以便传送图像数据，从而进行显示、存储、 操纵或打印。该接口是IEEE 1394或USB 2.0串行接口或者任何其他合 适的数字接口。存储卡64通常是压缩闪存(CF)卡，其被插入到插槽 62中，并且通过存储卡接口 60被连接到系统控制器50。还可以利用其 他类型的存储装置，其中包括但不限于PC卡、多媒体卡(MMC)或者 安全数字(SD)卡。经过处理的图像被拷贝到系统存储器56中的显示緩沖器，并且通 过视频编码器80被连续读出，以便产生视频信号。该信号被直接从照 相机输出以便显示在外部监视器上，或者其被显示控制器82处理并且 被呈现在图像显示器88上。该显示器通常是有源矩阵彩色液晶显示器 (LCD)，尽管也可以使用其他类型的显示器。所述用户接口包括取景器显示器70、曝光显示器72、状态显示器 76和图像显示器88以及用户输入端74的全部或任何组合，其由在曝光 控制器40和系统控制器50上执行的软件程序的组合来控制。所迷取景 器显示器、曝光显示器和用户输入显示器是用户控制和状态接口 68。用 户输入端74通常包括按钮、摇臂开关、操纵杆、旋转拨号盘或触摸屏 的某种组合。曝光控制器40操作光计量、场景模式、自动聚焦和其他 曝光功能。系统控制器50管理被呈现在一个或多个所述显示器上(例 如图像显示器88上)的图形用户接口 (GUI)。所述GUI通常包括用 于做出各种选项选择的菜单以及用于检查所捕获的图像的检查模式。ISO速度评定是数字静物照相机的一个重要属性。所述曝光时间、 透镜光圏、透镜透射率、场景照明的水平和光镨分布、以及场景反射率 决定数字静物照相机的曝光水平。当利用不足曝光获得来自数字静物照 相机的图像时，通常可以通过增大电子或数字增益来保持适当的色调再 现，但是该图像将包含的噪声量是不可接受的。随着曝光增加，所述增 益被减小，因此通常可以把图像噪声减小到可接受的水平。如果曝光被 过度增加，则在所述图像的明亮区域内所得到的信号可能会超出所述图 像传感器或照相机信号处理的最大信号电平容量。这可能导致对图像高亮部分进行限幅以形成均匀的明亮区域，或者将其晕化(bloom)到该 图像的周围区域中。重要的是在设置适当曝光时对用户进行引导。ISO 速度评定就打算充当这种引导。为了易于摄影者理解，数字静物照相机 的ISO速度评定应当与摄影胶片照相机的ISO速度评定直接相关。例如， 如果数字静物照相机具有ISO 200的ISO速度评定，则相同的曝光时间 和光圏对于ISO 200评定的胶片/工艺系统应当是适当的。所述ISO速度评定打算与胶片ISO速度评定相协调。然而，除了完 全等效性之外，在电子成像系统与基于胶片的成像系统之间存在差异。 数字静物照相机可以包括可变增益，并且可以在捕获了图像数椐之后提 供数字处理，从而能够在一定范围的照相机曝光内实现色调再现。因此， 有可能使得数字静物照相机具有 一定范围的速度评定。该范围被定义为 ISO速度宽度(latitude)。为了防止混淆，单个值被指定为固有ISO速 度评定，而所述ISO速度宽度的上限和下限表明所述速度范围，也就是 包括不同于该固有ISO速度评定的各有效速度评定的范围。考虑到这一 点，所述固有ISO速度是一个从在数字静物照相机的焦平面处提供的曝 光计算的数值，以便产生指定的照相机输出信号特性。所述固有速度通 常是对于普通场景为给定照相机系统产生峰值图像质量的曝光指数值， 其中所述曝光指数是与被提供给图像传感器的曝光成反比的数值。所述数字照相机可以被配置并且操作来捕获单个图像或者捕获图 像流。例如，图像传感器级28可以被配置成捕获单个全分辨率图像， 并且机械快门18可以被用来控制所述积分时间。这种情况非常适用于 静物摄影的单个图像捕获。可选择地，所述图像传感器级可以被配置成 捕获有限分辨率图像流，并且所述图像传感器可以被配置成电子地控制 所述积分时间。在本例中，可以在不受所述传感器的读出速度或者所述 机械快门的致动速度的情况下捕获连续图像流。本例例如可用于捕获将 被用来提供视频信号的图像流，正如视频照相机的情况。在这些示例中 概述的配置是被采用来进行单个捕获以及捕获图像流的配置的例子，但 是还可以使用替换的配置来进行单个图像捕获以及捕获图像流。可以在 提供单个图像捕获或者用于捕获图像流的图像捕获设备中实践本发明。 此外，结合了本发明的图像捕获设备可以允许用户在单个图像捕获与捕 获图像流之间进行选择。在图1中示出的图像传感器20通常包括制造在硅基板上的二维光敏像素阵列，其提供一种把在每个像素处的输入光转换成所测量的电信 号的方式。随着所述传感器被曝光，在每个像素处的电子结构内生成并 捕获自由电子。通过在某一时间段内捕获这些自由电子并且随后测量所 捕获的电子数目或者通过测量生成自由电子的速率，可以测量在每个像 素处的光级。在前一个示例中，所累积的电荷被转移出所述像素阵列而到电荷-电压测量电路(如在电荷耦合器件(CCD)中)，或者靠近每个 像素的区域可以包含电荷-电压测量电路的元件(如在有源像素传感器 (APS或CMOS传感器)中)。每当在下面的描述中一般性地提到图像传感器时，应当理解其代表 来自图1的图像传感器20。还应当理解，在本说明书中公开的本发明的 图像传感器体系结构和像素图案的所有实例及其等效方案都可以被用 于图像传感器20。在图像传感器的情境中，像素("图像元素"的缩写)指代离散的 感光区域以及与该感光区域相关联的电荷转移或电荷测量电路。在数字 彩色图像的情境中，术语"像素"通常指代具有相关联的颜色值的图像 中的特定位置。为了产生彩色图像，图像传感器中的像素阵列通常具有放置在所述 像素上的彩色滤光器图案。图2示出通常使用的红色、绿色和蓝色滤光 器的图案。该特定图案通常被称作Bayer彩色滤光器阵列(CFA)，这 是按照其发明人Bryce Bayer命名的，正如US 3,971,065中所公开的那 样。该图案被有效地用在具有二维彩色像素阵列的图像传感器中。结果， 每个像素具有特定的彩色光响应，所述彩色光响应在本例中是对于红 色、绿色或蓝色光的主导灵敏度。另外几种有用的彩色光响应是对于品 红色、黄色或青色光的主导灵敏度。在每种情况下，特定彩色光响应对 于可见光谱的某些部分具有高灵敏度，同时对可见光谱的其他部分具有 低灵敏度。术语"彩色像素"将指代具有彩色光响应的像素。被选择用于传感器中的所述一组彩色光响应通常具有三种颜色(如 在Bayer CFA中所示出的那样)，但是它也可以包括四种或更多颜色。 在这里使用的全色光响应指的是比起在所选该组彩色光响应中表示的 光谱灵敏度具有更宽光谱灵敏度的光响应。全色光敏度可以在整个可见 光谱上具有高灵敏度。术语"全色像素"将指代具有全色光响应的像素。度，但是每个全色像素也可以具有相关联的滤光器。这种滤光器是中性 密度滤光器或彩色滤光器。当彩色和全色像素的图案处在图像传感器的表面上时，每一个这种 图案具有一个重复单位，所述重复单位是充当基本构建块的邻接像素子 阵列。通过并置所述重复单位的多个拷贝而产生整个传感器图案。所迷 重复单位的多个拷贝的并置是在对角线方向上以及在水平和垂直方向 上进行的。最小重复单位是使得没有其他重复单位具有更少像素的重复单位。例如，图2中的CFA包括作为2x2像素的最小重复单位，如图2中的 像素块100所示。对该最小重复单位的多个拷贝进行拼接，以便覆盖图 像传感器中的整个像素阵列。所述最小重复单位被显示为在右上角处具 有绿象素，但是通过把用粗轮廓线标出的区域向右、向下或者在对角线 方向上向右下移动一个像素，可以容易地辨识出三种替换的最小重复单 位。虽然像素块102是一个重复单位，但是它不是最小重复单位，这是 因为像素块100也是重复单位，并且像素块100比块102的像素更少。利用包括具有图2的CFA的二维阵列的图像传感器所捕获的图像 在每个像素处仅具有一个颜色值。为了产生全彩色图像，存在多种用于 推断或者插值在每个像素处的缺失颜色的技术。这些CFA插值技术是本 领域内所公知的，并且参考以下专利US5506619、 US5629734以及 US5652621。图3示出在典型的照相机应用中具有红色、绿色和蓝色滤光器的像 素的相对光谱灵敏度。图3中的X轴表示以纳米计的光波长，Y轴表示 效率。在图3中，曲线IIO表示被用来阻挡红外和紫外光到达所述图像 传感器的典型滤光器的光谱透射特性。需要这种滤光器是因为用于图像 传感器的彩色滤光器通常不阻挡红外光，因此像素无法区分红外光与处 在其相关联的彩色滤光器的通带内的光。曲线IIO所示的红外阻挡特性 防止红外光破坏可见光信号。把对应于应用了红色、绿色和蓝色滤光器 的典型硅传感器的光镨量子效率(即被捕获并且被转换成可测量的电信 号的入射光子的比例)乘以由曲线110所表示的红外阻挡滤光器的光谙 传输特性，以便产生组合的系统量子效率，其由对应于红色的曲线114、 对应于绿色的曲线U6和对应于蓝色的曲线118表示。从这些曲线可以 理解，每种彩色光响应仅仅对可见光谱的一部分是灵敏的。相反，曲线112示出了没有应用彩色滤光器(但是包括所述红外阻挡滤光器特性)的相同硅传感器的光响应；这是全色光响应的一个例子。通过把所述彩 色光响应曲线U4、 116和118与全色光响应曲线112进行比较，很明 显所述全色光响应对于宽谦光的灵敏度是任何所述彩色光响应的三到四倍。图3中示出的更高全色灵敏度允许通过混合包括彩色滤光器的像素 与不包括彩色滤光器的像素来提高图像传感器的总体灵敏度。然而，所 述彩色滤光器像素将远不如所迷全色像素那么灵敏。在这种情况下，如 果对所迷全色像素进行适当曝光从而使得来自场景的光强度范围覆盖 所述全色像素的完全测量范围，则所述彩色像素将会明显欠曝光。因此， 有利的是调节所述彩色滤光器像素的灵敏度，从而使得它们具有与所述 全色像素大致相同的灵敏度。例如通过相对于所述全色像素增大所述彩 色像素的尺寸来提高彩色像素的灵敏度，其中空间像素有相关联的减 少。图4A表示具有两个组的二维像素阵列。第一组像素当中的像素的 光语光响应窄于第二组像素当中的像素。第一组像素包括与至少两种不 同的光谱光响应相关的各单独像素，所述至少两种不同的光谱光响应对 应于至少两种彩色滤光器。所述两组像素被混合，以便提高所述传感器 的总体灵敏度。在本说明书中变得更明显的将是，第一组像素和第二组 像素的放置定义了具有最小重复单位的图案，所述最小重复单位包括至 少12个像素。所述最小重复单位包括被布置成允许再现在不同照明条 件下所捕获的彩色图像的第 一和第二组像素。在图4A中示出的完整图案表示被拼接成覆盖整个像素阵列的最小 重复单位。与图2—样，存在几种被用来描述彩色像素和全色像素的这 一总体布置的其他最小重复单位，但是它们在其特性方面是基本上等效 的，并且其中的每一种都是一个像素子阵列，所述子阵列具有8x8像 素的范围。这种图案的一个重要特征是交替的全色像素行和彩色像素 行，其中所述各彩色行包括分组在一起的具有相同彩色光响应的像素。 具有相同光响应的各组像素连同其一些相邻全色像素被视为形成4个单 元，所迷4个单元构成所述最小重复单位，其中的一个单元是比最小重 复单位具有更少像素的邻接像素子阵列。这4个单元在图4A中用粗线描绘并且在图5中被显示为单元120、122、 124和126，其分别围住了 4组4x4像素，其中120表示左上单 元、122表示右上单元、124表示左下单元并且126表示右下单元。所 述4个单元当中的每一个包括8个全色像素和8个具有相同彩色光响应 的彩色像素。 一个单元内的各彩色像素被组合来表示对应于该整个单元 的颜色。因此，图5中的单元120被视为绿色单元，单元122被视为红 色单元，依此类推。每个单元包括至少两个相同颜色的像素，从而允许 组合相同颜色的像素以便克服所述彩色像素与全色像素之间的光敏度 差异。在具有4个不重叠单元的最小重复单位的情况下(其中每个单元具 有两个相同颜色的像素和两个全色像素)，很明显该最小重复单位包括 16个像素。在具有3个不重叠单元的最小重复单位的情况下(其中每个 单元具有两个相同颜色的像素和两个全色像素)，4艮明显该最小重复单 位包括12个像素。根据本发明，当按照图5中标识出的单元结构来考虑时，图4A的 最小重复单位可以表示高分辨率全色图像与低分辨率Bayer图案彩色图 像的组合，其被布置成允许再现在不同照明条件下所捕获的彩色图像。 所述Bayer图案图像的各单独元素表示相应单元中的彩色像素的组合。 第 一组像素定义了低分辨率彩色滤光器阵列图像，第二组像素定义了高 分辨率全色图像。参见图6A和图6B。图6A表示对应于图4A的高分 辨率全色图像，其包括来自图4A的全色像素P以及插值的全色像素P，； 图6B表示所述低分辨率Bayer图案彩色图像，其中R，、 G，和B，对于在的单元颜色。在下面的讨论中，图4B-D、 8A-D、 9、 IOA-B、 11A、 IIC、 12A-B、 13A-C、 14A-B和15A-B中的所有单元都用粗线描绘，正如在图4A中那样。除了图4A的替换最小重复单位之外，所迷图案中的每个单元被旋 转90度，以便产生图4B中所示的图案。这是基本上相同的图案，但是 它把最高全色采样频率放置在垂直方向上而不是水平方向上。关于使用 图4A还是图4B的选择分别取决于是期望在水平方向还是垂直方向上具 有更高的全色空间采样。然而，很明显，构成全部两个图案中的最小重 复单位的所得到的单元对于这两个图案都产生相同的低分辨率彩色图像。因此，图4A和图4B从彩色的观点来看是等效的。 一般来说，图 4A和图4B是利用线性地布置在行或列中的全色像素来实践本发明的例 子。此外，图4A具有单行全色像素，其中的每一行全色像素通过一行 彩色像素与相邻的一行全色像素分隔开；图4B在列方向上具有相同的特性。图4C表示图4A的又一种替换最小重复单位，其具有基本上相同的 单元颜色特性。然而，图4C示出在逐单元的基础上交错的全色和彩色 行。这可以提高垂直全色分辨率。在图4D中表示图4A的又一种替换最 小重复单位，其中全色和彩色行以列对交错。这也具有提高垂直全色分 辨率的可能。图4A-D的所有最小重复单位的一个特性在于，具有两个 或更多同色像素的各组被并排布置在行或列中。图4A-D全都具有与构成表示低分辨率Bayer图案的最小重复单位 的各单元相同的颜色结构。因此可以看出，在本发明的精神内可以构造 全色像素和分组彩色像素的多种布置。为了提高彩色光敏度以便克服全色光敏度与彩色光敏度之间的差 别，按照各种方式组合每个单元内的彩色像素。例如，在CCD图像传 感器中或者在允许结合(binning)的各种类型的有源像素传感器中对来 自相同颜色的像素的电荷进行组合或结合。可选择地，对与相同颜色像 素中的所测量的电荷量相对应的电压求平均，这例如是通过并联连接被 充电到这些电压的电容器而实现的。在又一种方法中，在相同颜色像素 处的光级的数字表示被相加或求平均。组合或结合来自两个像素的电荷 会使信号电平加倍，而与对该组合信号的采样和读出相关联的噪声则保 持相同，从而使得信噪比增大一倍，这表示所迷组合像素的光敏度也相 应地增大一倍。在对来自两个像素的光级的数字表示进行相加的情况 下，所得到的信号增大一倍，但是来自读取所述两个像素的相应噪声电 平正交组合，从而噪声是原来的W倍；因此所得到的所述组合像素的信 噪比是未组合信号的W倍。类似的分析也适用于电压或数字求平均。前面描述的用于组合来自单元内的相同颜色像素的信号的各种方 法被单独使用或组合使用。例如，通过两个一组地垂直组合来自图4A 中的相同颜色像素的电荷，可以产生具有图7A中示出的组合信号R，、 G，和B，的组合像素。在该例中，每个R，、 G，和B，的灵敏度是所述未组 合像素的两倍。可选择地，通过4个一组地水平组合来自图4A中的相同颜色像素的所测量的值(电压或数字的)，可以产生具有图7B中示 出的组合信号R，、 G，和B，的组合像素。在该例中，由于信号是原来的4 倍而噪声是原来的2倍，因此每个R，、 G，和B，的灵敏度是所述未组合 像素的两倍。在另一种替换组合方案中，如图7A中那样两个一组地垂 直组合来自相同颜色像素的电荷并且4个一组地对图7A的组合像素的 所测量的值进行水平相加或求平均，从而产生图7C的最终組合彩色像 素，其中R"、 G，，和B，，表示相同颜色像素的最终组合。在该组合布置 中，图7C的最终组合彩色像素的灵敏度分别是所迷未组合像素的4倍。 一些传感器体系结构(值得注意的是某些CCD布置)可以允许按照图 7C的方式组合来自每个单元内的所有8个相同颜色像素的电荷，从而 导致组合彩色像素的灵敏度增大到原来的8倍。通过前述内容现在将会理解，在出于调节彩色像素的灵敏度的目的 组合所述彩色像素方面存在几个自由度。本领域技术人员可以想到公知 的组合方案，所述组合方案是基于场景内容、场景光源、总体光级或者 其他标准。此外，所述组合方案被选择成有意地允许所述组合像素具有 高于或低于所迷全色像素的灵敏度。到目前为止描述了采用红色、绿色和蓝色滤光器的图像传感器。可 以利用替换的滤光器选择来实践本发明。采用青色、品红色和黄色传感 器的图像传感器是本领域中所公知的，并且可以利用青色、品红色和黄 色滤光器来实践本发明。图8A示出图4A的青色、品红色和黄色等效方 案，其中C表示青色像素，M表示品红色像素，Y表示黄色像素。本发 明还可用于具有多于三种彩色光响应的像素。图8B示出本发明的最小重复单位，其包括青色像素(用C表示)、 品红色像素(用M表示)、黄色像素(用Y表示)和绿色像素(用G 表示)。这保留了图5中示出的最小重复单位的总体单元布置，但是包 括四种不同颜色的像素，从而包括四种不同颜色的相应单元。图8C示 出又一种替换的四色布置，其包括红色像素(用R表示)、蓝色像素(用 B表示)、具有一种彩色光响应的绿色像素(用G表示)以及具有不同 彩色光响应的替换绿色像素(用E表示)。图8D示出又一种替换的四 色布置，其中用黄色单元取代图4A的其中一个绿色单元，黄色像素用 Y表示。可以用除了全色像素之外的少于三种颜色来实践本发明。例如，适合使用具有对应于红色和蓝色的单元的最小重复单位。在本发明的精神内可以实践图4A的许多替换方案。例如，图9表 示本发明的替换最小重复单位，其具有与图4A相同的单元结构，但是 具有全色像素的棋盘图案。这种图案提供对所述图像的均匀全色采样， 从而克服了图4A、 4C和4D的垂直全色采样缺陷。图9被表征为通过 把全色像素布置在对角线中来实践本发明的一个例子。图9还被表征为 具有各单独的全色像素对角线，其中每一条全色像素对角线通过一条彩色像素对角线与相邻的一条全色像素对角线分隔开。图9的又一个特性 在于，各组两个或更多同色像素被并排地布置在对角线中。到目前为止所给出的图案都具有相等数目的全色和彩色像素。本发 明不限于这种布置，因为全色像素可以多于彩色像素。图10A示出本发 明的又一个实施例，其中彩色像素被嵌入在全色像素的栅格图案内。这 种图案提供非常好的全色空间采样，同时表示出与图4A和9相同的彩 色单元布置。图IOB提供所述全色栅格图案的4色实施例的一个例子。 一般来说，图10的最小重复单位被表征为通过一个或多个全色像素把 每个彩色像素与相邻彩色像素分隔开。对于给定的像素图案，最小重复单位先前已被定义为使得没有其他 重复单位具有更少像素的重复单位。按照相同的意义，根椐所述重复单 位中的像素总数对来自不同像素图案的重复单位的尺寸进行比较。作为 一个例子，来自一种像素图案的4x8像素的重复单位小于来自另一种 像素图案的6x6像素的重复单位，这是因为第一重复单位中的像素总 数(4x8=32)小于第二重复单位中的像素总数(6x6=36)。作为另一个 例子，如果一个重复单位小于具有8x8像素的重复单位，则其包含少 于64个总像素。到目前为止所给出的所有图案都展现出这样的单元结构其中每个 单元包含除了全色像素之外的单个颜色。此外，目前所给出的所有图案 都展现出具有8x8像素范围的最小重复单位。还可以使用在每个单元 内具有多于一种颜色的单元的最小重复单位；此外，还可以定义小于8 x8像素范围的最小重复单位。例如，图IIA的最小重复单位具有两个 单元，其中每个单元包括两种颜色左单元中的蓝色和绿色(分别用B 和G表示)，以及右单元中的红色和绿色(分别用R和G表示)。在 图11A中的各单元包含两种颜色，并且这些颜色被布置成便于组合相同颜色以用于提高颜色灵敏度的目的。图UB示出如何拼接图IIA的最小 重复单位，以便交错红色和蓝色。图IIC提供采用4种颜色并且每单元 两种颜色的最小重复单位。图IID示出如何拼接'图IIC的最小重复单 位，以便交错红色和蓝色。在图IID中，粗略的彩色图案被表征为绿色 范围内的两种不同彩色光响应(用G和E表示)的棋盘与红色和蓝色(分 别用R和B表示)的棋盘交织。图12A提供图IIA的全色棋盘形式， 图12B提供图11C的全色棋盘形式。 一般来说，图11A和11C的最小像;)把每个彩色像素与相邻彩色像i分隔开。、5: 5到目前为止描述的最小重复单位具有8 x 8或4 x 8像素范围。然而， 所述最小重复单位可以更小。例如，图13A类似于图4A，但是其中每 一个彩色单元是3像素宽x 4像素高，并且总体最小重复单位是6像素 宽x8像素高。图13B从图13A中去除了两个彩色像素行，从而产生3 x 3像素的单元以及6 x 6像素的最小重复单位。图13C进一步去除了两 个全色行，从而产生3像素宽x2像素高的单元(其中每个单元包含3 个全色像素和3个彩色像素)以及6像素宽x 4像素高的最小重复单位。 如果用于组合每个单元内的颜色的方案所需要的像素数少于在图4A和 其他图案中示出的像素数，则图13A到13C中示出的图案是特别有用的。图MA示出又一种最小重复单位。图14A中的最小重复单位是6x 6像素，其中每个单元包括单个颜色的4像素菱形图案，剩余的5个像 素是全色像素。图14A中示出的全色空间采样图案是略微不规则的，从 而建议图14B的图案，其具有全色棋盘，并且每个3x3像素单元内的 剩余像素被单个颜色占据。图15A示出一种最小重复单位，其是4x4像素并且包括4个2x2 像素单元。注意，每个单元包括两个全色像素和两个同色像素。本发明 要求在每一个所述2x2单元内放置两个同色像素，以便于组合每个单 元内的彩色像素。图15B类似于图15A,但是采用全色棋盘图案。早先描述了控制曝光的方法，其中包括在所述图像传感器处电子地 控制积分时间。在本发明的上下文中，这种控制曝光的方法提供了一种 克服全色像素的光敏度与彩色像素的光敏度之间的差异的附加方式。通 过为全色像素提供一个积分时间并且为彩色像素提供不同的积分时间， 可以优化每一组像素的总体咏光。 一般来说，彩色像素将比全色像素更慢，因此与全色像素相比可以对彩色像素应用更长的积分时间。此外， 对于所述彩色像素的每种颜色可以应用不同的积分时间，从而允许针对 当前场景捕获条件优化每一种颜色的曝光。例如，来自由白炽灯光源照明的场景的光包含比绿色和蓝色光相对更多的红色光；在这种情况下， 可以使得对应于绿色和蓝色像素的积分时间较长，并且使得对应于红色 像素的积分时间较短，以便补偿红色光的相对充足。现在转到图16,图5的最小重复单位被显示为细分成4个单元，一 个单元是比最小重复单位具有更少像素的邻接像素子阵列。提供下面的 处理所需要的软件被包括在图1的DSP 36中。单元220、 224、 226和 228是单元的例子，其中这些单元分别包含具有绿色、红色、蓝色和绿 色光响应的像素。在该例中，单元220包含全色像素和绿色像素，所述 绿色像素被标识为像素组222。最终目标是通过组合来自像素组222中 的各绿色像素的8个绿色信号来为单元220产生单个绿色信号。取决于 所述图像传感器的操作模式，通过在模拟域中组合全部8个绿色信号(例 如通过电荷结合)来产生单个绿色信号，或者通过组合取自像素组222 的更小像素组来产生多个绿色信号。在图17A中示出单元220的全色像 素。在下面的例子中，来自这些全色像素的全部8个信号被单独数字化。 在图17B-17E中示出单元220的绿色像素，其中根椐如何在模拟域中组 合其信号来把所述绿色像素分組在一起。图17B描绘这样的情况其中 全部8个绿色信号被组合来产生对应于单元220 (图16)的单个绿色信 号。如图17C所示，所述传感器可以产生两个绿色信号，这例如是通过 首先组合来自像素G21、 G22、 G23和G24的信号以及随后组合来自像 素G41、 G42、 G43和G44的信号而实现的。也可以按照其他方式产生 两个信号。如图17D所示，该传感器可以首先组合来自像素G21、 G22、 G41和G42的信号，并且随后组合来自像素G23、 G24、 G43和G44的 信号。如图17E所示，该传感器还可以产生对应于单元220的4个绿色 信号，这是通过组合4对信号实现的，例如组合像素G21与G22、随后 组合G23与G24、随后组合G41与G42以及最终组合G43与G44。很 明显，存在用以组合单元220 (图16)内的各对绿色信号的许多附加方 式。如果所述传感器根本不组合，则对于单元220单独地报告全部8个 绿色信号。因此，在单元220的情况下，该传感器可以对于单元220产 生1个、2个、4个或8个绿色值并且按照不同方式产生所述值，这取决于其操作模式。对于单元224、 226和228 (图16),取决于所述传感器的操作模 式，由该传感器产生类似的彩色信号。对应于单元224、 226和228的 彩色信号分别是红色、蓝色和绿色。返回单元220的情况，不管对于该单元数字化多少信号，本发明的 图像处理算法进一步组合数字化的绿色值，以便对于该单元产生单个绿 色值。获得单个绿色值的一种方式是对于为单元220产生的所有数字化 的绿色值求平均。如杲一个单元包含具有不同光响应的彩色像素，则该 单元内的所有彩色数据都被类似地组合，从而使得对于该单元内所表示 的每种彩色光响应存在单个值。重要的是在关于捕获未经处理的图像数据的原始传感器中的各像两种k型的i色值都^用来^:彩色图像，但是所得到:彩色图像具有 不同分辨率。具有与原始传感器中的各像素相关联的像素值的图像被称 作高分辨率图像，而具有与原始传感器中的各单元相关联的像素值的图像被称作低分辨率图像。现在转到图18，其中示出数字信号处理器块36 (图l)从数据总线 30 (图1 )接收所捕获的未经处理的图像数椐。所述未经处理的图像数 据被传递到低分辨率部分色块202和高分辨率全色块204。在图5和图 16中已经示出对应于图像传感器的最小重复单位的一个例子。在单元 220 (图16)的情况下，所捕获的未经处理的图像数据包括由图17A所 示的各单独全色像素产生的全色数据。此外，对于单元220 (图16)还 包括一个或多个绿色(颜色)值，例如来自图17B-E中示出的组合。在低分辨率部分色块202 (图18)中，从所捕获的未经处理的图像 数据产生部分色图像，所述部分色图像是其中每个像素具有至少 一种颜 色值并且每个像素也缺失至少一种颜色值的彩色图像。取决于所述传感 器的操作模式，所捕获的未经处理的图像数椐包含由每个单元内的各彩 色像素产生的一定数目的颜色值。在低分辨率部分色块202内，对于在 所述单元内所表示的每一种颜色把这些颜色值减少到单个值。作为一个 例子，对于单元220(图16)产生单个绿色颜色值。同样，对于单元224、 226和228分别产生单个红色、蓝色和绿色颜色值。低分辨率部分色块202按照类似的方式处理每个单元，从而得到一个颜色值阵列，其中的每个颜色值对应于一个单元。由于所得到的图像 阵列是基于原始传感器中的各单元而不是各像素，因此它在每个维度上 都是原始捕获的未经处理的图像数据阵列的四分之一 。由于所得到的阵列是基于各单元并且由于每个像素具有一些而不是全部颜色值，因此所 得到的图像是低分辨率部分色图像。此时，所述低分辨率部分色图像是色平衡的。现在看高分辨率全色块204,如图16中所示使用相同的未经处理的 图像数据，不过将仅仅使用全色值(图17A)。这次的任务是通过估计 在尚不具有全色值的像素处的全色值来插值完整的高分辨率全色图像。 在单元220 (图16)的情况下，必须对于像素组222 (图16)中的绿色 像素估计全色值。用以估计缺失的全色值的一种简单方式是进行垂直求 平均。因此，例如可以如下估计在像素22处的全色值P22 = (P12 + P32)/2 还可以使用自适应方法。例如， 一种自适应方法是利用图17A中示出的 全色值来计算三个梯度值并且取其绝对值SCLAS = ABS(P31 -P13) VCLAS = ABS(P32-P12) BCLAS = ABS(P33-P11 ) 同样，计算三个预测器值SPRED = (P31 +P13)/2 VPRED = (P32 + P12)/2 BPRED = (P33 + P11 )/2 随后，把P22设置成等于与最小分类器值相对应的预测器。在相等 的情况下，把P22设置成等于所指示的预测器的平均值。在整个图像上 继续所述全色插值，而不管单元边界。当高分辨率全色块204的处理完 成时，所得到的数字全色图像的尺寸与原始捕获的未经处理的图像相 同，这使其是高分辨率全色图像。低分辨率全色块206接收由块204产生的高分辨率全色图像阵列， 并且生成具有与由块202产生的低分辨率部分色图像相同的尺寸的低分 辨率全色图像阵列。通过在给定单元内对于为具有彩色滤光器的那些像 素所估计的全色值求平均来获得每一个低分辨率全色值。在单元220(图 16)的情况下，先前对于像素组222 (图16)中的各绿色像素所估计的高分辨率全色值现在被平均在一起，以便产生对应于该单元的单个低分 辨率全色值。同样，利用在具有红色滤光器的像素处估计的高分辨率全色值来为单元224计算单个低分辨率全色值。按照这种方式，每个单元 最后都具有单个低分辨率全色值。低分辨率色差块208接收来自块202的低分辨率部分色图像和来自 块206的低分辨率全色阵列。随后通过在所述低分辨率全色图像的指导 下对所述低分辨率部分色图像进行彩色插值而形成低分辨率中间色图 像。下面将详细讨论的彩色插值算法的确切性质取决于使用哪一种像素 光响应图案来捕获所述原始未经处理的图像数据。在形成所述低分辨率中间色图像之后对其进行颜色校正。 一旦对所 述低分辨率中间色图像进行了颜色校正，就通过从每一个低分辨率色平 面中单独减去所述低分辨率全色图像来计算低分辨率色差图像。高分辨 率色差块210接收来自块208的低分辨率色差图像，并且利用双线性插 值对该低分辨率色差图像进行上采样，以便匹配原始未经处理的图像数 据的尺寸。其结果是高分辨率色差图像，其具有与由块204产生的高分 辨率全色图像相同的尺寸。高分辨率最终图像块212接收来自块210的高分辨率色差图像和来 自块204的高分辨率全色图像。随后通过把该高分辨率全色图像加到每 个高分辨率色差平面上而形成高分辨率最终彩色图像。随后可以对所得 到的该高分辨率最终彩色图像进行进一步处理。例如，它被存储在DSP 存储器块32 (图1)中，并且随后被锐化及压缩，以便存储在存储卡块 64 (图1 )上。图4A-D、 8A、 9、 IOA、 13A-C、 14A-B和15A-B中示出的传感器 滤光器图案具有最小重复单位，从而使得在块202中产生的所得到的低 分辨率部分色图像对于彩色滤光器展现出重复Bayer图案G RB G除了由所迷低分辨率部分色图像给出的单个颜色值之外，每个单元还具 有由所述低分辨率全色图像给出的全色值。考虑到Bayer图案存在于所述低分辨率部分色图像中的情况，现在 可以更详细地描述低分辨率色差块208 (图18)内的颜色插值任务。颜 色插值开始于在尚不具有绿色值的像素处插值绿色值，其在图19A中被显示为像素234。被显示为像素230、 232、 236和238的4个相邻像素 都具有绿色值，并且它们还都具有全色值。中心像素234具有全色值， 但是不具有绿色值(如问号所示)。第一步是计算两个分类器值，第一个是关于水平方向，第二个是关 于垂直方向HCLAS = ABS ( P4 - P2 ) + ABS ( 2 * P3 - P2 - P4 ) VCLAS = ABS ( P5 - Pl ) + ABS ( 2 * P3 - Pl - P5 )随后，计算两个预测器值，第一个是关于水平方向，第二个是关于垂直 方向HPRED = ( G4 + G2 ) / 2 + ( 2 * P3 - P2 - P4 ) / 2 VPRED = ( G5 + Gl ) / 2 + ( 2 * P3 - Pl - P5 ) / 2最后，令THRESH是经验地确定的阈值，则可以如下自适应地计算缺失值G3:IF MAX ( HCLAS, VCLAS ) < THRESHG3 = ( HPRED + VPRED ) / 2 ELSEIF VCLAS < HCLAS G3 = VPREDELSEG3 = HPREDEND因此，如果全部两个分类器都小于所述阈值，则对于G3计算两个预测 器值的平均值。如果不是，则根据哪个分类器HCLAS或VCLAS更小来 使用HPRED或VPRED。一旦估计出所有缺失的绿色值，就对缺失的红色和蓝色值进行插 值。如图19B中所示，像素242缺失红色值，但是其两个水平相邻像素 240和244分别具有红色值R2和R4。所有这三个像素都具有绿色值。 在这些条件下，如下计算对于像素242的红色值(R3)的估计R3 - ( R4 + R2 ) / 2 + ( 2 * G3 - G2 - G4 ) / 2 在类似的条件下按照类似的方式计算缺失的蓝色值。此时，仍然缺失红 色和蓝色值的仅有像素是那些需要垂直插值的像素。如图19C中所示， 像素252缺失红色值，并且其两个垂直相邻像素250和254分别具有红 色值R1和R5。在这些条件下，如下计算对于像素252的红色值(R3)的估计R3 = ( R5 + Rl ) / 2 + ( 2 * G3 - Gl - G5 ) / 2 在类似的条件下按照类似的方式计算缺失的蓝色值。这就完成了对所述 低分辨率部分色图像的插值，并且其结果是低分辨率中间色图像。如前 所述，现在可以通过从每一个色平面(在刚刚讨论的例子中是红色、绿 色和蓝色)中减去所述低分辨率全色值来计算低分辨率色差。并不是所有传感器都产生展现出颜色值的重复Bayer图案的低分辨 率部分色图像。例如，图11A中示出的传感器图案决定每个单元接收两 种颜色值绿色和红色，或者绿色和蓝色。因此，在本例中，低分辨率 色差块208 (图18)内的颜色插值任务将是对于每个像素估计红色缺失 值或蓝色缺失值。参考图19D,其中示出的像素264具有绿色值(G3) 但是不具有红色值(R3) 。 4个相邻像素260、 262、 266和268具有绿 色值和红色值。对于像素264 (图19D)插值红色值的方法类似于用来 对于像素234 (图19A)插值绿色值的方法。第一步是计算两个分类器值，第一个是关于水平方向，第二个是关 于垂直方向HCLAS = ABS ( G4 - G2 ) + ABS ( 2 * G3陽G2 - G4 ) VCLAS = ABS ( G5 - Gl ) + ABS ( 2 * G3 - Gl - G5 )随后，计算两个预测器值，笫一个是关于水平方向，笫二个是关于垂直 方向HPRED = ( R4 + R2 ) / 2 + ( 2 * G3 - G2 - G4 ) / 2 WRED = ( R5 + Rl ) / 2 + ( 2 * G3 - Gl - G5 ) / 2最后，令THRESH是经验地确定的阈值，则可以如下自适应地计算缺失值G3:IF MAX ( HCLAS, VCLAS) < THRESHR3 = ( HPRED + VPRED ) / 2 ELSEIF VCLAS < HCLAS R3 = VPREDELSER3 = HPREDEND因此，如果全部两个分类器都小于所述阈值，则对于R3计算两个预测器值的平均值。如果不是，则根据哪个分类器HCLAS或VCLAS更小来 使用HPRED或VPRED。使用蓝色值替换红色值以完全相同的方式插值缺失的蓝色值。 一旦 完成，就产生了低分辨率中间色图像。从这以后就如前所述地计算所 述低分辨率色差。部件列表10来自对象场景的光11成像级12透镜13滤光器组件14虹膜16亮度传感器18快门20图像传感器22模拟信号处理器24模数(A/D)转换器26定时发生器28图像传感器级30数字信号处理器(DSP)总线32数字信号处理器(DSP)存储器36数字信号处理器(DSP)38处理级40曝光控制器50系统控制器52系统控制器总线54程序存储器56系统存储器57主机接口60存储卡接口62存储卡插槽64存储卡68用户控制和状态接口70取景器显示器72爆光显示器74用户输入端76状态显示器80 一见频编码器82显示控制器 88图像显示器100 Bayer图案的最小重复单位102 Bayer图案的非最小的重复单位112传感器的未滤光光语光响应曲线114传感器的红色光响应曲线116传感器的绿色光响应曲线118传感器的蓝色光响应曲线120第一绿色单元122红色单元124蓝色单元126第二绿色单元202低分辨率部分色块204高分辨率全色块206低分辨率全色块208〗氐分辨率色差块210高分辨率色差块212高分辨率最终图像块220第一绿色单元222第一绿色单元中的绿色像素224红色单元226蓝色单元228第二绿色单元230用于插值缺失的绿色值的上像素值232用于插值缺失的绿色值的左像素值234缺失绿色值的像素236用于插值缺失的绿色值的右像素值238用于插值缺失的绿色值的下像素值240用于插值缺失的红色值的左像素值242缺失红色值的像素244用于插值缺失的红色值的右像素值250用于插值缺失的红色值的上像素值252缺失红色值的像素254用于插值缺失的红色值的下像素值260用于插值缺失的红色值的上像素值262用于插值缺失的红色值的左像素值264缺失红色值的像素266用于插值缺失的红色值的右像素值268用于插值缺失的红色值的下像素值
权利要求
1、一种用于在变化照明条件下捕获场景图像的方法，包括a)提供具有全色和彩色像素的图像传感器；b)用户选择场景模式，并且根据照明条件和所选场景模式来调节图像捕获曝光；以及c)利用调节后的曝光，通过该图像传感器来捕获场景。
2、 权利要求1所述的方法，还包括d) 从所述捕获的图像提供数字全色图像和中间数字彩色图像；以及e) 使用所述数字全色图像和所述中间数字彩色图像来提供最终数 字彩色图像。
3、 权利要求l所迷的方法，其中，所述图像捕获曝光被自动控制。
4、 权利要求l所述的方法，其中，所述图像捕获曝光被人工控制。
5、 一种用于在变化照明条件下捕获场景图像的方法，包括a) 提供具有二维像素阵列的图像传感器，所述二维像素阵列包括 第 一和第二组像素，第 一组像素当中的像素的光谙光响应窄于第二组像 素当中的像素，第一组像素具有其光语光响应对应于一组至少两种颜色 的各单独像素，其中第 一和第二组像素的放置定义了具有最小重复单位 的图案，该最小重复单位包括至少12个像素，该最小重复单位具有多 个单元，其中每个单元具有从第 一组像素中选择的表示特定颜色的至少 两个像素以及从第二组像素中选择的多个像素，其被布置成允许再现在 不同照明条件下所捕获的彩色图像；b) 用户选择优选的场景模式，并且根据照明条件和所选场景模式 来调节图像捕获曝光；以及c) 利用调节后的曝光，通过该图像传感器来捕获场景。
6、 权利要求5所迷的方法，还包括d) 从所述捕获的图像提供数字全色图像和中间数字彩色图像；以及e) 使用所述数字全色图像和所述中间数字彩色图像来提供最终数 字彩色图像。
7、 权利要求5所迷的方法，其中，所述图像捕获曝光被自动控制。
8、 权利要求5所迷的方法，其中，所述图像捕获曝光被人工控制。
9、权利要求5所述的方法，其中，所述图像传感器是电荷耦合器 件或有源像素传感器。
10、 一种用于在变化照明条件下捕获场景图像的方法，包括a) 提供具有二维像素阵列的图像传感器，所述二维像素阵列包括 第 一和第二组像素，第 一组像素当中的像素的光傳光响应窄于第二组像 素当中的像素，第一组像素具有其光镨光响应对应于一组至少两种颜色 的各单独像素，其中第一和第二组像素的放置定义了具有最小重复单位 的图案，该最小重复单位包括至少12个像素，该最小重复单位具有多 个单元，其中每个单元具有从第一组像素中选择的表示特定颜色的至少两个像素以及从第二组像素中选择的多个像素，其被布置成允许再现在 不同照明条件下所捕获的彩色图像；b) 从所述场景接收光，并且沿着光路把这种接收的光聚焦到该图 像传感器上；c) 产生表示场景光强度的信号；以及d) 响应于所述信号来调节该图像传感器的曝光。
11、 权利要求10所述的方法，其中，所迷图像传感器是电荷耦合 器件或有源像素传感器。
12、 权利要求10所述的方法，其中，步骤d)包括当所述场景光 强度高于用于限制被聚焦到所述传感器上的光量的预定水平时，把至少 一个中性密度滤光器定位在所述光路中。
13、 权利要求10所述的方法，其中，步骤d)包括把至少一个色 平衡滤光器定位在所述光路中。
14、 权利要求10所述的方法，其中，步骤d)包括改变所述图像 捕荻设备的光圈，以便改变所述图像传感器上的曝光。
15、 权利要求10所述的方法，其中，步骤d)包括改变图像传感 器像素的积分时间，以便改变所迷图像传感器上的曝光。
16、 权利要求15所述的方法，还包括机械快门，用于控制所述图 像传感器中的像素的积分时间。
17、 权利要求15所述的方法，还包括定时发生器，用于电子地控 制所述图像传感器中的像素的积分时间。
18、 权利要求10所述的方法，其中，步骤d)包括改变图像传感 器像素的积分时间，以便为不同像素提供至少两个单独的积分时间。
19、 权利要求18所述的方法，其中，相对于另一组来改变所述第 一组或第二组像素的积分时间。
20、 权利要求18所述的方法，其中，相对于(多种)其他颜色的 像素的积分时间来改变所述第 一 组像素内的每种颜色的像素的积分时间。
21、 一种用于以单个图像捕获或图像流捕获来在场景的变化照明条 件下捕获场景的方法，包括a) 提供在第一条件下有效地捕获场景的单个图像并且在第二条件 下有效地从该场景捕获图像流的图像传感器，该图像传感器具有二维像 素阵列，所述二维像素阵列包括第一和第二组像素，第一组像素当中的 像素的光谱光响应窄于第二组像素当中的像素，第 一组像素具有其光谱 光响应对应于一组至少两种颜色的各单独像素，其中第 一和第二组像素 的放置定义了具有最小重复单位的图案，该最小重复单位包括至少12 个像素，该最小重复单位具有多个单元，其中每个单元具有从第一组像 素中选择的表示特定颜色的至少两个像素以及从第二组像素中选择的 多个像素，其被布置成允许再现在不同照明条件下所捕获的彩色图像；b) 沿着路径从该场景接收光，并且把来自该场景的光聚焦到所述 图像传感器上；以及c) 用户选择该图像传感器来捕获单个图像或捕获图像流。
全文摘要
一种使用图像传感器的图像捕获设备，其具有彩色和全色像素并且被构造成允许在不同照明条件下捕获彩色场景图像。
文档编号H04N3/15GK101248659SQ200680030613
公开日2008年8月20日 申请日期2006年8月22日 优先权日2005年8月23日
发明者J·F·小哈米尔顿, J·T·坎普顿 申请人:伊斯曼柯达公司