专利名称：具有改进的光灵敏度的图像传感器的制作方法
技术领域：
本发明涉及具有改进的光灵敏度(light sensitivity)的二维图像传感器。
背景技术：
电子成像系统依赖于电子图像传感器来产生视觉图像的电子表示。这种电子图像传感器的示例包括电荷耦合器件(CCD)图像传感器和有源像素传感器(APS)器件(APS器件通常被称为CMOS传感器，因为能够在互补金属氧化物半导体工艺中制造它们)。典型地，这些图像传感器包括通常以行和列的规则图案排列的许多光敏感像素。为了捕获彩色图像，通常在像素的图案上制作滤色器的图案，不同的滤色器材料被用于使得个体像素仅对可见光谱的一部分敏感。滤色器必要地减少到达每个像素的光量，从而减少了每个像素的光灵敏度。持续存在改进电子彩色图像传感器的光敏感度，或者照相感速率的需求，以便允许以较低的光等级(light level)捕获图像，或者允许以更短的曝光时间来捕获较高光等级的图像。
图像传感器或者是线性的，或者是二维的。一般，这些传感器具有两种不同类型的应用。二维传感器通常适合于诸如数字相机，蜂窝电话和其它应用的图像捕获装置。线性传感器通常用于扫描文件。在任一种情况中，当采用滤色器时，图像传感器的敏感度被降低。
一种线性图像传感器，Eastman Kodak公司制造的KLI-4104，包括四条直线的(linear)、单像素宽的像素阵列，滤色器被施加到这些阵列中的三条，使得每条阵列以其整体对红色，绿色，或者蓝色敏感，并且没有滤色器阵列被施加到第四阵列；此外，三条彩色阵列具有较大的像素来补偿由于滤色器引起的光敏感度降低，第四阵列具有较小的像素来捕获高分辨率单色图像。当使用该图像传感器捕获图像时，图像被表示为高分辨率，高照相敏感度单色图像，随同具有大致相同的照相敏感度的三个较低分辨率图像，这三个图像中的每一个对应于来自图像的红色，绿色或者蓝色光；因此，电子图像中的每个点包括单色值，红色值，绿色值，和蓝色值。然而，由于这是线性图像传感器，它需要图像传感器和图像之间的相对机械运动，以便跨过四条直线的像素阵列扫描图像。这限制了扫描图像的速度，并排除了将该传感器用于手持相机或者捕获包括移动目标的场景。
Akira Muramatsu的美国专利4823186中描述的包括两个传感器的电子成像系统也是本领域中已知的，其中每个传感器包括像素的二维阵列，但是一个传感器没有滤色器而另一个传感器包括像素内包含的滤色器的图案，并且具有光束分光器来为每个图像传感器提供图像。由于彩色传感器应用了滤色器的图案，彩色传感器中的每个像素仅提供单个色彩。当用该系统捕获图像时，电子图像中的每个点包括单色值和一个彩色值，并且彩色图像必须从附近的色彩内插每个像素位置处缺失的色彩。尽管该系统相比于单个传统图像传感器改进了光敏感度，该系统的总体复杂性，尺寸和成本较大，因为需要两个传感器和光束分光器。此外，光束分光器仅将光的一半从图像导向至每个传感器，限制了照相感速率的提高。
除了上述的线性图像传感器之外，具有像素的二维阵列的图像传感器在本领域中也是已知的，其中这些像素包括不具有施加到其上的滤色器的像素。例如，参见Sato等人的美国专利4390895，Yamagami等人的美国专利5323233，以及Gindele等人的美国专利6476865。在每个所引用的专利中，没有滤色的或者单色的像素的敏感度明显高于彩色像素，需要将增益应用到彩色像素，以便匹配来自像素阵列的彩色和单色信号。提高增益增加了噪声以及信号，导致得到的图像总体信噪比的降低。Frame在美国专利申请2003/0210332中揭示了一种像素阵列，其中大部分的像素没有滤色，但是彩色像素受到与如上所述相同的敏感度不足。
因此，持续存在对于改进采用具有像素的二维阵列的单个传感器的电子捕获装置的光敏感度的需求。
发明内容
本发明旨在提供一种具有彩色和全色像素的二维阵列的图像传感器，其提供高敏感度并且在产生全色图像方面是有效的。
简要地总结，根据本发明的一个方面，本发明提供一种用于捕获彩色图像的图像传感器，包括 a)二维阵列，其具有按行和列布置的第一和第二组像素，其中来自第一组像素的像素具有比来自第二组像素的像素更窄的光谱光响应，并且其中第一组像素包括具有对应于至少两种色彩的集合的光谱光响应的像素； b)第一和第二组像素的放置定义具有最小重复单位的图案，所述最小重复单位包括至少六个像素，使得最小重复单位的至少一些行或者列仅由来自第二组的像素构成，以及 c)用于组合来自至少两个相邻的最小重复单位的相似定位的像素的装置，用于组合来自至少三个相邻的最小重复单位的相同色彩(oflike color)的像素的装置，或者用于将第一组像素与第二组像素组合的装置。
在本发明的另一方面，提供一种用于捕获彩色图像的图像传感器，包括 a)二维阵列，其具有第一和第二组像素，其中来自第一组像素的像素具有比来自第二组像素的像素更窄的光谱光响应，并且其中第一组像素包括具有对应于至少两种色彩的集合的光谱光响应的个体像素； b)第一和第二组像素的放置定义具有最小重复单位的图案，所述最小重复单位包括至少十二个像素，最小重复单位具有多个单元，其中每个单元具有从第一组像素中选择的表示特定色彩的至少两个像素，以及从第二组像素中选择的多个像素，布置为允许再现在不同光照条件下捕获的彩色图像；以及 c)用于组合该至少两个像素中的至少两个的装置，用于组合来自最小重复单位内该多个单元中的至少两个的相同色彩的像素的装置，或者用于将第一组像素与第二组像素组合的装置。
根据本发明的图像传感器特别适合于低等级光照条件，其中这种低等级光照条件是低场景光照，短曝光时间，小光圈，或者其它对到达传感器的光的限制的结果。它们具有广泛的应用，并且很多类型的图像捕获装置可以有效地使用这些传感器。
通过阅读优选实施例的下列详细描述以及所附权利要求书，并且参考附图，将更清楚地理解和认识本发明的这些和其它方面，目标，特征和优点。
图1是传统数字静态相机系统的框图，其可以采用传统传感器和处理方法，或者本发明的传感器和处理方法； 图2(现有技术)是传统Bayer滤色器阵列图案，示出最小重复单位和非最小重复单位； 图3提供红色，绿色和蓝色像素的代表性光谱量子效率曲线，以及更宽的光谱全色量子效率，所有这些都乘以了红外截止(cut)滤色器的透射特性； 图4A-D提供使得具有同色光响应的彩色像素布置在行或列中的，本发明的滤色器阵列图案的几种变化的最小重复单位； 图5示出来自图4A的最小重复单位的单元结构； 图6A是对于图4A内插的全色图像； 图6B是对应于图4A和图5中的单元的低分辨率彩色图像； 图7A-C示出组合图4A的像素的几种方式； 图8A-E提供用于本发明滤色器阵列图案的六像素的最小重复单位，包括几种铺设(tiling)布置以及最小重复单位的可选取向； 图9A-C提供本发明的滤色器阵列图案的几种最小重复单位，它们是图8的最小重复单位的变体； 图10A-F提供本发明滤色器阵列图案的八像素的最小重复单位，并且包括铺设布置，以及利用具有可选彩色光响应特性的彩色像素的变体，包括基色，补色，三色，以及四色替代； 图11A-B提供本发明的滤色器阵列的最小重复单位，其中超过一半的像素具有全色光响应； 图12A-B提供本发明的滤色器阵列的最小重复单位并且包括铺设布置，其中像素位于被旋转了45度的矩形网格上； 图13A-B提供本发明的滤色器阵列的最小重复单位并且包括铺设布置，其中像素布置在六角形图案中； 图14提供了本发明的滤色器阵列的最小重复单位，其是图13的可选方案； 图15提供了本发明的滤色器阵列的最小重复单位，其是图13的可选方案； 图16是图4A的最小重复单位，最小重复单位中的个体像素具有下标； 图17A-E示出图16的一个单元的全色像素和彩色像素，以及组合彩色像素的不同方式； 图18是本发明的过程图，示出处理来自本发明的传感器的彩色和全色像素数据的方法； 图19A-D示出本发明的内插图18的低分辨率部分彩色图像中缺失色彩的方法； 图20提供图8A中所示类型的两个最小重复单位，示出在相邻的最小重复单位之间以及在最小重复单位内组合像素； 图21A-D每个提供了是图10A的变体的两个最小重复单位，示出了在水平相邻的最小重复单位之间和在最小重复单位内组合像素的几种方式； 图22提供了是图10A的变体的两个最小重复单位，示出了在垂直相邻的最小重复单位之间组合像素； 图23提供了是图10A的变体的三个最小重复单位，示出了组合来自三个水平相邻的最小重复单位的像素； 图24提供了是图10A的变体的五个最小重复单位，示出了组合来自五个水平相邻的最小重复单位的像素； 图25A-B提供了是图10A的变体的几个最小重复单位，示出了最小重复单位的多个重叠的组用于组合来自相邻的最小重复单位的像素的目的； 图26A-B提供了图8A所示类型的几个最小重复单位，示出了组合来自多个相互相邻的最小重复单位的像素； 图27提供了是图10A的变体的最小重复单位，示出了将彩色像素与全色像素组合； 图28提供了是本发明变体的包括多个单元的两个最小重复单位，示出在最小重复单位之间，在单元之间，以及在单元内组合像素，以及组合彩色和全色像素；以及 图29A-C提供了是本发明变体的包括多个单元的最小重复单位，示出在最小重复单位之间，在单元之间，以及在单元内组合像素的特定示例。
具体实施例方式 因为采用成像装置以及用于信号捕获和校正以及用于曝光控制的相关电路的数字相机是熟知的，本描述将特别针对形成根据本发明的方法和设备的一部分，或者更直接地与根据本发明的方法和设备协作的特征。这里没有具体说明或者描述的特征是从本领域中已知的那些中选择的。要描述的实施例的特定方面以软件来提供。给定在下面的材料中根据本发明说明和描述的系统，对于实施本发明有用的、这里没有特别说明、描述或者暗示的软件是传统的并且在这种领域的普通技术之内。
现在转到图1，示出了显示为体现本发明的数字相机的图像捕获装置的框图。尽管现在将说明数字相机，很清楚本发明可适用于其它类型的图像捕获装置。在所揭示的相机中，来自目标场景的光10输入到成像级11中，在成像级11中光由镜头12聚焦，从而在固态图像传感器20上形成图像。图像传感器20将入射光转换成电信号用于每个相片元素(像素)。该优选实施例的图像传感器20是电荷耦合器件(CCD)型或者有源像素传感器(APS)型(APS器件通常被称为CMOS传感器，因为能够在互补金属氧化物半导体工艺中制造它们)。其它类型的具有二维像素阵列的图像传感器也可以被使用，只要它们采用本发明。本发明还利用具有彩色和全色像素的二维阵列的图像传感器20，如在描述图1之后本说明书中后面将变得清楚的。与图像传感器20一起使用的本发明的彩色和全色像素的图案的示例在图4A-D，图8A，图8E，图9A-C，图10A，图10C-F，图11A-B，图12，图13，图14和图15中可见，不过在本发明的精神内也使用其它图案。
到达传感器20的光的量由改变光圈的光阑(iris)模块14，以及包括插在光路中的一个或者多个中性密度(ND)滤光器的ND滤光器模块13调节。还调节总体光等级的是快门模块18打开的时间。曝光控制器模块40响应于如亮度传感器模块16所测量的场景中可用的光量，并控制所有这三个调节功能。
特定相机结构的该描述对于本领域技术人员是熟悉的，并且很明显存在很多变型和额外的特征。例如，添加自动对焦系统，或者镜头是可拆离的并且可互换的。将理解本发明适用于任何类型的数字相机，其中类似的功能由可选部件提供。例如，数字相机是相对简单的对准就拍(point and shoot)数字相机，其中快门18是相对简单的可移动叶片(movable blade)快门之类，而不是更复杂的焦平面配置。本发明也可以在诸如移动电话和机动车辆之类的非相机设备中包括的成像部件上实施。
来自图像传感器20的模拟信号由模拟信号处理器22处理，并施加到模数(A/D)转换器24。定时发生器(timing generator)26产生各种时钟信号来选择行和像素，并同步模拟信号处理器22和A/D转换器24的操作。图像传感器级28包括图像传感器20，模拟信号处理器22，A/D转换器24，以及定时发生器26。图像传感器级28的这些组件是分开制造的集成电路，或者它们被制造为单个集成电路，如CMOS图像传感器通常所做的那样。从A/D转换器24得到的数字像素值的流被存储在与数字信号处理器(DSP)36关联的存储器32中。
除了系统控制器50和曝光控制器40之外，数字信号处理器36是该实施例中的三个处理器或控制器中的一个。尽管这种在多个控制器和处理器之间划分相机功能控制是典型的，在不影响相机的功能操作以及本发明应用的前提下可以各种方式组合这些控制器或处理器。这些控制器或处理器可以包括一个或者多个数字信号处理器装置，微控制器，可编程逻辑器件，或者其他数字逻辑电路。尽管已经描述了这种控制器或处理器的组合，应该显而易见的是可选实施例指定一个控制器或者处理器执行所有需要的功能。所有这些变型可以执行相同的功能并落入本发明的范围内，术语“处理级”将按照需要被用来包含一个阶段内的所有这种功能性，例如在图1中的处理级38中。
在所示出的实施例中，DSP 36根据永久地存储在程序存储器54中并在图像捕获期间复制到存储器32供执行的软件程序，操纵其存储器32中的数字图像数据。DSP 36执行实施图18中所示的图像处理所必须的软件。存储器32包括任何类型的存储器，诸如SDRAM。包括地址和数据信号的路径的总线30将DSP 36连接到其相关的存储器32，A/D转换器24和其它相关的设备。
系统控制器50基于程序存储器54中存储的软件程序，控制相机的总体操作，程序存储器54可以包括闪存EEPROM或者其他非易失性存储器。该存储器还用于存储图像传感器校准数据，用户设置选择和其他在相机关闭时必须保存的数据。系统控制器50通过指挥曝光控制器40操作如前所述的镜头12，ND滤光器13，光阑14以及快门18，指挥定时发生器26操作图像传感器20和关联的元件，以及指挥DSP 36处理捕获的图像数据，控制图像捕获的序列。在图像被捕获和处理之后，存储在存储器32中的最终图像文件经由接口57被发送到主计算机，存储在可移动存储卡64或者其它存储装置上，并在图像显示器88上为用户显示。
总线52包括地址，数据和控制信号的路径，并将系统控制器50连接到DSP 36，程序存储器54，系统存储器56，主机接口57，存储卡接口60以及其它相关装置。主机接口57提供到个人计算机(PC)或者其它主计算机的高速连接，以便传输图像数据供显示，存储，操纵或打印。该接口为IEEE1394或者USB2.0接口或者任何其它适合的数字接口。存储卡64典型地为紧凑式闪存(CF)卡，其插入插槽62中并经由存储卡接口60连接到系统控制器50。利用的其它类型的存储器包括但不限于PC卡，多媒体卡(MMC)，或者安全数字(SD)卡。
经过处理的图像被复制到系统存储器56中的显示缓存器，并经由视频编码器80持续地读出以产生视频信号。该信号直接从相机输出以显示在外部监视器上，或者由显示控制器82处理并呈现在图像显示器88上。该显示器通常为有源矩阵彩色液晶显示器(LCD)，然而同样可以使用其它类型的显示器。
用户控制和界面状态68包括取景器显示器70，曝光显示器72，状态显示器76，图像显示器88，以及用户输入74的全部或者任意组合，用户控制和界面状态68由在曝光控制器40和系统控制器50上执行的软件程序的组合控制。用户输入74典型地包括按钮，翘板开关，操纵杆，旋转拨盘或触摸屏的某种组合。曝光控制器40操作光测量，曝光模式，自动对焦，以及其它曝光功能。系统控制器50管理在一个或多个显示器(例如图像显示器88)上呈现的图形用户界面(GUI)。GUI典型地包括用于进行各种选项选择的菜单以及用于检查所捕获的图像的查看模式。
曝光控制器40接受选择曝光模式，镜头光圈，曝光时间(快门速度)，以及曝光指数或者ISO速度(ISO speed rating)的用户输入，并且相应地指挥(direct)镜头和快门来进行之后的捕获。采用亮度传感器16来测量场景的亮度，并提供曝光计功能，供用户参考何时手动设置ISO速度、光圈和快门速度。在此情况下，当用户改变一个或者多个设置时，取景器显示器70上呈现的测光表(light meter)指示器告诉用户图像将会过度曝光或者曝光不足的程度。在自动曝光模式下，用户改变一个设置，曝光控制器40自动改变另一个设置来保持正确的曝光，例如，对于给定的ISO速度，当用户减小镜头光圈时，曝光控制器40自动增加曝光时间来保持相同的总体曝光。
ISO速度是数字静态相机的重要属性。曝光时间，镜头光圈，镜头透射率，场景照度的等级和光谱分布，以及场景反射率确定数字静态相机的曝光等级。当使用不足的曝光从数字静态相机获得图像时，可以通过增加电子或数字增益来大致维持正确的色调再现，但是图像将包含不可接受的噪声量。随着曝光增加，该增益降低，因此一般可以将图像噪声减少到可接受的程度。如果过度地增加曝光，图像的明亮区域中得到的信号会超过图像传感器或者相机信号处理的最大信号等级容量。这会导致图像加亮区域(highlight)被修剪而形成均匀明亮的区域，或者浮散到(bloom into)图像中的周边区域。指导用户设定正确的曝光是重要的。ISO速度意图是作为这样的指导。为了拍摄者容易理解，数字静态相机的ISO速度应当直接与照相胶卷相机的ISO速度相关。例如，如果数字静态相机的ISO速度为ISO200，那么相同的曝光时间和光圈对于标定ISO200的胶片/处理系统应当是合适的。
ISO速度打算与胶卷ISO速度一致。然而，电子成像系统和基于胶卷的成像系统之间存在妨碍精确等同的差异。数字静态相机可以包括可变的增益，并且可以在捕获了图像数据之后提供数字处理，使得能够在相机曝光的一个范围上实现色调再现。因此，数字静态相机能够具有一个速度范围。该范围被定义为ISO速度范围。为了防止混淆，将单个值指定为固有ISO速度，而ISO速度范围上下限指示速度范围，即包括不同于固有ISO速度的有效速度的范围。谨记此概念，固有ISO速度是根据在数字静态相机的焦平面处提供的曝光计算的、产生特定的相机输出信号特性的数值。该固有速度通常是给定的相机系统对常规场景(normal scene)产生峰值图像质量的曝光指数值，其中曝光指数是反比于提供给图像传感器的曝光的数值。
前面对数字相机的描述对于本领域技术人员是熟悉的。很明显该实施例的很多变型是可能的，并且被选择用来减少成本，增加特征，或改进相机的性能。下面的描述将详细揭示根据本发明的用于捕获图像的该相机的操作。尽管本描述参照数字相机，将理解本发明适合与任何类型的包含具有彩色和全色像素的图像传感器的图像捕获装置一起使用。
图1中所示的图像传感器20典型地包括在硅衬底上制造的光敏感像素的二维阵列，所述光敏感像素提供了将每个像素处的入射光转换成被测量的电信号的方式。当传感器暴露于光，自由电子在每个像素处的电子结构中产生并被捕获。在某段时间内捕获这些自由电子并接着测量捕获的电子数量，或者测量产生自由电子的速率，允许测量每个像素处的光等级。在前一种情况下，将累积的电荷移出像素阵列到电荷到电压测量电路，如在电荷耦合器件(CCD)中，或者接近每个像素的区域包含电荷到电压测量电路的元件，如在有源像素传感器中(APS或者CMOS传感器)。
在下面的描述中，无论何时提到图像传感器，将理解它表示图1的图像传感器20。还将理解本说明书中揭示的本发明的图像传感器架构和像素图案的所有示例和它们的等价物用于图像传感器20。
在图像传感器的背景下，像素(“照片元素”的缩写)指的是离散的光感测区域以及与该光感测区域关联的电荷转移或者电荷测量电路。在数字彩色图像的背景下，术语像素通常指图像中具有关联的色彩值的特定位置。
为了产生彩色图像，图像传感器中的像素阵列通常具有放置在其上的滤色器的图案。图2示出通常使用的红色，绿色和蓝色滤色器的图案。该特定的图案通常以US3971065中揭示的其发明人Bryce Bayer的名字命名为Bayer滤色器阵列(CFA)而为人所知。该图案在具有彩色像素的二维阵列的图像传感器中有效地使用。结果，每个像素具有特定的彩色光响应，在该情况下，该特定的光响应是对于红色，绿色或者蓝色光的主要敏感度。彩色光响应的另一种有用的变种是对于品红，黄色或者青色光的主要敏感度。在每种情况下，该特定的彩色光响应对于可见光谱的某些部分具有高敏感度，而同时对于可见光谱的其它部分具有低敏感度。术语彩色像素指的是具有彩色光响应的像素。
选择用于传感器中的彩色光响应的集合通常具有三种色彩，如Bayer CFA中所示的，但是它也可以包括四种或者更多。如这里所使用的，全色光响应指的是具有比所选择的彩色光响应的集合中表现的那些光谱敏感度更宽的光谱敏感度的光响应。全色光敏感度可以具有跨整个可见光谱的高敏感度。术语全色像素指的是具有全色光响应的像素。尽管全色像素一般具有比彩色光响应的集合更宽的光谱敏感度，每个全色像素可以具有关联的滤色器。这种滤色器或者是中性密度滤光器或者是彩色滤光器。
当彩色和全色像素的图案是在图像传感器的表面上时，每个这种图案具有是像素的连续子阵列的、作为基本构成块的重复单位。通过并置重复单位的多个复制体，产生整个传感器图案。重复单位的多个复制体的并置是在对角线方向以及水平和垂直方向进行的。
最小重复单位是没有其它重复单位具有更少的像素的重复单位。例如，图2中的CFA包括的最小重复单位是两个像素长，两个像素宽，如图2中的像素块100所示。该最小重复单位的多个复制体被铺设，以覆盖图像传感器中的整个像素阵列。最小重复单位用处于右上角的绿色像素示出，但是通过将粗轮廓线的区域向右移动一个像素，向下移动一个像素，或者对角线地向右和向下移动一个像素，可以容易地看出三种可选的最小重复单位。尽管像素块102是重复单位，它不是最小重复单位，因为像素块100是重复单位并且像素块100比块102的像素少。
使用具有带有图2的CFA的二维阵列的图像传感器捕获的图像在每个像素处只有一个色彩值。为了产生全色图像，存在多种技术来推断或者内插每个像素处缺失的色彩。这些CFA内插技术在本领域中是熟知的，并对以下的专利进行参考US5506619，US5629734和US5652621。
图3示出在典型的相机应用中具有红色，绿色和蓝色滤色器的像素的相对光谱敏感度。图3中的X轴表示以纳米为单位的光波长，Y轴表示效率。在图3中，曲线110表示用于阻止红外和紫外光到达图像传感器的典型滤色器的光谱透射特性。需要这种滤色器，因为用于图像传感器的滤色器通常不阻断红外光，因此像素不能区别红外光和在它们关联的滤色器的通带内的光。曲线110所示的红外阻断特性防止红外光恶化可见光信号。对于施加了红色，绿色和蓝色滤光器的典型的硅传感器的光谱量子效率(即入射光子被捕获并转换成可测量的电信号的比例)被乘以曲线110表示的红外阻断滤色器的光谱透射特性，以产生组合的系统量子效率，该系统量子效率由用于红色的曲线114，用于绿色的曲线116和用于蓝色的曲线118表示。从这些曲线将理解每种彩色光响应仅对于一部分可见光谱敏感。相反，没有施加滤色器(但是包括红外阻断滤色器特性)的同一硅传感器的光响应由曲线112所示；其是全色光响应的示例。通过将彩色光响应曲线114，116和118与全色光响应曲线112比较，很显然全色光响应对于宽光谱光的敏感度是任意的彩色光响应的三到四倍。
图3中所示的较大的全色敏感度允许通过混合包括滤色器的像素和不包括滤色器的像素而改进图像传感器的总体敏感度。然而，滤色器像素相比于全色像素不敏感得多。在这种情况下，如果全色像素合适地暴露于光，使得来自场景的光强度的范围覆盖全色像素的整个测量范围，那么彩色像素将明显欠曝光。因此，有利的是调节滤色器像素的敏感度，使得它们具有与全色像素大致相同的敏感度。例如，通过增加彩色像素相对于全色像素的尺寸，伴随关联的空间像素的减少，增加彩色像素的敏感度。
图4A表示具有两个组的像素的二维阵列。来自第一组像素的像素相比于来自第二组像素的像素具有更窄的光谱光响应。第一组像素包括与对应于至少两种滤色器的至少两种不同的光谱光响应相关的个体像素。这两组像素被混合来改进传感器的总体敏感度。如在本说明书中将变得更清楚的，第一和第二组像素的放置定义了具有包括至少12个像素的最小重复单位的图案。该最小重复单位包括布置为允许在不同的光照条件下再现捕获的彩色图像的第一和第二组像素。
图4A中所示的完整图案表示被铺设以覆盖整个像素阵列的最小重复单位。如同与图2一样，存在用于描述该彩色和全色像素总体布置的几种其它最小重复单位，但是它们在其特性上都基本等价并且每个都是像素的子阵列，该子阵列在范围上是8像素宽，8像素长。这种图案的一个重要特征是交替的全色和彩色像素的行，其中彩色行使得具有相同彩色光响应的像素成组在一起。具有相同光响应的像素的组与它们的相邻全色像素中的一些，被认为形成构成最小重复单位的四个单元，单元是具有比最小重复单位少的像素的连续的像素子阵列。
这四个单元在图4A中由粗线画出，并示出为图5中的单元120，122，124和126，它们围住每个都4×4像素的四个组，其中120表示左上单元，122表示右上单元，124表示左下单元，126表示右下单元。这四个单元中的每个包括八个全色像素和八个具有相同彩色光响应的彩色像素。单元中的彩色像素被组合来表示该整个单元的色彩。因此，图5中的单元120被认为是绿色单元，单元122被认为是红色单元，以此类推。每个单元包括至少两个相同色彩的像素，从而允许相同色彩的像素被组合，以克服彩色像素和全色像素之间光敏感度的差异。
在具有四个不重叠的单元且其中每个单元具有相同色彩的两个像素和两个全色像素的最小重复单位的情况下，很清楚最小重复单位包括16个像素。在具有三个不重叠的单元且其中每个单元具有相同色彩的两个像素和两个全色像素的最小重复单位的情况下，很清楚最小重复单位包括12个像素。
根据本发明，当按照图5中指出的单元结构考虑时，图4A的最小重复单位可以表示布置为允许再现在不同光照条件下捕获的彩色图像的高分辨率全色图像和低分辨率Bayer图案彩色图像的组合。Bayer图案图像的个体元素表示对应的单元中的彩色像素的组合。第一组像素定义低分辨率滤色器阵列图像，并且第二组像素定义高分辨率全色图像。参见图6A和图6B。图6A表示对应于图4A的高分辨率全色图像，包括来自图4A的全色像素P以及内插的全色像素P’；图6B表示低分辨率Bayer图案彩色图像，其中R’，G’和B’表示对于图5中加轮廓线的每个单元，与该单元中组合的彩色像素关联的单元色彩。
在下面的讨论中，图4B-D中的所有单元由粗线绘出，如同它们在图4A中那样。
除了图4A的可选最小重复单位，该图案的每个单元被旋转90度来产生图4B中所示的图案。这是基本相同的图案，但是它将最高的全色采样频率放置在垂直方向而不是水平方向。使用图4A或图4B的选择依赖于是否期望分别在水平或者垂直方向上具有更高的全色空间采样。然而，很清楚得到的构成两种图案中最小重复单位的单元对于这两种图案都产生相同的低分辨率彩色图像。因此，从彩色的观点看图4A和图4B是等价的。一般而言，图4A和图4B是全色像素直线地布置在行或者列中而实施本发明的示例。此外，图4A具有全色像素的单行，其中每行由一行彩色像素与相邻的全色像素的行隔开；图4B在列方向上具有相同的特性。
图4C表示具有基本上相同的单元色彩特性的图4A的又一个可选最小重复单位。然而，图4C示出在逐单元的基础上交错的全色和彩色行。这可以改进垂直全色分辨率。图4A的再一个可选最小重复单位表示在图4D中，其中全色和彩色行逐列对地交错(staggered by columnpairs)。这也具有改进垂直全色分辨率的潜力。图4A-D中所有这些最小重复单位的特性是两个或者更多个相同色彩像素的组并排地布置在行或者列中。
图4A-D都具有相同的彩色结构，其中构成最小重复单位的单元表示低分辨率Bayer图案。因此可看到在本发明的精神内构造了全色像素和成组的彩色像素的各种布置。
为了增加彩色光敏感度来克服全色光敏感度和彩色光敏感度之间的不一致，以各种方式组合每个单元内的彩色像素。例如，在CCD图像传感器或者允许装仓(binning)的有源像素传感器的类型(见图1，图像传感器20)中，来自相同色彩的像素的电荷被组合或者装仓。可选地，对应于在相同色彩的像素中测量的电荷量的电压被平均，例如通过并联连接被充电到这些电压的电容器(见图1，图像传感器20)。在通过并联连接电容器来平均电压的情况下，电容器可以是相等大小以进行简单的平均，或者它们可以是不同大小以便进行加权平均。在又一种方案中，相同色彩的像素处的光等级的数字表示被求和，平均，或者数字滤波，来提供组合的结果，例如在图1中的数字信号处理器36。组合或者装仓来自两个像素的电荷使得信号电平加倍，同时与采样和读出组合信号关联的噪声保持不变，从而以因子2增加了信噪比，表示组合像素的光敏感度上两倍的增加。在对来自两个像素的光等级的数字表示求和的情况下，得到的信号按照因子2增加，但是来自读取这两个像素的对应的噪声等级正交(in quadrature)组合，从而以2的平方根增加了噪声；因此得到的组合像素的信噪比相对于未组合的信号以2的均方根增加。类似的分析适用于电压或者数字平均。
之前提到的组合来自单元内相同色彩的像素的信号的方案被单独地或者组合地使用。例如，以两个的组垂直组合来自图4A中相同色彩的像素的电荷，产生具有图7A中所示的组合信号R’，G’和B’的组合像素。在此情况下，每个R’，G’和B’具有未组合像素的两倍的敏感度。可选地，通过以四个的组对从图4A中相同色彩的像素测量的值(电压或者数字)进行求和的水平组合，产生具有7B中所示的组合信号R’，G’和B’的组合像素。在此情况下，由于信号按照因子4增加而噪声增加2倍，每个R’，G’和B’具有未组合像素的两倍的敏感度。在另一种可选组合方案中，如在图7A中那样以两个的组垂直组合来自相同色彩的像素的电荷，并且以四个的组水平地求和或者平均图7A的组合像素的测量值，产生图7C的最终组合的彩色像素，其中R”，G”和B”表示最终的相同色彩的像素的组合。在这种组合布置中，图7C的最终组合的彩色像素每个具有未组合像素的四倍的敏感度。一些传感器架构，尤其是特定的CCD结构，可以允许来自每个单元内的所有八个相同色彩的像素的电荷以图7C的方式被组合，得到对于组合的彩色像素敏感度上八倍的增加。
根据前述，现在将理解在为了调节彩色像素的光响应的目的而组合彩色像素中，存在几种自由度。熟知的组合方案对于本领域技术人员将是容易想到的，它们基于场景内容，场景光源，总体光等级，或者其它标准。此外，选择组合方案来有意地允许组合像素具有或者高于或者低于全色像素的敏感度。上面讨论的组合像素的各种方式与采用本揭示和相关揭示中描述的任何图案的图像传感器一起使用。
到目前为止，图像传感器已经被描述为采用红色，绿色，和蓝色滤色器，使得对于每个红色和蓝色像素有两个绿色像素。本发明还可被实施为具有相等比例的红色，绿色和蓝色滤色器，如图8A所示。图8A的最小重复单位用于以几种不同的方式铺设传感器阵列，其中的一些方式示于图8B-D中。将理解可以使用这些图案的几何上相似的变型，诸如图8A的最小重复单位。图8E示出图8A的最小重复单位的旋转形式。
本发明还可以与具有超过三种彩色光响应的像素一起使用。图9A示出除了全色像素之外使用四种色彩的图8A的最小重复的变型。图9B-C示出这两种图案的额外的变型，其中全色像素的单行由全色像素的双行替代。所有这些图案不具有相同色彩的多个像素。这个事实以及使用这种图案的优选方法将在稍后讨论。
另一种最小重复单位示于图10A中，其包含一个红色，两个绿色，和一个蓝色像素。使用该图案的铺设示例示于图10B中。
采用青色，品红色，和黄色传感器的图像传感器在本领域中是熟知的，且本发明利用青色，品红色，和黄色滤色器实施。图10C示出图10A的青色，品红色，和黄色等价体，其中C代表青色像素，M代表品红色像素，Y代表黄色像素。
图10D示出包括青色像素(由C表示)，品红色像素(由M表示)，黄色像素(由Y表示)，和绿色像素(由G表示)的本发明的最小重复单位。图10E示出又一种可选的四色布置，包括红色像素(由R表示)，蓝色像素(由B表示)，具有一种彩色光响应的绿色像素(由G表示)，以及具有不同的彩色光响应的可选的绿色像素(由E表示)。图10F示出再一种可选的四色布置，其中图10A的其中一个绿色单元由黄色单元替代，其中黄色像素由Y表示。
图11A示出图10A的图案的变型，其中每行全色像素由全色像素的双行替代。示于图11B中的额外的示例是对图10E的图案应用的相同的变型。
本发明用除了矩形阵列之外的像素阵列实施。图12A示出图8A的图案的变型，其中像素是八角形的并且布置在对角线行上。因为像素几何形状是八角形，存在位于水平和垂直相邻者之间的小方块空隙，该空隙可以用于需要的传感器功能，诸如数据传输电路。图12B示出使用图12A的最小重复单位的铺设图案的示例。在图12B中，全色像素出现在本质上是对角线的行中。类似地，彩色像素也出现在对角线取向的行中。
图13A示出图8A的图案的另一种变型，其中像素是六角形的并且垂直地布置。图13B示出使用图13A的最小重复单位的铺设图案的示例。在图13B中，全色像素在列中出现。类似地，彩色像素也在列中出现。
图14示出使用比彩色像素少的全色像素的另一种最小重复单位，其中像素是六角形地包装的，并且其中全色像素出现在本质上是对角线的行中。另外，在图14中，彩色像素在对角地取向的行中出现。图15示出图13A的图案的另一种变型。在本发明的范围内，应当注意像素的行和列不一定相互垂直，如图12A-15中所示的那样。
现在转到图16，图5的最小重复单位被示出为细分成四个单元，单元是具有比最小重复单位少的像素的连续子阵列。提供下面的处理所需要的软件被包括在图1的DSP 36中。单元220，224，226和228是单元的示例，其中这些单元包含分别具有绿色，红色，蓝色和绿色光响应的像素。在该示例中，单元220包含全色像素和绿色像素两者，绿色像素被标识为像素组222。最终目的是通过组合来自像素组222中的绿色像素的八个绿色信号，产生单元220的单个绿色信号。取决于图像传感器的操作模式，通过在模拟域组合所有八个绿色信号(例如通过电荷装仓)，产生单个绿色信号，或者通过组合从像素组222中取的较小的像素组，产生多个绿色信号。单元220的全色像素示于图17中。在下面的示例中，来自这些全色像素的所有八个信号被单独地数字化。单元220的绿色像素示于图17B-17E中，其中根据它们的信号如何被组合而将它们分组在一起。图17B描绘了其中所有八个绿色像素被组合以产生单元220(图16)的单个绿色信号的情况。传感器可以产生两个绿色信号，例如通过首先组合来自像素G21，G22，G23和G24的信号，并接着组合来自像素G41，G42，G43和G44的信号，如图17C中所示。也可以其他方式产生两个信号。传感器可以首先组合来自像素G21、G22、G41和G42的信号，然后组合来自像素G23、G24、G43和G44的信号，如图17D所示。传感器还可以通过组合四对信号，例如，将像素G21与G22组合，接着将G23与G24组合，接着将G41与G42组合，最后将G43与G44组合，产生单元220的四个绿色信号，如图17E中所示。很清楚有很多其它的方式来组合单元220(图16)中的多对绿色信号。如果传感器不进行任何组合，那么为单元220单独地报告所有八个绿色像素。从而，在单元220的情况下，传感器可根据其操作模式，为单元220产生一个，两个，四个，或者八个绿色值，并且以不同的方式产生它们。
对于单元224，226和228(图16)，传感器根据其操作模式产生类似的色彩信号。单元224，226和228的色彩信号分别是红色，蓝色和绿色。
回到单元220的情况，不管对于该单元有多少信号被数字化，本发明的图像处理算法还组合数字化的绿色值来产生该单元的单个绿色值。获得单个绿色值的一种方式是通过平均为单元220生成的所有数字化的绿色值。在单元包含具有不同光响应的彩色像素的情况下，该单元中所有彩色数据被类似地组合，从而对于该单元内表现的每种彩色光响应有单个值。
区分属于捕获原始图像数据的原始传感器中的像素的色彩值，和属于原始传感器中的单元的色彩值是重要的。两种类型的色彩值都被用于产生彩色图像，但是得到的彩色图像具有不同的分辨率。具有与原始传感器中像素关联的像素值的图像被称为高分辨率图像，具有与原始传感器中的单元关联的像素值的图像被称为低分辨率图像。
现在转到图18，数字信号处理器模块36(图1)被示出为从数据总线30(图1)接收捕获的原始图像数据。该原始图像数据被传送到低分辨率部分彩色模块202和高分辨率全色模块204。图像传感器的最小重复单位的示例已经示于图5和图16中。在单元220(图16)的情况下，捕获的原始图像数据包括由如图17A所示的个体全色像素产生的全色数据。另外，对于单元220(图16)，一个或多个绿色(彩色)值也被包括，例如，从图17B-E中所示的组合。
在低分辨率部分彩色模块202(图18)中，根据捕获的原始图像数据产生部分彩色图像，部分彩色图像是其中每个像素具有至少一个彩色值并且每个像素还缺失至少一个彩色值的彩色图像。取决于传感器的操作模式，捕获的原始数据包含每个单元内的彩色像素产生的某个数量的彩色值。在低分辨率部分彩色模块202中，这些彩色值被缩减到用于在该单元中表现的每种色彩的单个值。作为示例，对于单元220(图16)，产生单个绿色值。类似地，对于单元224，226和228，分别产生单个红色，蓝色和绿色彩色值。
低分辨率部分彩色模块202以类似的方式处理每个单元，得到彩色值的阵列，每个单元一个彩色值。因为得到的图像阵列基于单元而不是原始传感器中的像素，它在每个尺度上比初始捕获的原始图像数据阵列小四倍。因为得到的阵列是基于单元的并且因为每个像素具有一些但不是全部彩色值，得到的图像是低分辨率部分彩色图像。在这一点上，低分辨率部分彩色图像是色彩平衡的。
现在来看高分辨率全色模块204，使用相同的原始图像数据，如图16所示，不过仅使用全色值(图17A)。这次任务是通过估计在还没有全色值的那些像素处的全色值，来内插完整的高分辨率全色图像。在单元220的情况下(图16)，必须为像素组222(图16)中的绿色像素估计全色值。估计缺失的全色值的一种简单方式是进行垂直平均。从而，例如，可以如下所示估计像素22处的全色值 P22＝(P12+P32)/2 还可以使用适应性方法。例如，一种适应性方法是使用如图17A所示的全色值计算三个梯度值并取它们的绝对值 SCLAS＝ABS(P31-P13) VCLAS＝ABS(P32-P12) BCLAS＝ABS(P33-P11) 类似地，计算三个预测器值 SPRED＝(P31+P13)/2 VPRED＝(P32+P12)/2 BPRED＝(P33+P11)/2 接着，将P22设置为等于对应于最小分类器值的预测值。在分不出大小的情况下，将P22设置为等于所指示的预测器值的平均。在整个图像上继续全色内插，而不考虑单元边界。当高分辨率全色模块204的处理完成时，得到的数字全色图像与初始捕获的原始图像大小相同，这使得它成为高分辨率全色图像。
低分辨率全色模块206接收模块204产生的高分辨率全色图像阵列，并产生与模块202产生的低分辨率部分彩色图像大小相同的低分辨率全色图像阵列。每个低分辨率全色值是通过对具有滤色器的那些像素，平均给定单元内的估计的全色值而获得的。在单元220(图16)的情况下，之前为像素组222(图16)中的绿色像素估计的高分辨率全色值，现在被平均在一起以产生该单元的单个低分辨率全色值。类似地，使用在具有红色滤色器的像素处估计的高分辨率全色值，为单元224计算单个低分辨率全色值。通过这种方式，每个单元最终具有单个低分辨率全色值。
低分辨率色彩差别模块208从模块202接收低分辨率部分彩色图像，从模块206接收低分辨率全色阵列。接着在低分辨率全色图像的指导下，通过色彩内插该低分辨率部分彩色图像，形成低分辨率中间彩色图像。稍后详细讨论的色彩内插算法的确切本质取决于使用哪个像素光响应图案来捕获初始的原始图像数据。
在形成低分辨率中间彩色图像之后，它被色彩校正。一旦低分辨率中间彩色图像被色彩校正，通过将低分辨率全色图像单独地从每个低分辨率色彩平面减去，计算低分辨率色彩差别的图像。高分辨率色彩差别模块210从模块208接收该低分辨率色彩差别图像，并且使用双线性内插，上采样(upsample)低分辨率色彩差别图像来匹配初始的原始图像数据的大小。结果是与模块204产生的高分辨率全色图像相同大小的高分辨率色彩差别图像。
高分辨率最终图像模块212从模块210接收高分辨率色彩差别图像，并从模块204接收高分辨率全色图像。接着通过将高分辨率全色图像增加到每个高分辨率色彩差别平面上来形成高分辨率最终彩色图像。得到的高分辨率最终彩色图像接着可以被进一步处理。例如，它被存储在DSP存储器模块32(图1)中，并接着被锐化和压缩以便存储在存储卡模块64(图1)上。
图4A-D中所示的传感器滤色器图案具有最小重复单位使得在模块202中产生的得到的低分辨率部分彩色图像对于滤色器呈现出重复的Bayer图案 G R B G 除了由低分辨率部分彩色图像给出的单个彩色值，每个单元还具有低分辨率全色图像给出的全色值。
考虑其中Bayer图案存在于低分辨率部分彩色图像中的情况，现在可以更详细地描述在低分辨率色彩差别模块208(图18)内的色彩内插的任务。色彩内插开始于在图19A中示为像素234的还没有绿色值的像素处内插绿色值。示出为像素230，232，236和238的四个相邻像素全部具有绿色值并且它们还全部具有全色值。中心像素234具有全色值，但是不具有全色值，如问号所指示的。
第一步骤是计算两个分类器值，第一个涉及水平方向，第二个涉及垂直方向 HCLAS＝ABS(P4-P2)+ABS(2*P3-P2-P4) VCLAS＝ABS(P5-P1)+ABS(2*P3-P1-P5) 接着，计算两个预测器值，第一个涉及水平方向，第二个涉及垂直方向 HPRED＝(G4+G2)/2+(2*P3-P2-P4)/2 VPRED＝(G5+G1)/2+(2*P3-P1-P5)/2 最后，令THRESH为根据经验确定的阈值，我们可以根据如下算法适应地计算缺失的值G3 IF MAX(HCLAS，VCLAS)<THRESH G3＝(HPRED+VPRED)/2 ELSEIF VCLAS<HCLAS G3＝VPRED ELSE G3＝HPRED END 因此，如果两个分类器都小于阈值，为G3计算两个预测器值的平均值。如果不是，那么根据哪个分类器HCLAS或者VCLAS更小来使用HPRED或者VPRED。
一旦已经估计出所有缺失的绿色值，内插缺失的红色和蓝色值。如图19B中所示，像素242缺失红色值，但是其两个水平相邻者，像素240和244，分别具有红色值R2和R4。所有三个像素都具有绿色值。在这些条件下，对于像素242的红色值(R3)的估计如下计算 R3＝(R4+R2)/2+(2*G3-G2-G4)/2 在类似的情况下以相似的方式计算缺失的蓝色值。在此点，仅有的仍然具有缺失的红色和蓝色值的像素是那些需要垂直内插的。如图19B中所示，像素252缺失红色值，但是其两个垂直相邻者，像素250和254，分别具有红色值R1和R5。在这些条件下，对于像素252的红色值(R3)的估计如下计算 R3＝(R5+R1)/2+(2*G3-G1-G5)/2 在类似的情况下以相似的方式计算缺失的蓝色值。这完成低分辨率部分彩色图像的内插，结果是低分辨率中间彩色图像。在刚刚讨论的示例中，如较早所描述的，现在可以通过将低分辨率全色值从每个彩色平面红色，绿色和蓝色中减去来计算低分辨率色彩差别。
现在转到图20，示出使用图8A的最小重复单位的四个复制体的传感器的部分铺设。这四个最小重复单位310，311，312和313每个包含红色，绿色和蓝色像素。尽管较早的组合像素的讨论限于同一最小重复单位中相同色彩的像素，例如如图16中所示，本发明也可以通过组合来自附近的最小重复单位的像素来实施。如图20中所示，红色像素R21和R41构成在垂直方向上组合的像素对314。类似地，绿色像素G42和G45构成在水平方向上组合的像素对315。当最小重复单位相对小时，诸如如图20中使用的图8A的图案，组合来自相邻的最小重复单位的相同色彩的像素是有用的。
参考图20考虑如上所述的作为在相邻的最小重复单位之间发生的组合是有用的，其中相邻被定义为在两个最小重复单位之间共享正长度的边界。给定这个定义，图20中的最小重复单位311和312相邻于最小重复单位310，但是最小重复单位311和312彼此不相邻。在如上所述的组合中，来自相邻的最小重复单位的相同色彩的像素被组合，其中相同色彩(like color)被定义为具有相似的光谱光响应。给定这个定义，图20中的所有红色像素R21，R24，R41和R44是相同色彩的像素，并且所有全色像素P11到P16和P31到P36是相同色彩的像素。在如上所述的组合中，来自相邻的最小重复单位的相似定位的像素被组合，其中相似定位被定义为在每个最小重复单位内具有相同的相对位置。例如，图20中的像素G42和G45是相似定位的，并且被组合为对315。注意相似定位的像素必须是相同色彩的像素。
尽管在彩色像素的背景中大致描述了组合，有时候组合全色像素是有用的。在低光等级或者短曝光时间的情况下，组合全色像素来折衷全色分辨率以增加组合的全色像素的信号强度是有用的。注意到相邻的最小重复单位、相同色彩的像素、以及相似定位的像素的定义适用于全色像素以及彩色像素是重要的。例如，图20中的全色像素P12和P15是相似定位的并且被组合为对316。此外，全色像素P13和P14是相同色彩的像素(但不是相似定位的)并且被组合为对317。注意如果在最小重复单位中有多个单色彩的像素，那么组合最小重复单位中相同色彩的像素有时候是有用的。例如，全色像素P35和P36是最小重复单位中相同色彩的像素，它们被组合为对318。
到此点为止描述的组合包括组合来自相邻的最小重复单位的相同色彩或者相似定位的像素。在一些情况下，将全色像素与彩色像素组合是有用的。在图20中，组合的对319包括全色像素P16和蓝色像素B26。例如，在光等级低或者曝光时间非常短时将全色与彩色像素组合，以便增加来自组合像素的总体信号强度。尽管319示出来自一个最小重复单位内的全色像素和彩色像素的组合，将全色像素与附近的最小重复单位的彩色像素组合也是有用的。
在给定的最小重复单位的阵列中同时组合来自相邻的最小重复单位的相似定位的像素，来自相邻的最小重复单位的相同色彩的像素，以及最小重复单位内相同色彩的像素以及全色和彩色像素，是在本发明的范围内的。还将理解根据图像捕获条件，组合方法的特定配置在一个时刻是有用的，而在不同的时刻不同的配置对于不同的图像捕获条件是有用的，从而可以在图像捕获时刻动态地调节组合配置。例如，当总体的场景光等级高时，不组合全色像素，但是当总体的场景光等级低时，将全色像素相互组合或者与彩色像素组合以便提高信号电平。
上述各种组合方法的示例示于图21到图27中。在图21A-21D中，示出了是图10A中所示的类型的变型的两个相邻的最小重复单位330和331。在图21A中，来自这两个最小重复单位的所有相似定位的彩色像素被组合，如像素对332，333，334和335所示。在图21B中，所有相似定位的全色像素被组合，如像素对336，337，338和339所示。
图21C示出在最小重复单位内组合相同色彩的像素，同时在最小重复单位之间组合相似定位的像素。图21C包括是图10A中所示的类型的变型的两个相邻的最小重复单位330和331。相似定位的像素R21和R23被组合为对340，相似定位的像素B42和B44被组合为对341。G22和G41是位于最小重复单位330中的相同色彩的像素，并且它们被示出为组合成对342；类似地，来自最小重复单位331的像素G24和G43被示出为组合成对343。
图21D示出在最小重复单位内组合全色像素，同时在最小重复单位之间组合全色像素。图21D包括是图10A中所示的类型的变型的两个相邻的最小重复单位330和331。P11和P12是位于最小重复单位330中的全色像素，并且它们被示出为组合成对344；类似地，来自最小重复单位331的像素P13和P14被示出为组合成对345。全色像素P32和P33在不同的最小重复单位中，并且它们被示出为组合成对346。未组合的全色像素P31和P34被留下不组合，或者与来自相邻的最小重复单位的像素组合，如箭头347和348所示。
尽管图21A-21D的最小重复单位水平布置，图22示出垂直布置的两个相邻的最小重复单位360和361，其中相似定位的彩色像素被组合，如像素对362，363，364和365所示。
除了按对来组合来自两个相邻最小重复单位的像素之外，有用的是组合来自三个或者更多个最小重复单位的像素。例如，图23示出是图10A中所示的类型的变型的三个相邻的最小重复单位370，371和372。相同色彩的(同时也是相似定位的)像素被示出为以三个来组合，如像素三元组373，374，375和376。
图24示出是图10A中所示类型的变型的五个相邻的最小重复单位380，381，382，383和384，其中相同色彩的像素被示出为组合成红色三元组390，绿色对391，绿色三元组392，红色对393，绿色三元组394，蓝色对395，蓝色三元组396以及绿色对397。该特定的布置产生均匀间隔的组合像素对。组合390产生位于R23的位置的组合的红色结果(假定像素R21，R23和R25在组合过程中是相等加权的)，组合391产生也位于R23的位置的组合的绿色结果。类似地，在G28的位置处有红色-绿色组合的对，在G43的位置处有绿色-蓝色组合的对，以及在B48的位置处有绿色-蓝色组合的对。像素位置R23，G28，G43和B48在五个最小重复单位的组内是均匀间隔的，并且如果组合像素以及五个最小重复单位的该组被重复以产生最小重复单位的更大的阵列，得到的组合像素在整个得到的阵列上是均匀间隔的。用图23中所示的组合布置与此对照如果该三个最小重复单位以及组合像素的组被重复来产生较大的阵列，得到的组合像素集中在三个最小重复单位的每个组的中央，从而在整个阵列上不是均匀间隔的。
图25A示出是图10A中所示的类型的变型的四个相邻的最小重复单位400，401，402和403。在图25A中，一些相同色彩的像素在四个最小重复单位的组内被组合，而其他像素与来自相邻于该四个的组的最小重复单位的像素组合。具体来说，像素R21，R23和R25被组合为三元组410，像素G24，G26和G28被组合为三元组411，像素G41，G43和G45被组合为三元组412，像素B44，B46和B48被组合为三元组413。这留下没有被组合的或者与来自相邻的最小重复单位的像素组合的几个彩色像素例如，像素G22与来自该四个的组左侧的最小重复单位的像素组合，如箭头414所示。类似地，像素B42与来自左侧的相邻最小重复单位的像素组合，如箭头416所示，像素R27和G47与来自右侧的相邻最小重复单位的像素组合，如分别由箭头415和417所示。在图25A中，来自中间的两个最小重复单位401和402的所有相似定位的彩色像素被组合，这些组合像素中的一些还与来自左侧的最小重复单位400的相似定位的彩色像素组合，其他的组合像素还与来自右侧的最小重复单位403的相似定位的彩色像素组合。
如果图25A中的由400到403所示例的类型的最小重复单位被铺设来产生较大的阵列，图25A中所示的组合布置被延伸来覆盖最小重复单位的阵列，如图25B中所示。在图25B中示出各具有四个最小重复单位的三个重叠组405L，405C和405R。组405L由为了组合目的分别对应于图25A的最小重复单位400，401，402和403的最小重复单位400L，401L，402L和403L构成。类似地，组405C由同样对应于图25A的最小重复单位400，401，402和403的最小重复单位400C，401C，402C和403C构成，组405R由同样对应于图25A的最小重复单位400，401，402和403的最小重复单位400R，401R，402R和403R构成。注意组405L的最小重复单位403L也是组405C的最小重复单位400C，组405C的最小重复单位403C也是组405R的最小重复单位400R。因此，最小重复单位403L/400C是组405L和405C重叠的地方，最小重复单位403C/400R是组405C和405R重叠的地方。四个最小重复单位的每个组405L，405C和405R中包含的曲线连接如图25A中的410，411，412和413所示的被组合的像素。延伸到组外的曲线连接到相邻的且重叠的组，并对应于图25A中的414，415，416和417。很清楚图25A和25B中所示的组合布置提供了均匀间隔的彩色像素的组合结果。此外，这些组合的彩色像素代表色彩的Bayer布置。
注意最小重复单位是用于产生更大的像素阵列的铺设单位。图24，25A，和25B中所示的最小重复单位的组仅是为了组合目的，而不是为了铺设目的。在一些情况中，组合完全包含在最小重复单位的组中，如图24中所示，并且在一些情况中，组合扩展到组之外，如图25A中所示。在组合扩展到最小重复单位的组之外的一些情况中，代表性的最小重复单位的组为了组合的目的而重叠，如图25B中所示。注意最小重复单位以一种布置来分组以便组合某些像素，而以另一种布置来分组以便组合其它像素。例如，最小重复单位以一种布置来分组以便组合彩色像素，而以一种不同的布置来分组以便组合全色像素。
尽管前面的段落中的示例使用了是图10A中所示类型的变型的最小重复单位，显然应理解这些组合布置可以与其他类型的最小重复单位一起使用。例如，用是图11中所示类型的变型的最小重复单位替代图21到25中的最小重复单位，产生类似的组合结果并且完全在本发明的范围内。
前面的示例都示出了按行或者按列直线布置的最小重复单位。为了组合像素的目的，以其他方式布置相邻的最小重复单位也是有用的。图20提供一个这样的示例，其中四个最小重复单位布置在两行和两列中。另一个示例示于图26A中，其具有图8A所示类型的三个最小重复单位420，421，和422。该三个最小重复单位被布置为使得每个最小重复单位相邻于另两个。该三个的组中相同色彩的像素被组合例如，像素R21，R41和R44被组合。该三个相互相邻的最小重复单位的布置被重复来产生更大的像素阵列。作为在一组最小重复单位内相互相邻的另一个示例，图26B具有四个图8A所示类型的最小重复单位425，426，427和428，这四个最小重复单位中的每个与这四个的组中的至少其他两个相邻。该四个的组内相同色彩的像素被组合例如，像素R21，R41，R44和R61被组合。
图27示出将全色像素与彩色像素组合。最小重复单位430是图10A中所示类型的变型。像素P11和R21形成组合的对431，像素P12和G22形成组合的对432，像素P31和G41形成组合的对433，像素P32和B42形成组合的对434。
现在转到图28，具有16个像素的最小重复单位被示出为具有两个复制体，最小重复单位440和441。上部最小重复单位440被细分成两个单元442和443。单元442包含四个全色像素P11，P12，P13和P14，两个蓝色像素B21和B23，以及两个绿色像素G22和G24的水平行。单元443包含四个全色像素P15，P16，P17和P18，两个红色像素R25和R27，以及两个绿色像素G26和G28的水平行。下部最小重复单位441被细分成两个单元444和445，它们分别包含与单元442和443类似的像素图案。给定包括如图28中所示的单元的最小重复单位，有几种方式来组合像素。在图28中，来自相邻的最小重复单位440和441的像素B21和B41提供组合的像素对450。来自单元444的像素G42和G44提供组合的像素对451。像素P14和P15分别是来自单元442和443的全色像素，它们提供像素对452。全色像素P13与彩色像素B23组合来提供组合的像素对453。
如之前已经示出过的，本发明包括在单个最小重复单位内和在多个相邻的最小重复单位之间两种情况下组合任意数量的像素。如图28中所示，绿色像素G26，G28，G46和G48构成组合像素的四元组455，所有这些绿色像素被组合来产生单个色彩值。该四倍组合同时包括水平地和垂直地组合像素，以及组合来自单个最小重复单位内的多个像素，和取自多个相邻的最小重复单位的多个像素。
图29A-C中的每一个示出图28所示类型的最小重复单位460。最小重复单位460由两个单元462和464构成。在图29A中，来自单元462内的像素B21和B23提供组合的像素对465。类似地，来自单元464内的像素R25和R27提供组合的像素对466。来自单元462内的像素G22和G24与来自单元464的像素G26组合，来提供组合的像素三元组467。红色和蓝色组合像素完全包含在它们各自的单元中，而绿色组合像素来自两个不同的单元。这种特定的组合布置具有关于组合结果的放置的优点组合的蓝色像素对465的形心(centroid)是在像素G22的位置处，组合的绿色像素三元组467的形心是在像素G24的位置处，组合的红色像素对466的形心是在像素G26的位置处，而未组合的绿色像素G28留在其当前位置。因此，组合的彩色像素的形心连同未组合的绿色像素一起是均匀间隔的，从而使采样过程中的失真(aliasing)最小化。
图29B示出组合来自最小重复单位460的单元内的全色像素。全色像素P11，P12和P13提供组合的像素三元组468，全色像素P15，P16和P17提供组合的像素三元组469。如同与图29A中组合彩色像素的布置一样，图29B的组合布置具有关于组合结果的放置的优点组合的像素三元组468的形心是在像素P12的位置处，组合的像素三元组469的形心是在像素P16的位置处，而未组合的全色像素P14和P18留在它们的当前位置。因此，组合的全色像素的形心连同未组合的全色像素一起是均匀间隔的。此外，这些均匀间隔的组合的和未组合的全色像素在垂直方向上布置在图29A中所示的对应的组合的和未组合的彩色像素之上，潜在地简化了内插过程。
图29C示出全色像素的其他组合来自单元462的像素P13和P14与来自单元464的像素P15组合，来提供组合的全色三元组470；来自单元464的像素P17和P18与来自最小重复单位460右侧的最小重复单位的最左边的像素组合，来形成组合的全色像素三元组471；来自单元462的像素P11与来自最小重复单位460左侧的最小重复单位的最右边的两个全色像素组合，来形成组合的全色像素三元组472。如同与图29B中的组合的和未组合的全色像素一样，图29C中四个组合的全色像素三元组的形心是均匀间隔的。图29显示个体像素被用于多个组合中以及仅被使用一次像素P11被使用两次，一次在组合472中，一次在组合468中；像素P13被用于组合468和470中；像素P15被用于组合470和469中，像素P17被用于组合469和471中。
不是所有的传感器都产生表现出彩色值的重复Bayer图案的低分辨率部分彩色图像。例如，图28和图29A-C中所示的传感器图案确定两个相邻的最小重复单位生成两对彩色值。在每种情况下，来自相邻的最小重复单位的一对单元产生用于图像的低分辨率彩色表示的色彩值。单元442和444的对通过为蓝色值组合像素B21，B23，B41和B43，以及通过为绿色值组合像素G22，G24，G42和G44，来提供蓝色和绿色色彩值。类似地，单元443和445的对通过为红色值组合像素R25，R27，R45和R47，以及通过为绿色值组合像素G26，G28，G46和G48，来提供红色和绿色色彩值。这种在来自相邻的最小重复单位的单元之间组合像素的图案在整个传感器上重复。结果是图像的低分辨率表示，其中每个低分辨率像素具有绿色值和或者红色或者蓝色值。在此点，低分辨率色彩差别模块208(图18)中的色彩内插任务为每个像素估计缺失的红色值或者缺失的蓝色值。参考图19D，像素264被示出为具有绿色值(G3)但没有红色值(R3)。相邻像素中的四个260，262，266和268具有绿色值和红色值。为像素264(图19D)内插红色值的方法类似于用于为像素234(图19A)内插绿色值的方法。
第一步骤是计算两个分类器值，第一个值涉及水平方向，第二个值涉及垂直方向 HCLAS＝ABS(G4-G2)+ABS(2*G3-G2-G4) VCLAS＝ABS(G5-G1)+ABS(2*G3-G1-G5) 接着，计算两个预测器值，第一个值涉及水平方向，第二个值涉及垂直方向 HPRED＝(R4+R2)/2+(2*G3-G2-G4)/2 VPRED＝(R5+R1)/2+(2*G3-G1-G5)/2 最后，令THRESH为根据经验确定的阈值，适应地根据如下算法计算缺失的值G3 IF MAX(HCLAS，VCLAS)<THRESH R3＝(HPRED+VPRED)/2 ELSEIF VCLAS<HCLAS R3＝VPRED ELSE R3＝HPRED END 从而，如果两个分类器都小于阈值，为R3计算两个预测器值的平均值。如果不是，那么根据哪个分类器HCLAS或者VCLAS更小来使用HPRED或者VPRED。
缺失的蓝色值以完全一样的方式，用蓝色值代替红色值来内插。一旦完成，产生了低分辨率中间彩色图像。从那里，如前所述地计算低分辨率色彩差别。
部件列表 10来自目标场景的光 11成像级 12镜头 13中性密度滤色器 14光阑 16亮度传感器 18快门 20图像传感器 22模拟信号处理器 24模数(A/D)转换器 26定时发生器 28图像传感器级 30数字信号处理器(DSP)总线 32数字信号处理器(DSP)存储器 36数字信号处理器(DSP) 38处理级 40曝光控制器 50系统控制器 52系统控制器总线 54程序存储器 56系统存储器 57主机接口 60存储卡接口 62存储卡槽 64存储卡 68用户控制和状态界面 70取景器显示器 72曝光显示器 74用户输入 76状态显示器 80视频编码器 82 显示控制器 88 图像显示器 100 Bayer图案的最小重复单位 102 非最小的Bayer图案的重复单位 110 红外阻断滤色器的光谱透射曲线 112 传感器没有滤色的光谱光响应曲线 114 传感器的红色光响应曲线 115 传感器的绿色光响应曲线 118 传感器的蓝色光响应曲线 120 第一绿色单元 122 红色单元 124 蓝色单元 126 第二绿色单元 202 低分辨率部分彩色模块 204 高分辨率全色模块 206 低分辨率全色模块 208 低分辨率色彩差别模块 210 高分辨率色彩差别模块 212 高分辨率最终图像模块 220 第一绿色单元 222 第一绿色单元中的绿色像素 224 红色单元 226 蓝色单元 228 第二绿色单元 230 内插缺失的绿色值的上方像素值 232 内插缺失的绿色值的左侧像素值 234 具有缺失的绿色值的像素 236 内插缺失的绿色值的右侧像素值 238 内插缺失的绿色值的下方像素值 240 内插缺失的红色值的左侧像素值 242 具有缺失的红色值的像素 244 内插缺失的红色值的右侧像素值 250 内插缺失的红色值的上方像素值 252 具有缺失的红色值的像素 254 内插缺失的红色值的下方像素值 260 内插缺失的红色值的上方像素值 262 内插缺失的红色值的左侧像素值 264 具有缺失的红色值的像素 266 内插缺失的红色值的右侧像素值 268 内插缺失的红色值的下方像素值 310 左上最小重复单位 311 右上最小重复单位 312 左下最小重复单位 313 右下最小重复单位 314 组合来自垂直相邻的最小重复单位的红色像素的示例 315 组合来自水平相邻的最小重复单位的绿色像素的示例 316 组合来自水平相邻的最小重复单位的相似定位的全色像素的示例 317 组合来自水平相邻的最小重复单位的相邻的全色像素的示例 318 组合来自最小重复单位内的相邻的全色像素的示例 319 将全色像素与彩色像素组合的示例 330 左侧最小重复单位 331 右侧最小重复单位 332 组合相似定位的红色像素 333 组合相似定位的绿色像素 334 组合相似定位的绿色像素 335 组合相似定位的蓝色像素 336 组合相似定位的全色像素 337 组合相似定位的全色像素 338 组合相似定位的全色像素 339 组合相似定位的全色像素 340 组合相似定位的红色像素 341 组合相似定位的蓝色像素 342 组合来自最小重复单位内的绿色像素 343 组合来自最小重复单位内的绿色像素 344 组合来自最小重复单位内的全色像素 345 组合来自最小重复单位内的全色像素 346 组合来自两个最小重复单位之间的全色像素 347 与来自相邻的最小重复单位的像素组合的全色像素 348 与来自相邻的最小重复单位的像素组合的全色像素 360 上方最小重复单位 361 下方最小重复单位 362 组合的相似定位的红色像素 362 组合的相似定位的绿色像素 364 组合的相似定位的绿色像素 365 组合的相似定位的蓝色像素 370 左侧最小重复单位 371 中央最小重复单位 372 右侧最小重复单位 373 组合的相似定位的红色像素 374 组合的相似定位的绿色像素 375 组合的相似定位的绿色像素 376 组合的相似定位的蓝色像素 380 左侧最小重复单位 381 中左最小重复单位 382 中央最小重复单位 383 中右最小重复单位 384 右侧最小重复单位 390 组合的相似定位的红色像素 391 组合的相似定位的绿色像素 392 组合的相似定位的绿色像素 393 组合的相似定位的红色像素 394 组合的相似定位的绿色像素 395 组合的相似定位的蓝色像素 396 组合的相似定位的蓝色像素 397 组合的相似定位的绿色像素 400 左侧最小重复单位 401 中左最小重复单位 402 中右最小重复单位 403 右侧最小重复单位 410 组合的相似定位的红色像素 411 组合的相似定位的绿色像素 412 组合的相似定位的绿色像素 413 组合的相似定位的蓝色像素 414 与来自相邻的最小重复单位的像素组合的绿色像素 415 与来自相邻的最小重复单位的像素组合的红色像素 416 与来自相邻的最小重复单位的像素组合的蓝色像素 417 与来自相邻的最小重复单位的像素组合的绿色像素 400L 来自左侧组的左侧最小重复单位 401L 来自左侧组的中左最小重复单位 402L 来自左侧组的中右最小重复单位 403L 来自左侧组的右侧最小重复单位 400C 来自中央组的左侧最小重复单位 401C 来自中央组的中左最小重复单位 402C 来自中央组的中右最小重复单位 403C 来自中央组的右侧最小重复单位 400R 来自右侧组的左侧最小重复单位 401R 来自右侧组的中左最小重复单位 402R 来自右侧组的中右最小重复单位 403R 来自右侧组的右侧最小重复单位 405L 左侧四个最小重复单位的组 405C 中央四个最小重复单位的组 405R 右侧四个最小重复单位的组 420 上方最小重复单位 421 左下方最小重复单位 422 右下方最小重复单位 425 上方最小重复单位 426 中左最小重复单位 427 中右最小重复单位 428 下方最小重复单位 430 最小重复单位 431 组合的全色和红色像素 432 组合的全色和绿色像素 433 组合的全色和绿色像素 434 组合的全色和蓝色像素 440 上方最小重复单位 441 下方最小重复单位 442 上方最小重复单位中的左侧单元 443 上方最小重复单位中的右侧单元 444 下方最小重复单位中的左侧单元 445 下方最小重复单位中的右侧单元 450 组合的相似定位的蓝色像素 451 来自一个单元内的组合的绿色像素 452 来自最小重复单位中的两个单元之间的组合的全色像素 453 来自一个单元内的组合的全色和蓝色像素 455 来自单元内的以及不同最小重复单位中的单元之间的组合的绿色像素 460 最小重复单位 462 最小重复单位中的左侧单元 464 最小重复单位中的右侧单元 465 来自一个单元内的组合的蓝色像素 466 来自一个单元内的组合的红色像素 467 来自一个单元内的和两个单元之间的组合的绿色像素 468 来自一个单元内的组合的全色像素 469 来自一个单元内的组合的全色像素 470 来自一个单元内的和两个单元之间的组合的全色像素 471 与来自相邻的最小重复单位的一个或多个像素组合的来自一个单元内的组合的全色像素 472 与来自相邻的最小重复单位的一个或多个像素组合的全色像素
权利要求
1.一种用于捕获彩色图像的图像传感器，包括
a)二维阵列，其具有按行和列布置的第一和第二组像素，其中来自第一组像素的像素具有比来自第二组像素的像素更窄的光谱光响应，并且其中第一组像素包括具有对应于至少两种色彩的集合的光谱光响应的像素；
b)第一和第二组像素的放置定义具有最小重复单位的图案，所述最小重复单位包括至少六个像素，使得最小重复单位的至少一些行或者列仅由来自第二组的像素构成，以及
c)用于组合来自至少两个相邻的最小重复单位的相似定位的像素的装置。
2.如权利要求1所述的图像传感器，其中该图像传感器的最小重复单位是
P P P
A B C
其中P表示第二组中的像素，
A表示第一组像素中的第一色彩的像素，
B表示第一组像素中的第二色彩的像素，以及
C表示第一组像素中的第三色彩的像素。
3.如权利要求2所述的图像传感器，其中两个相邻的最小重复单位如下布置
PPPPPP
ABCAB C
并且组合装置包括组合至少一对相似定位的A像素，B像素，C像素，或者P像素。
4.如权利要求2所述的图像传感器，其中两个相邻的最小重复单位如下布置
PP P P P P
AB C A B C
并且组合装置包括分开地组合这两个A像素，这两个B像素，和这两个C像素。
5.如权利要求2所述的图像传感器，其中两个相邻的最小重复单位如下布置
P P P P P P
A B C A B C
并且组合装置包括从左边分开地组合第一个和第四个P像素，第二个和第五个P像素，以及第三个和第六个P像素。
6.如权利要求2所述的图像传感器，其中两个相邻的最小重复单位如下布置
PPP
ABC
PPP
ABC
并且组合装置包括分开地组合这两个A像素，这两个B像素，和这两个C像素。
7.如权利要求1所述的图像传感器，其中图像传感器的最小重复单位是
PP
AB
PP
BC
其中P表示第二组中的像素，
A表示第一组像素中的第一色彩的像素，
B表示第一组像素中的第二色彩的像素，以及
C表示第一组像素中的第三色彩的像素。
8.如权利要求1所述的图像传感器，其中图像传感器的最小重复单位是
PP
AB
PP
PP
BC
PP
其中P表示第二组中的像素，
A表示第一组像素中的第一色彩的像素，
B表示第一组像素中的第二色彩的像素，以及
C表示第一组像素中的第三色彩的像素。
9.如权利要求1所述的图像传感器，其中组合像素是通过将来自该像素的电荷装仓，通过平均由该像素产生的电压，或者通过首先将像素值转换成数字值并接着组合该数字值，或者这些的组合来进行的。
10.如权利要求9所述的图像传感器，其中通过首先将各电容器充电到像素产生的电压，并接着将这些电容器连接在一起以平均该电压来进行电压的平均，其中这些电容器大小相同来执行简单的平均，或者大小不同来执行加权平均。
11.一种用于捕获彩色图像的图像传感器，包括
a)二维阵列，其具有按行和列布置的第一和第二组像素，其中来自第一组像素的像素具有比来自第二组像素的像素更窄的光谱光响应，并且其中第一组像素包括具有对应于至少两种色彩的集合的光谱光响应的像素；
b)第一和第二组像素的放置定义具有最小重复单位的图案，所述最小重复单位包括至少六个像素，使得最小重复单位的至少一些行或者列仅由来自第二组的像素构成，以及
c)用于组合来自至少三个相邻的最小重复单位的相同色彩的像素的装置。
12.如权利要求11所述的图像传感器，其中图像传感器的最小重复单位是
P P
A B
P P
B C
其中P表示第二组中的像素，
A表示第一组像素中的第一色彩的像素，
B表示第一组像素中的第二色彩的像素，以及
C表示第一组像素中的第三色彩的像素。
13.如权利要求12所述的图像传感器，其中三个相邻的最小重复单位如下布置
P P P P P P
A B A B A B
P P P P P P
B C B C B C
并且组合装置包括分开地组合这三个A像素，第二行中的三个B像素，第四行中的三个B像素，和这三个C像素。
14.如权利要求12所述的图像传感器，其中五个相邻的最小重复单位如下布置
PP P P P P P PPP
AB A B A B A BAB
PP P P P P P PPP
BC B C B C B CBC
并且组合装置包括分开地组合最左边的三个A像素，第二行中最左边的两个B像素，第四行中最左边的三个B像素，最左边的两个C像素，最右边的两个A像素，第二行中最右边的三个B像素，最右边的三个C像素，以及第四行中最右边的两个B像素。
15.如权利要求11所述的图像传感器，其中图像传感器的最小重复单位是
P P
A B
P P
P P
B C
P P
其中P表示第二组中的像素，
A表示第一组像素中的第一色彩的像素，
B表示第一组像素中的第二色彩的像素，以及
C表示第一组像素中的第三色彩的像素。
16.如权利要求15所述的图像传感器，其中三个相邻的最小重复单位如下布置
P P P P P P
A B A B A B
P P P P P P
P P P P P P
B C B C B C
P P P P P P
并且组合装置包括分开地组合这三个A像素，第二行中的三个B像素，第五行中的三个B像素，和这三个C像素。
17.如权利要求11所述的图像传感器，其中所述至少三个最小重复单位中的每一个相邻于剩余的最小重复单位中的至少两个。
18.如权利要求17所述的图像传感器，其中该图像传感器的最小重复单位是
P P P
A B C
其中P表示第二组中的像素，
A表示第一组像素中的第一色彩的像素，
B表示第一组像素中的第二色彩的像素，以及
C表示第一组像素中的第三色彩的像素。
19.如权利要求18所述的图像传感器，其中三个相邻的最小重复单位如下布置
P P P
A B C
P P P P P P
A B C A B C
并且组合装置包括分开地组合这三个A像素，这三个B像素，和这三个C像素。
20.如权利要求18所述的图像传感器，其中四个相邻的最小重复单位如下布置
P P P P P P
A B C A B C
P P P P P P
A B C A B C
并且组合装置包括分开地组合这四个A像素，这四个B像素，和这四个C像素。
21.如权利要求18所述的图像传感器，其中四个相邻的最小重复单位如下布置
P P P
A B C
P P P P P P
A B C A B C
P P P
A B C
并且组合装置包括分开地组合这四个A像素，这四个B像素，和这四个C像素。
22.如权利要求11所述的图像传感器，其中组合装置包括组合来自直线地布置的四个相邻最小重复单位的相同色彩的像素。
23.如权利要求22所述的图像传感器，其中组合装置包括将来自中间两个最小重复单位的第一组中的所有相似定位的像素，与来自剩余两个最小重复单位的第一组中的一些相似定位的像素组合在一起。
24.如权利要求23所述的图像传感器，其中该图像传感器的最小重复单位以四个的重叠组直线地布置，使得一个四个的组中最左边的最小重复单位作为另一个四个的组中最右边的最小重复单位，并且一个四个的组中最右边的最小重复单位作为又一个四个的组中最左边的最小重复单位。
25.如权利要求22所述的图像传感器，其中该图像传感器的最小重复单位如下布置
PP
AB
PP
BC
其中P表示第二组中的像素，
A表示第一组像素中的第一色彩的像素，
B表示第一组像素中的第二色彩的像素，以及
C表示第一组像素中的第三色彩的像素。
26.如权利要求25所述的图像传感器，其中四个相邻的最小重复单位如下布置
PP P P P P P P
AB A B A B A B
PP P P P P P P
BC B C B C B C
并且组合装置包括分开地组合最左边的三个A像素，第二行中最右边的三个B像素，第四行中最左边的三个B像素，和最右边的三个C像素。
27.如权利要求22所述的图像传感器，其中该图像传感器的最小重复单位是
P P
A B
P P
P P
B C
P P
其中P表示第二组中的像素，
A表示第一组像素中的第一色彩的像素，
B表示第一组像素中的第二色彩的像素，以及
C表示第一组像素中的第三色彩的像素。
28.如权利要求27所述的图像传感器，其中四个相邻的最小重复单位如下布置
PPPPPPPP
ABABABAB
PPPPPPPP
PPPPPPPP
BCBCBCBC
PPPPPPPP
并且组合装置包括分开地组合最左边的三个A像素，第二行中最右边的三个B像素，第四行中最左边的三个B像素，和最右边的三个C像素。
29.如权利要求11所述的图像传感器，其中组合像素是通过将来自该像素的电荷装仓，通过平均由该像素产生的电压，或者通过首先将像素值转换成数字值并接着组合该数字值，或者这些的组合而进行的。
30.如权利要求29所述的图像传感器，其中通过首先将各电容器充电到像素产生的电压，并接着将这些电容器连接在一起以平均该电压来进行电压的平均，其中这些电容器大小相同来执行简单的平均，或者大小不同来执行加权平均。
31.一种用于捕获彩色图像的图像传感器，包括
a)二维阵列，其具有按行和列布置的第一和第二组像素，其中来自第一组像素的像素具有比来自第二组像素的像素更窄的光谱光响应，并且其中第一组像素包括具有对应于至少两种色彩的集合的光谱光响应的像素；
b)第一和第二组像素的放置定义具有最小重复单位的图案，所述最小重复单位包括至少六个像素，使得最小重复单位的至少一些行或者列仅由来自第二组的像素构成，以及
c)用于将第一组像素与第二组像素组合的装置。
32.如权利要求31所述的图像传感器，其中组合像素是通过将来自该像素的电荷装仓，通过平均由该像素产生的电压，或者通过首先将像素值转换成数字值并接着组合该数字值，或者这些的组合而进行的。
33.如权利要求32所述的图像传感器，其中通过首先将各电容器充电到像素产生的电压，并接着将这些电容器连接在一起以平均电压来进行电压的平均，其中这些电容器大小相同来执行简单的平均，或者大小不同来执行加权平均。
34.一种用于捕获彩色图像的图像传感器，包括
a)二维阵列，其具有第一和第二组像素，其中来自第一组像素的像素具有比来自第二组像素的像素更窄的光谱光响应，并且其中第一组像素包括具有对应于至少两种色彩的集合的光谱光响应的个体像素；
b)第一和第二组像素的放置定义具有最小重复单位的图案，所述最小重复单位包括至少十二个像素，该最小重复单位具有多个单元，其中每个单元具有从第一组像素中选择的表示特定色彩的至少两个像素以及从第二组像素中选择的多个像素，所述像素布置为允许再现在不同光照条件下捕获的彩色图像；以及
c)用于组合该至少两个像素中的至少两个的装置。
35.如权利要求34所述的图像传感器，其中最小重复单位是
P P P P P P P P
A B A B C B C B
其中P表示第二组中的像素，
A表示第一组中的像素的第一色彩，
B表示第一组中的像素的第二色彩，以及
C表示第一组中的像素的第三色彩。
36.如权利要求35所述的图像传感器，其中组合装置包括分开地组合这两个A像素，最左边的两个B像素，最右边的两个B像素，和这两个C像素。
37.如权利要求34所述的图像传感器，还包括用于组合第二组像素中的至少两个的装置。
38.如权利要求37所述的图像传感器，其中最小重复单位是
PP P P P P P P
AB A B C B C B
其中P表示第二组中的像素，
A表示第一组中的像素的第一色彩，
B表示第一组中的像素的第二色彩，以及
C表示第一组中的像素的第三色彩。
39.如权利要求38所述的图像传感器，其中组合装置包括以三个的组从左边开始分开地组合第一，第二，和第三个P像素，以及第五，第六和第七个P像素。
40.如权利要求34所述的图像传感器，其中最小重复单位是
PAPAPBPB
APAPBPBP
PAPAPBPB
APAPBPBP
PBPBPCPC
BPBPCPCP
PBPBPCPC
BPBPCPCP
其中P表示第二组中的像素，
A表示第一组中的像素的第一色彩，
B表示第一组中的像素的第二色彩，以及
C表示第一组中的像素的第三色彩。
41.如权利要求40所述的图像传感器，其中组合装置包括在垂直方向上按对组合最小重复单位内每一列中相同的第一组色彩。
42.如权利要求34所述的图像传感器，其中组合像素是通过将来自该像素的电荷装仓，通过平均由该像素产生的电压，或者通过首先将像素值转换成数字值并接着组合该数字值，或者这些的组合而进行的。
43.如权利要求42所述的图像传感器，其中通过首先将各电容器充电到像素产生的电压，并接着将这些电容器连接在一起以平均电压来进行电压的平均，其中这些电容器大小相同来执行简单的平均，或者大小不同来执行加权的平均。
44.一种用于捕获彩色图像的图像传感器，包括
a)二维阵列，其具有第一和第二组像素，其中来自第一组像素的像素具有比来自第二组像素的像素更窄的光谱光响应，并且其中第一组像素包括具有对应于至少两种色彩的集合的光谱光响应的个体像素；
b)第一和第二组像素的放置定义具有最小重复单位的图案，所述最小重复单位包括至少十二个像素，该最小重复单位具有多个单元，其中每个单元具有从第一组像素中选择的表示特定色彩的至少两个像素以及从第二组像素中选择的多个像素，所述像素布置为允许再现在不同光照条件下捕获的彩色图像；以及
c)用于组合来自最小重复单位内该多个单元中至少两个的相同色彩的像素的装置。
45.如权利要求44所述的图像传感器，其中最小重复单位是
P P P P P P P P
A B A B C B C B
其中P表示第二组中的像素 ，
A表示第一组中的像素的第一色彩，
B表示第一组中的像素的第二色彩，以及
C表示第一组中的像素的第三色彩。
46.如权利要求45所述的图像传感器，其中组合装置包括分开地组合这两个A像素，最左边的三个B像素，和这两个C像素。
47.如权利要求45所述的图像传感器，其中组合装置包括以三个的组从左边开始分开地组合第一，第二，和第三个P像素；第三，第四，和第五个P像素；以及第五，第六和第七个P像素。
48.如权利要求47所述的图像传感器，其中组合装置还包括分开地将最左边的P像素与来自左侧的相邻最小重复单位的至少一个像素组合；以及将最右边的两个P像素与来自右侧的相邻最小重复单位的至少一个像素组合
49.如权利要求44所述的图像传感器，其中组合像素是通过将来自该像素的电荷装仓，通过平均由该像素产生的电压，或者通过首先将像素值转换成数字值并接着组合该数字值，或者这些的组合而进行的。
50.如权利要求49所述的图像传感器，其中通过首先将各电容器充电到像素产生的电压，并接着将这些电容器连接在一起以平均电压来进行电压的平均，其中这些电容器大小相同来执行简单的平均，或者大小不同来执行加权的平均。
51.一种用于捕获彩色图像的图像传感器，包括
a)二维阵列，其具有第一和第二组像素，其中来自第一组像素的像素具有比来自第二组像素的像素更窄的光谱光响应，并且其中第一组像素包括具有对应于至少两种色彩的集合的光谱光响应的个体像素；
b)第一和第二组像素的放置定义具有最小重复单位的图案，所述最小重复单位包括至少十二个像素，该最小重复单位具有多个单元，其中每个单元具有从第一组像素中选择的表示特定色彩的至少两个像素以及从第二组像素中选择的多个像素，所述像素布置为允许再现在不同光照条件下捕获的彩色图像；以及
c)用于将第一组像素与第二组像素组合的装置。
52.如权利要求50所述的图像传感器，其中组合像素是通过将来自该像素的电荷装仓，通过平均由该像素产生的电压，或者通过首先将像素值转换成数字值并接着组合该数字值，或者这些的组合而进行的。
53.如权利要求51所述的图像传感器，其中通过首先将各电容器充电到像素产生的电压，并接着将这些电容器连接在一起以平均电压来进行电压的平均，其中这些电容器大小相同来执行简单的平均，或者大小不同来执行加权的平均。
全文摘要
揭示一种用于捕获彩色图像的图像传感器，包括具有第一和第二组像素的二维阵列，其中来自第一组像素的像素具有比来自第二组像素的像素更窄的光谱光响应，并且其中第一组像素包括具有对应于至少两种色彩的集合的光谱光响应的个体像素，第一和第二组像素的放置定义具有最小重复单位的图案，所述最小重复单位包括至少六个像素，最小重复单位的至少一些行或者列仅由来自第二组的像素构成，以及包括用于组合来自至少两个相邻的最小重复单位的相似定位的像素的装置。
文档编号H04N9/07GK101449575SQ200780018755
公开日2009年6月3日 申请日期2007年5月10日 优先权日2006年5月22日
发明者T·基吉马, H·纳卡穆拉, J·T·坎普顿, J·F·小哈米尔顿, T·E·德维斯 申请人:伊斯曼柯达公司