具有像素替代的稀疏色彩像素阵列的制作方法

专利名称：具有像素替代的稀疏色彩像素阵列的制作方法
技术领域：
本发明涉及具 有改进的光敏度和散布像素替代的二维图像传感器。
背景技术：
电子成像系统依靠电子图像传感器来创建视觉图像的电子表示。该电子图像传感器的实例包括电荷耦合装置(CXD)图像传感器和有源像素传感器(APS)装置(APS装置因能在互补金属氧化物半导体处理中进行制作而常被称为CMOS传感器)。一般，这些图像传感器包括通常以具有行和列的规则图案进行布置的多个光敏像素。为了捕捉彩色图像，一般在像素图案上制作滤光器图案，其中使用不同的滤光器材料以使各个像素仅对一部分可见光谱敏感。色彩滤光器必须减小到达每一个像素的光量，由此减小每一个像素的光敏度。需不断提高电子彩色图像传感器的光敏度或感光速度，以使图像能够在更低光级上被捕捉或者以使图像能够在更高光级上以更短的曝光时间被捕捉。图像传感器或者是线性的或者是二维的。通常，这些传感器具有两种不同的应用。二维传感器一般适于图像捕捉装置，诸如数字照相机、手机和其它应用。线性传感器通常用于扫描文档。在任一种情形下，当采用色彩滤光器时，图像传感器的灵敏度减小。由伊斯曼柯达公司(Eastman Kodak Company)制造的KLI-4104型线性图像传感器，包括四个线性、单像素宽的像素阵列，其中将色彩滤光器应用于三个阵列以使每一个阵列完全对红色、绿色或蓝色敏感，并且第四个阵列没有使用色彩滤光器阵列。此外，三个色彩阵列具有更大的像素以补偿因色彩滤光器导致的光敏度减小，并且第四阵列具有更小的像素以捕捉高分辨率亮度图像。当使用该图像传感器捕捉图像时，该图像表现为高分辨率、高感光度亮度图像以及三个较低分辨率图像，其中所述三个较低分辨率图像具有大致相同的感光度并且三个图像中的每一个与来自图像的红光、绿光或蓝光对应；因此，电子图像中的每一个点包括亮度值、红色值、绿色值和蓝色值。然而，由于这是线性图像传感器，为了对跨越四个线性像素阵列的图像进行扫描，要求图像传感器与图像之间存在相对机械运动。这限制了扫描图像的速度，并且妨碍该传感器在手持照相机中的应用或在捕捉包含移动物体的景物时的应用。Akira Muramatsu (阿基拉村松)的美国专利4，823，186中描述了现有技术中已知的电子成像系统，其包括两个传感器，其中每一个传感器均包括二维像素阵列，但是一个传感器没有色彩滤光器而另一个传感器包括像素所包含的色彩滤光器图案，用光束分离器将图像提供给每一个图像传感器。由于色彩传感器应用了色彩滤光器图案，因此色彩传感器中的每一个像素仅提供一种色彩。当采用该系统捕捉图像时，电子图像中的每一个点包括亮度值和一个色彩值，并且彩色图像必须根据附近色彩来内插每一个像素位置上的缺失色彩。尽管该系统提高了单个常规图像传感器的光敏度，但因需要光束分离器和两个传感器而使系统的整体复杂性、尺寸和成本增加。此外，光束分离器仅将来自图像的一半光引导至每一个传感器，从而限制了感光速度的提高。除上述线性图像传感器以外，现有技术中存在具有二维像素阵列的图像传感器，其中所述像素包括未使用色彩滤光器的像素。例如，参见Sato (佐藤)等人的美国专利4, 390, 895, Yamagami (山上)等人的美国专利5，323，233，Gindele (辛德勒)等人的美国专利6，476，865和Frame (弗拉梅)的美国专利申请公开2003/0210332。在每一个所引用的专利中，色彩像素相对于亮度像素或未过滤像素的采样布置较之彩色图像更有益于亮度图像，反之亦然，或者以一些其它方式提供了色彩像素和亮度像素的次优布置。在共同转让的美国专利申请公开2008/0130073中，披露了特殊的二维像素布置，该布置包括带色彩滤光器的一些像素和不带色彩滤光器的一些像素。该特殊的像素布置通过使带色彩滤光器的像素与不带色彩滤光器的像素之间达到适当比例并且使带色彩滤光器的像素以适当方式相对于彼此且相对于不带色彩滤光器的像素进行分布来克服上述布置的缺点。在一些情形中，二维像素阵列包括具有替代功能且替换一些像素的电路。例如，Erhardt (艾哈特)等人在共同转让的美国专利US7，304，673中披露了内插在图像传感器 的有源成像像素中的替代像素部位，其中所述替代像素部位提供与有源成像像素不同的数据、信息或功能。这些替代像素用于，例如放大器、地或电源接触、或与图像传感器的有源成像像素的成像特性不同的替代成像功能。对因故障像素而丢失的图像信号进行内插的已知技术被用来内插因该替代像素而缺失的图像信号。因此，需要不断地提高采用单一传感器的电子捕捉装置的光敏度，所述单一传感器具有包括内插替代像素的二维像素阵列。

发明内容
本发明旨在提供具有二维色彩和全色像素阵列的图像传感器，所述二维色彩和全色像素阵列具有较高灵敏度并且有益于生成全彩图像。简要概括，根据本发明的一方面，本发明提供用于捕捉彩色图像的图像传感器，所述图像传感器包括具有多个最小重复单元的二维像素阵列，其中每一个重复单元由八个像素组成，所述八个像素具有四个全色像素、三个具有不同色彩响应的像素和一个替代像素。根据本发明的图像传感器尤其适于低水平照明条件，其中该低水平照明条件是低景物照明、短曝光时间、小孔径或对到达传感器的光的其它限制的结果。根据本发明的图像传感器具有广泛的应用，并且许多类型的图像捕捉装置可以有效地使用这些传感器。另外，根据本发明的图像传感器易于对被捕捉图像进行处理以生成最终的、全彩着色图像。阅读以下优选实施例的详细描述及所附权利要求书，并且参考附图，将更清楚地理解并掌握本发明的这些和其它方面、目的、特征和优点。


图I是能够采用常规传感器和处理方法或者本发明的传感器和处理方法的常规数字静物照相系统的框图；图2 (现有技术)是常规拜耳(Bayer)色彩滤光器阵列图案，图中示出了最小重复单元和非最小重复单元；图3示出了与红外截止滤光器的透射特性相乘所得的红色、绿色和蓝色像素的典型光谱量子效率曲线、以及宽光谱全色量子效率(wider spectrum panchromatic quantumefficiency)；图4A至图4B (现有技术)示出了具有全色像素和色彩像素的两个色彩滤光器阵列图案；图5A至图5C示出了本发明的色彩滤光器阵列图案的几个最小重复单元；图6A至图6D示出了平铺图5A的最小重复单元的几种方式；图7示出了采用具有不同感光度的全色像素的本发明替代实施例的色彩滤光器的阵列图案的最小重复单元；图8A至图8B示出了产生类似于图6D的平铺的图5A至图5B的色彩滤光器阵列的替代最小重复单元； 图9示出了图8A的最小重复单元的平铺布置；图IOA至图IOB示出了本发明的色彩滤光器阵列的最小重复单元，其中像素以八边形图案布置并且包括平铺布置；图IlA示出了根据图6D的平铺布置的色彩采样的空间分布；图IlB示出了根据图6D的平铺布置的替代像素的空间分布；图12A至图12E示出了由本发明的图像传感器生成较低分辨率拜耳图像的过程；图13是示出由本发明传感器对色彩和全色像素数据进行处理的方法的本发明的处理示意图；图14示出了具有支持内插方法的说明的标记的本发明的色彩和全色像素的布置。
具体实施例方式由于采用成像装置以及用于信号捕捉和校正和用于曝光控制的相关电路的数字照相机是公知的，因此本说明书尤其针对根据本发明的方法和装置的元件形成部分或者与根据本发明的方法和装置更直接协作的元件形成部分。文中没有具体示出或描述的元件选自现有技术中的已知元件。待描述的实施例的某些方面以软件的方式提供。在以下材料中给出如根据本发明所示和所述的系统，文中用于实现本发明的且未具体示出、描述或提出的软件为常规的软件并且是该技术领域的普通技术。下面参考图1，其示出了表示为采用本发明的数字照相机的图像捕捉装置的框图。尽管下面将对数字照相机进行说明，但显然本发明可应用于其它类型的图像捕捉装置。在所公开的照相机中，来自目标景物的光10输入至成像级11，其中透镜12对光进行聚焦，以在固态图像传感器20上形成图像。图像传感器20将入射光转换成每一个图像元素(像素)的电子信号。优选实施例的图像传感器20为电荷耦合装置(CCD)式或有源像素传感器(APS)式(APS装置因能在互补金属氧化物半导体处理中进行制作而常被称为CMOS传感器)。如果具有二维像素阵列的其它类型的图像传感器采用本发明的图案，则也可以使用。本发明还利用具有二维色彩和全色像素阵列的图像传感器20，这将在描述了图I之后在本说明书的后面部分中变得清晰。本发明中与图像传感器20 —起使用的色彩和全色像素图案的实例参见图5A至图5C、图7、图8A至图8B、图IOA至图IOB，但可以使用在本发明主题内的其它图案。到达传感器20的光量通过改变孔径的可变光阑块14和包含插入在光路中的一个或多个中性密度(ND)滤光器的ND滤光器块13来调整。同时，在快门块18开启时调整整体光级。曝光控制器块40响应于由亮度传感器块16所测得的景物中的可用光量，来控制ND滤光器、可变光阑和快门的调整功能。关于特定照相机构造的该描述是本领域技术人员所熟知的，并且很明显可以提出很多变型和另外的特征。例如，增加自动聚焦系统，或者，透镜可拆下并且可互换。应该理解，本发明可应用于任何类型的数字照相机，其中类似功能可由替代部件来提供。例如，数字照相机为相对简单的对准即拍数字照相机，其中快门18为相对简单的可移动叶片快门等，以代替更复杂的焦平面布置。本发明还可以在包含于诸如移动电话和自动车辆等非照相机装置中的成像部件上实施。来自图像传感器20的模拟信号由模拟信号处理器22处理，并且应用于模拟到数 字(A/D)转换器24。定时发生器26产生不同的时钟信号，以选择行和像素，并且使模拟信号处理器22与A/D转换器24的操作同步化。图像传感器级28包括图像传感器20、模拟信号处理器22、A/D转换器24和定时发生器26。图像传感器级28的部件是分别制作的集成电路，或者如CMOS图像传感器的一般处理情形一样，将它们制作成单个集成电路。来自A/D转换器24的数字像素值的结果流存储在与数字信号处理器(DSP) 36相关的存储器32中。数字信号处理器36是本实施例的三个处理器或控制器中除系统控制器50和曝光控制器40以外的一个。尽管对多个控制器和处理器中照相机功能控制的这种划分较典型，但在不影响照相机的功能操作和本发明应用的情形下这些控制器或处理器可以不同的方式组合在一起。这些控制器或处理器可以包括一个或多个数字信号处理装置、微控制器、可编程逻辑装置或其它数字逻辑电路。尽管已经描述了该控制器或处理器的组合，但应该理解可指定一个控制器或处理器来执行所有必要的功能。所有这些变型可以执行相同的功能并且落入本发明的范围内，并且术语“处理级”根据需要包括一个阶段内的所有功能，例如，如图I中的处理级38。在所示实施例中，DSP 36根据永久地存储在程序存储器54并且复制到存储器32以便在图像捕捉期间执行的软件程序来对DSP 36的存储器32中的数字图像数据操纵。DSP36运行为实行图13所示的图像处理所需的软件。存储器32包括任意类型的随机存取存储器，诸如SDRAM。包括地址和数据信号的通路的总线30将DSP 36与和其相关的存储器32、A/D转换器24和其它有关装置连接在一起。系统控制器50基于存储在程序存储器54中的软件程序来控制照相机的整体操作，所述程序存储器54可以包括闪速EEPROM或其它非易失性存储器。该存储器还可以用于存储图像传感器标定数据、用户设定选择和在关闭照相机时必须保留的其它数据。系统控制器50通过指挥曝光控制器40操作上述透镜12、ND滤光器13、可变光阑14和快门18，指挥定时发生器26操作图像传感器20和相关元件，以及指挥DSP 36处理被捕捉图像数据，来控制图像捕捉的时序。在对图像进行捕捉和处理之后，将存储在存储器32中的最终图像文件经由接口 57传送至主机，存储在可移动记忆卡64或其它存储装置上，进而为用户显示在图像显示器88上。总线52包括地址、数据和控制信号的通路，并且将系统控制器50连接至DSP 36、程序存储器54、系统存储器56、主机接口 57、记忆卡接口 60和其它相关装置。主机接口 57提供了至个人计算机(PC)或其它主机的高速连接，以便传送图像数据进行显示、存储、操纵或打印。该接口为IEEE 1394或USB2. O串行接口，或任何其它适当的数字接口。记忆卡64一般为插入插槽62并且经由记忆卡接口 60连接至系统控制器50的闪存(CF)卡。所使用的其它类型存储器包括但不限于，PC卡、多媒体卡(MMC)或安全数字(SD)卡。将经过处理的图像复制到系统存储器56中的显示缓冲器，并且经由视频编码器80连续地读出，以生成视频信号。该信号直接从照相机输出以便显示在外部监视器上，或者由显示控制器82处理进而呈现在图像显示器88上。该显示器一般为有源矩阵彩色液晶显示器(IXD)，但也可以使用其它类型的显示器。用户控制和接口状态68包括取景显示器70、曝光显示器72、状态显示器76、图像显示器88和用户输入装置74的所有或任意的组合，通过在曝光控制器40和系统控制器50上执行的软件程序的组合来控制。用户输入装置74 一般包括按钮、摇臂开关、操纵杆、旋转拨号盘或触摸屏的某一组合。曝光控制器40操作光测量、曝光模式、自动聚焦和其它曝光功能。系统控制器50对呈现在一个或多个显示器上，如图像显示器88上的图 形用户界面(⑶I)进行管理。⑶I 一般包括用于选择各种选项的菜单和用于检查被捕捉图像的查看模式。曝光控制器40接收对曝光模式、透镜孔径、曝光时间(快门速度)和曝光指数或ISO速度级别(ISO speed rating)进行选择的用户输入，并且相应地指挥透镜和快门进行后续捕捉。亮度传感器16被用来测量景物的亮度并且为用户提供曝光测量功能以便在手动设定ISO速度级别、孔径和快门速度时进行参考。在该情形下，当用户改变一个或多个设定时，呈现在取景显示器70上的测光表指示符告知用户图像被过度曝光或曝光不足的程度。在自动曝光模式中，用户改变一个设定，则曝光控制器40自动改变另一个设定以维持恰当的曝光，例如，对于给定的ISO速度级别，当用户减小透镜孔径时，曝光控制器40自动增加曝光时间以维持相同的整体曝光。ISO速度级别是数字静物照相机的重要属性。曝光时间、透镜孔径、透镜透射率、景物照明的等级和光谱分布、以及景物反射率决定了数字静物照相机的曝光等级。当由数字静物照相机获得曝光不足的图像时，一般可以通过增加电子或数字增益来维持适当的色调再现，但图像将包含数量难于接受的噪点。当曝光增加时，增益减小，因此一般可以将图像噪点减小至可接受的等级。如果曝光过度增加，则所获得的图像亮区中的信号可能超过图像传感器或照相机信号处理的最大信号级容量。这可能使图像高亮部分被裁剪，以形成均匀的亮区或者变成图像的周围区。引导用户设定适当的曝光是很重要的。ISO速度级别将用作该引导。为了使摄影者容易地理解，数字静物照相机的ISO速度级别应该与照相软片照相机的ISO速度级别直接相关。例如，如果数字静物照相机的ISO速度级别为ISO 200，则相同的曝光时间和孔径应适于ISO 200级别的软片/处理系统。ISO速度级别将与软片ISO速度级别相协调。然而，基于电子的成像系统与基于软片的成像系统之间的不同点，这妨碍了精确等效。数字静物照相机可能包括可变增益，并且可以在获取图像数据之后进行数字处理，从而能够对一系列照相机曝光实现色调再现。因此，数字静物照相机可能具有一系列速度级别。该范围被定义为ISO速度域(ISO speedlatitude)。为了防止混淆，将单一值指定为固有ISO速度级别，其中ISO速度域上下限指示速度范围，即包含与固有ISO速度级别不同的有效速度级别的范围。鉴于此，固有ISO速度是根据数字静物照相机的焦平面上所具有的曝光进行计算以产生特定照相机输出信号特性的数值。固有速度通常是用给定照相机系统对正常景物进行拍摄而产生最佳图像质量时的曝光指数值，其中曝光指数是与图像传感器所具有的曝光成反比的数值。数字照相机的以上描述为本领域技术人员所熟知。显然，该实施例存在可选用来减少成本、增加特征或提高照相机的性能的很多变型。以下描述将详细公开根据本发明的用于捕捉图像的照相机的操作。尽管该描述参考数字照相机，但应该理解本发明适用于具有图像传感器的任何类型的图像捕捉装置，所述图像传感器具有色彩和全色像素。图I所示的图像传感器20主要包括制作在硅衬底上的二维光敏像素阵列，该二维光敏像素阵列提供一种将每一个像素上的输入光转换成被测量的电信号的途径。当传感器暴露于光时，在每一个像素的电子结构内产生自由电子并且被捕捉。在一段时间内捕捉这些自由电子，然后测量被捕捉电子的数量或者测量自由电子的产生速率，从而测量每一个像素上的光级。在前一情形下，在电荷耦合装置(CXD)中累积电荷从像素阵列移出至电荷到电压测量电路，或者在有源像素传感器(APS或CMOS传感器)中每一个像素附近的区域均包含电荷到电压测量电路元件。 以下描述中无论何时提到图像传感器，均应该理解为代表图I的图像传感器20。还应该理解，该说明书中公开的本发明的图像传感器结构和像素图案的所有实例及其等同物均用于图像传感器20。在图像传感器背景下，像素(“图像元素”的简称)涉及离散感光区和与感光区有关的电荷移动或电荷测量电路。在数字彩色图像的背景下，术语“像素” 一般涉及图像中具有相关色彩值的特定位置。为了产生彩色图像，图像传感器中的像素阵列一般具有放置在其上的色彩滤光器图案。图2示出了通常使用的红色、绿色和蓝色滤光器的图案。该特定图案通常被称为拜耳色彩滤光器阵列(CFA)，其以发明者布莱斯 拜耳(Bryce Bayer)的名字命名并且公开在US3，971，065中。该图案有效地用在具有二维色彩像素阵列的图像传感器中。结果，每一个像素具有特定色彩光响应，所述色彩光响应在该情形下主要对红光、绿光或蓝光敏感。色彩光响应另一个有用的变型是主要对品红光、黄光或青光敏感。在每一种情形下，特定色彩光响应对可见光谱的某些部分具有较高灵敏度，同时对可见光谱的其它部分具有较低灵敏度。术语“色彩像素”将涉及具有色彩光响应的像素。如拜耳CFA所示，选用在传感器中的色彩光响应组通常具有三种色彩，但也可以包括四种或更多种色彩。如文中所使用的全色光响应涉及光谱灵敏度比表示在被选色彩光响应组中的那些光谱灵敏度更宽的光响应。全色光敏度可以在整个可见光谱上都具有较高灵敏度。术语“全色像素”涉及具有全色光响应的像素。尽管全色像素通常具有比色彩光响应组更宽的光谱灵敏度，但每一个全色像素可以具有相关的滤光器。该滤光器或者为中性密度滤光器，或者为色彩滤光器。当色彩和全色像素的图案位于图像传感器面上时，每一个该图案具有以下重复单元，所述重复单元是用作基本构造块的连续像素子阵列。通过使多个重复单元的复制品并置，来生成整个传感器图案。沿对角方向以及水平和竖直方向并置多个重复单元的复制品。最小重复单元是使其它重复单元不会具有更少的像素的重复单元。例如，图2中的CFA包括如图2中的像素块100所示的两个像素乘上两个像素的最小重复单元。将该最小重复单元的多个复制品平铺以覆盖图像传感器的整个像素阵列。最小重复单元示出为在右上角具有绿色像素，但是通过将粗轮廓线区域向右移动一个像素，向下移动一个像素，或者向右下对角移动一个像素可以容易地辨别出三个替代的最小重复单元。尽管像素块102为重复单元但却不是最小重复单元，因为像素块100为重复单元且块100的像素比块102更少。使用具有带有图2的CFA的二维阵列的图像传感器所捕捉的图像在每一个像素上仅具有一个色彩值。存在多种推断或内插每一个像素处的缺失色彩以生成全彩图像的技术。这些CFA内插技术在现有技术中已经广为人知，并且可以参考以下专利US5，506,619、US5, 629，734、以及 US5, 652，621。图3示出了在典型照相机应用中具有红、绿和蓝色色彩滤光器的像素的相对光谱灵敏度。图3中X轴表示以纳米为单位的光波长，并且Y轴表示效率。在图3中，曲线110表示用于防止红外光和紫外光到达图像传感器的典型滤光器的光谱透射特性。需要该滤光器的原因在于，用于图像传感器的色彩滤光器一般不会阻隔红外光，因此像素不能区分红外光和与该像素相关的色彩滤光器的通带内的光。曲线110所示的红外区阻隔特性防止红外光破坏可见光信号。对于使用红色、绿色和蓝色滤光器的典型硅传感器，将光谱量子效率即被捕捉并且转换成可测电信号的入射光子的比例，乘上由曲线110表示的红外区阻隔滤光器的光谱透射特性，以生成由对应红色的曲线114、对应绿色的曲线116和对应蓝色的曲线118表示的组合系统量子效率。从这些曲线可以知道，每一个色彩光响应仅对可见光谱的一部分敏感。相比之下，曲线112示出了未使用色彩滤光器(但包含红外阻隔滤光器特性)的同一硅传感器的光响应；这是全色光响应的实例。通过将色彩光响应曲线114、116和118与全色光响应曲线112相比较，显然，全色光响应对宽光谱光的灵敏度比任一个色彩光响应大三至四倍。尽管另外的不同类型的传感器可能具有与图3所示不同的光响应，但显然，更宽的全色响应对宽光谱光的灵敏度总是比任一个色彩光响应更大。图3所示的更大的全色灵敏度允许通过将包括色彩滤光器的像素与不包括色彩滤光器的像素混合来提高图像传感器的整体灵敏度。然而，色彩滤光器像素的灵敏度明显比全色像素低。在该情形下，如果将全色像素适当地暴露于光以使景物的光强范围覆盖全色像素的全部测量范围，则色彩像素出现明显曝光不足。因此，有利地，调整色彩滤光器像素的灵敏度以使色彩滤光器像素具有与全色像素大致相同的灵敏度。例如，通过增加色彩像素相对于全色像素的大小，其中空间像素相应减小，来增加色彩像素的灵敏度。在包括全色像素以及色彩像素的图像捕捉装置中，全色像素和色彩像素在像素阵 列中的布置将影响图像捕捉装置的空间采样特性。就全色像素代替色彩像素的程度而言，色彩采样频率减小。例如，如Gindele (辛德勒)等人的美国专利6，476，865，如果图2的最小重复单元100中的一个绿色像素被全色像素取代，则因为绿色像素的数量是图2所示的原图案的一半，因此绿色采样频率减小。在该特定情形下，全色像素和每一个色彩像素的采样频率相同。由于全色像素一般比色彩像素更敏感，因此希望全色像素比任一个色彩像素具有更高的采样频率，从而为图像提供坚实且更高灵敏度的全色表示，以为后续图像处理和每一个像素上缺失色彩的内插提供基础。例如，Yamagami (山上)等人的美国专利5，323，233示出了具有50%的全色像素、25%的绿色像素、12. 5%的红色像素和12. 5%的蓝色像素的图案。图4A中示出了该图案的最小重复单元。绿色像素是任一种色彩像素的两倍，这与广泛使用的拜耳图案一致，但在与如Yamagami (山上)所示的坚实的全色采样布置组合时不一定有利。将绿色采样布置减小到与其它色彩相当时，对完全被处理图像不会有明显不利的影响。在共同转让的专利申请公开2008/0130073中，通过用全色像素替代图4A中的一个绿色像素，来生成图4B的布置，该布置增加了全色采样，而色彩采样不会明显降低。图5A示出了本发明的具有一个红色像素R、一个绿色像素G、一个蓝色像素B、一个替代像素X以及均匀地布置在整 个最小重复单元上的四个全色像素的最小重复单元。图5A、图5B和图5C中示出了替代像素X。替代像素X提供数据、信息或与有源成像像素不同的功能。例如，替代像素用于放大器、地或电源接触、或者与图像传感器的有源成像像素的成像特性不同的替代成像功能。例如，如果将像素阵列制作在阱结构中，则替代像素用于提供阱接触的均匀分布阵列，以防止阱电势中的局部变化。在CMOS图像传感器中，例如替代像素用于提供负责读出附近像素的共享电路。这些实例展示了在像素阵列中设置替代像素的益处，但决非限制替代像素的使用方式。图5B示出了本发明的另一种最小重复单元。除了绿色像素和蓝色像素交换过之夕卜，图5B与图5A类似。在图5A与图5B之间，每一种色彩的色彩采样频率仍相同，但四个色彩采样布置之间的相位关系不同。图5C示出了本发明的又一种最小重复单元。除了用青色、黄色和品红色像素分别替换红色、绿色和蓝色像素之外，图5C与图5A类似，由此表明本发明的该实施例可以与具有三个不同的光谱灵敏度的任一集合一起使用。将图5A的最小重复单元以若干方式平铺，以提供更大的像素阵列且不缺失像素。图6A示出了图5A的最小重复单元沿行和列均匀平铺时的平铺布置。图6B示出了以下图5A的平铺布置，其中每隔一列向下移动(或，等价地向上移动)一个像素；换句话说，图5A的最小重复单元沿列均匀地平铺，并且每一列相对于相邻列竖直移动最小重复单元高度的一半。图6C示出了以下平铺布置，其中每一行相对于上方的行向右移动一个像素；换句话说，图5A的最小重复单元沿行均匀地平铺，并且每一行相对于上方的相邻行向右移动最小重复单元宽度的四分之一。图6D示出了以下平铺布置，其中每隔一行向右移动(或，等价地向左移动)两个像素或最小重复单元的宽度的一半；换句话说，图5A的最小重复单元沿行均匀地平铺，并且每一行相对于相邻行向右移动最小重复单元的宽度的一半。示出在图6A至图6C中的图5A的平铺布置使像素阵列针对各个色彩在水平方向与竖直方向之间具有不同的采样频率。图6D的平铺布置提供了以下像素阵列，其中各个色彩的采样频率在水平方向与竖直方向之间相同，并且在左上方至右下方的对角线(斜线)方向与右上方至左下方的对角线(反斜线)方向之间相同；此外，采样频率在色彩之间相同，并且色彩的最高采样频率与水平方向和竖直方向相关。使最高采样频率与水平方向和竖直方向相关，允许在混迭机率最小的情形下对竖直和水平边缘进行采样。因此，基于以上论述，图6D提供图5A的最小重复单元的优选平铺布置。本发明图案中的全色像素在灵敏度方面不必相同。例如，图7示出了具有两种不同的感光速度的全色像素交替布置时的最小重复单元，其中一行最小重复单元具有一个速度而另一行具有不同的速度。就这一点来说，尽管用于描述本发明的最小重复单元均为布置成矩形的每行四个像素的双行，但存在另外的等价最小重复单元。例如，图8A示出了在平铺成图6D时与图5A的最小重复单元等价的本发明的最小重复单元。另外，如果图5B以类似于图6D的方式平铺，则图8B等价于图5B。图9示出了与图6D等价的图8A的最小重复单元的平铺。图9还表明仅存在一种平铺图8A的最小重复单元的方式。注意，图5A、图7、图8A或本发明任何其它上述实施例的任何图案的旋转完全落入本发明的范围内。例如，图IOA示出了具有八角形像素布置的最小重复单元，其等价于将图5A的最小重复单元逆时针旋转四十五度。图IOB示出了，将图IOA的最小重复单元平铺成与将图6D逆时针旋转四十五度等价的图案。图IlA为与图6D相同的总体像素布置，其中仅仅标识出色彩像素。观察图11A，显然每一单个色彩的采样图案是相同的，只是关于彼此发生了移动。观察仅标识出替代像素的图11B，可以看出，替代像素图案与每一单个色彩采样图案相同，只是关于色彩发生了移、动。为了某些目的，由传感器生成更低分辨率的图像是有利的，例如，以便为视频捕捉提供更高的帧速率，或者将有源预览图像提供至显示屏上。在图I中，DSP 36根据由传感器和成像子系统提供的原始图像来提供经处理图像。为了以视频帧速率提供一系列经处理图像，DSP 36在很多情形下提供硬连线图像处理途径(与可编程图像处理途径相反)。该硬连线图像处理途径通常要求传感器数据符合拜耳滤光器图案G RB G因此，提供从本发明的传感器中便利地读出分辨率减小的拜耳图像的功能是有利的。参考图12A，其示出了本发明的色彩和全色像素的布置。图12A类似于图6D，其中为每一个像素添加了标记，以助于显示由本发明的图像传感器生成分辨率减小的拜耳图像的过程。在图12A中，最小重复单元120示出为与图5A所示的最小重复单元相同。使图12A中的所有绿色像素(如，G12、G16、G34、G38)在未改动的情形下使用。图12B中用圆圈示出的这些绿色像素形成出现在拜耳图案中的绿色像素的方格图案。对于拜耳图案中的红色和蓝色像素,将红色和蓝色像素组成对，以生成红色和蓝色像素平均值。例如，将R21和R43组合以生成图12B中在绿色像素G12与G52之间的圆圈内的红色像素平均值R' 32。类似的红色像素对角组合使红色像素平均值在分辨率减小的拜耳图像中恰当地定位。类似地，将B45和B63组合以生成图12B中在绿色像素G34和G74之间的圆圈内的蓝色像素平均值B' 54。类似的蓝色像素对角组合使蓝色像素平均值在分辨率减小的拜耳图像中恰当地定位。图12C示出了所得到的图像，即水平分辨率为原图像的1/2且竖直分辨率为原图像的1/2的拜耳图像。图12A至图12C示出了像素数量为原图像的1/4的拜耳图像。图12D和图12E示出了使用类似技术来生成像素数量为原图像的1/16的拜耳图像。例如，通过组合像素中的电荷、对被采样电压求平均，或者通过将像素信号的数字表示组合在一起，来按图12B和图12E所示方式组合像素。下面参考图13，数字信号处理器块36 (图I)示出为对由本发明的图像传感器所生成的且由数据总线30 (图I)载送的被捕捉原始图像数据进行接收。原始图像数据传递至低分辨率局部色彩块202和高分辨率全色块204两者。图5A已经示出了本发明的图像传感器的最小重复单元的实例。在低分率局部色彩块202 (图13)中，由被捕捉原始图像数据生成局部彩色图像，所述局部彩色图像为每一个像素具有至少一个色彩值并且每一个像素还缺少至少一个色彩值的彩色图像。由于与全色像素相比，具有给定光谱响应的色彩像素成比例地减少，因此与全色像素所捕捉的图像相比局部彩色图像的空间分辨率降低。低分辨率局部色彩块202以类似方式对局部彩色图像的每一个像素进行处理，产生色彩值阵列，其中一个色彩值对应一个低分辨率像素。尽管文中未示出，在该步骤中，去除低分辨率局部彩色图像中的噪点通常是有利的。参考图14，示出了等价于图12A中所示的图案的滤光器图案。可以看出，最小重复单元220 (图14)与最小重复单元120 (图12A)相匹配。再次参考图14，位置(a)、(b)、(c)和(d)处的间隙全色值根据以下等式计算
a=(-P30+9*P21+9*P12-P03)/16b=(_P34+9*P23+9*P12-P01)/16c= (_P10+9*P21+9*P32_P43)/16d=(_P14+9*P23+9*P32_P41)/16从而，在菱形形状中包含绿色值的像素G22具有八个相邻全色值，即P21、a、P12、b、P23、d、P32和C。下面，利用沿水平方向、竖直方向、斜线方向和反斜线方向的四个中心差梯度(center-difference gradients)的绝对值来计算像素G22处的分类值clashorz=|P23-P21clasvert=IP12—P32Iclasslash=Ib_cIclasback=Ia_dI这些方向的相应预测值为predhorz= (P23+P21)/2predvert=(P12+P32)/2predslash= (b+c) /2predback= (a+d) / 2在选出具有最小分类值的方向之后，与被选方向对应的全色预测值生成内插全色值 P22。一旦为绿色像素内插了全色值，还要对红色、蓝色和替代像素执行相同的操作。再次参考图14所示的CFA图案，可以看出，将用于绿色像素的相同的全色内插处理同样适用于红色、蓝色和替代像素(在图14中分别由字母R、B和X标识)。例如，正如全色像素P12、P21、P23和P32紧密包围绿色像素G22，全色像素P23、P32、P34和P43紧密包围蓝色像素B33。可以利用类似以上为绿色像素G22给出的等式来计算像素B33的相邻间隙全色值。在将全色值内插到所有色彩像素和替代像素位置之后，在传感器上每一个像素位置都具有测量或内插的全色值。这些全色值组成图13中的高分辨率全色图像204。低分辨率全色图像206通过仅选择具有与红色、绿色和蓝色像素位置对应的内插全色值的那些像素来生成。下面，将低分辨率全色图像206与低分辨率局部彩色图像202组合以生成低分辨率色差208。下一个处理步骤生成高分辨率色差210，其通过求解与每一个替代像素X对应的绿色减全色G-P值来启动。一旦生成G-P色差值，则将该值与内插全色值相加以生成在高分辨率最终图像212中的绿色值。参考图14,该内插全色值为P24,因为其在替代像素X24的位置处并且由全色像素P14、P23、P25和P34包围。四个最近绿色值为G04、G22、G26和G44。四个绿色像素中的每一个也具有内插全色值，因此计算每一个位置处的G-P色差。根据以下等式计算水平和竖直的分类值及预测值clashorz=|(G22-P22)-(G26-P26)|+|P22_2*P24+P26clasvert=| (G04-P04)-(G44-P44) | +1P04_2*P24+P44predhorz=[(G22-P22)+(G26-P26)]/2 predvert=[(G04-P04) + (G44-P44) ]/2较小的分类值指示使用哪一个预测值。然后，将所指示的色差与替代像素X24处的内插全色值P24相加以生成内插绿色值G24。一旦计算出替代像素位置处的绿色值，则对于带两个偶数下标的每一个像素均具有绿色值。下一步骤计算带两个奇数下标的每一个像素处的绿色值。例如，对于蓝色像素B33，根据以下等式计算斜线和反斜线分类值和预测值classlash=| (G42-P42)-(G24-P24) | +1P42_2*P33+P24clasback= (G22-P22)-(G44-P44)|+|P22_2*P33+P44predslash=[(G42-P42) + (G24-P24)]/2predback=[(G22-P22) + (G44-P44)]/2较小的分类值指示使用哪一个预测值。然后，将所指示的色差与像素B33处的全色值相加以生成内插绿色值G33。在红色像素位置处采用相同的方法来确定绿色值。一旦计算出所有这些绿色值，则就有了下标均为奇数或均为偶数的所有像素位置的绿色值。为了完成绿色内插,考虑具有一个奇数和一个偶数下标的像素,诸如像素P32。水平和竖直分类值和预测值可以根据以下等式计算clashorz= (G31-P31)-(G33-P33) +|P31_2*P32+P33clasvert= (G22-P22)-(G42-P42) +|P22_2*P32+P42predhorz=[(G31-P31)+(G33-P33)]/2predvert=[(G22-P22) + (G42-P42)]/2较小的分类值指示使用哪一个预测值。然后，将所指示的色差与中部像素P32处的全色值相加以生成内插绿色值G32。该方法用于确定具有一个奇数和一个偶数下标的所有像素位置处的绿色值。此刻，所有像素位置具有全色值和绿色值。其仍待内插任何缺失的红色和蓝色值。因为红色、绿色和蓝色像素的数量相同，并且它们的几何布置图案相同，因此用于内插绿色的等式组可以变化并且应用于红色像素以及蓝色像素。通常，计算红色值的方法包括求解R-G色差值，然后将R-G色差值与现有绿色值相加以生成红色值。全色值仍用于确定分类值。例如，考虑计算蓝色像素B33处的红色值。可以根据以下等式利用R-G色差来计算水平和竖直分类值和预测值
clashorz= (R31-G31)-(R35-G35)|+|P31_2*P33+P35clasvert=|(R13-G13)-(R15-G15)| +1P13_2*P33+P15predhorz=[(R31-G31)+(R35-G35)]/2predvert=[(R13-G13) + (R35-G35) ] /2较小的分类值指示使用哪一个预测值。然后，将所指示的色差与预先确定的蓝色像素B33的位置处的绿色值G33相加，以生成内插红色值R33。利用B-G色差的类似等式组用于计算红色像素位置处的蓝色值。该方法用于计算所有蓝色像素位置处的红色值和所有红色像素位置处的蓝色值，其后在具有两个奇数下标的每一个像素位置均具有红色和蓝色值。
下一步骤计算带两个偶数下标的像素处的红色和蓝色值。例如，考虑计算绿色像素位置G44处的红色值。可以根据以下等式计算斜线和反斜线的分类值和预测值classlash=|(R53-G53)-(R35-G35)| +1P53_2*P44+P35clasback=|(R33-G33)-(R55-G55)| +1P33_2*P44+P55predslash=[(R53-G53) + (R35-G35)]/2
predback=[(R33-G33) + (R55-G55)]/2较小的分类值指示使用哪一个预测值。然后，将所指示的色差与像素G44处的绿色值相加以生成内插红色值R44。将相同的方法用于蓝色像素。一旦计算出所有红色和蓝色值，则下标均为奇数或均为偶数的所有像素位置均具有红色和蓝色值。为了完成色彩内插处理，考虑具有一个奇数和一个偶数下标的像素，诸如像素P32，并且计算红色值。水平和竖直分类值和预测值可以根据以下等式计算clashorz= (R31-G31)-(R33-G33)|+|P31_2*P32+P33clasvert=|(R22-G22)-(R42-G42)| +1P22_2*P32+P42predhorz=[(R31-G31)+(R33-G33)]/2predvert=[(R22-G22) + (R42-G42)]/2较小的分类值指示使用哪一个预测值。然后，将所指示的色差与全色像素位置P32处的绿色值相加以生成内插红色值R32。采用使用B-G色差的相同方法来计算蓝色值B32。该方法用于计算具有一个奇数和一个偶数下标的每一个像素位置处的红色和蓝色值。因为每一个像素均具有全部三个色彩值红色、绿色和蓝色，因此在该点进行色彩内插。这些像素组成图13中的高分辨率最终图像212。部件列表10来自目标景物的光11成像级12 透镜13中性密度滤光器14可变光阑16亮度传感器18 快门20图像传感器22模拟信号处理器
24模拟到数字(A/D)转换器26定时发生器28图像传感器级30数字信号处理器(DSP)总线32数字信号处理器(DSP)存储器36数字信号处理器(DSP)38处理级40曝光控制器50系统控制器52系统控制器总线54程序存储器56系统存储器57主机接口60记忆卡接口62记忆卡插槽64记忆卡68用户控制和状态接口70取景显示器72曝光显示器74用户输入装置76状态显示器80视频编码器82显示控制器88图像显示器100拜耳图案的最小重复单元102拜耳图案的非最小重复单元110红外阻隔滤光器的光谱透射曲线112传感器的未过滤光谱光响应曲线114传感器红色光响应曲线116传感器绿色光响应曲线118传感器蓝色光响应曲线120本发明的最小重复单元
202低分辨率局部色彩块204高分辨率全色块
206低分辨率全色块208低分辨率色差块210高分辨率色差块212高分辨率最终图像块220本发明的最小重复单元
权利要求
1.一种用于捕捉彩色图像的图像传感器，其包括具有多个最小重复单元的二维像素阵列，其中每一个重复单元由八个像素组成，所述八个像素具有四个全色像素、三个具有不同色彩响应的像素和一个替代像素。
2.根据权利要求I所述的图像传感器，其具有以下最小重复单元 PBPX APCP 其中P表示全色像素，A、B和C表示具有不同色彩响应的像素，并且X表示替代像素。
3.根据权利要求2所述的图像传感器，其中A、B和C表示色彩响应分别选自红色、绿色或蓝色响应的像素。
4.根据权利要求2所述的图像传感器，其中A、B和C表示每一个色彩响应分别地为红色、绿色和蓝色响应的像素。
5.根据权利要求2所述的图像传感器，其中A、B和C表示色彩响应分别选自青色、品红色和黄色响应的像素。
6.根据权利要求2所述的图像传感器，其中A、B和C表示每一个色彩响应分别地为青色、黄色和品红色响应的像素。
7.根据权利要求2所述的图像传感器，其中所述像素阵列通过将所述最小重复单元沿行均匀地平铺并且每一行相对于相邻行移动最小重复单元宽度的一半来形成。
8.根据权利要求I所述的图像传感器，其中所述全色像素包括具有至少两个不同的感光速度的像素。
9.根据权利要求8所述的图像传感器，其具有以下最小重复单元 Pl B Pl X A P2 C P2 其中Pl表示具有第一感光速度的全色像素；P2表示具有第二感光速度的全色像素；A、B和C表示具有不同色彩响应的像素；以及X表示替代像素。
全文摘要
本发明公开了一种用于捕捉彩色图像的图像传感器，其包括具有多个最小重复单元的二维像素阵列，其中每一个重复单元由八个像素组成，所述八个像素具有四个全色像素、三个具有不同色彩响应的像素和一个替代像素。
文档编号H04N9/04GK102668571SQ201080051779
公开日2012年9月12日 申请日期2010年11月18日 优先权日2009年11月19日
发明者J·T·康普顿 申请人:伊斯曼柯达公司