专利名称：用于数字成像的滤色器和逆马赛克变换技术的制作方法
技术领域：
本申请大体上涉及彩色成像技术。具体地,本申请涉及图像的光谱内容。背景颜色是基于光的光谱(光能相对于波长的分布)与眼睛中的受光体的相互作用的 心理现象，眼睛中的受光体具有对于光的特定的光谱波长谱带或区域(下文称为“光谱分量”)的特定的敏感性。颜色种类和颜色的物理规格还与物体、材料、光源等等相关联，这取决于它们的物理性质，例如光吸收、反射或发射光谱。在物理学意义上，颜色是在电磁波谱的不同的光谱分量中测量的强度的比率。在生理学意义上，在人体中，不同的光谱分量被眼睛中的三个不同类型的接收体的光谱敏感曲线(即所谓的红色、蓝色和绿色锥体)定义。人脑处理和组合来自红色、蓝色和绿色锥体的信号以创造景象的复合的印象或图像。景象中的所有的颜色被作为红色、蓝色和绿色锥体信号的组合感知。被人感知的颜色的范围或色域被例如CEE 1931色度图代表。
人造彩色图像传感器(例如彩色胶片或使用CCD或CMOS传感器的数字照相机)还传感在有限数量的不同的光谱分量中的光强度。各种类型的彩色图像传感器在它们如何分离和测量不同的光谱分量方面不同。例如，彩色胶片可以具有分别被光的红色分量、绿色分量和蓝色分量曝光的三个不同的乳液层的堆叠。数字照相机可以使用分层传感器的阵列，使得每个像素，与彩色胶片相似地，含有对分别的颜色敏感的传感器的堆叠(例如，以Foveon商标可得到的传感器)。更普遍地，数字照相机或其他的人造彩色图像传感器装置使用被定位在CMOS或CCD传感器的顶部的空间滤色器阵列(例如Bayer滤色器阵列)，将光的不同的光谱分量捕获在相应的标称像素类型中。人造彩色图像传感器装置传感和收集对于每个被从景象接收的不同的光谱分量的强度数据。对于每个光谱分量的数据是单色的，即其仅包括强度信息，而不包括颜色信息。为了创造近似的彩色图像或景象的再现，对于不同的光谱分量的不同的强度数据被处理，对某些颜色和强度编码，并且组合。三色的Bayer滤色器阵列被在大多数单芯片数字图像传感器(在数字照相机、摄录像机和扫描仪中)中使用以创造彩色图像。Bayer滤色器马赛克是用于将红色(R)、绿色(G)、蓝色(B)滤色器排列在光电传感器的正方形网格上的滤色器阵列。滤色器型式典型地是50%绿色、25%红色和25%蓝色。从Bayer的美国专利第3，971，065号改编的图I示出了另一个示例性的Bayer滤色器马赛克型式,其中红色颜色、蓝色颜色和绿色颜色透射性滤色器被以重复的型式排列。在该型式中，亮度元件(绿色，由“G”表示)采取每隔一个的阵列位置。色度元件(红色，由“R”表示)在交替的行中与G亮度元件交替。R元件还与其他的色度元件(蓝色，由“B”表示)交替，填充其余的阵列位置。Bayer滤色器马赛克型式被设计为模拟人眼的对绿光的较大的分辨能力。例如，在图I中示出的Bayer滤色器阵列中，B元件占据元件总数的仅八分之一，这是考虑到人类视觉系统的对辨别蓝色细节的相对有限的能力。人类视觉系统对红色细节更加敏感，且借助于R元件的相对较大的数量以比蓝色细节更高的速率对红色细节采样。人眼对其最敏感的亮度细节通过阵列中的G元件的大的数量被以最高的速率采样。Bayer滤色器图像传感器的原始输出可以被称为Bayer型式图像。由于图像传感器的每个像素都被过滤以记录三个颜色中的仅一个，所以来自每个像素的数据不完全自身地确定颜色。为了获得全色图像，各种逆马赛克变换算法可以被用于插值对于图像传感器的每个像素的完全的红色值、绿色值和蓝色值的集合。所建议的与人造彩色图像传感器共同使用的其他的类型的三色滤色器阵列和四色滤色器阵列也基于对模拟人眼的颜色感知的亮度-色度考虑。(见例如Roddy等人美国专利第7，057，654号、Bawolek等人美国专利第6，771，314B1号和第5，914，748号、Vook等人美国专利第6，771，314B1号、Silverstein等人美国专利第4，800，375号、Merril等人美国专利第5，965，875号和Chang美国专利申请公布第US2007/0145273A1号)。在任何成像系统中，衍射设置基本的图像分辨率限制，其仅取决于图像传感器光学器件的光圈的f制光圈(或焦距比数)设置以及取决于正在被成像的光的波长。上文的基于亮度-色度的所考虑的滤色器阵列未解决会在图像传感器光学器件处发生的依赖于波长的衍射效应。 现在考虑当被图像传感器光学器件导致的衍射效应可以是显著的时的用于彩色成像的滤色器阵列。概述提供用于修改彩色图像的信息含量的系统、装置和方法。示例性的彩色成像装置包括颜色响应性元件或颜色敏感元件的阵列，其具有数量为Nb的对蓝色(B)光谱区敏感的第一类型的颜色响应性元件、数量为Ne的对绿色(G)光谱区敏感的第二类型的颜色响应性元件以及数量为Nk的对红色(R)光谱区敏感的第三类型的颜色响应性元件。每个颜色响应性元件可以包括光传感器元件和透射性滤色器元件。第一类型的颜色响应性元件、第二类型的颜色响应性元件和第三类型的颜色响应性元件的数量可以被排序为Nb > Ng并且Nb > Νκ另一个示例性的彩色成像装置包括聚焦元件，其具有焦距(F)并且被耦合于具有有效直径(effective diameter) (D)的光圈。彩色成像装置还包括被布置在焦距处或接近焦距处的颜色响应性或选择性元件。颜色响应性或选择性元件相应于分离的颜色通道(i)的集合，其中i = 1、2、3、η。每个颜色通道i与分别的颜色波长λ i相关联。此外，在阵列中的相应于具有最低的波长Y1的颜色通道的颜色响应性元件的数量(N1)大于在阵列中的相应于具有更高的波长Y2的颜色通道的颜色响应性元件的近似数量(N2)。例如，相应于颜色通道i的颜色响应性元件的数量(Ni)可以被排序为使得N1 > N2彡...彡Nn。此外，例如，相应于颜色通道i的颜色响应性元件的数量(Ni)可以按与在约焦距处的、光圈衍射的光的艾里斑直径I. 22*F/DX i的平方近似相同的比例排序。示例性的用于逆马赛克变换或重建原始图像传感器数据的方法包括提供由具有f制光圈(f)的成像装置采样的景象的光强度像素值构成的二维阵列，其中像素值的第一子阵列相应于与第一颜色波长Y I相关联的被米样的光强度值1 # ] ( Y ι) 并且像素值的不重叠的第二子阵列相应于与第二颜色波长Y 2相关联的被米样的光强度值( Y2)。方法可以还包括，对于在具有被采样的光强度值Ittaww (Y1)的第一子阵列中的一个或多个像素，估计相应于第二颜色波长λ 2的未采样的光强度值(λ2)，以及对于在具有被采样的光强度值Ittaww (Y2)的第二子阵列中的一个或多个像素，估计相应于第一颜色波长Y1的未采样的光强度值。方法还包括根据与成像装置对波长Y的光衍射相关联的艾里斑直径I. 22*f* Y修改在像素中的一个或多个中的被采样的和/或被估计的光强度值，以及输出被采样的和/或被估计的光强度值的像素的被修改的阵列作为景象的部分的或全部的彩色图像代表或再现。示例性的用于逆马赛克变换或重建原始图像传感器数据的系统包括被配置为接收具有由具有f制光圈(f)的成像装置采样的景象的光强度值的像素的二维阵列的电路，其中像素值的第一子阵列相应于与第一颜色波长Y !相关联的被采样的光强度值IS ( Y J，并且像素值的不重叠的第二子阵列相应于与第二颜色波长λ 2相关联的被采样的光强度值Is(A2)。系统还包括被配置为，对于分别具有被采样的光强度值Is(Y1)和Is(Y2)的第一子阵列和第二子阵列中的一个或多个像素，估计分别相应于第二颜色波长入2和第一颜色波长Y1的未采样的光强度值IeU2)和Ie U1)的电路。电路还被配置为根据与成像装置对波长Y的光衍射相关联的艾里斑直径I. 22*f* Y修改在像素中的一个或多个中的被采样的和/或被估计的光强度值，以及被配置为将被采样的和/或被估计的光强度值的像素的被修改的阵列作为景象的全部的或部分的彩色图像代表或再现输出。
附图简述在附图中图I是Bayer滤色器马赛克的示意性的图示；图2是根据本文描述的解决方案的原理的用于滤色器阵列或马赛克的红色、绿色和蓝色滤色器元件的示例性的型式的示意性的图示；图3A-3E是根据本文描述的解决方案的原理的用于滤色器阵列或马赛克的示例性的3颜色和4颜色重复型式单元的示意性的图示；图4和5是根据本文描述的解决方案的原理的示例性的成像装置的示意性的图示； 图6和7是图示了根据本文描述的解决方案的原理的示例性的彩色成像方法的流程图；图8和9是图示了根据本文描述的解决方案的原理的示例性的用于处理原始光强度数据以进行景象的彩色成像的方法800和900的流程图；以及
图10是根据本文描述的解决方案的原理的示例性的用于对来自原始图像传感器/滤色器阵列数据的经衍射校正或补偿的图像进行逆马赛克变换或重建的系统的示意性的图示。在所有图中，除非另有定义，否则相同的参考数字和字母被用于表示被图示的实施方案的相似的特征、元件、部件或部分。详细描述在以下的详细描述中，参照了附图，附图形成详细描述的一部分。在附图中，相似的符号通常标识相似的部件，除非内容指示不是这样。在详细描述、附图和权利要求中描述的例证性的实施方案不意图作为限制。可以利用其他的实施方案，并且可以作出其他的改变，而不偏离本文提出的主题内容的精神或范围。如本文所使用的术语“图像”和“景象的再现”将被理解为包括但不限于对图像和景象再现数据和/或信号的分别的指代。在上下文中，该术语还可以是指这样的数据和/或信号的显示或输出。此外，如本文所使用的术语“外推”数据或值将被理解为包括但不限于对数据或值的“插值”。更一般地，任何在本文中被用于指代物理的、数学的、概念的、感知的、抽象的对象或方面的名词性术语(例如光谱功率分布、光的光谱分量、光谱响应函数等等)将被理解为包括但不限于对数据和/或信号或所提到的目的或方面的其他的有形的代表的指代。常规的(例如在数字照相机、摄录像机和扫描仪中的)数字颜色传感器使用单一的检测器阵列捕获景象的图像。滤色器(例如Bayer CFA)在检测器阵列上部分地交错。阵列中的检测器元件中的每个相应于一个图像像素，其测量在例如红色、绿色或蓝色等特定的波长范围内的输入光的强度。滤色器的各种马赛克或型式可以在传感器阵列上重叠。检测器元件和/或被耦合于它们的滤色器元件可以被称为传感器元件、像素传感器或，简单地，像素。由它们传感的强度采样值经插值之后可以被称为图像像素。本文公开了用于数字成像的颜色马赛克或滤色器阵列(CFA)和逆马赛克变换技术。所公开的CFA和逆马赛克变换技术可以被在数字成像中使用以最小化、减小或补偿由图像传感器光学器件导致的衍射效应。将理解，虽然颜色马赛克变换和逆马赛克变换技术可以是在本文中参照颜色传感器的具体的实例描述的(例如参照单芯片、彩色CCD摄像机)，但是本文描述的CFA和逆马赛克变换技术不限于任何具体的颜色传感器。本文描述的CFA和逆马赛克变换技术解决了图像传感器光学器件中的衍射效应的问题。在图像传感器中，像素大小与图像分辨率相关。随着数字技术和制造技术的进步，用于增加图像分辨率的越来越小的像素大小现在是符合实际的。然而，当像素大小减小时(或相反地，当像素计数增加时)，衍射效应可以影响图像分辨率。衍射的程度的一种计量是艾里斑。艾里斑代表对于理想的圆形光圈的二维衍射图样。艾里斑的宽度或直径可以被用于限定光学系统的理论最大分辨率。当图像传感器像素大小接近图像传感器光学器件的艾里斑尺寸时，由衍射导致的分辨率的损失可以被预期。(见例如网页Cambridgeincolour, com/tutorials/diffraction-photography)。
当艾里斑的中央峰的直径相对于图像传感器中的像素大小成为大的时，衍射可以具有对图像的视觉影响。可选择地，如果两个艾里斑成为比它们的宽度的一半更接近，那么它们也再不可分辨(瑞利判据)。因此，衍射设置了独立于兆象素的数量或图像传感器的电影格式的尺寸的基本的分辨率极限。分辨率极限仅取决于光圈的f制光圈(或焦距比数)以及正在被成像的光的波长。本文的CFA(以及相关联的逆马赛克变换技术)通过将滤色器元件在CFA中的分布朝向相应于较小的艾里斑尺寸的波长加权或偏置以减小或补偿衍射效应，以实现给定的成像传感器空间分辨率。例如，对于蓝色波长的艾里斑实质上小于对于红色或绿色波长的艾里斑。据此，CFA可以例如被优先于绿色或红色波长地朝向蓝色波长偏置或加权。示例性的红色-绿色-蓝色CFA可以具有比红色像素或绿色像素(例如每个25 % )多的蓝色像素(例如50%)。使用这样的示例性的CFA可实现的空间分辨率可以被以蓝色波长的较小的艾里斑尺寸的艾里斑来设置或确定，而非以对于绿色和红色波长的较大的艾里斑来设置或确定。被引导至像素的图像光强度因衍射而可能溢出或模糊化，导致空间分辨率信息的损失。由衍射导致的空间分辨率信息的损失可以通过将滤色器元件在CFA中的分布朝向较小的波长加权或偏置被减小，较小的波长衍射得小于较大的波长。示例性的具有占优势的蓝色波长像素的CFA也可以被用于在黑色-白色或单色的图像(例如与单色的成像传感器共同地)中增加或改进空间分辨率。在这样的排列中，蓝色过滤的像素可以设置成像传感器的可实现的空间分辨率。非蓝色颜色像素可以提供另外的景象/图像信息，用于构建合适的或适宜的黑色-白色或单色。本文描述的CFA可以被设计为将成像传感器中的衍射考虑在内。CFA可以被设计为在给予最高的空间分辨率的光带中更多地采样，并且然后向后作用以估计或改进发光度分辨率。相似地，用于将图像传感器像素数据作为景象的图像重建的逆马赛克变换算法可以将成像传感器中的衍射以及颜色在CFA中的“颜色加权”或颜色的分布考虑在内。逆马赛克变换算法可以，例如，基于对以下的考虑，即，超过蓝色像素数据的模糊化或过滤，绿色和红色像素数据可以通过衍射过程被另外地模糊化或过滤。图2示出了示例性的用于滤色器阵列的RGB型式200，其通过将滤色器元件的数量朝向较低的波长(例如蓝色)加权而将衍射程度(例如艾里斑尺寸)的随增加的波长的增加考虑在内。以最低的波长(例如蓝色)的滤色器元件的数量可以大于以较高的波长(例如红色或绿色)的滤色器元件的数量。例如，在RGB型式CFA 200中的各种滤色器元件的比率可以是50%蓝色、25%绿色和25%红色。相似的为了减小或补偿衍射效应的设计考虑可以被用于基于其他的颜色组合(例如RGBE、CYYM、CYGM、RGBff等等)的CFA。例如，在RGBW组合的情况下，CFA可以具有R、G、B、W像素的合适的颜色加权的空间型式或分布。W像素可以包括或允许白光和/或不可见红外光。用于型式或分布中的特定的颜色的像素的相对数量可以与以该颜色的艾里斑的尺寸成比例。示例性的RGBW可以具有被排序为蓝色>绿色>红色> 白色的像素数量。示例性的CFA可以，在一维上，具有与波长的比率成比例的B、G和R的像素计数。示例性的CFA可以，在二维上，具有与波长的平方的比率成比例的B、G和R的像素计数。例如，如果CFA中的B、G和R像素分别相应于400、550、和700nm波长，那么像素的比率可以是约53. 9%蓝色、28. 5%绿色、17. 6%红色。对于颜色的不同的中心频率，像素的比率可以相应地调整。B、G和R像素可以被随机地或以重复型式分布。示例性的CFA型式可以包括NXN重复单元。图3A-3H示出了分别相应于以下的示例性的重复单元300A-300H :具有2个B像素、I个R像素、I个G像素的2X2阵列；具有5个B像素、2个R和2个G的3X 3阵列，具有5个B像素、I个R像素和3个G像素的3X3阵列；具有8个B像素、3个R像素和5个G像素的4X4阵列；具有13个B像素、5个R像素和7个G像素的5X5阵列；具有4个B像素、I个R像素、2个G像素和I个W像素的3X3阵列；具有8个B像素、2个R像素、4个G像素和2个W像素的4X4阵列；以及具有13个B像素、4个R像素、6个G像素和2个W像素的5X5阵列。用于从在衍射存在时的像素数据重建图像的逆马赛克变换算法可以是基于认识至IJ，对于足够小的像素，衍射给予根据颜色分离的结果。每个颜色被模糊化为与艾里斑成比例的不同的空间尺寸。逆马赛克变换算法可以利用以下事实，即每个颜色通道具有不同的程度的衍射。图4示出了示例性的彩色成像装置400。装置400可以包括光传感器(例如单芯片成像传感器410)、透射性滤色器阵列420以及合适的成像光学器件(例如光圈430)。成像传感器410包括传感和/或记录入射光强度的多个传感器单元或像素410a。成像传感器410被耦合于透射性滤色器阵列420。成像传感器410中的每个传感器单元或像素410a被耦合于滤色器阵列420的分别的颜色元件420a。滤色器元件420a过滤入射在所耦合的传感器单元或像素410a上的光。每个滤色器阵列元件420a可以允许仅在分别的光谱区(例如相应于红色、蓝色或绿色光谱区)内的光经过到达相关联的传感器单元或像素410a。因此，每个传感器单元或像素410a可以仅传感或响应于在分别的颜色光谱区内的光强度。为了描述的便利，传感器单元或像素410a和/或它们的分别的滤色器阵列元件420a可以在本文中被分别地或以成对的组合地称为颜色选择性或响应性元件。因此，示例性的彩色成像装置400包括颜色响应性元件410a/420a的阵列。颜色响应性元件的阵列可以，例如，包括数量为Nb的对蓝色(B)光谱区敏感的第一类型的颜色响应性元件、数量为Ne的对绿色(G)光谱区敏感的第二类型的颜色响应性元件以及数量为Nk的对红色(R)光谱区敏感的第三类型的颜色响应性元件。
彩色成像装置400的实施方案解决了例如在其中成像传感器光学器件被衍射限制的情况下的衍射效应。在这样的装置400中，第一类型的颜色响应性元件、第二类型的颜色响应性元件和第三类型的颜色响应性元件的数量被排序为Nb > Ng并且Nb > Νκ。颜色响应性元件的数量被加权为偏向较低的波长(例如蓝色)，以允许成像传感器410在较不易经受衍射模糊化的波长处传感和/或记录景象的更多的分辨率信息。在装置400的一个形式中，Nb/(Nb+Ng+Ne)大于约1/2。在装置400的其中颜色响应性元件的阵列包括透射性蓝色(B)、绿色(G)和红色(R)滤色器像素的二维阵列的另一个形式中，蓝色⑶、绿色(G)、红色(R)像素的数量以约50%蓝色25%绿色和25%红色的比率。颜色响应性元件(410a/420a)的阵列可以包括透射性蓝色(B)、绿色(G)和红色(R)滤色器像素的具有MXM重复单元的二维阵列。MXM重复单元可以例如包括具有2个B像素、I个R像素和I个G像素的2X2阵列；具有5个B像素、2个R像素和2个G像素的3X3阵列；具有5个B像素、I个R像素和3个G像素的3X3阵列；具有8个B像素、3个R像素和5个G像素的4X4阵列；和/或具有13个B像素、5个R像素和7个G像素的5X5阵列。在装置400的又另一个形式中，颜色响应性元件(410a/420a)的阵列可以包括透射性蓝色(B)、绿色(G)、红色(R)和白色(W)滤色器像素的二维阵列。蓝色(B)像素、绿色(G)像素、红色(R)像素的数量可以以约50%蓝色25%绿色和25%红色的比率。此外，蓝色(B)像素、绿色(G)像素、红色(R)像素和(W)像素的数量可以被排序为蓝色>绿色、蓝色 > 红色并且蓝色 > 白色。透射性蓝色(B)、绿色(G)、红色(R)和白色(W)滤色器像素的二维阵列可以包括MXM重复单元。MXM重复单元可以例如包括具有4个B像素、I个R像素、2个G像素和I个W像素的3X3阵列；具有8个B像素、2个R像素、4个G像素和2个W像素的4X4阵列；和/或具有13个B像素、4个R像素、6个G像素和2个W像素的5X5阵列。在波长的方面，装置400中的颜色响应性元件(410a/420a)的阵列可以是对分别以波长λΒ、和λ κ为特征的蓝色光谱区、绿色光谱区和红色光谱区响应性的或选择性的。颜色响应性元件的阵列可以包括分别与λΒ、Xe和Xr的平方成比例的透射性蓝色(B)、绿色(G)和红色(R)滤色器像素420a的二维阵列。颜色响应性元件的阵列可以还包括数量为N4的对以波长λ 4为特征的第四光谱区敏感的第四类型的颜色响应性元件。在这样的情况下，颜色响应性元件的阵列可以包括以分别与λΒ、Υ(；、λκ和入4的近似平方成比例的数量的透射性蓝色(B)、绿色(G)、红色(R)和第四滤色器像素的二维阵列。虽然第一光谱区、第二光谱区、第三光谱区和第四光谱区在本文被标记或称呼作为蓝色区域、绿色区域、红色区域和白色区域，但是将理解，每个区域可以被识别为或相应于一个或多个其他颜色。例如，蓝色光谱区、绿色光谱区和红色光谱区相应于青色(cyan)颜色光谱区、黄色(yellow)颜色光谱区和洋红色(magenta)颜色光谱区。绿色光谱区可以例如相应于绿色光谱区和翡翠(emerald)光谱区，或相应于绿色光谱区和洋红色(magenta)光谱区。另外地或可选择地，蓝色光谱区可以，例如，相应于紫色(violet)光谱区。图5示出了示例性的彩色成像装置500。成像装置500可以包括聚焦元件，其具有焦距(F)并且被耦合于具有有效直径(D)的光圈。颜色响应性或敏感性元件(光传感器元件410a/透射性滤色器元件420a)的阵列可以在约焦距处被布置在成像平面中。颜色响应、性或敏感性元件可以相应于与一个或多个分别的颜色波长Xi，其中i = l、2、3、...n，相关联的一个或多个分离的颜色通道(i)。在阵列中的相应于具有最低的波长Y1的颜色通道的颜色响应性元件的数量可以大于在阵列中的相应于具有更高的波长λ 2的颜色通道的颜色响应性元件的近似数量(N2)。在装置500的实施方案中，颜色响应性元件的数量(Ni)可以被排序为使得N1 >N2' N1 > N3等等。例如，颜色响应性元件的数量Ni可以被排序为使得N1 > N2 ^ . . . ^ Nn0此外，例如，相应于颜色通道i的颜色响应性元件的数量Ni可以被排序为以与由具有直径D的圆形的光圈衍射的光的、近似在焦距F处的艾里斑直径I. 22*F/D Y ,的平方近似相同的比例。在装置500中，具有最低的波长Y1的颜色通道可以相应于蓝色光谱区、紫色光谱区或青色光谱区。具有高于Y1的波长的颜色通道可以相应于黄色光谱区、绿色光谱区、 翡翠光谱区、洋红色光谱区、红色光谱区和白色光谱区中的一个或多个。在示例性的装置500中，颜色通道i，i = 1、2和3，可以分别相应于蓝色⑶光谱区、绿色(G)光谱区和红色(R)光谱区。此外，在颜色通道i，i = 1、2和3，中的颜色响应性元件的相应的数量K、N2和N3可以被排序为N1 > N2并且N1 > N3。在示例性的装置500*,&/(&+%+%)可以大于约1/2。在示例性的装置500中的颜色响应性或选择性元件的阵列可以例如包括透射性蓝色⑶、绿色(G)和红色(R)滤色器像素的二维阵列，其中蓝色⑶、绿色(G)、红色(R)像素的数量以约50%蓝色25%绿色和25%红色的比率。颜色响应性或选择性元件的阵列可以包括透射性滤色器像素的具有MXM重复单元的二维阵列。MXM重复单元可以例如是具有2个B像素、I个R像素和I个G像素的2X2阵列；具有5个B像素、2个R像素和2个G像素的3 X 3阵列；具有5个B像素、I个R像素和3个G像素的3 X 3阵列；具有8个B像素、3个R像素和5个G像素的4X4阵列；和/或具有13个B像素、5个R像素和7个G像素的5X5阵列。可选择地或另外地，在示例性的装置500中的颜色响应性或选择性元件的阵列可以例如包括透射性蓝色(B)、绿色(G)、红色(R)和白色(W)滤色器像素的二维阵列，其中蓝色⑶、绿色(G)、红色(R)像素的数量以约2个蓝色2个绿色和I个红色的比率。蓝色(B)像素、绿色(G)像素、红色(R)像素和(W)像素的数量可以被排序为蓝色>绿色、蓝色>红色、蓝色> 白色。例如,蓝色⑶像素、绿色(G)像素、红色(R)像素和(W)像素的数量可以被排序为蓝色>绿色>红色> 白色。此外，颜色响应性元件的阵列可以包括透射性蓝色(B)、绿色(G)、红色(R)和白色(W)滤色器像素的具有MXM重复单元的二维阵列。MXM重复单元可以例如是具有4个B像素、I个R像素、2个G像素和I个W像素的3X3阵列；具有8个B像素、2个R像素、4个G像素和2个W像素的4X4阵列；和/或具有12个B像素、4个R像素、6个G像素和2个W像素的5X5阵列。另外地参照图5，成像装置400和500可以还包括或以其他方式被耦合于数据或信号处理器500，数据或信号处理器500包括合适的用于从被装置400和/或500传感或记录的像素强度数据逆马赛克变换或重建景象的彩色图像的数据处理例程。图6和7分别示出了示例性的彩色成像方法600和700。方法600包括提供颜色响应性元件的阵列(610)，以及将来自景象的光引导至颜色响应性元件的阵列上(620)。提供颜色响应性元件的阵列可以包括提供具有数量为Nb的对蓝色(B)光谱区敏感的第一类型的颜色响应性元件、数量为Ne的对绿色(G)光谱区敏感的第二类型的颜色响应性元件以及数量为Nk的对红色(R)光谱区敏感的第三类型的颜色响应性元件的颜色响应性元件的阵列(例如被耦合于透射性滤色器元件420a的阵列的光传感器410a)。第一类型的颜色响应性元件、第二类型的颜色响应性元件和第三类型的颜色响应性元件的数量可以被排序为Nb > Ng并且Nb > Nro第一类型的颜色响应性元件、第二类型的颜色响应性元件和第三类型的颜色响应性元件的数量可以，例如，被排序为Nb > Ne > Νκ。用于对景象成像的方法700可以包括提供具有焦距(F)的聚焦元件(710)，以及提供被耦合于聚焦元件的光圈，光圈具有有效直径(D) (720)。方法700可以还包括提供被布置在焦距处或接近焦距处的颜色响应性或敏感性元件的阵列(730)。颜色响应性或敏感性元件可以相应于分离的颜色通道⑴的集合，其中i = l、2、3...n。具有焦距F的聚焦元件可以被配置为将来自景象的光通过光圈引导在颜色响应性元件的阵列上(740)。在方法700中，每个颜色通道i可以与分别的颜色波长λ i相关联。在阵列中的相应于具有最低的波长Y1的颜色通道的颜色响应性元件的数量(N1)可以大于在阵列中的相应于具有更高的波长Y2的颜色通道的颜色响应性元件的近似数量(N2),并且相应于颜色通道i的颜色响应性元件的数量Ni可以被排序为使得N1 > N2^N1 > N3. . . N1 > Nn。相应于颜色通道i的颜色响应性元件的数量Ni可以，例如，被排序为使得N1 > N2彡...^ Nn0此夕卜，例如，相应于颜色通道i的颜色响应性元件的数量Ni可以按与由光圈衍射的波长Ai的光的、近似焦距处的艾里斑直径I. 22*F/DAi的平方近似相同的比例来排序。图8和9示出了另外的示例性的用于处理光强度数据以对景象成像的方法800和900。方法800和900可以例如使用数据或信号处理器500 (图5)或其他的被耦合于照相机或数字图像传感器(例如装置400或500)的处理装置来实施。将理解，照相机或数字图像传感器可以是具有常规的滤色器阵列(例如Bayer滤色器阵列)或任何其他的滤色器阵列(例如本文描述的CFA 100,200和300a-300h)的装置。方法800依赖于校正或去模糊化(de-smearing)被衍射模糊化的数据像素。参照图8，方法800包括提供具有由具有f制光圈(f)的成像装置采样的景象的光强度值的N个像素构成的阵列(810)。在N个像素构成的阵列中的NI个像素构成的第一子阵列可以具有相应于第一光谱波长Y1的光强度采样值。方法800还包括通过根据与成像装置对波长Y的光衍射相关联的艾里斑直径I. 22*f* Y修改第一子阵列中的NI个像素中的一个或多个中的光强度采样值来修改N个像素构成的阵列(820)，以及输出被修改的N个像素构成的阵列作为景象的图像代表(830)。修改光强度采样值820可以例如包括将光强度采样值与艾里斑直径I. 22*f* Y (例如艾里斑直径I. 22*f* Y J成比例地缩放。提供具有被成像装置采样的景象的光强度值的N个像素构成的阵列810可以，除提供NI个像素构成的第一子阵列之外，还包括提供具有相应于第二光谱波长Y2的光强度采样值的由N2个像素构成的第二子阵列。此外，修改在第一子阵列中的NI个像素中的一 个或多个中的光强度采样值可以，例如，包括与成像装置对第二光谱波长Y2的光衍射相关联的艾里斑直径I. 22*f* Y2成比例地修改光强度采样值和/或根据像素尺寸和艾里斑直径I. 22*f* Y 2来修改强度采样值。
方法800还可以包括估计在第一子阵列中的NI个像素中的一个或多个中的相应于第二光谱波长λ 2的光强度值，和/或进一步将在第一子阵列中的NI个像素中的一个或多个中的相应于第二光谱波长Y2的所估计的光强度值根据与成像装置对波长Y的光衍射相关联的艾里斑直径I. 22*f* Y的和/或根据像素尺寸和艾里斑直径I. 22*f* Y来修改。这样的修改可以，例如，校正可能已经因为衍射扩散或溢出像素边界的光强度。在被隔离的像素(例如被隔离的红色像素)的情况下，这样的修改可以例如增加被采样的强度值，以根据像素大小和对于红色波长的艾里斑直径来补偿可能已经因为衍射扩散或溢出像素边界的光强度。估计在第一子阵列中的NI个像素中的一个或多个中的相应于第二光谱波长Y2的光强度值可以包括采用多变量插值、最邻近插值、双线性插值、双三次插值、样条插值、Lanczos重采样和/或像素值的空间相关和/或光谱相关中的一个或多个。另外地或可选择地，估计在第一子阵列中的NI个像素中的一个或多个中的相应于第二光谱波长Y2的光强度值可以包括例如在频域中将像素值外推(或插值)。在方法800中，外推(或插值)相应于第二光谱波长Y2的光强度采样值可以是基于相应于第一光谱波长Y1的光强度采样值。相反地，方法800可以另外地或可选择地涉及基于相应于第二光谱波长Y2的光强度采样值外推(或插值)相应于第一光谱波长Y1的光强度米样值。方法800可以包括估计在第一子阵列中的NI个像素中的一个或多个中的相应于另外的波长(例如第三光谱波长λ3)的光强度值。参照图9，方法900包括提供由具有f制光圈(f)的成像装置采样的景象的光强度像素值的二维阵列(910)。二维阵列可以包括相应于与第一颜色波长Y1相关联的被采样的光强度值I : ! ( Y J的像素值的第一子阵列，和相应于与第二颜色波长λ2相关联的被采样的光强度值I被采m勺(λ 2)的像素值的不重叠的第二子阵列。方法900还包括对于在分别具有被米样的光强度值I被采样的(Y J和1( λ 2)的第一子阵列和第二子阵列中的一个或多个像素，估计分别相应于第二颜色波长λ 2和第一颜色波长Y1的未被采样的光强度值I ( Y 2)和I ( Y !) (920)。方法900还包括通过根据与成像装置对波长Y的光衍射相关联的艾里斑直径I. 22*f* Y修改在像素中的一个或多个中的被采样的和/或被估计的光强度值来修改N个像素构成的阵列(930)。根据艾里斑直径1.22*f*Y和像素尺寸修改像素中的一个或多个中的被采样的和/或被估计的光强度值可以，例如，校正可能已经因为在成像传感器光学器件中的衍射溢出或扩散超过像素边界的光强度。当Yl小于入2时，方法900可以涉及根据像素尺寸与相应于成像装置对较大的波长λ 2的光衍射的艾里斑直径I. 22*f* λ 2修改在像素中的一个或多个中的被采样的和/或被估计的光强度值。与在方法800中相似地，在方法900中，修改和/或估计对于一个或多个像素的未采样的光强度值可以涉及采用多变量插值、最邻近插值、双线性插值、双三次插值、样条插值、Lanczos重采样和/或像素值的空间相关和/或光谱相关中的一个或多个。另外地或可选择地，修改在像素中的一个或多个中的被采样的和/或被估计的光强度值可以包括在例如频域中将像素值外推(或插值)。外推(或插值)可以是基于相应于第一光谱波长^和/或第二光谱波长λ 2的光强度采样值。另外地或可选择地，修改和、/或估计光强度值可以包括在例如频域中将像素值外推(或插值)。此外，估计对于一个或多个像素的相应于第二光谱波长λ2的光强度值可以是基于相应于第一光谱波长Y1的光强度采样值，并且反之亦然。方法900可以还包括，对于分别具有被采样的光强度值IsU1)和IsU2)的第一子阵列和第二子阵列中的一个或多个像素，估计相应于第三光谱波长λ 3的未采样的光强度值。方法900还包括输出被采样的和/或被估计的光强度值的像素的被修改的阵列，作为景象的被逆马赛克变换的或被重建的图像代表或再现(940)。在方法800和900的上文的描述中指代的各种波长(例如Y工、λ 2和γ 3)可以相 应于具体的光谱区(例如与成像装置中的滤色器阵列相关联的光谱区)。例如，第一光谱波长Y !可以相应于在蓝色颜色、绿色颜色或红色颜色光谱带中的波长。用于通过对衍射效应进行补偿或校正而从图像传感器像素数据逆马赛克变换或重建彩色图像的方法(例如方法800和900)可以使用任何合适的数据和/或信号处理装置来实施。图10示出了示例性的用于从图像传感器/滤色器阵列数据来逆马赛克变换或重建图像的系统1000的部件，系统1000包括电路1010、电路1020、电路1030和电路1040，它们可以被合适地配置为相继地、迭代地或并行地处理图像传感器像素数据。电路1010可以被配置为接收原始图像数据，例如具有由具有f制光圈(f)的成像装置采样的景象的光强度值的像素的二维阵列。像素的阵列可以包括相应于与第一颜色波长Y工相关联的被米样的光强度值Is ( Y D的像素值的第一子阵列，和相应于与第二颜色波长Y2相关联的被采样的光强度值Is (Y2)的像素值的不重叠的第二子阵列。第一光谱波长Y1可以，例如，相应于在蓝色颜色、绿色颜色或红色颜色光谱带中的波长。第二光谱波长Y1可以相应于另一个颜色光谱带。电路1020可以被配置为，对于在分别具有被米样的光强度值Is ( Y D和Is(Y2)的第一子阵列和第二子阵列中的一个或多个像素，估计相应于第二颜色波长λ 2的未采样的光强度值IeO2)和相应于第一颜色波长Y I的未米样的光强度值Ie ( Y J。电路1020可以包括被配置为应用多变量插值、最邻近插值、双线性插值、双三次插值、样条插值和/或Lanczos重采样中的一个或多个的电路和/或被配置为对像素值应用空间相关和/或光谱相关的电路。另外地或可选择地，电路1020可以包括在例如频域中将像素值外推(或插值)的电路。被配置为外推(或插值)像素值的电路可以被配置为基于相应于第一光谱波长Y !的光强度采样值外推(或插值)相应于第二光谱波长Y 2的光强度采样值，和/或反之亦然。可选择地或另外地，被配置为估计对于一个或多个像素的未采样的光强度值的电路可以包括被配置为，对于分别具有被采样的光强度值Is(Y1)和Is(Y2)的第一子阵列和第二子阵列中的一个或多个像素，估计相应于第三光谱波长Y3的未采样的光强度值的电路。电路1030可以被配置为通过根据与在成像装置中对波长Y的光衍射相关联的艾里斑直径I. 22*f* Y修改在像素中的一个或多个中的被采样的和/或被估计的光强度值(例如Is( Y D、Is( Y2)、Ie( Y D和/或Ie ( Y2))来修改N个像素构成的阵列。被配置为通过修改被采样的和/或被估计的光强度值修改N个像素构成的阵列的电路1030可以包括被配置为根据像素尺寸与相应于成像装置对波长Y的光衍射的艾里斑直径I. 22*f* Y的比率修改在像素中的一个或多个中的被采样的和/或被估计的光强度值的电路。对于其中Y1小于λ 2的情况，电路可以被配置为根据像素尺寸与相应于成像装置对波长Y 2的光衍射的艾里斑直径I. 22*f* λ 2的比率修改在像素中的一个或多个中的被采样的和/或被估计的光强度值。
最后，电路1040可以被配置为将被采样的和/或被估计的光强度值的像素的被修改的阵列作为景象的部分的或全部的彩色图像代表或再现输出至显示器或另外的处理器。在系统1000的上文的描述中指代的各种波长(例如L、入2和γ3)可以相应于具体的光谱区(例如与成像装置中的滤色器阵列相关联的光谱区)。例如，第一光谱波长Y !可以相应于在蓝色颜色、绿色颜色或红色颜色光谱带中的波长。将理解，本文公开的主题内容的各种方面和实施方案的描述仅是为了例证的目的，并且不意图限制本公开内容的真正的范围和精神。还将理解，本文公开的主题内容可以使用硬件和软件的任何合适的组合实施。用于实施和操作上文提到的成像系统和相关联的逆马赛克变换技术的软件(即指令)可以在计算机可读的介质上提供，计算机可读的介质可以包括但不限于固件、存储器、存储设备、微控制器、微处理器、集成电路、ASICS、可在线下载的介质、和其他的可用的介质。
权利要求
1.一种彩色成像装置，包括 颜色响应性元件的阵列，其中所述颜色响应性元件的阵列包括数量为Nb的对蓝色(B)光谱区敏感的第一类型的颜色响应性元件、数量为^的对绿色(G)光谱区敏感的第二类型的颜色响应性元件以及数量为Nk的对红色(R)光谱区敏感的第三类型的颜色响应性元件，并且其中所述第一类型的颜色响应性元件、所述第二类型的颜色响应性元件和所述第三类型的颜色响应性元件的所述数量被排序为Nb > Ng并且Nb > Nk。
2.根据权利要求I所述的装置，其中乂/㈨+凡+乂)大于约1/2。
3.根据权利要求I所述的装置，其中所述颜色响应性元件的阵列中的颜色响应性元件包括光传感器和透射性滤色器。
4.根据权利要求I所述的装置，其中所述颜色响应性元件的阵列包括透射性蓝色(B)滤色器像素、绿色(G)滤色器像素和红色(R)滤色器像素的二维阵列，并且其中所述蓝色(B)像素、所述绿色(G)像素、所述红色(R)像素的数量的比率为约50%蓝色25%绿色25%红色。
5.根据权利要求I所述的装置，其中所述颜色响应性元件的阵列包括透射性蓝色(B)、绿色(G)和红色(R)滤色器像素的具有MXM重复单元的二维阵列。
6.根据权利要求5所述的装置，其中所述MXM重复单元包括具有2个B像素、I个R像素和I个G像素的2X2阵列。
7.根据权利要求5所述的装置，其中所述MXM重复单元包括具有5个B像素、2个R像素和2个G像素的3X3阵列。
8.根据权利要求5所述的装置，其中所述MXM重复单元包括具有5个B像素、I个R像素和3个G像素的3X3阵列。
9.根据权利要求5所述的装置，其中所述MXM重复单元包括具有8个B像素、3个R像素和5个G像素的4X4阵列。
10.根据权利要求5所述的装置，其中所述MXM重复单元包括具有13个B像素、5个R像素和7个G像素的5 X 5阵列。
11.根据权利要求I所述的装置，其中所述颜色响应性元件的阵列包括透射性蓝色(B)、绿色(G)、红色(R)和白色(W)滤色器像素的二维阵列。
12.根据权利要求11所述的装置，其中所述蓝色(B)像素、所述绿色(G)像素、所述红色(R)像素的数量的比率为约50%蓝色25%绿色25%红色。
13.根据权利要求11所述的装置，其中所述蓝色(B)像素、所述绿色(G)像素、所述红色(R)像素和所述(W)像素的数量被排序为蓝色>绿色、蓝色>红色和蓝色> 白色。
14.根据权利要求I所述的装置，其中所述颜色响应性元件的阵列包括透射性蓝色(B)、绿色(G)、红色(R)和白色(W)滤色器像素的具有MXM重复单元的二维阵列。
15.根据权利要求14所述的装置，其中所述MXM重复单元包括具有4个B像素、I个R、2个G、1个W的3X3阵列。
16.根据权利要求14所述的装置，其中所述MXM重复单元包括具有8个B像素、2个R像素、4个G像素、2个W像素的4X4阵列。
17.根据权利要求14所述的装置，其中所述MXM重复单元包括具有13个B像素、4个R像素、6个G像素、2个W像素的5X5阵列。
18.根据权利要求I所述的装置，其中所述蓝色光谱区、所述绿色光谱区和所述红色光谱区分别以波长Xb、Y(^P Xk为特征，并且其中所述颜色响应性元件的阵列包括数量分别与入B、^和Ak的平方成比例的透射性蓝色⑶、绿色(G)和红色(R)滤色器像素的二维阵列。
19.根据权利要求I所述的装置，其中所述蓝色光谱区、所述绿色光谱区和所述红色光谱区分别以波长XB、Y(；和Xk为特征，其中所述颜色响应性元件的阵列还包括数量为N4的对以波长入4为特征的第四光谱区敏感的第四类型的颜色响应性元件，并且其中所述颜色响应性元件的阵列包括数量分别与X B、Y p X4的近似平方成比例的透射性蓝色(B)、绿色(G)、红色(R)和第四滤色器像素的二维阵列。
20.根据权利要求I所述的装置，其中所述蓝色光谱区、所述绿色光谱区和所述红色光谱区相应于青色颜色光谱区、黄色颜色光谱区和洋红色颜色光谱区。
21.根据权利要求I所述的装置，其中所述绿色光谱区相应于绿色颜色光谱区和翡翠颜色光谱区。
22.根据权利要求I所述的装置，其中所述绿色光谱区相应于绿色颜色光谱区和洋红色颜色光谱区。
23.根据权利要求I所述的装置，其中所述蓝色光谱区相应于紫色颜色光谱区。
24.一种成像装置，包括 聚焦元件，其具有焦距(F)； 光圈，其耦合于所述聚焦元件，所述光圈具有有效直径(D);以及 颜色响应性元件的阵列，其被布置在所述焦距处或接近所述焦距处，其中所述颜色敏感元件相应于分离的颜色通道Q)的集合，其中i = l、2、3、...n, 其中每个颜色通道i与分别的颜色波长、i相关联，并且 其中在所述阵列中的相应于具有最低的波长Y1的颜色通道的颜色响应性元件的数量(N1)大于在所述阵列中的相应于具有更高的波长X2的颜色通道的颜色响应性元件的近似数量(N2)。
25.根据权利要求24所述的装置，其中相应于颜色通道i的颜色响应性元件的数量Ni被排序为使得 N1 > N2、N1 > N3.、N1 > Nn。
26.根据权利要求24所述的装置，其中相应于颜色通道i的颜色响应性元件的数量Ni被排序为使得NI > N2彡…彡Nn。
27.根据权利要求24所述的装置，其中相应于颜色通道i的颜色响应性元件的数量Ni按与在由具有有效直径(D)的所述光圈在波长Yi衍射的光的、近似在所述焦距F处的艾里斑直径I. 22*F/D A j的平方近似相同的比例排序。
28.根据权利要求24所述的装置，其中具有所述最低的波长Y1的所述颜色通道相应于蓝色颜色光谱区。
29.根据权利要求24所述的装置，其中具有所述最低的波长Y1的所述颜色通道相应于紫色颜色光谱区。
30.根据权利要求24所述的装置，其中具有所述最低的波长Y1的所述颜色通道相应于青色颜色光谱区。
31.根据权利要求24所述的装置，其中具有高于Y1的波长的颜色通道相应于黄色颜色光谱区、绿色颜色光谱区、翡翠颜色光谱区、洋红色颜色光谱区、红色颜色光谱区和白色颜色光谱区中的一个或多个。
32.根据权利要求24所述的装置，其中所述颜色通道i，i= 1、2和3，分别相应于蓝色(B)光谱区、绿色(G)光谱区和红色(R)光谱区，并且其中在所述颜色通道i中的颜色响应性元件的相应的数量N:、N2和N3被排序为N1 > N2并且N1 > N3。
33.根据权利要求32所述的装置，其中N1ANJNfN3)大于约1/3。
34.根据权利要求24所述的装置，其中所述颜色响应性元件包括光传感器和透射性滤色器。
35.根据权利要求24所述的装置，其中所述颜色响应性元件的阵列包括透射性蓝色(B)、绿色(G)和红色(R)滤色器像素的二维阵列，并且其中所述蓝色(B)像素、所述绿色(G)像素、所述红色(R)像素的数量的比率为约50%蓝色25%绿色25%红色。
36.根据权利要求24所述的装置，其中所述颜色响应性元件的阵列包括透射性蓝色(B)、绿色(G)和红色(R)滤色器像素的具有MXM重复单元的二维阵列。
37.根据权利要求36所述的装置，其中所述MXM重复单元包括具有2个B像素、I个R像素和I个G像素的2X2阵列。
38.根据权利要求36所述的装置，其中所述MXM重复单元包括具有5个B像素、2个R像素和2个G像素的3X3阵列。
39.根据权利要求36所述的装置，其中所述MXM重复单元包括具有5个B像素、I个R像素和3个G像素的3X3阵列。
40.根据权利要求36所述的装置，其中所述MXM重复单元包括具有8个B像素、3个R像素和5个G像素的4X 4阵列。
41.根据权利要求36所述的装置，其中所述MXM重复单元包括具有13个B像素、5个R像素和7个G像素的5 X 5阵列。
42.根据权利要求24所述的装置，其中所述颜色响应性元件的阵列包括透射性蓝色(B)、绿色(G)、红色(R)和白色(W)滤色器像素的二维阵列。
43.根据权利要求42所述的装置，其中所述蓝色(B)像素、所述绿色(G)像素、所述红色(R)像素的数量的比率为约50%蓝色25%绿色25%红色。
44.根据权利要求42所述的装置，其中所述蓝色(B)像素、所述绿色(G)像素、所述红色(R)像素和所述(W)像素的数量被排序为蓝色>绿色>红色> 白色。
45.根据权利要求24所述的装置，其中所述颜色响应性元件的阵列包括透射性蓝色(B)、绿色(G)、红色(R)和白色(W)滤色器像素的具有MXM重复单元的二维阵列。
46.根据权利要求45所述的装置，其中所述MXM重复单元包括具有4个B像素、I个R、2个G像素和I个W像素的3X3阵列。
47.根据权利要求45所述的装置，其中所述MXM重复单元包括具有8个B像素、2个R像素、4个G像素和2个W像素的4X4阵列。
48.根据权利要求45所述的装置，其中所述MXM重复单元包括具有13个B像素、4个R像素、6个G像素和2个W像素的5X5阵列。
49.一种方法,包括 提供颜色响应性元件的阵列；以及将光从景象引导至所述颜色响应性元件的阵列上， 其中所述颜色响应性元件的阵列包括数量为Nb的对蓝色(B)光谱区敏感的第一类型的颜色响应性元件、数量为^的对绿色(G)光谱区敏感的第二类型的颜色响应性元件以及数量为Nk的对红色(R)光谱区敏感的第三类型的颜色响应性元件，并且 其中所述第一类型的颜色响应性元件、所述第二类型的颜色响应性元件和所述第三类型的颜色响应性元件的数量被排序为Nb >凡> Nk。
50.根据权利要求49所述的方法，其中提供颜色响应性元件的阵列包括提供被耦合于透射性滤色器的阵列的光传感器的阵列。
51.根据权利要求49所述的方法，还包括传感和记录被引导至对蓝色(B)光谱区敏感的颜色响应性元件、对绿色(G)光谱区敏感的颜色响应性元件以及对红色(R)光谱区敏感 的颜色响应性元件的阵列的、来自所述景象的光强度。
52.根据权利要求49所述的方法，其中Nb/(乂+凡+乂)大于或等于约1/2。
53.根据权利要求49所述的方法，其中所述颜色响应性元件的阵列包括透射性蓝色(B)、绿色(G)和红色(R)滤色器像素的二维阵列，并且其中所述蓝色(B)像素、所述绿色(G)像素、所述红色(R)像素的数量的比率为约50%蓝色25%绿色25%红色。
54.根据权利要求49所述的方法，其中所述颜色响应性元件的阵列包括透射性蓝色(B)、绿色(G)和红色(R)滤色器像素的具有MXM重复单元的二维阵列。
55.根据权利要求54所述的方法，其中所述MXM重复单元包括具有2个B像素、I个R像素和I个G像素的2X2阵列。
56.根据权利要求54所述的方法，其中所述MXM重复单元包括具有5个B像素、2个R像素和2个G像素的3X3阵列。
57.根据权利要求54所述的方法，其中所述MXM重复单元包括具有5个B像素、I个R像素和3个G像素的3X3阵列。
58.根据权利要求54所述的方法，其中所述MXM重复单元包括具有8个B像素、3个R像素和5个G像素的4 X 4阵列。
59.根据权利要求54所述的方法，其中所述MXM重复单元包括具有13个B像素、5个R像素和7个G像素的5 X 5阵列。
60.根据权利要求49所述的方法，其中所述颜色响应性元件的阵列包括透射性蓝色(B)、绿色(G)、红色(R)和白色(W)滤色器像素的二维阵列。
61.根据权利要求60所述的方法，其中所述蓝色(B)像素、所述绿色(G)像素、所述红色(R)像素的数量的比率为约50%蓝色25%绿色25%红色。
62.根据权利要求60所述的方法，其中所述蓝色(B)像素、所述绿色(G)像素、所述红色(R)像素和所述(W)像素的数量被排序为蓝色>绿色>红色> 白色。
63.根据权利要求49所述的方法，其中所述颜色响应性元件的阵列包括透射性蓝色(B)、绿色(G)、红色(R)和白色(W)滤色器像素的具有MXM重复单元的二维阵列。
64.根据权利要求63所述的方法，其中所述MXM重复单元包括具有4个B像素、I个R像素、2个G像素和I个W像素的3X3阵列。
65.根据权利要求63所述的方法，其中所述MXM重复单元包括具有8个B像素、2个R像素、4个G像素和2个W像素的4X4阵列。
66.根据权利要求63所述的方法，其中所述MXM重复单元包括具有123个B像素、4个R像素、6个G像素和2个W像素的5X5阵列。
67.根据权利要求49所述的方法，其中所述蓝色光谱区、所述绿色光谱区和所述红色光谱区分别以波长XB、Xk为特征，并且其中所述颜色响应性元件的阵列包括数量分别与XB、^和Xk的近似平方成比例的透射性蓝色⑶、绿色(G)和红色(R)滤色器像素的二维阵列。
68.根据权利要求49所述的方法，其中所述蓝色光谱区、所述绿色光谱区和所述红色光谱区分别以波长Xb、Y(^P Xk为特征，其中所述颜色响应性元件的阵列还包括数量为N4的对以波长入4为特征的第四光谱区敏感的第四类型的颜色响应性元件，并且其中所述颜色响应性元件的阵列包括数量分别与X B、Y p X4的近似平方成比例的透射性蓝色(B)、绿色(G)、红色(R)和第四滤色器像素的二维阵列。
69.根据权利要求49所述的方法，其中所述蓝色光谱区、所述绿色光谱区和所述红色光谱区分别相应于青色颜色、黄色颜色和洋红色颜色。
70.根据权利要求49所述的方法，其中所述绿色光谱区相应于绿色颜色和翡翠颜色。
71.根据权利要求49所述的方法，其中所述绿色光谱区相应于绿色颜色和洋红色颜色。
72.根据权利要求49所述的方法，其中所述蓝色光谱区相应于紫色颜色。
73.一种用于景象成像的方法，包括 提供具有焦距(F)的聚焦元件； 提供被耦合于所述聚焦元件的光圈，所述光圈具有有效直径(D);以及 提供被布置在所述焦距处或接近所述焦距处的图像平面中的颜色响应性元件的阵列， 其中所述颜色响应性元件相应于分离的颜色通道(i)的集合，其中i = l、2、3、...n， 其中每个颜色通道i与分别的颜色波长Y i相关联， 其中在所述阵列中的相应于具有最低的波长Y1的颜色通道的颜色响应性元件的数量(N1)大于在所述阵列中的相应于具有更高的波长X2的颜色通道的颜色响应性元件的近似数量(N2)，并且 其中所述聚焦元件被配置为将来自所述景象的光通过所述光圈引导在所述颜色响应性元件的阵列上。
74.根据权利要求73所述的方法，其中相应于颜色通道i的颜色响应性元件的所述数量Ni被排序为使得N1 > N2彡…彡Nn。
75.根据权利要求73所述的方法，其中相应于颜色通道i的颜色响应性元件的所述数量队按与在由所述光圈衍射的波长\ i的光的近似焦距处的艾里斑直径I. 22*F/DX i的平方近似相同的比例排序。
76.根据权利要求73所述的方法，其中具有所述最低的波长Y1的所述颜色通道相应于蓝色颜色。
77.根据权利要求73所述的方法，其中具有所述最低的波长Y1的所述颜色通道相应于紫色颜色。
78.根据权利要求73所述的方法，其中具有所述最低的波长Y1的所述颜色通道相应于青色颜色。
79.根据权利要求73所述的方法，其中具有所述最低的波长Y1的所述颜色通道相应于紫色颜色。
80.根据权利要求73所述的方法，其中具有高于Y1的波长的所述颜色通道相应于黄色颜色、绿色颜色、翡翠颜色、洋红色颜色、红色颜色和白色颜色中的一个或多个。
81.根据权利要求73所述的方法，其中所述颜色通道i，i= 1、2和3，分别相应于蓝色(B)光谱区、绿色(G)光谱区和红色(R)光谱区，并且其中在所述颜色通道中的颜色响应性元件的相应的数量K、N2和N3被排序为N1 > N2 > N3。
82.根据权利要求73所述的方法，其中N^(NJNfN3)大于约1/3。
83.根据权利要求73所述的方法，其中所述颜色响应性元件的阵列中的颜色响应性元件包括光传感器和透射性滤色器。
84.根据权利要求73所述的方法，其中所述颜色响应性元件的阵列包括透射性蓝色(B)、绿色(G)和红色(R)滤色器像素的二维阵列，并且其中所述蓝色(B)像素、所述绿色(G)像素、所述红色(R)像素的数量的比率为约50%蓝色25%绿色25%红色。
85.根据权利要求73所述的方法，其中所述颜色响应性元件的阵列包括透射性蓝色(B)、绿色(G)和红色(R)滤色器像素的具有MXM重复单元的二维阵列。
86.根据权利要求85所述的方法，其中所述MXM重复单元包括具有2个B像素、I个R像素和I个G像素的2X2阵列。
87.根据权利要求85所述的方法，其中所述MXM重复单元包括具有5个B像素、2个R像素和2个G像素的3X3阵列。
88.根据权利要求85所述的方法，其中所述MXM重复单元包括具有5个B像素、I个R像素和3个G像素的3X3阵列。
89.根据权利要求85所述的方法，其中所述MXM重复单元包括具有8个B像素、3个R像素和5个G像素的4 X 4阵列。
90.根据权利要求85所述的方法，其中所述MXM重复单元包括具有13个B像素、5个R像素和7个G像素的5 X 5阵列。
91.根据权利要求73所述的方法，其中所述颜色响应性元件的阵列包括透射性蓝色(B)、绿色(G)、红色(R)和白色(W)滤色器像素的二维阵列。
92.根据权利要求91所述的方法，其中所述蓝色(B)像素、所述绿色(G)像素、所述红色(R)像素的数量的比率为约50%蓝色25%绿色25%红色。
93.根据权利要求91所述的方法，其中所述蓝色(B)像素、所述绿色(G)像素、所述红色(R)像素和所述(W)像素的数量被排序为蓝色>绿色>红色> 白色。
94.根据权利要求91所述的方法，其中所述颜色响应性元件的阵列包括透射性蓝色(B)、绿色(G)、红色(R)和白色(W)滤色器像素的具有MXM重复单元的二维阵列。
95.根据权利要求94所述的方法，其中所述MXM重复单元包括具有4个B像素、I个R像素、2个G像素和I个W像素的3X3阵列。
96.根据权利要求94所述的方法，其中所述MXM重复单元包括具有8个B像素、2个R像素、4个G像素和2个W像素的4X4阵列。
97.根据权利要求94所述的方法，其中所述MXM重复单元包括具有13个B像素、4个R像素、6个G像素和2个W像素的5X5阵列。
98.—种方法,包括 提供N个像素构成的阵列，该N个像素构成的阵列具有由具有f制光圈(f)的成像装置采样的景象的光强度值，其中在所述N个像素构成的阵列中的NI个像素构成的第一子阵列具有相应于第一光谱波长Y1的光强度采样值； 通过根据与所述成像装置对波长λ的光衍射相关联的艾里斑直径I. 22*f* Y修改所述第一子阵列中的所述NI个像素中的一个或多个中的所述光强度采样值来修改所述N个像素构成的阵列；以及 输出所述被修改的N个像素构成的阵列作为所述景象的图像代表。
99.根据权利要求98所述的方法，其中修改所述N个像素构成的阵列包括根据与所述成像装置对波长Y !的光衍射相关联的艾里斑直径I. 22*f* Y !修改在所述第一子阵列中的所述NI个像素中的一个或多个中的所述光强度采样值。
100.根据权利要求98所述的方法，其中根据像素尺寸与艾里斑直径I.22*f* Y i的比率修改在所述第一子阵列中的所述NI个像素中的一个或多个中的所述光强度采样值。
101.根据权利要求98所述的方法，其中提供N个像素构成的阵列还包括提供具有N2个像素构成的第二子阵列的N个像素构成的阵列，所述N2个像素构成的第二子阵列具有相应于第二光谱波长、2的光强度米样值。
102.根据权利要求101所述的方法，其中修改所述N个像素构成的阵列包括根据与所述成像装置对波长Y 2的光衍射相关联的艾里斑直径I. 22*f* λ 2修改在所述第一子阵列中的所述NI个像素中的一个或多个中的所述光强度采样值。
103.根据权利要求101所述的方法，还包括估计在所述第一子阵列中的所述NI个像素中的一个或多个中的相应于所述第二光谱波长Y2的光强度值。
104.根据权利要求103所述的方法，还包括根据与所述成像装置对波长Y的光衍射相关联的艾里斑直径I. 22*f* Y修改在所述第一子阵列中的所述NI个像素中的一个或多个中的相应于所述第二光谱波长Y2的所估计的光强度值。
105.根据权利要求104所述的方法，其中修改在所述第一子阵列中的所述NI个像素中的一个或多个中的相应于所述第二光谱波长Y2的所估计的光强度值包括根据像素尺寸与相应于所述成像装置对波长Y的光衍射的艾里斑直径I. 22*f* Y修改所估计的光强度值。
106.根据权利要求103所述的方法，其中估计在所述第一子阵列中的所述NI个像素中的一个或多个中的相应于所述第二光谱波长Y2的光强度值包括采用多变量插值、最邻近插值、双线性插值、双三次插值、样条插值和/或Lanczos重采样中的一个或多个。
107.根据权利要求103所述的方法，其中估计在所述第一子阵列中的所述NI个像素中的一个或多个中的相应于所述第二光谱波长Y2的光强度值包括像素值的空间相关和/或光谱相关。
108.根据权利要求103所述的方法，其中估计在所述NI个像素中的一个或多个中的相应于所述第二光谱波长Y2的光强度值包括在频域中对像素值进行外推。
109.根据权利要求103所述的方法，其中估计在所述NI个像素中的一个或多个中的相应于所述第二光谱波长Y2的光强度值包括基于相应于所述第一光谱波长Y1的光强度采样值外推相应于所述第二光谱波长Y2的光强度采样值。
110.根据权利要求103所述的方法，还包括估计在所述第一子阵列中的所述NI个像素中的一个或多个中的相应于第三光谱波长λ 3的光强度值。
111.根据权利要求98所述的方法，其中所述第一光谱波长Y1相应于在蓝色颜色、绿色颜色或红色颜色光谱带中的波长。
112.—种方法,包括 提供具有由具有f制光圈(f)的成像装置采样的景象的光强度值的像素的二维阵列，其中像素的第一子阵列相应于与第一颜色波长Y I相关联的被米样的光强度值I(Y1),并且像素的不重叠的第二子阵列相应于与第二颜色波长Y 2相关联的被采样的光强度值 I ( Y 2); 对于在分别具有被采样的光强度值Ittaww (Y1)和I _ U2)的所述第一子阵列和所述第二子阵列中的一个或多个像素，估计分别相应于所述第二颜色波长Y2的未采样的光强度值I MiifM ( Y 2)和相应于所述第一颜色波长Y i的I MiifM ( Y ι); 通过根据与所述成像装置对波长Y的光衍射相关联的艾里斑直径I. 22*f* Y修改所述被米样的和/或被估计的光强度值(I被采样M ( Y l) > I ( Y 2)、I ( Y I)、I被采样的(Y2))中的一个或多个来修改像素的所述阵列；以及 输出被采样的和/或被估计的光强度值的像素的经修改的阵列作为所述景象的全部的或部分的彩色图像代表。
113.根据权利要求112所述的方法，还包括根据像素尺寸与相应于所述成像装置对波长λ的光衍射的艾里斑直径I. 22*f* Y的比率修改在所述像素中的一个或多个中的所述被采样的和/或被估计的光强度值。
114.根据权利要求112所述的方法，其中Yl小于Y2，所述方法还包括根据像素尺寸与相应于所述成像装置对波长Y 2的光衍射的艾里斑直径I. 22*f* Y 2的比率修改在所述像素中的一个或多个中的所述被采样的和/或被估计的光强度值。
115.根据权利要求112所述的方法，其中估计对于一个或多个像素的未采样的光强度值包括采用多变量插值、最邻近插值、双线性插值、双三次插值、样条插值和/或Lanczos重米样中的一个或多个。
116.根据权利要求112所述的方法，其中估计对于一个或多个像素的未采样的光强度值包括像素值的空间相关和/或光谱相关。
117.根据权利要求112所述的方法，其中估计对于一个或多个像素的未采样的光强度值包括在频域中对像素值进行外推。
118.根据权利要求112所述的方法，其中估计对于一个或多个像素的相应于所述第二光谱波长Y2的光强度值包括基于相应于所述第一光谱波长Y i的光强度采样值外推相应于所述第二光谱波长Y2的光强度米样值。
119.根据权利要求112所述的方法，还包括，对于分别具有被采样的光强度值Is(Y1)与Is(Y2)的所述第一子阵列和所述第二子阵列中的一个或多个像素，估计相应于第三光谱波长Y3的未采样的光强度值。
120.根据权利要求112所述的方法，其中所述第一光谱波长Y1相应于在蓝色颜色、绿色颜色或红色颜色光谱带中的波长。
121.—种系统,包括 被配置为接收具有由具有f制光圈(f)的成像装置采样的景象的光强度值的像素构成的二维阵列的电路，其中像素的第一子阵列相应于与第一颜色波长Y1相关联的被采样的光强度值Is ( Y J，并且像素的不重叠的第二子阵列相应于与第二颜色波长Y 2相关联的被米样的光强度值Is ( Y 2)； 被配置为对于分别具有被采样的光强度值Is (Y1)和Is(Y2)的所述第一子阵列和所述第二子阵列中的一个或多个像素，估计相应于所述第二颜色波长Y2的未采样的光强度值Ie ( Y 2)和/或相应于所述第一颜色波长Y I的未米样的光强度值Ie ( Y J的电路； 被配置为通过根据与所述成像装置对波长Y的光衍射相关联的艾里斑直径I.22*f* Y修改在所述像素中的一个或多个中的所述被采样的和/或被估计的光强度值来修改所述N个像素构成的阵列的电路；以及 被配置为将被采样的和/或被估计的光强度值的像素的经修改的阵列作为所述景象的部分的或全部的彩色图像代表输出至显示器或另外的处理器的电路。
122.根据权利要求121所述的系统，其中所述被配置为修改所述N个像素构成的阵列的电路包括被配置为根据像素尺寸与相应于所述成像装置对波长λ的光衍射的艾里斑直径I. 22*f* Y的比率修改在所述像素中的一个或多个中的所述被采样的和/或被估计的光强度值的电路。
123.根据权利要求121所述的系统，其中Yl小于Y2，并且其中所述被配置为修改所述N个像素构成的阵列的电路包括被配置为根据像素尺寸与相应于所述成像装置对波长Y2的光衍射的艾里斑直径I. 22*f* Y2的比率修改在所述像素中的一个或多个中的所述被采样的和/或被估计的光强度值的电路。
124.根据权利要求121所述的系统，其中所述被配置为估计对于一个或多个像素的未采样的光强度值的电路包括被配置为应用多变量插值、最邻近插值、双线性插值、双三次插值、样条插值和/或Lanczos重采样中的一个或多个的电路。
125.根据权利要求121所述的系统，其中所述被配置为估计对于一个或多个像素的未采样的光强度值的电路包括被配置为应用像素值的空间相关和/或光谱相关的电路。
126.根据权利要求121所述的系统，其中所述被配置为估计对于一个或多个像素的未采样的光强度值的电路包括被配置为在频域中对像素值进行外推的电路。
127.根据权利要求121所述的系统，其中所述被配置为估计对于一个或多个像素的未采样的光强度值的电路包括被配置为基于相应于所述第一光谱波长Y1的光强度采样值外推相应于所述第二光谱波长Y2的光强度采样值的电路。
128.根据权利要求121所述的系统，还包括被配置为，对于分别具有被采样的光强度值Is(Y1)和Is(Y2)的所述第一子阵列和所述第二子阵列中的一个或多个像素，估计相应于第三光谱波长Y3的未采样的光强度值的电路。
129.根据权利要求121所述的系统，其中所述第一光谱波长Y1相应于在蓝色颜色、绿色颜色或红色颜色光谱带中的波长。
全文摘要
提供用于使用衍射受限光学器件对景象成像的滤色器阵列或马赛克。颜色类型在滤色器阵列中的分布被朝向较小的波长偏置，以避免或减小由在较高的波长的更大程度的衍射导致的在较高的波长的空间分辨率信息的损失。用于从原始图像数据重建部分的或全部的彩色图像的逆马赛克变换方法涉及应用校正因子以将衍射考虑在内。校正因子是基于像素大小和/或对衍射的程度的测量(例如对于滤色器阵列中的每个波长的艾里斑直径)。
文档编号H04N9/083GK102640501SQ201080041144
公开日2012年8月15日 申请日期2010年7月15日 优先权日2009年7月17日
发明者内森·P·米佛德 申请人:希尔莱特有限责任公司