专利名称：四通道滤色器阵列内插的制作方法
技术领域：
本发明涉及用来自滤色器阵列图像的改进的空间分辨率来产生全色图像，所述滤色器阵列图像具有色彩通道和全色通道。
背景技术：
单传感器数字照相机采用滤色器阵列(CFA)来从单个具有感光像素的二维阵列中捕捉全色信息。CFA包括过滤由每一个像素所探测的光的滤色器的阵列。因此，每一个像素接收来自仅一个色彩的光，或者在全色或者“干净”滤色器的情况下，接收来自所有色彩的光。为了从CFA图像再现全色图像，必须在每一个像素位置产生三个色彩值。这通过从相邻的像素值内插丢失的色彩值来完成。已知的最好的CFA图案使用三色彩通道，如Bayer (美国专利号3971065)所描述且在图2中所示出。Bayer的CFA具有可实现全色重现能力的三色彩通道。然而，三通道的确切的频谱响应(“色彩”)呈现出折衷。为了改进色彩保真以及扩大可由CFA捕捉的色彩范围(也就是，色域)，需要使频谱响应更为选择性(“变窄”)。这具有副作用，降低达到像素的光的总量，且，因此，减少了对光的灵敏度。因此，像素值变得更容易受到来自非图像源的噪声(如，热噪声)的影响。噪声问题的一个解决方法是使CFA频谱响应较欠选择性 (“变宽”)来增加到达像素的光的总量。然而，这会遇到降低色彩保真的副作用。解决三通道CFA限制的方法是采用含有带“较窄”的频谱选择性的三个色彩和带有“较宽”频谱选择性的一个色彩的四通道CFA。“最宽的”这个通道可能是全色的或者“干净的”，其可敏感于全光谱。三个“窄带宽”的色彩通道将产生带有更高的色彩保真度和较低的空间分辨率的图像，而第四个“宽带宽”全色通道将产生带有较低噪声和较高空间分辨率的图像。然后，可将这些高色彩保真度、低空间分辨率和低噪声、高空间分辨率的图像合并为最终的高色彩保真度、低噪声、高空间分辨率的图像。为了在保持来自色彩像素的高色彩保真度的同时产生高空间分辨率的全色图像，必须适当地选择CFA中全色像素的数量和配置以及相应的内插算法。在现有技术中有多个实例具有关于这个方面的一个或多个问题 (liabilities)。Frame (美国专利号7012643)教导如
图12中所示的CFA，其在9x9全色像素方块中只有单个红色(R)、绿色(G)和蓝色(B)像素。Frame的问题在于所得到的色彩空间分辨率太低以至于不能在图像中产生全部但最低频率的色彩细节。Yamagami等(美国专利5323233)描述了如图13A和1 所示的两个CFA图案，其具有等量的全色和色彩像素，避免了 Frame的问题。Yamagami等继续教导使用简单的双线性内插作为用于内插丢失的全色值的技术。单独地线性内插方法(诸如双线性内插)的使用很强地限制了经内插的图像的空间分辨率。诸如Adams等(美国专利5506619)所描述的非线性方法，如果CFA图案允许其使用的话，产生较高的空间分辨率的经内插的图像。图 14A图示出Adams等所使用的图案。在图2所示三通道系统中提供高空间频率分辨率的绿色(G)像素，围绕中心色彩像素在水平和垂直方向上与色彩(C)像素相交替。重要的是注意所有这些色彩像素都是同样的色彩，如，红色像素。图14B示出使用全色(P)像素代替绿色像素的类似图案。应该注意的是在这一点上对于四通道系统而言，不可能用这样的方法来配置所有的四个通道(R、G、B和P)图14B中所示的图案在整个传感器上的所有色彩(R、 G、B)像素位置发生。因此，以这种方式，任何可能的配置都将是某种折衷。关于Yamagami 等，图13A具有如图14A中配置的绿色和全色像素，不过红色和蓝色像素没有如此配置。在图14B之后，诸如图14C中的配置是优选的，不过图13A关于红色和蓝色像素不具有这个配置。图1 对于任何色彩像素不具有图14B或图14C的图案。Tanaka等(美国专利 4437112)描述了多个CFA图案，其中与本文讨论最相关的一个是图15。在图15中，青色 (C)、黄色(Y)、绿色(G)和全色⑵像素被如此配置，绿色像素如图14C中所示被相邻的像素所包围。然而，黄色和青色像素没有符合图14B或图14C中任一个的图案。Tanaka等教导的其他图案也存在同样的问题。Hamilton等(美国专利申请号2007/0024879)教导了大量CFA图案，其中两个在图16A和16B中示出。这些图案的问题，以及Hamilton等所公开的所有其它图案的问题， 是缺少图14B和14C的像素配置。Kijima等(美国专利申请号2007/0177236)教导了大量CFA图案，其中最相关的 CFA图案在图17中示出。尽管双行全色像素在垂直方向提供了图14C的配置，但是在图17 中没有并排的全色值这样的水平配置。因此，存在对于带有三个窄带宽色彩通道和一个宽带宽全色通道的四通道CFA图案的需要，其具有足够的色彩像素来提供充足的色彩空间分辨率、且以这样的方法配置色彩像素容许丢失的全色值的有效的非线性内插。发明概述根据本发明，提供了从滤色器阵列图像形成全色输出图像的方法，所述滤色器阵列图像具有多个色彩像素(含有至少两个不同色彩响应)和全色像素，所述方法包括用于提供下列的一个或多个处理器a)使用包括感光像素二维阵列的图像传感器来捕捉色滤器阵列图像，所述感光像素包括全色像素和具有至少两个不同的色彩响应的色彩像素，所述像素被配置成具有正方形最小重复单元的重复图案，所述最小重复单元具有至少三行和三列，所述色彩像素沿所述最小重复单元的一个对角线而被配置，且所有其他像素是全色像素；b)从所述滤色器阵列图像中计算经内插的全色图像；C)从所述滤色器阵列图像中计算经内插的色彩图像；以及d)由所述经内插的全色图像和所述经内插的色彩图像形成全色彩输出图像。本发明的优势在于图像的色彩空间分辨率在不需要增加传感器中色彩像素相对于全色像素的百分比的情况下得到了改进。本发明的进一步优势在于在不需要增加色彩像素的频谱带宽以及相应地降低图像的色彩保真的情况下而实现图像中图像噪声的减少。对以下对于优选实施例的详细描述和随附的权利要求的阅读、以及参看了相应的附图，本发明的这些和其他方面、目的、特征和优势将会得到更清晰地理解和察觉。附图简述图1是用于实现本发明的数字照相机的框图；图2是现有技术的最小重复单元；
图3是本发明的优选实施例的最小重复单元；图4是本发明的可选实施例的最小重复单元；图5是本发明的优选实施例的图像处理链的概览；图6是在内插全色图像值中使用的相邻的像素；图7是在内插色彩差异值中使用的相邻的像素；图8是在内插色彩差异值中使用的相邻的像素；图9是在内插色彩差异值中使用的相邻的像素；图10是示出本发明的优选实施例的合并(fuse)图像块的详细视图的框图；图11是示出本发明的可选实施例的合并(fuse)图像块的详细视图的框图；图12是现有技术的最小重复单元；图13A和图13B是现有技术的最小重复单元；图14A、图14B和图14C是现有技术的用于内插全色图像的相邻的像素；图15是现有技术的最小重复单元；图16A和图16B是现有技术的最小重复单元；以及图17是现有技术的最小重复单元。
具体实施例方式在下列描述中，将以一般被实现为软件程序的形式来描述本发明的优选实施例。 本领域技术人员将明显明白这样的软件的等效物也可用硬件构建。由于图像处理算法和系统是已知的，本发明的描述具体地涉及形成根据本发明的系统和算法的一部分、或者与根据本发明的系统和算法更直接地合作的算法和系统。用于产生或者处理其中涉及的图像信号的这样的算法和系统、以及硬件或软件，在未在此处具体地图示或描述的情况下，可从现有技术中已知的这样的系统、算法、组件和部件中选择。假定对于实现本发明有用的、在下列材料、软件中根据本发明描述的、在此处没有被具体地示出、提到或描述的系统是传统的且落在本领域普通技术人员所知范围内。仍然进一步，如此处所使用的，用于执行本发明的方法计算机程序可被存储在计算机可读存储介质中，所述计算机可读存储介质可包括，例如诸如磁盘(诸如硬盘或软盘)或磁带的磁存储介质；诸如光盘、光带或机器可读条形码之类的光存储介质；诸如随机存取存储器(RAM)或只读存储器(ROM)之类的固态电子存储器设备；或者用于存储计算机程序的任何其他物理设备或介质。由于采用成像设备和用于信号捕捉与修正、以及用于曝光控制的相关电路的数字照相机是已知的，本发明的描述具体涉及形成根据本发明的方法和装置的一部分、或者与根据本发明的方法和装置更直接地合作的部件。此处没有具体示出或描述的部件从现有技术中那些选取。将要描述的实施例的特定方面以软件形式而提供。假定对于实现本发明有用的、在下列材料、软件中根据本发明示出、描述的、在此处没有被具体地示出、描述或提到的系统是传统的且落在本领域普通技术人员所知范围内。现在转向图1，示出了实现本发明的图像捕捉设备的框图。在这个示例中，所示的图像捕捉设备是数字照相机。然而，尽管将要解释数字照相机，本发明清楚地可应用于其他类型的图像捕捉设备。在所公开的照相机中，来自对象场景10的光被输入到成像级11，此处光由透镜12聚焦来在固态滤色器阵列图像传感器20上形成图像。滤色器阵列图像传感器20将入射光转换为每一个图像元素(像素)的电信号。优选实施例的滤色器阵列图像传感器20是电荷耦合器件(CCD)类型或有源像素传感器(APQ类型的。(APS器件经常被称为CMOS传感器，因为可以在互补金属氧化物半导体过程来制造它们)。其他类型的具有二维像素阵列的图像传感器，如果采用了本发明的图案，也可被使用。本发明中使用的滤色器图像传感器20包括色彩和全色像素的二维阵列，在本说明书中在图1之后将会清晰地描述。到达滤色器阵列图像传感器20的光的量被使光圈孔径变化的光圈块14和包括置于光程中的一个或多个ND过滤器的中性密度(ND)过滤块13所调节。快门18打开的时间也调节整个光的大小。曝光控制器40响应由亮度传感器块16所测得的在场景中可获得的光的量，并控制所有这三个调节功能。对于本领域技术人员而言对于具体照相机配置的描述是很熟悉的，且明显的是存在很多变型和附加特征。例如，可添加自动对焦系统，或者透镜是可拆卸的和可互换的。可以理解的是本发明可应用到任何类型的数字照相机，可由可选组件来提供类似功能。例如， 数字照相机可以是相对简单的对准-拍摄数字照相机，其中快门18是相对简单的可移动的叶片快门等，而不是更复杂的焦面配置。还可使用包括在非照相机设备(诸如手机和汽车) 中的成像组件来实现本发明。用模拟信号处理器22来处理来自滤色器阵列图像传感器20的模拟信号，并将其应用到模数(A/D)转换器M中。时序发生器沈产生各种时钟信号来选择行和像素并同步模拟信号处理器22和A/D转换器M的操作。图像传感器级观包括滤色器阵列图像传感器20、模拟信号处理器22、A/D转换器M和时序发生器26。图像传感器观的组件可以是分别制造的集成电路，或者它们被制作为单个集成电路，正如通常对CMOS图像传感器所做的那样。来自A/D转换器M的所得的数字像素值流被存储在与数字信号处理器(DSP) 36 相关联的数字信号处理器(DSP)存储器32上。DSP36是这个实施例中三个处理器或控制器之一，此外还有系统控制器50和曝光控制器40。尽管在多个控制器和处理器中，对照相机功能控制这样加以区分是常见的，这些控制器或处理器可被以各种方式组合，而不影响照相机的功能操作和本发明的应用。这些控制器或处理器可包括一个或多个数字信号处理器设备、微控制器、可编程逻辑设备或其他数字逻辑电路。尽管已经描述了这样的控制器或处理器的组合，明显的是一个控制器或处理器可被指定为执行所有所需要的功能。所有这些变型可执行同样的功能并落在本发明的保护范围内，且术语“处理级”可被按需使用来用一个词组包括所有的这个功能，例如，在图1的处理级38中。在图示实施例中，DSP36根据永久地存储在程序存储器M中、并被复制到DSP存储器32中在图像捕捉时间段内用于执行的软件程序来操作DSP存储器32中的数字图像数据。DSP36执行用于实现图18中所示的图像处理所必要的软件。DSP存储器32可以是任何类型的随机存取存储器，诸如SDRAM。包括地址和数据信号的路径(pattway)的总线30 将DSP36连接至其相关的DSP存储器32、A/D转换器M和其他相关的设备。系统控制器50基于存储在程序存储器M中的软件程序来控制照相机的整体操作，所述程序存储器可包括闪存EEPROM或者其他非易失性存储器。还可使用这个存储器来存储图像传感器校准数据、用户设定选择或者当照相机被关闭的时候必须保存的其他数据。系统控制器50通过引导曝光控制器40来如上所述地操作透镜12、ND过滤器块13、光圈块14和快门18、引导时序产生器沈来操作滤色器阵列图像传感器20和相关联的部件、 以及引导DSP来处理所捕捉到的图像数据而控制图像捕捉的过程。在图像被捕捉并被处理之后，存储在DSP存储器32中的最终图像文件被经由主机接口 57转移到主机计算机中、存储在可移动存储器卡64或其他存储器设备上、以及在图像显示器88上显示给用户。系统控制器总线52包括用于地址、数据和控制信号的路径，且将系统控制器50连接至DSP36、程序存储器M、系统存储器56、主机接口 57、存储器卡接口 60和其他相关的设备。主机接口 57提供高度连接给个人计算机(PC)或者其他主机计算机，用于转移图像数据来显示、存储、操作或打印。这个接口可以是IEEE1394或USB2.0串行接口或者任何其他合适的数字接口。存储器卡64 —般是插在存储器卡槽62中的紧致闪存(CF)，且经由存储器卡接口 60被连接至系统控制器50。其他类型的可使用的存储器，包括但不限于PC-卡、 多媒体卡(MMC)或者安全数字(SD)卡。将经处理的图像复制到系统存储器56中的显示缓存中，且经由视频编码器80连续地读取而产生视频信号。这个信号直接地从照相机输出用于显示在外部监视器上，或者由显示控制器82处理并呈现在图像显示器88上。这个显示器一般是有源矩阵液晶显示器 (LCD)，尽管也可使用其他类型的显示器。用户接口 68 (包括取景器显示器70、曝光显示器72、状态显示器76、图像显示器 88和用户输入74的全部或者任何组合)受控于在曝光控制器40和系统控制器50上执行的软件程序的组合。用户输入74 —般包括按钮、摇臂开关、操纵杆、旋转拨号盘或触摸屏。 曝光控制器40操作光测量、曝光模式、自动对焦和其他曝光功能。系统控制器50管理在一个或多个显示器(如，在图像显示器88上)上呈现的图形用户接口(⑶I)。⑶I 一般包括用于做出各种选项选择的菜单，和用于检查所捕捉的图像的查看模式。曝光控制器40接收用户输入(用户输入选择曝光模式、透镜光圈、曝光时间(快门速度)和曝光指数或ISO速率)，并引导透镜12和快门18用于随后的捕捉。采用亮度传感块16来测量场景的亮度并为用户提供曝光测量功能以供手动地设定ISO速率、光圈和快门速度时加以参考。在这个情况下，当用户改变了一个或多个设定的时候，呈现在取景器显示器70上的亮度测量指示器告诉用户图像将过度曝光或欠曝光的程度。在自动曝光模式中，用户改变一个设定且曝光控制器40自动地改变另一个设定来保持修正曝光，如，对于给定的ISO速率，当用户减少透镜光圈的时候，曝光控制器40自动地增加曝光时间来保持同样的整体曝光。ISO速率是数字静态照相机的重要属性。曝光时间、透镜光圈、透镜透射率、场景亮度的大小和频谱分布以及场景反射确定了数字静态照相机的曝光程度。当使用不充足的曝光从数字静态照相机处得到图像的时候，通过增加电的或数字的增益可一般地维持合适的色调再现。当曝光被增加的时候，减少增益，因此图像噪声可一般被降低到可接受的大小。如果曝光被过分地增加，图像的光亮区域中所得到的信号可超过图像传感器或照相机信号处理的最大信号大小能力。这可导致图像高亮部被裁减为均勻地亮的区域，或者发展为(bloom into)图像的周围区域。因此，重要的是在设定合适的曝光方面引导用户。ISO 速率意在作为这样的引导。为了被照相者容易理解，数字静态照相机的ISO速率应该直接地有关于照片胶片照相机的ISO速率。例如，如果数字静态照相机具有ISO速率为IS0200， 那么同样的曝光时间和光圈应该合适于IS0200标称速率的胶片/处理系统。ISO速率意在与胶片的ISO速率相和谐。然而，在电和基于胶片的成像系统之间存在差异，这妨碍了精确的等同。数字静态照相机可包括可变的增益、且可在图像数据已经被捕捉之后提供数字处理，确保色调重现在照相机曝光的范围内可实现。因此数字静态照相机可能具有一段范围的速率。这个范围被定义为ISO速度纬度。为防止混淆，单个值被指定为固有的ISO速率，而用ISO速度纬度上限和下限来表示速度范围，也就是，包括不同于固有ISO速率的有效速率的范围。记住这个，固有的ISO速度是从提供在数字静态照相机的焦面上的曝光而计算出来的数字值，用于产生特定的照相机输出信号特性。固有速度一般是曝光指数值，对于给定照相机系统对标准场景产生峰值图像质量，此处曝光指数是数字值，与提供给图像传感器的曝光成反比。上述对数字照相机的描述对本领域技术人员是很熟悉的。明显的是本实施例的很多变型是可能的，可选择来降低成本、增加特征或改进照相机的性能。上述描述详细地公开了根据本发明，这个照相机用于捕捉图像的操作。尽管本发明描述是参考了数字照相机，可以理解的是本发明可用于具有色彩和全色像素的图像传感器的任何类型的图像捕捉设备。图1中所示的滤色器阵列20，一般包括在硅衬底上制作的感光像素的二维阵列， 其提供了将在每一个像素上的进入光转换为所测得的电信号的途径。当滤色器阵列图像传感器20向光暴露的时候，在每一个像素处的电子结构中产生并捕捉自由电子。在一段时间内捕捉这些自由电子，然后测量所捕捉到的电子的数量，或者测量自由电子所产生的速率， 则可测量每一个像素处的光的大小。在前一种情况中，所累积的电荷从像素阵列移出到电荷-电压测量电路(当在电荷耦合器件(CCD)中时)，或者邻近每一个像素的区域可含有电荷-电压测量电路的部件(当在有源像素传感器(APS或CMOS传感器)中时)。在下列叙述中不管何时参考到图像传感器，应理解为代表来自图1的滤色器阵列图像传感器20。进一步可理解，图像传感器结构的所有示例及其等效物以及在本描述中公开的本发明的像素图案可被用于滤色器阵列图像传感器20。在图像传感器的上下文中，像素(“图像元素”的缩写)是指离散的光传感区域和与该光传感区域相关联的电荷移动或电荷测量电路。在数字色彩图像的上下文中，术语像素一般是指图像中具有相关联的色彩值的特定位置。图2是Bayer在美国专利3，971，065中描述的已知的滤色器阵列图案的最小重复单元的示例。这个最小重复单元在滤色器阵列图像传感器20 (图1)的表面上重复，藉此在每一个像素位置处产生红色像素、绿色像素或蓝色像素。可使用用图2的滤色器阵列图案由滤色器阵列图像传感器20(图1)所产生的数据来以本领域技术人员已知的多种方法来产生全色彩图像。Adams等在美国专利号5，506，619中描述了一个示例。图3是本发明的优选实施例的最小重复单元。这是具有沿一个对角线的色彩像素以及在其他地方的全色像素的3x3正方形像素阵列。在图3中，色彩像素的对角线填充有红色像素、绿色像素和蓝色像素。图3的这个最小重复单元在滤色器阵列图像传感器20(图1) 的表面上重复，藉此在每一个像素位置处产生红色像素、绿色像素、蓝色像素或全色像素。图4示出本发明的可选实施例的最小重复单元。这是具有沿一个对角线的色彩像素以及在其他地方的全色像素的4x4正方形像素阵列。在图4中，色彩像素的对角线依序填充有绿色像素、红色像素、绿色像素和蓝色像素。图4的这个最小重复单元在滤色器阵列图像传感器20(图1)的表面上重复，藉此在每一个像素位置处产生或者红色像素、绿色像素、蓝色像素或全色像素。本发明可被一般化为除了相应的在图3和图4中示出的3x3和虹4的CFA图案之外的其他尺寸。在每一个情况下，像素可被配置成具有正方形最小重复单元的重复图案，所述正方形最小重复单元具有至少三行和三列。CFA图案中的色彩像素被沿最小重复单元的一个对角线配置，且所有的其他像素是全色像素。可以各种图案来配置沿最小重复单元的对角线的色彩像素。对于使用了三种类型的色彩像素和3x3最小重复单元的情况，诸如图3中所示，这三个色彩的顺序是任意的。对于4x4最小重复单元的情况，诸如图4中所示，有两个一种色彩的像素，对于其他两个色彩的每一个有一个像素。对于三种类型的色彩像素是红色、绿色和蓝色的情况，一般期望具有如图4中所示的一个红色像素、两个绿色像素和一个蓝色像素。在优选的在图4中所示的4x4最小重复图案中，绿色的像素可选地被红色和蓝色像素间隔开。在图4中所示的优选的4x4最小重复图案中，沿着最小重复单元的对角线没有全色像素。在可选配置中，沿着最小重复单元的对角线是一个红色像素、一个绿色像素、一个蓝色像素和一个全色像素。一般，期望的是沿对角线配置色彩像素的位置，从而最小化沿CFA图案的对角线的同一色彩的色彩像素之间的最大距离。例如，在图4中，绿色像素之间的最大距离是两个像素(在对角线方向)。这个配置一般优选于两个绿色像素彼此相邻的配置，后者可导致绿色像素之间的最大距离是三个像素。在图3和4中所示的示例CFA图案中的色彩像素是红色、绿色和蓝色。本领域技术人员可理解的是，根据本发明还可使用其他类型的色彩像素。例如，在本发明的可选实施例中，色彩像素可以是青色、品红和黄色。在本发明的另一个实施例中，色彩像素可以是青色、黄色和绿色。在本发明的还有另一个实施例中，色彩像素可以是青色、品红、黄色和绿色。还可使用其他类型和组合的色彩像素。图5是根据本发明的优选实施例，用于从诸如在图3或图4中所示的那些最小重复单元中产生的数据中产生全色彩输出图像的算法的高级示图。图像传感器20(图1)产生滤色器阵列图像100。在滤色器阵列图像100中，每一个图像位置是红色、绿色、蓝色或者是全色像素，这由诸如在图3或图4中所示的那些最小重复单元所确定。内插全色图像块 102从滤色器阵列图像100产生经内插的全色图像104。产生色彩差异块108从滤色器阵列图像100和经内插的全色图像104产生色彩差异值110。内插色彩差异图像块112从色彩差异值110产生经内插的色彩差异图像114。产生经内插的色彩图像块106从经内插的全色图像104和经内插的色彩差异图像114而产生经内插的色彩图像120。最后，合并图像块118从经内插的全色图像104和经内插的色彩图像120而产生全色彩输出图像116。图6是为图3中所示的CFA图案的在内插全色图像块104(图5)所使用的相邻的像素的详细示图。在图6中，C1X4X7 Ca和Cd是指来自滤色器阵列图像100(图5)的同样的色彩值的色彩像素值。在图6中，在C7的上面、下面、左面和右面有两个相邻的全色像素值。为了产生经内插的全色值P' 7，执行下列计算。h =P6-P51+ IP8-P6I+ IP9-P8I+ a C4-2C7+CA|
VP3-P21+ IPb-P3I+ |Pc-PBl + a cr2C7+cD
11-P5+4P6+4P8-P9 . -C4+2C7-Ca --+ OC
权利要求
1.从滤色器阵列图像形成全色彩输出图像的方法，所述滤色器阵列图像具有多个色彩像素和全色像素，该多个色彩像素含有至少两种不同色彩响应，所述方法包括用于提供下列的一个或多个处理器a)使用包括感光像素二维阵列的图像传感器来捕捉色滤器阵列图像，所述感光像素包括全色像素和具有至少两种不同的色彩响应的色彩像素，按照具有正方形最小重复单元的重复图案配置所述像素，所述最小重复单元具有至少三行和三列，所述色彩像素沿所述最小重复单元的一个对角线而配置，且所有其他像素是全色像素；b)从所述滤色器阵列图像计算经内插的全色图像；c)从所述滤色器阵列图像计算经内插的色彩图像；以及d)从所述经内插的全色图像和所述经内插的色彩图像形成全色彩输出图像。
2.如权利要求1所述的方法，其特征在于，步骤c)还包括在计算所述经内插的色彩图像的过程中使用所述经内插的全色图像。
3.如权利要求2所述的方法，其特征在于计算所述经内插的色彩图像的过程包括使用从所述经内插的全色图像和所述滤色器阵列图像形成的色彩差异值而形成经内插的色彩差异图像。
4.如权利要求1所述的方法，其特征在于，步骤d)还包括i)对所述经内插的全色图像应用高通滤波器来形成高频全色图像； )对所述经内插的色彩图像应用低通滤波器来形成低频色彩图像；以及iii)合并所述高频全色图像和所述低频色彩图像来形成所述全色彩输出图像。
5.如权利要求1所述的方法，其特征在于，步骤d)还包括i)对所述经内插的全色图像执行金字塔分解来形成全色图像金字塔； )对所述经内插的色彩图像执行金字塔分解来形成色彩图像金字塔；iii)合并所述全色图像金字塔和所述色彩图像金字塔来形成输出图像金字塔；以及iv)从所述输出图像金字塔来形成所述全色彩输出图像。
6.如权利要求5所述的方法，其特征在于，所述步骤iii)包括对所述全色图像金字塔的每一级别各应用高通滤波器来形成高频全色图像金字塔、对所述色彩图像金字塔的每一级别各应用低通滤波器来形成低频色彩图像金字塔，并合并所述高频全色图像金字塔和所述低频色彩图像金字塔的每一个级别来形成所述输出图像金字塔。
7.如权利要求1所述的方法，其特征在于，所述色彩像素包括红、绿和蓝色像素。
8.如权利要求1所述的方法，其特征在于，所述色彩像素包括青、品红和黄色像素。
9.如权利要求1所述的方法，其特征在于，所述最小重复单元具有三行和三列，且其中所述最小重复单元的一个对角线具有一个红色像素、一个绿色像素和一个蓝色像素。
10.如权利要求1所述的方法，其特征在于，所述最小重复单元具有四行和四列，且其中所述最小重复单元的一个对角线具有一个红色像素、两个绿色像素和一个蓝色像素。
11.如权利要求10所述的方法，其特征在于，所述两个绿色像素由红色像素或者蓝色像素分隔开。
12.如权利要求1所述的方法，其特征在于，所述色彩像素沿着所述对角线的位置被配置为使同一种色彩的色彩像素之间的最大距离最小化。
13.如权利要求1所述的方法，其特征在于，在所述最小重复单元的含有色彩像素的对角线上没有全色像素。
全文摘要
从含有具有至少两个不同色彩相响应的多个色彩像素和全色像素的滤色器阵列图像中形成全色彩输出图像的方法，包括使用含有全色像素和具有至少两个不同色彩响应的色彩像素的图像传感器来捕捉滤色器阵列图像，所述像素被配置为具有至少三行和三列的正方形最小重复单元的重复图案，所述色彩像素沿所述最小重复单元的一个对角线而配置，所有其他像素是全色像素；从所述滤色器阵列图案计算经内插的全色图像；从所述滤色器阵列图案计算经内插的色彩图像；以及从经内插的全色图像和经内插的色彩图像形成全色彩输出图像。
文档编号H04N9/04GK102450020SQ201080023844
公开日2012年5月9日 申请日期2010年5月27日 优先权日2009年5月28日
发明者B·H·费尔曼, J·A·汉米尔顿, J·E·小亚当斯, M·库玛 申请人:美商豪威科技股份有限公司