专利名称：用于四通道彩色滤光片阵列的内插的制作方法
技术领域：
本发明涉及从具有彩色通道和全色通道的彩色滤光片阵列图像产生具有改进的空间分辨率的全色彩图像。
背景技术：
单传感器数字相机使用彩色滤光片阵列(CFA)，以便从感光像素的单个二维阵列捕捉全色彩信息。CFA由对正由每一像素检测的光进行滤光的彩色滤光片阵列组成。因此， 每一像素接收来自仅一种色彩的光，或在全色或“清晰”滤光器的情况下，接收来自所有色彩的光。为了从CFA图像再现全色彩图像，必须在每一像素位置产生三个色彩值。这是通过从相邻像素值内插缺失的色彩值来实现的。最知名的CFA图案使用如由拜尔(Bayer)(第3，971，065号美国专利)描述且在图2中展示的三个色彩通道。拜尔CFA具有三个色彩通道，其实现全色彩再现能力。然而， 三个通道的确切光谱响应率(“色彩”)表示折衷物。为了改进色彩逼真度，且加宽可由CFA 捕捉的色彩的范围(即，色彩全范围)，需要使光谱响应率更敏感(“变窄”)。此举具有减少到达像素的光的总量且因此降低其对光的敏感性的副作用。因此，像素值变得对来自非成像源的噪声(例如，热噪声)较敏感。对噪声问题的一种解决方案是使CFA光谱响应率较不敏感(“较宽”)，以增加到达像素的光的总量。然而，此举伴有降低色彩逼真度的副作用。对此三通道CFA限制的解决方案是使用由具有“窄”光谱敏感性的三种色彩以及具有“宽”光谱敏感性的一种色彩组成的四通道CFA。“最宽”的此通道将为全色或“清楚” 的，其将对全光谱敏感。三个“窄带”色彩通道将产生具有较高色彩逼真度和较低空间分辨率的图像，而第四“宽带”全色通道将产生具有较低噪声和较高空间分辨率的图像。这些高色彩逼真度、低空间分辨率和低噪声、高空间分辨率图像将接着合并为最终高色彩逼真度、 低噪声、高空间分辨率图像。为了产生高空间分辨率全色图像，同时维持来自彩色像素的高色彩逼真度，必须合适地选择CFA内的全色像素的数目和布置，以及对应的内插算法。现有技术中存在多种实例，其在此方面具有一个或一个以上不利条件。福瑞恩(Frame)(第7012643号美国专利)教示如图19中所示的CFA，其在全色(P)像素的9X9正方形内仅具有单个红色(R)、 绿色(G)和蓝色(B)像素。福瑞恩的问题在于所得的色彩空间分辨率过低，以致无法产生图像中的所有但最低频率色彩细节。雅麦格米(Yamagami)等人(第5，323，233号美国专利)描述如图20A和图20B 中所示的两种CFA图案，其具有相等的全色和彩色像素的量，从而避免福瑞恩的不利条件。 雅麦格米等人继续使用简单的双线性内插作为用于内插缺失的全色值的手段来进行教示。 仅线性内插方法(例如双线性内插)的使用强烈限制经内插图像的空间分辨率。非线性方法，例如亚当斯(Adams)等人的(第5，506，619号美国专利)中所描述的非线性方法，产生较高空间分辨率的经内插图像，前提是CFA图案允许其使用。图21A说明在亚当斯等人的绿色(G)像素中使用的图案，所述像素提供图2中所示的三通道系统中的高空间频率分辨率，在水平和垂直两个方向上关于中心彩色像素与彩色(C)像素交替。重要的是要注意这些彩色像素全部具有相同色彩，例如红色像素。图21B展示使用全色(P)像素代替绿色像素的类似图案。此时应注意，对于四通道系统，不可能以如21B中所示的图案在传感器上的所有彩色(R、G、B)像素位置处发生的方式来布置所有四个通道(R、G、B和P)。因此，任何可能的布置将以此方式具有某一折衷。关于雅麦格米等人，图20A具有如图21B中那样布置的绿色和全色像素，但红色和蓝色像素不是这样布置的。在图21B之后，例如图21C中的布置是优选的，但图20A无论相对于红色像素还是蓝色像素均不具有此布置。图20B针对任何彩色像素均不具有图21B或图21C的图案。田中(Tanaka)等人(第4，437，112号美国专利)描述若干CFA图案，其中与此论述最相关的一种图案是图22。在图22中，布置青色(C)、黄色(Y)、绿色(G)和全色(P)像素，使得绿色像素由图21C中所示的邻区环绕。然而，黄色和青色像素并不符合图21B或图21C的图案。田中等人教示的其它图案也存在相同的困难。汉密尔顿(Hamilton)等人(第2007/0024879号美国专利申请案)教示较大数目的CFA图案，图23A和图23B中展示其中的两者。这些图案以及汉密尔顿等人揭示的所有其它图案的不利条件是缺乏图21B和图21C的像素布置。木岛(Kijima)等人(第2007/0177236号美国专利申请案)描述较大数目的CFA 图案，其中最相关的CFA图案展示于图M中。虽然双行全色像素在垂直方向上提供图21C 的布置，但图M中不存在并排的全色值的此水平布置。因此，存在对四通道CFA图案的需要，所述四通道CFA图案具有三个窄带彩色通道和一个宽带全色通道，其具有足够的彩色像素，以提供充足的色彩空间分辨率，且以允许缺失的全色值的有效非线性内插的方式布置。
发明内容
根据本发明，提供一种从具有多个彩色像素(其具有至少两种不同的色彩响应) 以及全色像素的彩色滤光片阵列图像形成全色彩输出图像的方法，其包括用于提供以下步骤的一个或一个以上处理器a)使用图像传感器来捕捉彩色滤光片阵列图像，所述图像传感器包括感光像素的二维阵列，所述像素包含全色像素和具有至少两种不同色彩响应的彩色像素，所述像素以具有至少八个像素且具有至少两行和两列的矩形最小重复单元布置，其中对于第一色彩响应，具有第一色彩响应的彩色像素在至少两个方向上与全色像素交替，且对于其它色彩响应中的每一者，存在重复图案的仅具有给定色彩响应的彩色像素以及全色像素的至少一行、列或对角线；b)从彩色滤光片阵列图像计算经内插的全色图像；c)从彩色滤光片阵列图像计算经内插的彩色图像；以及d)从经内插的全色图像和经内插的彩色图像形成全色彩输出图像。本发明的优点是图像的色彩空间分辨率得以改进，而无需增加传感器内彩色像素相对于全色像素的百分比。本发明的另一优点是实现图像中的色彩噪声的减少，而无需通过图像的色彩逼真度的对应减少来增加彩色像素的光谱带宽。从对优选实施例和所附权利要求书的以下详细描述的综述且通过参考附图，将更清楚地理解和了解本发明的这种和其它方面、目标、特征和优点。
图1是用于实施本发明的数字相机的框图；图2是来自现有技术的最小重复单元；图3是用于本发明优选实施例的最小重复单元；图4A和图4B是用于本发明替代实施例的最小重复单元；图5A和图5B是用于本发明替代实施例的最小重复单元；图6是用于本发明优选实施例的图像处理链的概观；图7是用于内插全色图像值的像素邻区；图8是用于内插全色图像值的像素邻区；图9A和图9B是用于内插全色图像值的像素邻区；图10是用于内插全色图像值的像素邻区；图IlA和图IlB是用于内插全色图像值的像素邻区；图12A和图12B是用于内插全色图像值的像素邻区；图13是用于内插色彩差异值的像素邻区；图14是用于内插色彩差异值的像素邻区；图15A和图15B是用于内插色彩差异值的像素邻区；图16A和图16B是用于内插色彩差异值的像素邻区；图17是展示用于本发明优选实施例的融合图像框的详细视图的框图；图18是展示用于本发明替代实施例的融合图像框的详细视图的框图；图19是来自现有技术的最小重复单元；图20A和图20B是来自现有技术的最小重复单元；图21A、图21B和图21C是来自现有技术的用于内插绿色和全色图像值的像素邻区；图22是来自现有技术的最小重复单元；图23A和图2 是来自现有技术的最小重复单元；图M是来自现有技术的最小重复单元；以及图25是用于本发明替代实施例的最小重复单元。
具体实施例方式在以下描述中，将以会容易实施为软件程序的项来描述本发明的优选实施例。所属领域的技术人员将容易认识到，此软件的均等物也可建构于硬件中。因为图像操纵算法和系统是众所周知的，所以本描述将特别针对形成根据本发明的系统和方法的一部分或与根据本发明的系统和方法更直接地协作的算法和系统。可从此项技术中已知的此些系统、 算法、组件和元件选择本文中未具体展示或描述的此些算法和系统以及用于产生和以其它方式处理与之相关的图像信号的硬件或软件的其它方面。考虑到如以下材料中根据本发明所述的系统，对本发明的实施有用的本文未具体展示、建议或描述的软件是常规的，且在此些技术的普通技能内。更进一步，如本文所使用，用于执行本发明的方法的计算机程序可存储在计算机可读存储媒体中，所述计算机可读存储媒体可包含(例如)磁性存储媒体，例如磁盘(例如硬盘驱动器或软性磁盘)或磁带；光学存储媒体，例如光盘、光学带或机器可读条形码； 固态电子存储装置，例如随机存取存储器(RAM)或只读存储器(ROM)；或用于存储计算机程序的任何其它物理装置或媒体。因为使用用于信号捕捉和校正且用于曝光控制的成像装置和有关电路的数字相机是众所周知的，所以本描述将特别针对形成根据本发明的方法和设备的一部分或与根据本发明的方法和设备更直接地协作的元件。本文未特定展示或描述的元件是选自此项技术中已知的那些元件。待描述的实施例的某些方面提供于软件中。考虑到以下材料中根据本发明而展示并描述的系统，对本发明的实施有用的本文未具体展示、描述或建议的软件是常规的，且在此些技术的普通技能内。现在转到图1，展示体现本发明的图像捕捉装置的框图。在此实例中，将图像捕捉装置展示为数字相机。然而，尽管现在将阐释数字相机，但本发明无疑也适用于其它类型的图像捕捉装置。在所揭示的相机中，将来自主题场景10的光输入到成像级11，其中光由透镜12聚焦以在固态彩色滤光片阵列图像传感器20上形成图像。彩色滤光片阵列图像传感器20将入射光转换为用于每一图片元素(像素)的电信号。优选实施例的彩色滤光片阵列图像传感器20为电荷耦合装置(CCD)类型或有源像素传感器(APQ类型。(APS装置常因能够在互补金属氧化物半导体工艺中制造而被称为CMOS传感器)。还可使用具有二维像素阵列的其它类型的图像传感器，前提是其使用本发明的图案。用于本发明中的彩色滤光片阵列图像传感器20包括彩色和全色像素的二维阵列，如稍后将在描述图1之后在本说明书中变得清楚。到达彩色滤光片阵列图像传感器20的光的量由变化孔径的虹膜块14和中性密度 (ND)滤光片块13调节，所述ND滤光片块13包含内插于光学路径中的一个或一个以上ND 滤光片。快门18开启的时间也调节总的光等级。曝光控制器40响应如由亮度传感器块16 计量的场景中可用的光的量，并控制所有这三个调节功能。特定相机配置的此描述对所属领域的技术人员来说将是熟悉的，且将明显存在许多变化和额外特征。举例来说，可添加自动聚焦系统，或透镜可拆下或可互换。将理解，本发明可应用于任何类型的数字相机，其中类似功能性由替代组件提供。举例来说，数字相机可为相对较简单的对准即拍(point-and-shoot)数字相机，其中快门18为相对较简单的可移动叶片快门或类似物，而不是较复杂的焦平面布置。还可使用包含于例如移动电话和机动车等非相机装置中的成像组件来实践本发明。来自彩色滤光片阵列图像传感器20的模拟信号由模拟信号处理器22处理，且应用于模/数(A/D)转换器M。时序产生器沈产生各种计时信号以选择行和像素，且使模拟信号处理器22和A/D转换器M的操作同步。图像传感器级观包含彩色滤光片阵列图像传感器20、模拟信号处理器22、A/D转换器M以及时序产生器26。图像传感器级观的组件可为单独制造的集成电路，或其可制造为单个集成电路，如CMOS图像传感器通常所做的那样。来自A/D转换器M的数字像素值的所得流存储在与数字信号处理器(DSP) 36相关联的数字信号处理器(DSP)存储器32中。 DSP 36是此实施例中的三个处理器或控制器中除系统控制器50和曝光控制器40 之外的一者。尽管在多个控制器和处理器之中对相机功能控制进行此分割是典型的，但这些控制器或处理器可以各种方式混合，而不影响相机的功能操作和本发明的应用。这些控制器或处理器可包含一个或一个以上数字信号处理器装置、微控制器、可编程逻辑装置或其它数字逻辑电路。尽管已描述了此些控制器或处理器的组合，但应明白，可指定一个控制器或处理器执行所有所需的功能。所有这些变化可执行相同功能，且属于本发明的范围内， 且将按需要使用术语“处理级”来涵盖一个短语内的所有此功能性，例如在图1中的处理级 38中。 在所说明的实施例中，DSP 36根据永久存储在程序存储器M中且复制到DSP存储器32以供在图像捕捉期间执行的软件程序来操纵DSP存储器32中的数字图像数据。DSP 36执行实践图18中所示的图像处理所必需的软件。DSP存储器32可为任何类型的随机存取存储器，例如SDRAM。包含用于地址和数据信号的路径的总线30将DSP 36连接到其相关的DSP存储器32、A/D转换器M和其它相关装置。系统控制器50基于存储在程序存储器M中的软件程序来控制相机的总体操作， 程序存储器M可包含快闪EEPROM或其它非易失性存储器。此存储器还可用于存储图像传感器校准数据、用户设定选择以及其它在相机关闭时必须保存的数据。系统控制器50通过如先前所描述指导曝光控制器40操作透镜12、ND滤光片块13、虹膜块14以及快门18，指导时序产生器沈操作彩色滤光片阵列图像传感器20和相关联元件且指导DSP36处理捕捉到的图像数据来控制图像捕捉序列。在捕捉并处理图像之后，存储在DSP存储器32中的最终图像文件经由主机接口 57传送到主机计算机，存储在可装卸存储卡64或其它存储装置上，或为用户显示在图像显示器88上。系统控制器总线52包含用于地址、数据和控制信号的路径，且将系统控制器50连接到DSP 36、程序存储器M、系统存储器56、主机接口 57、存储卡接口 60和其它相关装置。 主机接口 57提供到个人计算机(PC)或其它主机计算机的高速连接，用于传送图像数据以供显示、存储、操作或打印。此接口可为IEEE1394或USB2.0串行接口，或任何其它合适的数字接口。存储卡64通常为插入存储卡插口 62中且经由存储卡接口 60连接到系统控制器50的紧凑式快闪存储器(CF)卡。可利用的其它类型的存储装置包含(但不限于)PC卡、 多媒体卡(MMC)或安全数字(SD)卡。将经处理的图像复制到系统存储器56中的显示缓冲器，且经由视频编码器80连续地读出，以产生视频信号。此信号直接从相机输出，以显示于外部监视器上，或由显示器控制器82处理且呈现于图像显示器88上。此显示器通常为有源矩阵彩色液晶显示器 (LCD)，但也可使用其它类型的显示器。用户接口 68 (包含取景器显示器70、曝光显示器72、状态显示器76、图像显示器 88和用户输入74中的全部或任一组合)由在曝光控制器40和系统控制器50上执行的软件程序的组合控制。用户输入74通常包含按钮、摇臂开关、操纵杆、旋转式拨号盘或触摸屏的某一组合。曝光控制器40操作光计量、曝光模式、自动对焦和其它曝光功能。系统控制器50管理呈现在显示器中的一者或一者以上上(例如图像显示器88上)的图形用户界面 (GUI)。GUI通常包含用于作出各种选项选择和用于检查捕捉到的图像的回顾模式的菜单。
曝光控制器40接受选择曝光模式、透镜孔径、曝光时间(快门速度)以及曝光指数或ISO速度级别的用户输入，并相应地指导透镜12和快门18以用于后续捕捉。使用亮度传感器块16来测量场景的亮度，且提供曝光计量功能以供用户在手动设定ISO速度级别、 孔径和快门速度时参考。在此情况下，当用户改变一个或一个以上设定时，呈现于取景器显示器70上的光计量指示器告诉用户图像将过曝光或曝光不足的程度。在自动曝光模式下， 用户改变一个设定，且曝光控制器40自动更改另一设定以维持正确曝光，例如对于用户减小透镜孔径时的给定ISO速度级别，曝光控制器40自动增加曝光时间，以维持相同的总曝光。ISO速度级别是数字静态相机的重要属性。曝光时间、透镜孔径、透镜透射率、场景照明的等级和光谱分布以及场景反射率决定了数字静态相机的曝光等级。当使用不足曝光获得来自数字静态相机的图像时，通常可通过增加电子或数字增益来维持合适的色调再现，但所得图像将通常含有不可接受的噪声量。随着曝光增加，增益减小，且因此图像噪声可正常地减少到可接受的等级。如果曝光过度增加，那么图像的亮区中的所得信号可超过图像传感器或相机信号处理的最大信号电平能力。这可导致图像高亮被剪辑以形成均勻亮的区域，或“开花”成图像的环绕区域。因此，重要的是引导用户设定合适的曝光。ISO速度级别既定用作此引导。为了使摄影者容易理解，用于数字静态相机的ISO速度级别应直接与用于照相胶片相机的ISO速度级别有关。举例来说，如果数字静态相机具有ISO 200的 ISO速度级别，那么相同的曝光时间和孔径应适合ISO 200规定的胶片/处理系统。ISO速度级别既定与胶片ISO速度级别相符。然而，电子成像系统与基于胶片的成像系统之间存在妨碍确切相等性的差异。数字静态相机可包含可变增益，且可在已捕捉到图像数据之后提供数字处理，从而使得能够在相机曝光范围内实现色调再现。因此，数字静态相机有可能具有某一速度级别范围。可将此范围界定为ISO速度纬度。为了防止混淆， 将单个值指定为固有ISO速度级别，其中ISO速度纬度的上限和下限指示速度范围，即包含与固有ISO速度级别不同的有效速度级别的范围。考虑到这一点，固有ISO速度为从数字静态相机的焦平面处提供的曝光计算的数值，以产生指定的相机输出信号特性。固有速度通常为曝光指数值，其针对正常场景产生给定相机系统的峰值图像质量，其中曝光指数为与提供给图像传感器的曝光成反比的数值。数字相机的前述描述对所属领域的技术人员来说将是熟悉的。此实施例有许多可能的且经选择以降低成本、添加特征或改进相机的性能的变化，这一点将是明显的。以下描述将详细揭示此相机根据本发明的用于捕捉图像的操作。尽管此描述是参考数字相机，但将理解，本发明适用于与具有有彩色和全色像素的图像传感器的任何类型的图像捕捉装置一起使用。图1中所示的彩色滤光片阵列图像传感器20通常包含制造于硅衬底上的感光像素的二维阵列，其提供将每一像素处的传入光转换为所测量的电信号的途经。当彩色滤光片阵列图像传感器20暴露于光时，产生自由电子，且将自由电子捕捉在每一像素处的电子结构内。在某一时间周期内捕捉这些自由电子且接着测量捕捉到的电子的数目，或测量产生自由电子的速率可测量每一像素处的光等级。在前者情况下，累积的电荷从像素阵列移出，到达电荷到电压测量电路(如在电荷耦合装置(CCD)中)，或靠近每一像素的区域可含有电荷到电压测量电路的元件(如在有源像素传感器(APS或CMOS传感器)中)。
9
每当在以下描述中一般参考图像传感器时，就将其理解为代表来自图1的彩色滤光片阵列图像传感器20。进一步理解，本说明书中所揭示的本发明的图像传感器架构和像素图案的所有实例及其均等物均用于彩色滤光片阵列图像传感器20。在图像传感器的上下文中，像素(“图片元素”的缩略词)指代离散的光感测区域以及与所述光感测区域相关联的电荷移位或电荷测量电路。在数字彩色图像的上下文中， 术语像素通常指代图像中具有相关联色彩值的特定位置。图2是由拜尔在第3，971，065号美国专利中描述的众所周知的彩色滤光片阵列图案的最小重复单元的实例。所述最小重复单元在彩色滤光片阵列传感器20 (图1)的表面上重复，从而在每一像素位置处产生红色像素、绿色像素或蓝色像素。由具有图2的彩色滤光片阵列图案的彩色滤光片阵列传感器20(图1)产生的数据可用于以所属领域的技术人员已知的许多方式产生全色彩图像。亚当斯等人在第5，506，619号美国专利中描述一个实例。图3是用于本发明优选实施例的最小重复单元。所述最小重复单元为4X4正方形像素阵列，其中绿色像素与全色像素水平且垂直交替，且红色和蓝色像素各自在四个方向(左侧、右侧、上方和下方)中的每一者上具有三个邻近的全色像素。图3的此最小重复单元在彩色滤光片阵列传感器20 (图1)的表面上重复，从而在每一像素位置处产生红色像素、绿色像素、蓝色像素或全色像素。因此，全色像素以棋盘图案布置在传感器的表面上。彩色像素也以棋盘图案布置在传感器的表面上。图4A展示用于本发明替代实施例的最小重复单元。所述最小重复单元是2X4矩形像素阵列，其中绿色像素与全色像素水平且垂直交替，且红色和蓝色像素与全色像素垂直交替。可转置此布置以获得图4B的图案，图4B展示4X2矩形像素阵列，其中绿色像素与全色像素水平且垂直交替，且红色和蓝色像素与全色像素水平交替。图4A或图4B的最小重复单元平铺在彩色滤光片阵列传感器20 (图1)的表面上，从而在每一像素位置处产生红色像素、绿色像素、蓝色像素或全色像素。因此，全色像素以棋盘图案布置在传感器的表面上。彩色像素也以棋盘图案布置在传感器的表面上。图5A展示用于本发明另一替代实施例的4X4最小重复单元。此布置类似于图3 中所示的布置，除了彩色像素在对角线方向上而不是水平和垂直方向上与全色像素交替。 明确地说，可看出红色、绿色和蓝色像素在两个对角线方向上与全色像素对角交替。(注意， 可通过平铺最小重复单元以看像素的线如何从最小重复单元的一侧缠绕到另一侧来最佳地使沿对角线的全图案形象化)。在此布置中，可看到彩色像素的列与全色像素的列交替。 可转置此布置，以获得图5B的图案，图5B是4X4正方形像素阵列，其中红色、绿色和蓝色像素在两个对角线方向上与全色像素对角交替。在此情况下，彩色像素的行与全色像素的行交替。图5A或图5B的最小重复单元平铺在彩色滤光片阵列传感器20 (图1)的表面上， 从而在每一像素位置处产生红色像素、绿色像素、蓝色像素或全色像素。因此，全色像素以交替的行或列布置在传感器的表面上。彩色像素也以交替的行或列布置在传感器的表面上。对于其中传感器的偶数和奇数行(或列)的增益可存在较小差异的传感器设计，这可能是有利的。在偶数或奇数行上具有给定类型的所有像素可减少有时在CFA内插过程期间因交替的增益值而产生的假象。
本发明可一般化为除图3、图4A、图4B、图5A和图5B中所展示的CFA图案之外的其它大小和布置的CFA图案。在每一情况下，像素将布置在矩形最小重复单元中，所述矩形最小重复单元具有至少八个像素，且具有至少两行和两列，其中对于第一色彩响应，具有第一色彩响应的彩色像素在至少两个方向上与全色像素交替，且对于其它色彩响应中的每一者，存在重复图案的仅具有给定色彩响应的彩色像素和全色像素的至少一行、列或对角线。描述根据本发明的CFA图案的另一方式是以具有矩形最小重复单元的重复图案布置像素，所述矩形最小重复单元具有至少八个像素且具有至少两行和两列，其中用于至少一个色彩响应的彩色像素在至少两个方向上与全色像素交替，且其中用于其它色彩响应的彩色像素在至少一个方向上与全色像素交替，或在至少两个方向上在彩色像素的两侧上具有至少两个邻近全色像素。图25展示具有满足这些标准的2X8矩形像素阵列的最小重复单元的另一实例。 在此情况下，绿色像素与全色像素水平且垂直交替，且红色和蓝色像素与全色像素垂直交替，且在左侧和右侧与三个全色像素水平侧接。满足上述标准的CFA图案的合意特性为每个彩色像素均由四个全色像素(水平/ 垂直或对角地)环绕的事实。因此，可通过将彩色像素内插于环绕的全色像素之间在彩色像素的位置处容易地确定高度准确的经内插全色值。此外，用于至少一个色彩响应的彩色像素在至少两个方向上与全色像素交替。因此，用于至少一个色彩响应(例如绿色)的彩色像素将布置于规则网格上，从而实现对应色彩差异的容易内插。用于其它色彩响应(例如红色和蓝色)的彩色像素也将出现于规则网格上，但重复周期可在一个或两个方向上大于针对所述一个色彩响应的重复周期。较大周期将与经内插色彩差异的对应较大内插错误相关联。然而，这些色彩响应在视觉上较不重要，使得任何假象的可见性将较不令人反感。图3、图4A、图4B、图5A、图5B和图25中所示的实例CFA图案中的彩色像素为红色、绿色和蓝色。所属领域的技术人员将理解，根据本发明还可使用其它类型的彩色像素。 举例来说，在本发明的替代实施例中，彩色像素可为青色、洋红色和黄色。在本发明的另一实施例中，彩色像素可为青色、黄色和绿色。在本发明的又一实施例中，彩色像素可为青色、 洋红色、黄色和绿色。还可使用许多其它类型和组合的彩色像素。图6是根据本发明优选实施例的用于从自例如图3、图4A、图4B、图5A、图5B或图 25中所示的最小重复单元等最小重复单元产生的数据产生全色彩输出图像的算法的高级图。图像传感器20(图1)产生彩色滤光片阵列图像100。在彩色滤光片阵列图像100中， 每一像素位置为如由例如图3、图4A、图4B、图5A、图5B或图25中所示的最小重复单元等最小重复单元确定的红色、绿色、蓝色或全色像素。内插全色图像框102从彩色滤光片阵列图像100产生经内插的全色图像104。产生色彩差异框108从彩色滤光片阵列图像100和经内插的全色图像104产生色彩差异值110。内插色彩差异图像框112从色彩差异值110 产生经内插的色彩差异图像114。产生经内插彩色图像框106从经内插的全色图像104和经内插的色彩差异图像114产生经内插的彩色图像120。最后，融合图像框118从经内插的全色图像104和经内插的彩色图像120产生全色彩输出图像116。现在将更详细地描述图6中所示的方法的步骤中的每一者。图7是用于内插全色图像框102(图6)中以确定图3中所示的CFA图案中的绿色像素的位置处的经内插全色像素值的像素邻区的详细图。在图7中，C2, C5, C7, C9和Cc指代来自彩色滤光片阵列图像100 (图6)的绿色像素值，且Pp P3、P4、P6、P8、PA、Pb和Pd指代来自所述图像的全色像素值。 为了产生经内插全色值P' 7，执行以下计算。
权利要求
1.一种从具有多个有至少两种不同的色彩响应的彩色像素以及全色像素的彩色滤光片阵列图像形成全色彩输出图像的方法，其包括用于提供以下步骤的一个或一个以上处理器a)使用图像传感器来捕捉彩色滤光片阵列图像，所述图像传感器包括感光像素的二维阵列，所述像素包含全色像素和具有至少两种不同色彩响应的彩色像素，所述像素以具有至少八个像素且具有至少两行和两列的矩形最小重复单元布置，其中对于第一色彩响应， 具有所述第一色彩响应的所述彩色像素在至少两个方向上与全色像素交替，且对于其它色彩响应中的每一者，存在重复图案的仅具有给定色彩响应的彩色像素以及全色像素的至少一行、列或对角线；b)从所述彩色滤光片阵列图像计算经内插的全色图像；c)从所述彩色滤光片阵列图像计算经内插的彩色图像；以及d)从所述经内插的全色图像和所述经内插的彩色图像形成所述全色彩输出图像。
2.根据权利要求1所述的方法，其中步骤c)进一步包含在计算所述经内插彩色图像的过程中使用所述经内插全色图像。
3.根据权利要求2所述的方法，其中所述计算所述经内插彩色图像的过程包含使用从所述经内插全色图像和所述彩色滤光片阵列图像形成的色彩差异值来形成经内插色彩差异图像。
4.根据权利要求1所述的方法，其中步骤d)进一步包含i)将高通滤光器应用于所述经内插的全色图像，以形成高频全色图像； )将低通滤光器应用于所述经内插的彩色图像，以形成低频彩色图像；以及iii)合并所述高频全色图像与所述低频彩色图像以形成所述全色彩输出图像。
5.根据权利要求1所述的方法，其中步骤d)进一步包含i)对所述经内插的全色图像执行金字塔分解以形成全色图像金字塔； )对所述经内插的彩色图像执行金字塔分解以形成彩色图像金字塔；iii)合并所述全色图像金字塔与所述彩色图像金字塔以形成输出图像金字塔；以及iv)从所述输出图像金字塔形成所述全色彩输出图像。
6.根据权利要求5所述的方法，其中步骤iii)包含将高通滤光器应用于所述全色图像金字塔的每一级以形成高频全色图像金字塔；将低通滤光器应用于所述彩色图像金字塔的每一级以形成低频彩色图像金字塔；以及合并所述高频全色图像金字塔与所述低频彩色图像金字塔的每一级以形成所述输出图像金字塔。
7.根据权利要求1所述的方法，其中所述彩色像素为红色、绿色和蓝色像素。
8.根据权利要求1所述的方法，其中所述最小重复单元具有四行和四列，且其中所述最小重复单元的第一和第三行具有绿色、全色、绿色、全色的像素序列，所述最小重复单元的第二行具有全色、红色、全色、全色的像素序列，且所述最小重复单元的第四行具有全色、 全色、全色、蓝色的像素序列。
9.根据权利要求1所述的方法，其中所述彩色像素为青色、洋红色和黄色像素。
10.根据权利要求1所述的方法，其中所述最小重复单元具有四行或四列，且其中用于每一色彩响应的所述彩色像素与用于所述重复图案的至少一行、列或对角线的所述全色像素交替。
11. 一种从具有多个有至少两种不同的色彩响应的彩色像素以及全色像素的彩色滤光片阵列图像形成全色彩输出图像的方法，其包括用于提供以下步骤的一个或一个以上处理器a)使用图像传感器来捕捉彩色滤光片阵列图像，所述图像传感器包括感光像素的二维阵列，所述像素包含全色像素和具有至少两种不同色彩响应的彩色像素，所述像素以具有至少八个像素且具有至少两行和两列的矩形最小重复单元布置，其中至少一个色彩响应的所述彩色像素在至少两个方向上与全色像素交替，且其中对于其它色彩响应中的每一者， 用于给定色彩响应的所述彩色像素在至少一个方向上与全色像素交替，或在至少两个方向上在所述彩色像素的两侧具有至少两个邻近全色像素；b)从所述彩色滤光片阵列图像计算经内插的全色图像；c)从所述彩色滤光片阵列图像计算经内插的彩色图像；以及d)从所述经内插的全色图像和所述经内插的彩色图像形成所述全色彩输出图像。
全文摘要
本发明描述一种用于从彩色滤光片阵列图像形成全色彩输出图像的方法，其包括使用图像传感器捕捉图像，所述图像传感器包含全色像素和具有至少两个不同色彩响应的彩色像素，所述像素以矩形最小重复单元布置，其中对于第一色彩响应，具有所述第一色彩响应的所述彩色像素在至少两个方向上与全色像素交替，且对于其它色彩响应中的每一者，存在重复图案的仅具有给定色彩响应的彩色像素以及全色像素的至少一行、列或对角线。所述方法进一步包括从所述彩色滤光片阵列图像计算经内插全色图像；从所述彩色滤光片阵列图像计算经内插彩色图像；以及从所述经内插全色图像和所述经内插彩色图像形成所述全色彩输出图像。
文档编号G06T3/40GK102461175SQ201080025961
公开日2012年5月16日 申请日期2010年6月7日 优先权日2009年6月9日
发明者姆里秋杰伊·库马尔, 布鲁斯·哈罗德·皮尔曼, 詹姆斯·E·小亚当斯, 詹姆斯·安德鲁·汉密尔顿 申请人:全视科技有限公司