专利名称：：全色与彩色像素的插值的制作方法
技术领域：
：本发明通常涉及数字图像处理操作领域，所述数字图像处理操作特别适用于各种成像设备。
背景技术：
：视频照相机和数字静止照相机一般釆用具有滤色器阵列的单一图像传感器来记录场景。这种方法以稀疏分布的单通道图像开始，其中颜色信息由滤色器阵列模式进行编码。对相邻像素值的随后插值允许重建完整的三通道全彩色图^f象。在Hamilton等人的美国专利No.5506619中可以看到这个过程的一个实例。在微光成像情况下，有利的是不对滤色器阵列中的一个或多个像素进行滤波，即在光谱灵敏度方面呈白色或全色。这些全色像素具有捕捉系统的最大光敏度能力。采用全色像素代表捕捉系统中光敏度和色空间分辨率之间的折衷。为此，描述了许多四颜色滤色器阵列系统。Dyck等人的美国专利No.6529239教导了一种排列成呈棋盘格状镶嵌在传感器表面上的2x2块的绿-青-黄-白才莫式。Hubina等人的美国专利No.6757012公开了红-绿-蓝-白模式和黄-青-品红-白模式二者。在这两种情况下，颜色排列在呈棋盘格状镶嵌在成像器的表面上的2x2块中。这种系统的困难在于，滤色器阵列中只有四分之一的像素具有最大光敏度，从而限制了该捕捉设备的总体微光性能。为了满足在滤色器阵列中使更多像素具有最大光敏度的需要，Frame的美国专利申请公开2003/0210332描述了一种大多数像素未加滤波的像素阵列。相对较少的像素专用于捕捉来自场景的颜色信息，得到具有低的色空间分辨率性能的系统。此外，Frame还教导了使用简单的线性插值技术，所述简单的线性插值技术不响应或者保护图像中的高频色空间细节。所需要的是具有全色和彩色像素的适当组成的滤色器阵列，以便提供改善的微光灵敏度和改善的色空间分辨率保真度。此外，需要处理由这种滤色器阵列产生的图像数据以便保护和增强全色和彩色空间细节并且最终产生全彩色全分辨率的图像的方法。
发明内容本发明提供了一种用于形成最终的数字彩色图像的方法，该方法包括(a)使用图像传感器捕捉图像，所述图像传感器具有全色像素和与至少两种彩色光响应对应的彩色4象素；(b)根据捕捉的图像提供数字高分辨率全色图像和数字高分辨率色差图像；以及(c)使用所述数字高分辨率全色图像和数字高分辨率色差图像来产生最终的数字高分辨率全彩色图像。本发明的一个特征在于，可以以改善的图像保真度在微光捕捉下捕捉图像。本发明的另一个特征在于，通过使用自适应图像处理策略来改善图像保真度。图1为用于实现本发明的包括数字照相机的计算机系统的透视图2为优选实施例的框图3为图2中的方块204的更详细的框图4为在图2的方块200中的像素区域；图5为在图2的方块202中使用的像素区域；图6为在图2的方块202中产生的像素区域；图7为在图2的方块204中使用的像素区域；图8为在图2的方块204中产生的像素区域；图9为在图2的方块206中产生的像素区域；图10为在图2的方块210中产生的像素区域；图11为可替换实施例的图2中的方块200中产生的像素区域；图12为可替换实施例的图2中的方块202中使用的像素区域；图13为可替换实施例的图2中的方块204中使用的像素区域；图14为可替换实施例的图2中的方块200中产生的像素区域；图15为可替换实施例的图2中的方块202中使用的像素区域；图16为可替换实施例的图2中的方块204中使用的像素区域；图17为可替换实施例的图2中的方块204中产生的像素区域；图18为可替换实施例的图2中的方块210中的像素区域；图19为可替换实施例的图2中的方块200中产生的像素区域；图20为可替换实施例的图2中的方块202中使用的像素区域；图21为可替换实施例的图2中的方块204中使用的像素区域；以及图22为可替换实施例的图2中的方块204中产生的像素区域。具体实施例方式在下面的说明中，将按照通常将实现为软件程序的方面来描述本发明的优选实施例。本领域技术人员应当容易认识到，也可以以硬件构造这种软件的等效物。由于图像操纵算法和系统是众所周知的，因此本说明书将特别着眼于形成依照本发明的系统和方法的一部分或者更加直接地与依照本发明的系统和方法协同操作的算法和系统。本文没有具体示出或者描述的这种算法和系统的其他方面以及用于产生和以其他方式处理与其有关的图像信号的硬件或软件可以从本领域中已知的这种系统、算法、部件和元件中选取。给定在下列材料中依照本发明描述的系统，本文没有具体示出、建议或者描述的、对实现本发明有用的软件是常规的并且为本领域中的普通技术人员所熟悉。另外，如在本文中所使用的，所述计算机程序可以存储于计算机可读存储介质上，所述计算机可读存储介质可以包括例如诸如磁盘(例如硬盘驱动器或软盘)或磁带之类的磁存储介质；诸如光盘、光带或机器可读条形码之类的光学存储介质；诸如随机存取存储器(RAM)或只读存储器(ROM)之类的固态电子存储设备；或者用来存储计算机程序的任何其他物理设备或介质。在描述本发明之前，有助于理解的是，应当指出本发明优选地用于例如个人计算机的任何公知的计算机系统上。因此，本文将不对计算机系统详加讨论。另外有指导意义的是，应当指出图像或者直接输入到计算机系统中(例如通过数字照相机)，或者在输入到计算机系统之前进行数字化(例如通过扫描诸如卣化银胶片的原物)。参照图1,其示出了用于实现本发明的计算机系统110。尽管示出的计算机系统110用于说明优选实施例的目的，但是本发明并不限于所示出的计算机系统iio,而是可以用于诸如在家用计算机、售货亭、零售或批发照相洗印加工中看到的任何电子处理系统上，或者可以用于处理数字图像的任何其他系统上。计算机系统110包括用于接收和处理软件程序并且用于执行其他处理功能的基于微处理器的单元112。显示器114电连接到基于微处理器的单元112,用于例如通过图形用户接口显示与软件关联的用户相关信息。键盘116也连接到基于微处理器的单元112,用于允许用户向软件输入信息。作为对使用键盘116进行输入的可选方案，鼠标118可以用于移动显示器114上的选择器120并且用于选择选择器120所覆盖的项目，这在本领域中是众所周知的。将通常包含软件程序的光盘只读存储器(CD-ROM)124插入基于微处理器的单元，用于提供一种向基于微处理器的单元112输入软件程序和其他信息的方式。此外，软盘126也可以包含软件程序，并被插入到基于微处理器的单元112中以便输入该软件程序。可替换地，光盘只读存储器(CD-ROM)124或者l欠盘126可以插入位于外部的盘驱动单元122,该盘驱动单元122连接到基于微处理器的单元112。此外，如本领域中众所周知的，可以对基于微处理器的单元112进行编程，以便内部存储软件程序。基于微处理器的单元112还可以具有到诸如局域网或因特网之类的外部网络的网络连接127,例如电话线。打印机128也可以连接到基于微处理器的单元112,用于打印来自计算机系统110的输出的硬拷贝。图像也可以通过个人计算机卡(PC卡)130显示在显示器114上，所述PC卡例如先前所知的PCMCIA卡(基于个人计算机存储卡国际协会规范)，其包含在PC卡130内电子实现的数字化图像。PC卡130最终插入到基于微处理器的单元112中，用于允许图像在显示器114上的视觉显示。可替换地，PC卡130可以插入到位于外部的PC卡读取器132中，该PC卡读取器132连接到基于微处理器的单元112。图像也可以经由光盘124、软盘126或者网络连接127来输入。存储于PC卡130、软盘126或光盘124中或者通过网络连接127输入的任何图像可以从诸如数字照相机(未示出)或扫描仪(未示出)之类的各种来源获取。图像还可以经由连接到基于微处理器的单元112的照相机对接(docking)端口136直接从数字照相机134输入，或者经由到基于微处理器的单元112的电缆连接138或经由到基于微处理器的单元112的无线连接140直接从数字照相才几134输入。依照本发明，所述算法可以存储于之前提及的任何存储设备并且应用于图像以便对稀疏分布的图像进行插值。图2为该优选实施例的高级示图。数字照相机134负责创建原始的数字红-绿-蓝-全色(RGBP)滤色器阵列(CFA)图像200,该图像200也称为数字RGBPCFA图像或者RGBPCFA图像。该图像被认为是稀疏采样的图像，因为图像中的每个像素只包含红、绿、蓝或全色数据的一个像素值。方块200的拷贝被传送到低分辨率RGBCFA图像创建方块202。方块202根据RGBPCFA图像创建数字低分辨率RGBCFA图像，该数字低分辨率RGBCFA图像也称为低分辨率RGBCFA图像。方块200的另一拷贝被传送到高分辨率全色图像创建方块204。方块204根据RGBPCFA图像创建数字高分辨率全色图像，该数字高分辨率全色图像也称为高分辨率全色图像。方块204的输出被传送到低分辨率全色图像创建方块206。方块206根据高分辨率全色图像创建数字低分辨率全色图像，该数字低分辨率全色图像也称为低分辨率全色图像。方块206的输出和方块202的输出被传送到低分辨率色差创建方块208。方块208通过从低分辨率RGBCFA图像中减去低分辨率全色图像来创建低分辨率色差图像。方块208的输出被传送到低分辨率色差图像插值方块216。方块216对这些低分辨率色差执行BayerCFA插值操作。Hami1ton等人的美国专利No.5506619中可以看到这种BayerCFA插值的一个实例，^f旦是对于本领域4支术人员显而易见的是，可以使用其他BayerCFA插值方法。方块216的结果是数字插值低分辨率色差图像，也称为插值低分辨率色差图像，其中每个像素具有三个色差值。方块216的输出被传送到高分辨率色差创建方块210。方块210通过对低分辨率色差图像进行双线性插值(尺寸增大(upsizing))来创建数字高分辨率色差图像，该数字高分辨率色差图像也称为高分辨率色差图像。方块210的输出和方块204的输出被传送到高分辨率全彩色图像创建方块212。方块212通过将高分辨率全色图像添加到高分辨率色差图像来创建数字高分辨率全彩色图像，该数字高分辨率全彩色图像也称为高分辨率全彩色图像214。图3为图2中的高分辨率全色图像创建方块204的更详细的示图。RGBPCFA图像200(图2)被传送到像素邻域预测器计算方块300。方块300计算一组像素邻域预测器值。方块300的结果被传送到像素邻域分类器计算方块302。方块302计算一组像素邻域分类器值，每个分类器值与方块300中计算的一个预测器值对应。方块302的结果被传送到计算方向确定方块304。方块304基于方块302中产生的该组分类器值确定优选的计算方向。方块304的结果和方块300的结果被传送到高分辨率全色像素值计算方块306。方块306从方块300的结果中选择与方块304确定的方向对应的适当的预测器值。然后，这个选定的预测器值成为插值的高分辨率全色像素值。方块306的结果成为方块204(图2)的输出。图4为在整个RGBPCFA图像方块200(图2)中重复的像素区域。图4的突出方面在于，两行全色像素由交替的红色和绿色像素行以及绿色和蓝色像素行分开。图5为由低分辨率RGBCFA图像创建方块202(图2)用来产生图6中所示像素区域的像素区域。在所述优选实施例中，使用下列表达式来产生图6中的像素值<formula>formulaseeoriginaldocumentpage9</formula>在这些表达式中，k为产生输出值的希望的像素值范围的缩放因子。k的典型值为1/3,用于产生平均像素值；以及l,用于产生总和像素值。应当指出的是，在本发明的范围内，从三个像素值创建一个像素值是一种二次采样(subsample)形式。在本发明的一个可替换实施例中，如下使用了方块202的一组不同的表达式<formula>formulaseeoriginaldocumentpage9</formula>图7为像素邻域预测计算方块300(图3)和像素邻域分类器计算方块302(图3)二者使用的像素区域。存在由方块300(图3)计算的两组预测器值。对于像素邻域的中心像素为绿色像素(例如图7中的G15)时的情况而言，计算下列预测器值。<formula>formulaseeoriginaldocumentpage10</formula>P右=GI5<formula>formulaseeoriginaldocumentpage10</formula>对于像素邻域的中心像素不是绿色像素(例如图7中的B16)时的情况而言，计算下列预测器值。<formula>formulaseeoriginaldocumentpage10</formula>存在由方块302(图3)计算的一组分类器值。尽管给定邻域中的中心像素的颜色可能不同，但是使用相同的表达式计算这些分类器。现在给出两个实例。对于像素邻域的中心像素为绿色像素(例如图7中的G15)时的情况而言，计算下列分类器值。c斜d<formula>formulaseeoriginaldocumentpage10</formula>c反斜线<formula>formulaseeoriginaldocumentpage10</formula>c<formula>formulaseeoriginaldocumentpage10</formula>值"和t2为阈值，选择该阈值来降低但不是消除C水平、C左和C右小于C斜线、c竖直双c反斜线的似然率。对于8比特像素值数据范围而言，ti和t2的典型值为20和40。对于像素邻域的中心像素不是绿色像素(例如图7中的B16)的情况而言，计算下列分类器值。<formula>formulaseeoriginaldocumentpage11</formula>应当指出的是，这些表达式在这两个实例中基本上是相同的。对于红色像素为中心的邻域而言，可以取第二个实例的分类器并且用红色像素值交换蓝色像素值。回到图3,方块302中计算的分类器值被传送到计算方向确定方块304。在方块304中，将每个分类器值与活性(activity)阈值t活性进行比较。对于8比特像素值数据范围而言，t録的典型值为200。如果所有分类器值都大于或等于活性阈值，那么计算方向就变成与预测器值p立体关联的特例。不满足该第一测试时，则确定具有最小值的分类器。与该分类器关联的方向就成为方块304的输出。方块304的输出和方块300的输出被传送到高分辨率全色像素值计算方块306。在方块306中，对于以红色、绿色或蓝色像素为中心的每个像素邻域而言，与方块304中确定的计算方向对应的预测器值成为插值的全色值。图8中图解说明了所得到的高分辨率全色通道的一部分。在图8中，没有下标的值代表原始存在的全色值，带下标的值代表插值的全色值。此外，图8为由低分辨率全色图像创建方块206(图2)用来产生图9中所示的像素区域的像素区域。在所述优选实施例中，使用下列表达式来产生图9中的像素值。<formula>formulaseeoriginaldocumentpage12</formula>在这些表达式中，k为产生输出值的希望的像素值范围的缩放因子。k的典型值为1/3,用于产生平均像素值。在本发明的可替换实施例中，如下使用了方块206(图2)的一组不同的表达式。图10为从高分辨率色差创建方块210(图2)创建的像素区域。在图10中，Xi和X,代表由方块208(图2)创建的低分辨率色差图像中的现有色差值。插值的色差值X2和X3在方块210(图2)中利用下列表达式来计算作为双线性插值的标准做法，这个操作首先在每行上执行以便使每行中的色差值的量增至三倍。然后，沿竖直方向在每列上重复该计算以便使每列中的色差值的量增至三倍。方块210的输出被传送到高分辨率全彩色图像创建方块212。现在描述本发明的可替换实施例。图2和图3如同在所述优选实施例中一样。图11为在整个RGBPCFA图像方块200(图2)中重复的可替换像素区域。图11的突出方面在于，两行全色像素由交替的三邻接红色像素接着是三邻接绿色像素的行和三邻接绿色像素接着是三邻接蓝色像素的行分开。图12为由低分辨率RGBCFA图像创建方块202(图2)用来产生图6中所示像素区域的可替换像素区域。在这个可替换实施例中，使用下列表达式来产生图6中的像素值。G2'=/t(G,4+G,s+G,6)在这些表达式中，k为产生输出值的希望的像素值范围的缩放因子。k的典型值为1/3,用于产生平均像素值；以及l，用于产生总和像素值。应当指出的是，在本发明的范围内，从三个像素值创建一个像素值是一种二次采样形式。图13为像素邻域预测计算方块300(图3)和像素邻域分类器计算方块302(图3)二者使用的可替换像素区域。对于像素邻域的中心像素为蓝色或红色像素(例如图13中的B33)时的情况而言，计算下列预测器值。P竖直=(尸"+尸")/2(3G3l+G35)/4,对于532fe,+3G35)/4,对于534P右=(尸23+尸43)/2"立体-(—《3+化3+化广尸53)/6对于像素邻域的中心像素为绿色像素时的情况而言，那么P^就简化成绿色中心像素值。存在由方块302(图3)计算的一组分类器值。尽管给定邻域中的中心像素的颜色可能不同，但是相同的表达式用于计算这些分类器。回到图13,像素邻域的中心像素为B33,对于其计算下列分类器值。^线=|尸25-尸43|+|尸2广尸"|+|尸2广^|+|2/;立体—尸24—尸42|/4C竖直=|尸2广^|+|尸2广尸"|+|尸22—尸42|+|2/>立体-尸2广尸"|/4c反斜线—SS|+|P22—户"l+h,—4|+|2/>立体-尸2广&|/4C水平=|lK—尸24|+|尸《—尸44|)+'，C右4(k广尸J+l尸24-尸4如2值"和t2为阈值，其被选择来降低但不是消除c水平、c左和c右小于c斜线、c竖直4c反斜线的似然率。对于8比特像素值数据范围而言，L和"的典型值为50和50。回到图3,方块302中计算的分类器值被传送到计算方向确定方块304。在方块304中，将每个分类器值与活性阔值t歸进行比较。对于8比特像素值数据范围而言，t活性的典型值为200。如果所有分类器值都大于或等于活性阈值，那么计算方向就变成与预测器值PM关联的特例。不满足该第一测试时，则确定具有最小值的分类器。与该分类器关联的方向就成为方块304的输出。方块304的输出和方块300的输出被传送到高分辨率全色像素值计算方块306。在方块306中，对于以红色、绿色或蓝色像素为中心的每个像素邻域而言，与方块304中确定的计算方向对应的预测器值成为插值的全色值。图8中图解说明了所得到的高分辨率全色通道的一部分。在图8中，没有下标的值代表原始存在的全色值，带下标的值代表插值的全色值。此外，图8为由低分辨率全色图像创建方块206(图2)用来产生图9中所示的像素区域的像素区域。在所述优选的实施例中，使用下列表达式来产生图9中的像素值。在这些表达式中，k为产生输出值的希望的像素值范围的缩放因子。k的典型值为1/3,用于产生平均像素值。在本发明的可替换实施例中，如下使用了方块206(图2)的一组不同的表达式。<formula>formulaseeoriginaldocumentpage15</formula>图10为从高分辨率色差创建方块210(图2)创建的像素区域。在图10中，^和X4代表由方块208(图2)创建的低分辨率色差图像中的现有色差值。在方块210(图2)中利用下列表达式来计算插值的色差值X2和X3:<formula>formulaseeoriginaldocumentpage15</formula>作为双线性插值的标准做法，这个操作首先在每行上执行以便使每行中的色差值的量增至三倍。然后，沿竖直方向在每列上重复该计算以便使每列中的色差值的量增至三倍。方块210的输出被传送到高分辨率全彩色图像创建方块212。现在描述本发明的第二可替换实施例。图2和图3如所述优选实施例中的一样。图14为在整个RGBPCFA图像方块200(图2)中重复的可替换像素区域。图14的突出方面在于，单行全色像素由交替的四邻接红色像素接着是四邻接绿色像素的行和四邻接绿色像素接着是四邻接蓝色像素的行分开。图15为由低分辨率RGBCFA图像创建方块202(图2)用来产生图6中所示像素区域的可替换像素区域。在这个可替换实施例中，使用下列表达式来产生图6中的像素值。<formula>formulaseeoriginaldocumentpage15</formula>在这些表达式中，k为产生输出值的希望的像素值范围的缩放因子。k的典型值为1/8，用于产生平均像素值；以及l,用于产生总和像素值。应当指出的是，在本发明的范围内，从八个像素值创建一个像素值是一种二次采样形式。图16示出了像素邻域预测计算方块300(图3)和像素邻域分类器计算方块302(图3)二者使用的四个可替换像素区域。对于像素邻域的中心像素之一为蓝色像素(例如图16A中的B24)时的情况而言，计算下列预测器值。P斜线22一31+^)/2，对于丑竖直反斜线(^+尸")/2'对于^h3+i>i5)/2,对于^^水平=对于像素邻域的中心像素之一为红色像素(例如图16B中的R24)时的情况而言，计算下列预测器值。竖Affe+/y/2,对于《fe+尸")/2，对于《fe+i^/2，对于/2422'23于于于于于十于.T刈刈刈只P反斜线fe十尸M)/2,对于及"3+尸"i/2,对于《"4+尸36>/2，对于《■23'24水平602,+3及23+丑41，对于/236G26+2i24+B46,对于/24'，对于^25P斜线对于像素邻域的中心像素之一为绿色像素(例如图16C中的G24)时的情况而言，计算下列预测器值。(尸31+《3)/2,对于G"(/>32+/4)/2,对于《fe+^)/2,对于《fe+Z^)/2，对于&'fe+尸J/2，对于^(巧4+户34)/2,对于&,2314'25P竖直'22'23'24P反斜线水平6(25+3^5+^,对于<725对于像素邻域的中心像素之一为绿色像素(例如图16D中的G24)时的情况而言，计算下列预测器值。<formula>formulaseeoriginaldocumentpage18</formula>存在由方块302(图3)计算的一组分类器值。尽管给定邻域中的中心像素的颜色可能不同，但是相同的表达式用于计算这些分类器。参照图16A,像素邻域的中心像素为B24,并且计算下列分类器值。<formula>formulaseeoriginaldocumentpage18</formula>■<table>tableseeoriginaldocumentpage19</column></row><table>值t为阈值，其被选择来降低但不是消除c水平门、于c斜线、c竖直^c反斜线的似然率。对于8比特像素值数据范围而言，t的典型值为20。参照图16C,像素邻域的中心像素为G24,并且计算下列分类器值。+&一尸34+^—尸3"对于^+1^-^+4—4，对于^+尸M+A—尸3"对于丑》值t为阈值，其被选择来降低但不是消除c^小于c钭线、c竖直i、c反斜线的似然率。对于8比特像素值数据范围而言，t的典型值为20。参照图16B,像素邻域的中心像素为R24,并且计算下列分类器值。<formula>formulaseeoriginaldocumentpage19</formula><formula>formulaseeoriginaldocumentpage20</formula>值t为阈值，其被选择来降低但不是消除cm小于c斜线、c竖直或c反斜线的似然率。对于8比特像素值数据范围而言，t的典型值为20。回到图3,方块302中计算的分类器值被传送到计算方向确定方块304。在方块304中，将每个分类器值与活性阈值t活性进行比较。对于8比特像素值数据范围而言，t録的典型值为200。如果所有分类器值都大于或等于活性阈值，那么计算方向就变成与预测器值Pa体关联的特例。不满足该第一测试时，则确定具有最小值的分类器。与该分类器关联的方向就成为方块304的输出。方块304的输出和方块300的输出被传送到高分辨率全色像素值计算方块306。在方块306中，对于以红色、绿色或蓝色像素为中心的每个像素邻域而言，与方块304中确定的计算方向对应的预测器值成为插值的全色值。图17中图解说明了所得到的高分辨率全色通道的一部分。在图17中，没有下标的值代表原始存在的全色值，带下标的值代表插值的全色值。此外，图17为由低分辨率全色图像创建方块206(图2)用来产生图9中所示的像素区域的像素区域。在所述优选的实施例中，使用下列表达式来产生图9中的像素值。尸/=fcfe+尸+尸26+尸27+尸"+尸45+尸46+P47)尸/=W尸幼+户"+尸《+尸"+尸80+尸81+尸82+尸83)尸/=M尸64+尸"+4+尸67+4+尸86+尸87)在这些表达式中，k为产生输出值的希望的像素值范围的缩放因子。k的典型值为l/8,用于产生平均像素值。图18为从高分辨率色差创建方块210(图2)创建的像素区域。在图18中，Xi和Xs代表由方块208(图2)创建的低分辨率色差图像中的现有色差值。在方块210(图2)中利用下列表达式来计算插值的色差%2-(37,+义5)/4%4=(^r,+3jr5)/4作为双线性插值的标准做法，这个操作首先在每行上执行以便使每行中的色差值的量增至三倍。然后，沿竖直方向在每列上重复该计算以便使每列中的色差值的量增至三倍。方块210的输出被传送到高分辨率全彩色图像创建方块212。现在描述本发明的第三可替换实施例。图2和图3如所述优选实施例中的一样。图19为在整个RGBPCFA图^f象方块200(图2)中重复的可替换像素区域。图19的突出方面在于，交替的单行和单列全色像素由分隔的红色、绿色和蓝色像素分开。图20为由低分辨率RGBCFA图像创建方块202(图2)用来产生图6中所示像素区域的可替换像素区域。在这个可替换实施例中，使用下列表达式来产生图6中的像素值。W丑J在这些表达式中，k为产生输出值的希望的像素值范围的缩放因子。k的典型值为1/4，用于产生平均像素值；以及l,用于产生总和像素值。应当指出的是，在本发明的范围内，从四个像素值创建一个像素值是一种二次采样形式。图21示出了像素邻域预测计算方块300(图3)和像素邻域分类器计算方块302(图3)二者使用的可替换像素区域。中心像素X22为红色、绿色或蓝色像素。对于所述可替换像素区域，计算下列预测值。<formula>formulaseeoriginaldocumentpage22</formula>对于相同的所述可替换像素区域，计算下列分类器。。<formula>formulaseeoriginaldocumentpage22</formula>回到图3,方块302中计算的分类器值被传送到计算方向确定方块304。在方块304中，将每个分类器值与活性阈值t活性进行比较。对于8比特像素值数据范围而言，t薛的典型值为160。如果所有分类器值都小于或等于活性阈值，那么计算方向就变成与预测器值p^关联的特例。不满足该第一测试时，则确定具有最小值的分类器。与该分类器关联的方向就成为方块304的输出。方块304的输出和方块300的输出被传送到高分辨率全色像素值计算方块306。在方块306中，对于以红色、绿色或蓝色像素为中心的每个像素邻域而言，与方块304中确定的计算方向对应的预测器值成为插值的全色值。图22中图解说明了所得到的高分辨率全色通道的一部分。在图22中，没有下标的值代表原始存在的全色值，带下标的值代表插值的全色值。此外，图22为由低分辨率全色图像创建方块206(图2)用来产生图9中所示的像素区域的像素区域。在所述优选的实施例中，使用下列表达式来产生图9中的像素值。<formula>formulaseeoriginaldocumentpage23</formula>在这些表达式中，k为产生输出值的希望的像素值范围的缩放因子。k的典型值为l/4,用于产生平均像素值。图18为从高分辨率色差创建方块210(图2)创建的像素区域。在图18中，Xi和Xs代表由方块208(图2)创建的低分辨率色差图像中的现有色差值。在方块210(图2)中利用下列表达式来计算插值的色差值X2、X3和X4:<formula>formulaseeoriginaldocumentpage23</formula>作为双线性插值的标准做法，这个操作首先在每行上执行以便使每行中的色差值的量增至三倍。然后，沿竖直方向在每列上重复该计算以便使每列中的色差值的量增至三倍。方块210的输出被传送到高分辨率全彩色图像创建方块212。在本发明的优选实施例中公开的插值算法可以用于各种用户上下文(usercontext)和环境中。示范性上下文和环境包括但不限于批发数字照相洗印加工(其涉及诸如摄影(filmin)、数字处理、打印输出之类的示范性工艺步骤或阶段)、零售数字照相洗印加工(摄影、数字处理、打印输出)、家庭打印(家庭扫描胶片或数字图像、数字处理、打印输出)、桌面软件(向数字打印施加算法以便使其更好或者甚至将其改变的软件)、数字实现(来自媒体或者通过网络的数字图像输入；数字处理；以媒体上的数字形式、通过网络的数字形式或者在硬拷贝印制品上打印的图像输出)、售货亭(数字或扫描输入、数字处理、数字或扫描输出)、移动设备(例如可以用作处理单元的PDA或者蜂窝电话、显示单元或者给出处理指令的单元)，以及作为通过万维网提供的服务。在每种情况下，所述插值算法可以是独立的或者可以是更大的系统解决方案的一个部分。此外，算法的接口例如扫描或输入、数字处理、对用户的显示(如果需要的话)、用户请求或处理指令的输入(如果需要的话)、输出，可以处于相同或不同的设备和物理位置，并且这些设备和位置之间的通信可以经由公共或私有网络连接或者基于媒体的通信。在与本发明的前述公开一致的情况下，所述算法本身可以是完全自动的，可以具有用户输入(完全或部分手动的)，可以让用户或操作员查看以接受/拒绝结果，或者可以借助于元数据(可以由用户提供或者通过测量设备(例如在相机中)提供或者由算法确定的元数据)。而且，所述算法可以与各种工作流用户接口方案相接口。此处公开的依照本发明的插值算法可以具有利用各种数据检测和约简(reduction)技术(例如脸部检测、眼睛冲全测、皮肤才企测、闪光才全测)的内部组件。元件列表110计算机系统112基于微处理器的单元114显示器U6键盘118鼠标120显示器上的选择器122盘驱动单元124光盘只读存4诸器(CD-ROM)126软盘127网络连接128打印才7L130个人计算机卡(PC卡)132PC卡读取器134数字静止照相机136照相才几对4妻端口138电缆连接140无线连接200RGBPCFA图像202低分辨率RGBCFA图像创建204高分辨率全色图像创建206低分辨率全色图像创建208低分辨率色差创建210高分辨率色差创建212高分辨率全彩色图像创建214高分辨率全彩色图像216低分辨率色差图像插值300像素邻域预测器计算302像素邻域分类器计算304计算方向确定306高分辨率全色像素值计算权利要求1.一种用于形成最终的数字彩色图像的方法，包括:(a)使用图像传感器捕捉图像，所述图像传感器具有全色像素和与至少两种彩色光响应对应的彩色像素；(b)根据捕捉的图像提供数字高分辨率全色图像和数字高分辨率色差图像；以及(c)使用所述数字高分辨率全色图像和数字高分辨率色差图像来产生最终的数字高分辨率全彩色图像。2.权利要求l的方法，其中步骤(a)包括具有光敏度红色、绿色和蓝色的彩色像素。3.权利要求l的方法，其中步骤(a)包括具有光敏度青色、品红色和黄色的彩色像素。4.权利要求2的方法，其中步骤(b)包括响应于像素邻域分类器值而使用像素邻域预测器值来产生数字高分辨率全色图像。5.权利要求2的方法，其中步骤(b)包括使用数字插值的低分辨率色差图像来产生数字高分辨率色差图像。6.权利要求5的方法，其中步骤(b)还包括使用低分辨率全色图像和低分辨率RGBCFA图像来产生数字插值的低分辨率色差图像。7.权利要求6的方法，其中步骤b)还包括使用低分辨率全色图像和低分辨率RGBCFA图像来产生低分辨率色差图像，以及使用低分辨率色差图像来产生数字插值的低分辨率色差图像。8.权利要求6的方法，包括平均和二次采样所述数字高分辨率全色图像以便产生数字低分辨率全色图像。9.权利要求6的方法，包括对数字RGBPCFA图像进行求和或平均以及二次采样以便产生数字低分辨率RGBCFA图像。10.权利要求7的方法，其中图像传感器具有如下排列的全色像素(P)和彩色像素红色(R)、绿色(G)和蓝色(B):RGPPGB11.权利要求7的方法，其中图像传感器具有如下排列的全色像素(P)和彩色像素红色(R)、绿色(G)和蓝色(B):RRRGGGPPPPPPPPP.PPPGGGBBBPPPPPPPPPPPP12.权利要求7的方法，其中图像传感器具有如下排列的全色像素(P)和彩色像素红色U)、绿色(G)和蓝色(B):RRRRGGGGPPPPPPPPRRRRGGGGPPPPPPPPGGGGBBBBPPPPPPPPGGGGBBBBPPPPPPP13.权利要求7的方法，其中图像传感器具有如下排列的全色像素(P)和彩色像素红色(R)、绿色(G)和蓝色(B):RPRPGPGPPPPPPPPPRPRPGPGPPPPPPPPPGPGPBPBPPPPPPPPPGPGPBPBPPPPPPPPP全文摘要一种用于形成最终的数字彩色图像的方法，包括使用图像传感器捕捉图像，所述图像传感器具有全色像素和与至少两种彩色光响应对应的彩色像素；根据捕捉的图像提供数字高分辨率全色图像和数字高分辨率色差图像；以及使用所述数字高分辨率全色图像和数字高分辨率色差图像来产生最终的数字高分辨率全彩色图像。文档编号G06T3/40GK101375610SQ200780003483公开日2009年2月25日申请日期2007年1月17日优先权日2006年1月27日发明者J·E·小亚当斯,J·F·小哈米尔顿,M·奥布赖恩申请人:伊斯曼柯达公司