专利名称：利用彩色滤光片阵列图像产生全彩图像的制作方法
技术领域：
本发明涉及具有彩色信道以及泛色信道的的彩色滤光片阵列图像，并更具体地涉及提供具有减小的运动模糊的改良的全分辨率彩色图像。
背景技术：
电子成像系统依靠透镜系统以在电子图像传感器上形成图像，从而创造可视图像的电子表现。此类电子图像传感器的示例包括电荷耦合器件(CCD)图像传感器以及有源像素传感器(APQ器件(APS器件由于能在互补金属氧化物半导体处理中制造它们而通常被称为CMOS传感器)。传感器包括独立的图像元素传感器(或称为像素)的二维阵列。如 Bayer在共同受让的1976年7月20日授证的美国专利第3，971，065号中所描述，各个像素通常具有红、绿、或蓝滤光片的任一个，由此能产生彩色图像。不管所采用的电子技术(诸如，CCD或CMOS)，像素充当容器，在电子成像系统捕捉图像期间，光电子在该容器中以与撞击该像素的光量成正比地累积。并非进入电子成像系统的前端光学组件的所有光都撞击像素。当通过该电子成像系统的光路时，大部分的光被损耗。通常，约5%的光由于透镜反射及雾化而被损耗，约 60%由于彩色滤光片阵列而被损耗。此外，某些光撞击到不感光的像素区域。为了收集用于进行正确曝光所需的光的量，电子图像传感器在被称为曝光时间的时间间隔内收集光。基于待成像的场景的亮度测量，通常使用自动曝光控制来决定将产生具有有效亮度的图像的合适曝光时间。场景越暗，电子成像系统用以收集光以进行正确曝光的时间就越长。然而， 已知的是，越长的曝光能导致模糊的图像。这种模糊是物体在场景中移动的结果。当在捕捉期间图像捕捉器件相对于场景发生移动(诸如，由于摄影机抖动)时，也可产生模糊。一种减少模糊的方法是缩短曝光时间。然而，此方法使电子图像传感器在图像捕捉期间曝光不足因此产生黑暗图像。模拟或数字增益可被应用于图像信号以使该黑暗图像变亮，但是本领域熟练技术人员将认识到这将导致噪声图像。另一种减少模糊的方法是缩短曝光时间并保留更多的光通过光路并将光引导至电子图像传感器的像素。此方法可产生具有减小模糊与可接受的噪声水平的图像。然而， 电子成像系统的当前工业趋势是将成像系统制造的更小且更便宜。具有可收集更多的光且保留更多光传递通过的大孔径的高级光学组件因此是不可行的。另一种减少模糊的方法系缩短曝光时间并藉由摄影闪光灯来补充自然光。摄影闪光灯产生维持一秒钟的一小部分的强光通量，且该曝光时间被设定以包括闪光时间。曝光时间可被设定为相比于不使用闪光灯的情况而言显著更短的时间间隔，因为摄影闪光灯提供了强照明。因此，在曝光期间的模糊被减小。然而，闪光灯摄影法仅有在闪光灯与该物体之间的距离相对较小的条件下才可行。另外，闪光灯给图像捕捉器件添加额外费用及重量。授予Tull的2002年8月27日授证的美国专利第6，441，848号描述了具有电子图像传感器的数字相机，该电子图像传感器藉由监控电子被各个像素所收集的速率来移除物体运动模糊。如果光撞击像素的速率改变，那么查看该像素的图像亮度就被假定为正在变化。当该传感器阵列中内建的电路侦测到图像亮度正在变化时，保存收集到的电荷量，并且记录亮度变化被侦测到的时间。藉由线性地外推像素值使得该像素值对应于整个图像的动态范围而将曝光停止的各个像素值调整至合适值。此方法的缺点是当曝光开始时已经在运动中的物体的外推像素值是非常不确定的。传感器所见的图像亮度从不具有恒定值，并且因此，外推像素值中的不确定性导致具有运动伪像的图像。另一个缺点是该方法使用专用硬件使得其不能使用被用于当前商业相机中的常规电子图像传感器。另一种减少模糊的方法是捕捉二个图像，一个具有短的曝光时间，并且一个具有长的曝光时间。短的曝光时间被选择以产生具有噪声但是相对地不含运动模糊的图像。长的曝光时间被选择以产生具有较少噪声但是却具有显著的运动模糊的图像。图像处理算法被用于将二个捕捉图像组合入一个最终输出图像。这些方法在美国专利第7，239，342号、 美国专利申请公开案第2006/0017837号、美国专利申请公开案第2006/0187308号及美国专利申请公开案第2007/0223831号中有所描述。这些方法的缺陷包括包括需要额外的缓冲存储器来储存多个图像、额外的复杂度来处理多个图像、以及消除物体运动模糊的困难。另一个减少模糊的方法是缩短曝光时间并保留更多的光通过彩色滤光片阵列。针对硅基图像传感器，像素组件自身广泛地对可视光灵敏，允许未被过滤的像素适于捕捉单色图像。为了捕捉彩色图像，滤光片的二维图案通常被制造在像素图案之上，其中不同的过滤材料被用于制造仅对一部分可视光谱敏感的独立像素。如美国专利第3，971，065号所描述的，这样一种滤光片图案的实例是已知的拜耳(Bayer)彩色滤光片阵列图案。拜耳 (Bayer)彩色滤光片阵列的优点是可在标准条件下获得全彩色图像；然而，该解决方案已被发现存在其缺陷。尽管需要滤光片来提供窄带光谱响应，但是入射光的任何过滤都趋向于减小到达各个像素的光的数量，由此减小各个像素的有效感光度并减小像素响应速度。对于用于在变化的光条件下改良图像捕捉的解决方案以及用于改良图像传感器总灵敏度的解决方案，已经揭示了对常见的拜耳(Bayer)图案的多种修改。举例而言， Hamilton等人所著的题为《在变化的光照条件下捕捉图像(Capturing Images Under Varying Lighting Conditions)》的共同受让美国专利申请公开案第2007/0046807号及 Compton等人所著的题为《具有改良感光度的图像传感器(Image Sensor with Improved Light Sensitivity)》的美国专利申请公开案第2007/0024931号二者同时描述了将彩色滤光片与泛色滤光片元件以某种方式进行空间穿插地组合在一起的替代传感器配置。藉由此类型的解决方案，图像传感器的某些部分侦测色彩；另一个泛色部分被优化以侦测跨可见频带的光，以求改良的动态范围及灵敏度。这些解决方案由此提供一像素图案，某些像素具有彩色滤光片(提供窄带光谱响应)并且某些不具有彩色滤光片(未被过滤的“泛色”像素或经过滤以提供宽带光谱响应的像素)。然而，由于彩色像素仍然遭受运动模糊，因此这些解决方案不足以允许在低光亮条件下捕捉不具有运动模糊的高质量图像。在天体摄影术及遥感领域中已知的是，在低光亮情形下减少模糊并捕捉图像的另一个方法是捕捉二个图像具有高空间分辨率的泛色图像以及具有低空间分辨率的多光谱图像。这些图像被融合以产生具有高空间分辨率的多光谱图像。该方法被描述在美国专利第7，340，099号、美国专利第6，011，875号及美国专利第6，097，835号中。该方法的缺陷包括需要额外的缓冲存储器来储存多个图像、以及消除物体运动模糊的困难。可被用于减小运动模糊的另一个方法是使用图像稳定系统，该图像稳定系统具有可移动的透镜系统或专用成像器定位硬件。该系统被设计为将图像保持在传感器上的稳定位置中。然而，该系统具有复杂且昂贵的缺点。此外，该系统没有解决在场景中的物体以不同速度移动的情况。由此，需要在不利用摄影闪光灯、不增加图像噪声、且不产生显著额外成本、复杂性或存储器需求的前提下从具有彩色及泛色像素的彩色滤光片阵列图像产生具有减小的运动模糊的改良的彩色图像。
发明内容
根据本发明，提供一种利用具有多个彩色信道以及一泛色信道的彩色滤光片阵列图像形成全彩输出图像的方法，该方法包括一个或多个处理器用于提供下述功能a)利用彩色滤光片阵列图像传感器捕捉彩色滤光片阵列图像，所述彩色滤光片阵列图像具有多个彩色信道以及一泛色信道，其中利用与所述彩色通道的至少一个彩色通道有所不同的曝光时间来捕捉所述泛色通道；b)从彩色滤光片阵列图像计算内插彩色图像以及内插泛色图像；c)从内插彩色图像计算色度图像；及d)利用内插泛色图像以及色度图像形成全彩输出图像。本发明的一个优点是可产生具有减小的运动模糊的改良全分辨率彩色图像而不需要使用摄影闪光灯或长曝光时间以恰当地曝光单一图像。本发明的另一个优点是可产生具有减小的由图像捕捉器件导致的模糊的全分辨率彩色图像而不需要具有可移动透镜系统或专用成像器定位硬件的昂贵的图像稳定系统。本发明的另一个优点是可产生具有减小的模糊的全分辨率彩色图像而不需要增加的用于储存多个图像的缓冲存储器要求。通过对较佳实施例的下列详细描述以及附属的权利要求书的审阅，并参照附图， 将能更清楚地理解及了解本发明的这些及其它的方面、目的、特征、以及优点。
图1是用于实现本发明的数字相机的方框图；图2是本发明的较佳实施例的方框图；图3是可被用于本发明的彩色滤光片阵列图案的视图；图4是示出共享相同的浮动扩散组件的在邻近列中的像素如何被合并在一起的示意图；图5是根据一个可能的合并策略的从图像传感器的一部分的像素读出视图；图6提供用于红、绿、蓝像素的代表性光谱量子效率曲线，以及宽光谱泛色量子效率，这些全部被乘以红外截止滤光片的传递特性；及图7是更详细地示出图2的步骤214的方框图。较佳实施方式在以下描述中，本发明的较佳实施例将以通常作为软件程序而被实现术语而被描述。本领域熟练技术人员将容易地认识到此软件的等价物也可被构建在硬件中。由于图像操作算法及系统是已知的，因此本描述将特别针对形成根据本发明的系统和方法的一部分的算法和系统，或针对与根据本发明的系统和方法进行更直接地协作的算法和系统。在本文中未被明确显示或描述的算法与系统的其他方面、以及用于生产并以其他方式处理与之相关的图像信号的硬件或软件可从本领域中已知的系统、算法、组件及元件中选择。假定本系统在以下材料中根据本发明而被描述，那么对执行本发明有用的在本文中未被明确示出、建议或描述的软件是常规的且属于本领域的普通技术范围内。更进一步，如在本文中所使用，用于执行本发明的方法的计算机程序可被储存在计算机可读储存媒体中，举例而言，计算机可读存储媒体包括；磁储存媒体，诸如磁盘(诸如硬盘驱动器或软盘)或磁带；光储存媒体，诸如光盘、光带、或机器可读条形码；固态电子存储设备，诸如随机存取内存(RAM)、或只读存储器(ROM)；或任何其它的被用于储存计算机程序的物理器件或媒体。由于采用成像器件及相关电路以用于信号捕捉与修正并用于曝光控制的数字相机是已知的，因此本描述将特别针对形成根据本发明的方法和装置的一部分的元件，或针对与根据本发明的方法和装置进行更直接地协作的组件。在本文中未明确显示或描述的组件选自本领域中的已知组件。待被描述的实施例的特定方面被提供于软件中。假定本系统在以下材料中根据本发明而被示出及描述，那么对执行本发明有用的在本文中未被明确示出、描述或建议的软件是已知的，且属于本领域的普通技术范围内。现在转向图1，示出了实施本发明的图像捕捉器件的方框图。在此实施例中，图像捕捉器件被显示为数字相机。然而，尽管现在将阐述数字相机，本发明同样清楚地适用于其它类型的图像捕捉器件。在所揭示的相机中，来自主题场景10的光被输入成像级11，在成像级中光被透镜12聚焦以在固态彩色滤光片阵列图像传感器20上形成图像。彩色滤光片阵列图像传感器20将入射光转换为用于各个图像组件(像素)的电信号。本较佳实施例的彩色滤光片阵列图像传感器20是电荷耦合器件(CCD)类型或有源像素传感器(APS) 类型。(APS器件由于能在互补金属氧化物半导体处理中制造它们而通常被称为CMOS传感器。)具有二维像素阵列的其它类型的图像传感器也可被使用，如果它们采用本发明的图案。本发明所使用的彩色滤光片阵列图像传感器20包括彩色及泛色像素的二维阵列，随后在本说明书中描述了图1之后将变得清晰的。到达彩色滤光片阵列图像传感器20的光的数量由虹膜块14以及中性密度(ND) 滤块13来调节，虹膜块14改变孔径，中性密度(ND)滤块13包括一个或多个插入光路中的 ND滤光片。调节总光度的时间也是快门18打开的时间。曝光控制器40对由亮度传感器块 16所计量的场景中可得的光的数量做出响应，并控制所有这三个调节功能块。该特定相机配置的描述是本领域熟练技术人员所熟知的，并且显而易见的，存在多种变化及附加特征。举例而言，可添加自动聚焦系统，或透镜是可拆分的且可互换的。应了解本发明可被应用于任意类型的数字相机，其中相同的功能性由替代组件来提供。举例而言，数字相机可以是相对简单的全自动数字相机，其中快门18是相对简单的可动叶片快门、或类似物，以代替更为复杂的聚焦平面配置。本发明也可利用被包括在诸如行动电话及机动车辆中的非照相器件中的成像组件来实现。来自彩色滤光片阵列图像传感器20的模拟信号由模拟信号处理器22来处理，且被应用于模拟至数字(A/D)转换器M。时序产生器沈产生各种频率信号以选择列和像素， 并将模拟信号处理器22与A/D转换器M的操作进行同步。图像感测级观包括彩色滤光片阵列图像传感器20、模拟信号处理器22、A/D转换器24、以及时序产生器沈。图像感测级观的这些组件可以是分别制造的集成电路，或可以按照CMOS图像传感器常见处置方式被制造为单一的集成电路。来自A/D转换器M的数字像素值结果流被储存在与数字信号处理器(DSP) 36相关联的数字信号处理器(DSP)存储器32中。DSP 36是本实施例中的三个处理器或控制器中的一个，除此之外还有系统控制器50和曝光控制器40。尽管这种将相机功能控制在多个控制器及处理器之间的划分是典型的，但是这些控制器或处理器可以各种方式组合而不影响相机的功能操作及本发明的应用。这些控制器或处理器可包括一个或多个数字信号处理器器件、微控制器、可编程逻辑器件、或其它数字逻辑电路。尽管已经描述了这些控制器或处理器的组合，但是可以理解的是可以指定一个控制器或处理器来执行所有所需的功能。所有这些变化可执行相同功能且属于本发明的范围，且术语“处理级”将按需要而被使用以在一个短语内涵盖所有的功能，举例而言，如在图1中的处理级38中。在所示出的实施例中，DSP 36根据软件程序来操作DSP存储器32中的数字图像数据，该软件程序被永久地储存在程序存储器M中且被复制到DSP存储器32中以用于在图像捕捉期间的执行。DSP 36执行实现图1所示的图像处理所需的软件。DSP存储器32可以是任意类型的随机存取内存，诸如SDRAM。包括用于地址及数据信号的通道的总线30将 DSP 36连接至其相关的DSP存储器32、A/D转换器M以及其它相关的器件。系统控制器50基于被储存在程序存储器M中的软件程序来控制相机的整体操作，程序存储器M可包括快闪EEPROM或其它非易失性存储器。此存储器也可被用于储存图像传感器校准数据、使用者设置选项以及当该相机被关闭时必须被保存的其它数据。系统控制器50通过以下操作来控制图像捕捉的顺序指示曝光控制器40操作先前描述的透镜12、ND滤块13、虹膜块14、以及快门18，指示时序产生器沈操作彩色滤光片阵列图像传感器20及相关组件，并指示DSP 36处理经捕捉的图像数据。在图像被捕捉及处理之后，储存在DSP存储器32中的最终图像文件经由主机接口 57被传输至主计算机、被储存在可移动的记忆卡64或其它储存器件中、并为在图像显示器88上被显示给用户。系统控制器总线52包括用于地址、数据及控制信号的通道，并将系统控制器50连接至DSP 36、程序存储器M、系统存储器56、主机接口 57、记忆卡接口 60及其它相关的器件。主机接口 57向个人计算机(PC)或其它主计算机提供高速连接以用于传输用于显示、 储存、操作或打印的图像数据。该接口可以是IEEE1394或USB2.0串行接口或任何其它合适的数字接口。记忆卡64通常是紧凑式闪存(CF)卡，该CF卡被插入记忆卡插槽62中并经由记忆卡接口 60被连接至系统控制器50。可被利用的其它类型的储存器包括但不限于 PC卡、多媒体卡(MMC)、或安全数字(SD)卡。已处理的图像被复制到在系统存储器56中的显示缓冲器，并经由视频编码器80 被连续地读出以产生视频信号。此信号从相机被直接输出以用于显示在外部监视器上，或由显示控制器82来处理并被呈现在图像显示器88上。此显示器通常是主动矩阵彩色液晶显示器(LCD)，不过其它类型的显示器也可被使用。包括取景显示器70、曝光显示器72、状态显示器76、图像显示器88、以及用户输入 74中全部或任意组合的用户接口 68由在曝光控制器40及系统控制器50上执行的软件程序的组合来控制。用户输入74通常包括按钮、摇臂开关、操纵杆、旋转刻度盘或触控屏幕的某些组合。曝光控制器40操作测光、曝光图案、自动聚焦及其它曝光功能。系统控制器50 管理被呈现在一个或多个的显示器上(诸如，在图像显示器88上)的图形用户接口(⑶I)。 GUI通常包括用于进行各种选择项的菜单以及用于检测被捕捉的图像的审阅图案。曝光控制器40接收用户输入(其选择曝光图案、透镜孔径、曝光时间(快门速度)、以及曝光指数或ISO速度等级)，并相应地指示透镜12及快门18用于随后的捕捉。亮度传感器块16 被用以测量场景的亮度，并提供曝光计功能以便在手动地设置ISO速度等级、孔径、及快门速度时供用户参照。在此情况下，当用户更改一个或多个设置时，呈现在取景显示器70上的光度计指示符告知用户图像过度曝光或曝光不足的程度。在自动曝光图案中，用户更改一个设置并且曝光控制器40自动地改变另一个设置以保持正确曝光，举例而言，在给定的 ISO速度等级下当该用户减小该透镜孔径时，曝光控制器40自动地增加曝光时间以保持相同的总曝光量。ISO速度等级是数字静像相机的重要属性。曝光时间、透镜孔径、透镜透光度、场景照明的水平及光谱分布，以及场景反射率决定了数字静像相机的曝光水平。当来自数字静像相机的图像是利用不足曝光而获得之时，通过增加电子或数字增益可保持适当的色调再现，但是结果图像通常将含有不可接受的噪声数量。随着曝光量被增加，增益被减小，因此图像噪声可正常地被减少至可接受的水平。如果曝光量被过度增加，那么在图像的亮区域中的结果信号可超过该图像传感器或相机信号处理的最大信号水平容量。此可导致图像高亮区域被剪除以形成均勻亮区域，或“涌入”图像的周围区域。因此，重要的是指导用户设置适当的曝光量。ISO速度等级旨在充当此指导。为了被摄影师容易地理解，用于数字静像相机的ISO速度等级应直接地与用于照相胶卷相机的ISO速度等级相关。举例而言，如果数字静像相机具有ISO 200的ISO速度等级，那么相同的曝光时间及孔径将适合于ISO 200 额定的胶卷/处理系统。ISO速度等级旨在与胶卷ISO速度等级相一致。然而，基于电子的成像系统与基于胶卷的成像系统之间存在有阻碍精确等效的差异。数字静像相机可包括可变增益，并可在图像数据已被捕捉之后提供数字处理，从而使得能够在相机曝光的一定范围内获得色调再现。因此，数字静像相机能够具有一定范围的速度等级。该范围被定义为ISO速度宽容度。为防止混淆，一单一值被指定为固有ISO速度等级，并且ISO速度宽容度的上限和下限指示速度范围，亦即，包括不同于该固有ISO速度等级的有效速度等级的范围。考虑到这一点，固有ISO速度是从在数字静像相机的聚焦平面所提供的以产生特定相机输出信号特性的曝光量所计算得来的一数量值。该固有速度通常是给定相机系统对于正常场景产生峰值图像质量的曝光指数值，其中该曝光指数是与被提供至图像传感器的曝光量成反比的一数量值。数字相机的先前描述对于本领域熟练技术人员而言是已知的。显而易见的是，本实施例存在许多可能的变形，并且这些变化被选择以减少成本、增加特征或改良相机的性能。下列描述将详细地揭示根据本发明的用于捕捉图像的相机的操作。虽然本描述是参照数字相机，但可以理解的是本发明适用于包括图像传感器(其具有彩色及泛色像素)的任意类型的图像捕捉器件。图1所示的彩色滤光片阵列图像传感器20通常包括被制造于硅基层上的感光像素的二维阵列，该二维阵列提供了一种方法将各个像素的入射光转换成被测量的电信号。由于彩色滤光片阵列图像传感器20被暴露于光中，自由电子被产生并被被捕捉于各个像素的电子结构中。在一段时间内捕捉这些自由电子，并且随后测量所捕捉的电子的数目、或测量自由电子产生的速率就能测量各个像素处的光度。在前一种情况下，如同在电荷耦合器件(CCD)中那样，所积聚的电荷被从像素阵列移出至电荷-电压测量电路，或如同在有源像素传感器(APS或CMOS传感器)中那样，在接近各个像素的区域可包含有电荷-电压测量电路的元件。在下列描述中只要一般参照图像传感器，可以理解该图像传感器就代表图1的彩色滤光片阵列图像传感器20。可以进一步理解的是，在本说明书中所揭示的本发明的图像传感器体系结构及像素型样的全部实例及其等价物系用于彩色滤光片阵列图像传感器20。在图像传感器的环境中，像素(“图像组件”的缩略形式)涉及离散的感光区域及与该感光区域相关的电荷变换或电荷测量电路。在数字彩色图像的环境中，该术语“像素” 通常涉及在图像中具有相关色彩值的特殊位置。图2是本发明的较佳实施例的高阶图表，其代表处理器执行本发明的各个步骤。 彩色滤光片阵列图像传感器20(图1)捕捉彩色滤光片阵列图像，该彩色滤光片阵列图像含有与至少二个彩色相片响应相对应的泛色通道202与彩色通道204。彩色滤光片阵列可含有红、绿、蓝及泛色像素，但是其它诸如青色、洋红色、黄色及泛色的信道组合也是可能的。 特别重要的是包括泛色通道。彩色滤光片阵列图像以如下方式来捕捉将泛色信道暴露于光中达与彩色信道中的至少一个相比有所不同的时间长度。该泛色通道大体上将不同于各个彩色通道的曝光时间，并且曝光间隔经安排使它们同时结束。彩色滤光片阵列(CFA)内插块206根据由数字相机(图1)所捕捉的彩色滤光片阵列图像而产生内插泛色图像208及内插彩色图像210。内插彩色图像210被用于计算合成的泛色图像212。在较佳实施例中，合成的泛色图像212被计算为内插彩色图像210的红、绿及蓝色通道的加权线性组合。选择由块210所产生的内插彩色图像的红、绿、及蓝色通道的权重，以使得所计算的合成泛色图像212可媲美于内插泛色图像208。在最终步骤中，利用形式改良图像块214，内插泛色图像208、内插彩色图像210以及合成泛色图像212被用于产生具有减小的运动模糊的改良的全彩输出图像216。在图2中概述的该独立步骤现在将被更详细地描述。最初，数字相机(见图1)捕捉彩色滤光片阵列图像。图3示出了用于较佳实施例的示例彩色滤光片阵列(CFA)图案 301。在此示例中，大约一半的像素是泛色像素302，同时另一半像素被划分为红像素304、 绿像素306及蓝像素308。用于泛色像素的曝光时间比用于彩色像素的曝光时间更短。这允许以短曝光时间来捕捉泛色数据，由此防止过度的运动模糊，同时也允许以充分曝光来捕捉彩色数据，以减小彩色噪声伪像。用于泛色像素以及彩色像素的曝光时间可通过调整针对不同类型的像素的电荷积聚时间量而被独立地控制。如图4所注明的，在图像传感器的读出期间各种像素合并(binning)方案是可能的。在图4中，图像传感器的二个局部列被显示图像传感器的第一局部列401以及图像传感器的第二局部列402。在此实施例中，用于传感器阵列的底层读出电路使用浮动扩散器 404，该浮动扩散器404每次被可转换地连接到一个或多个周围像素。数字图像获取领域的熟练技术人员熟知浮动扩散器404的实现及使用。图4示出了一种常规配置，其中每个浮
9动扩散器404服务四个周围像素，这在一个示例中被显示为像素四重组合(qUartet)406。像素信号可以许多组合的任意一种组合被切换至浮动扩散器404。在第一读出组合408中，四重组合406中的各个像素将其电荷分别传输至浮动扩散器404，并因此被逐个地读出。在第二读出组合410中，泛色像素P被合并，亦即，这些泛色像素P通过将其储存电荷同时清空至浮动扩散器404而共享浮动扩散器404 ；相似地，在四重组合中的彩色(G) 像素二者被合并，同时将他们的信号切换至浮动扩散器404。在第三读出组合412中，泛色像素P未被合并，而是被分别读出；同时彩色像素(G)被合并。在本发明的较佳实施例中，用于泛色通道202(图2)的泛色像素并未被合并，同时用于色彩通道204(图2)的彩色像素被合并412，导致图5所示的读出。在图5中，泛色像素502占有一棋盘图案，而彩色像素504共同形成一低分辨率拜耳(Bayer)图案。CFA内插块206(图2)利用彩色滤光片阵列图像产生内插泛色图像208以及内插彩色图像210，彩色滤光片阵列图像含有泛色信道202以及彩色信道204。用于执行CFA内插的方法是本领域中已知的。举例而言，在美国专利申请公开案第2007/0024934号中(其被结合在本文中作为参考)描述的CFA内插法可被使用。在CFA内插块206已经产生了内插彩色图像210之后，内插彩色图像210被用于计算合成泛色图像212。用于计算合成泛色图像212的计算性简单运算通过L = R+2G+B而被给定，其中L是合成泛色图像212的像素值，且R、G、B分别是用于内插彩色图像210 (图 2)的红、绿及蓝色通道的像素值。在较佳实施例中，如图6所示出的，测量红、绿、蓝、及泛色像素的光谱响应，并且合成泛色图像212被计算为给予对泛色曲线的最佳拟合的红、绿及蓝的加权线性组合。参照图6的图表，其显示在典型相机应用中使用红、绿、及蓝色滤光片的像素的相对光谱灵敏度。在图6中的X轴代表以纳米为单位的光波长，横跨大约从近紫外区至近红外区的波长，Y轴则代表效率(其被正规化)。在图6中，带宽滤光片曲线610代表典型的带宽滤光片的光谱传输特性，该带宽滤光片被用于阻挡红外及紫外光到达该图像传感器。 需要这样的滤光片，是因为被用于图像传感器的彩色滤光片通常不阻挡红外光，因此像素不能区分红外光与在相关彩色滤光片的通带中的光。由带宽滤光片曲线610所显示的红外光阻挡特性因此防止红外光破坏可见光信号。用于应用红、绿、及蓝滤光片的典型硅传感器的光谱量子效率(亦即，被捕捉并被转换成可测量电信号的入射光子的比例)被乘以由带宽滤光片曲线610所代表的红外阻挡滤光片的光谱传输特性，以产生组合系统量子效率， 该组合系统量子效率由用于红色通道的红光响应曲线614、用于绿色通道的绿光响应曲线 616、以及用于蓝色通道的蓝光响应曲线618所代表。可以理解的是，根据这些曲线，每个彩色光响应仅仅对可视光谱的一部分敏感。相反，不应用彩色滤光片(但是包括红外阻挡滤光片特性)的相同硅传感器的光响应由用于泛色通道的泛色光响应曲线612来示出。通过将彩色光响应曲线614、616、及618与泛色光响应曲线612进行比较，很明显泛色光响应比任何一个彩色光响应对宽光谱更敏感二至四倍。在形式改良的图像区块214(图2)中，内插泛色图像208、内插彩色图像210，合成泛色图像212被用于产生具有减小的运动模糊的改良的全彩输出图像。图7是根据本发明的较佳实施例的对图2的形式改良图像区块214的更详细的视图。亮度-色度产生步骤701使用内插彩色图像210 (图幻以及合成泛色图像212 (图2)，并产生亮度图像702及色度图像703。亮度-色度调整步骤704使用内插泛色图像208 (图 2)来修改在步骤702产生的亮度图像702及色度图像703，以形成修改后的亮度图像705以及修改后的色度图像706。彩色图像重构步骤707使用在步骤704产生的修改后的亮度图像 705及修改后的色度图像706，以产生具有减小的运动模糊的改良的全彩输出图像216(图 2)。 在图7中，亮度-色度产生步骤701可按照本领域熟练技术人员所已知的任意适当的方式来执行。根据本发明的较佳实施例的一种估算亮度及色度图像的方式利用以下方
程式(1)-(4)来描述synthetic pan = α R+β G+γ B(1)L = synthetic pan(2)Cr = R-L(3)Cb = B-L(4)其中，如图6所示，α、β及Y是从红、绿、蓝、及泛色像素的光谱响应中计算而得的加权。R、G、及B分别是内插彩色图像210(图幻的红、绿、及蓝色通道值，synthetic pan(合成泛色)是合成泛色图像212(图幻的值。L是亮度图像702的像素值，Cr与Cb是色度图像703的色彩值。在图7中，亮度-色度调整步骤704可按照本领域熟练技术人员所已知的任意适当的方式来执行。一种根据本发明的较佳实施例的执行亮度-色度调整步骤704的方式利用以下方程式 _(7)来描述LNew = pan(5)
Cr
广、New v^' τ NewCr =—rL
L (6)
/^i New Cb 厂 TVewCb =-L
L(7)其中pan (泛色)是内插泛色图像208 (图幻的像素值，LN 是修改后的亮度图像 705的像素值，CrNew与CbNew是修改后的色度图像706的色彩值。在本发明的替代实施例中，色度图像703可被直接用于彩色图像重构步骤707中。 在此情况下，CrN = Cr和CbN = Cb。此方法具有的优点是计算更快，然而，将会对结果图像质量产生相关的牺牲。在图7中，彩色图像重构步骤707可按照本领域熟练技术人员所已知的任意适当的方式来执行。一种根据本发明的较佳实施例执行彩色图像重构步骤707的方式利用以下
方程式(8)-(10)来描述RNew = CrNew+LNew(8)BNew = cbNew+LNew(9)GNew = (LNew- α RNew- y BNew) / β(10)其中，RN 、GN 及Bnm分别是改良全彩输出图像216(图2)的红、绿及蓝色通道值。如本发明的较佳实施例所揭示的用于计算具有减小的运动模糊的改良全彩输出图像的算法可被运用于各种用户内容及环境中，各种用户内容及环境包括非限制地，大规
1模数字相片洗印(其涉及例示性的处理步骤或阶段，诸如被提交用于大规模实现、数字处理、打印的数字图像)，零售数字相片洗印(被提供用于零售实现、数字处理、打印的数字图像)，家庭打印(家庭数字图像输入、数字处理、打印输出)，桌面软件(将算法应用于数字图像以使其更好或乃至改变它们的软件)，数字实现(来自媒体或经由网络取得的数字图像输入，数字处理，数字图像输出至媒体上、经由因特网的数字形式的数字图像输出)，信息站(数字图像输入、数字处理、打印或数字媒体输出)，移动设备(诸如，可被使用作为处理单元、显示单元、或给予处理指令的单元的PDA或手机)，以及作为经由全球万维网而提供的服务。在每种情况下，用于计算具有减小的运动模糊的改良全彩输出图像的算法可单独成立或可成为较大的系统解决方案的一部分。此外，与该算法的接口(诸如，输入、数字处理、向用户显示(如果需要的话)、用户请求或处理指令的输入(如果需要的话)、输出)可分别位于相同或不同的器件与物理位置上，且在这些设备与位置之间的通信可经由公共或私人网络连接、或基于媒体的通信。在与本发明的先前揭示内容一致的条件下，这些算法自身能够是全自动的，可具有用户输入(完全或部分手动的)，可使用户或操作者进行审阅以接收/拒绝该结果，或可藉由元数据来辅助(元数据可由用户来提供，藉由诸如在相机中的测量装置来提供，或藉由算法来决定)。此外，这些算法可与多种工作流用户接口方案相交互。根据本发明而在本文中所揭示的具有减小的运动模糊算法的改良全彩输出图像的计算可具有内部组件，这些内部组件利用多种数据侦测及缩减技术(诸如，面部侦测、眼部侦测、皮肤侦测、闪光侦测)。部件列表
10来自主题场景之光
11成像级
12透镜
13中性密度(ND)滤块
14虹膜块
16亮度传感器块
18快门
20彩色滤光片阵列图像传感器
22模拟信号处理器
24模拟-数字(A/D)转换器
26时序产生器
28图像传感器级
30总线
32数字信号处理器(DSP)存储器
36数字信号处理器(DSP)
38处理级
40曝光控制器
50系统控制器
52系统控制器总线54程序存储器56系统存储器57 主机接口60 记忆卡接口62 记忆卡插槽64 记忆卡68 用户接口70取景显示器72 曝光显示器74用户输入76 状态显示器80视频编码器82 显示控制器88 图像显示器202泛色通道204彩色通道206彩色滤光片阵列(CFA)内插块208内插泛色图像210内插彩色图像212合成泛色图像214形式改良图像块216改良全彩输出图像301彩色滤光片阵列(CFA)图案302泛色像素304红像素306绿像素308蓝像素401图像传感器的第一局部列402图像传感器的第二局部列404浮动扩散器406像素四重组合408第一读出组合410第二读出组合412第三读出组合502泛色像素504彩色像素610带宽滤光片曲线612泛色光响应曲线
614红光响应曲线616绿光响应曲线618蓝光响应曲线701亮度-色度产生步骤702亮度图像703色度图像704亮度-色度调整步骤705修改后的亮度图像706修改后的色度图像707彩色图像重构步骤
权利要求
1.一种利用具有多个彩色通道及一泛色通道的彩色滤光片阵列图像来形成全彩输出图像的方法，所述方法包括一个或多个处理器用于提供下列a)利用彩色滤光片阵列图像传感器来捕捉彩色滤光片阵列图像，所述彩色滤光片阵列图像具有多个彩色信道及一泛色信道，其中所述泛色通道利用与所述彩色通道的至少一个彩色通道所不同的曝光时间来捕捉；b)从所述彩色滤光片阵列图像计算内插彩色图像及内插泛色图像；c)从所述内插彩色图像计算色度图像；以及d)利用所述内插泛色图像及所述色度图像来形成所述全彩输出图像。
2.如权利要求1的方法，其中所述内插彩色图像的所述彩色信道是红、绿及蓝。
3.如权利要求1的方法，其中所述内插彩色图像的所述彩色信道是青色、洋红色及黄色。
4.如权利要求1的方法，其中步骤c)进一步包括从所述内插彩色图像计算合成泛色图像，并以所述合成泛色图像及所述内插泛色图像的函数对所述色度图像进行修改。
5.如权利要求4的方法，其中所述合成泛色图像是通过执行所述内插彩色图像的多个彩色通道的加权求和运算来计算的。
6.如权利要求5的方法，其中被用于所述加权求和运算的加权值是从所述彩色信道及所述泛色信道的光谱响应所决定的。
7.如权利要求4的方法，其中所述色度图像是利用所述内插泛色图像与所述合成泛色图像的比率而被修改的。
8.如权利要求7的方法，其中所述色度图像是通过将所述色度图像乘以所述内插泛色图像与所述合成泛色图像的比率而被修改的。
9.如权利要求1的方法，其中用于所述全彩输出图像的红、绿及蓝色通道是用过执行所述内插泛色图像及所述色度图像的彩色信道的加权求和运算来决定的。
10.如权利要求1的方法，其中所述全彩输出图像是通过将所述内插泛色图像与所述色度图像进行组合而形成的。
11.如权利要求1的方法，其中所述全彩输出图像具有相较于所述内插彩色图像的降低的运动模糊水平。
全文摘要
一种利用具有多个彩色通道及一泛色通道的彩色滤光片阵列图像来形成全彩输出图像的方法，该方法包括捕捉具有多个彩色信道及一泛色信道的彩色滤光片阵列图像，其中所述泛色通道是利用与所述彩色通道中的至少一个彩色通道有所不同的曝光时间来捕捉的；从彩色滤光片阵列图像计算内插彩色图像及内插泛色图像；从内插彩色图像计算色度图像；并且利用内插泛色图像以及色度图像来形成全彩输出图像。
文档编号H04N9/04GK102365860SQ201080015826
公开日2012年2月29日 申请日期2010年3月25日 优先权日2009年3月27日
发明者J·E·小亚当斯, M·库玛 申请人:美商豪威科技股份有限公司