专利名称：具有合成全色图像的彩色滤光器阵列(cfa)图像的制作方法
技术领域：
本发明涉及具有彩色通道及全色通道的彩色滤光器阵列(CFA)图像，且尤其涉及提供具有减少的运动模糊的改善全分辨率彩色图像。
背景技术：
电子成像系统依靠透镜系统在电子图像传感器上形成图像来创建视觉图像的电子表示。此类电子图像传感器的示例包括电荷耦合器件(CCD)图像传感器及有源像素传感器(APQ器件(APS器件常被称为CMOS传感器，因为APS器件可在互补金属氧化物半导体工艺中制作)。传感器包括个体像元传感器或即像素的二维阵列。每个像素典型情况下设有红、绿或蓝滤光器，如Bayer在1976年7月20日授权公告的共同受让的美国专利第3，971，065号中所描述的，从而可产生彩色图像。不管采用何种电子技术(例如，C⑶或 CMOS)，像素均像在其中累积与在由该电子成像系统捕捉图像期间撞击该像素的光量成正比的光电子的桶那样起作用。并非所有进入电子成像系统的前端光学元件的光都会撞击像素。其中许多光在穿过该电子成像系统的光学路径时丢失。典型情况下，大约5%的光因透镜反射及霾而丢失， 并且大约60%的光因彩色滤光器阵列而丢失。此外，一些光撞击像素的非光敏区域。为聚集进行正确曝光所需的光量，电子成像传感器聚集光达一时间区间，该时间区间称为曝光时间。基于对待成像的场景的亮度测量，典型情况下使用自动曝光控制来确定将可产出具有有效亮度的图像的合适曝光时间。场景越昏暗，该电子成像系统聚集光来进行正确曝光所需的时间量就越大。然而，众所周知，较长的曝光可能导致模糊的图像。此模糊可能为对象在场景中移动的结果。此模糊还可能在该图像捕捉器件在捕捉期间正相对于该场景移动时而产生。减少模糊的一种方法是缩短曝光时间。然而，此方法使电子图像传感器在图像捕捉期间曝光不足，从而产生暗图像。可对该图像信号施加模拟或数字增益以使那些暗图像变亮，但本领域技术人员将认识到这样做将会导致有噪图像。减少模糊的另一种方法是缩短曝光时间且保留更多穿过光学路径的光并将其导向至电子图像传感器的像素。此方法可产生具有减少的模糊及可接受的噪声电平的图像。 然而，电子成像系统中目前的产业趋势是要使成像系统更小且更便宜。因此具有大光圈能聚集更多光且保留更多穿过的光的高级光学元件并不实际。减少模糊的另一种方法是缩短曝光时间且用摄影闪光灯来补充可用光。摄影闪光灯产生持续一瞬间的强光通量且曝光时间被设定为涵盖该闪光时间。可将曝光时间设定为显著短于无闪光的区间，这是因为摄影闪光灯很强。因此，曝光期间的模糊得以减少。然而， 闪光摄影术仅在该闪光灯与对象之间的距离相对较小的情况下才实际。此外，闪光灯给图像捕捉设备增加额外成本及重量。于2002年8月27日授权公告的授予Tull的美国专利第6，441，848号描述具有电子图像传感器的数码相机，该数码相机藉由监视每个像素收集电子的速率来去除对象运动模糊。若光撞击像素的速率变动，则假定该像素正在观看的图像的亮度正在改变。当内建于该传感器阵列中的电路检测到图像亮度正在改变时，保留所收集到的电荷量且记录检测到亮度改变的时间。停止曝光所处的每个像素值藉由线性外插该像素值以使该像素值对应于整个图像的动态范围来被调整至适当值。此办法的一缺点在于当曝光开始时已在运动中的对象的外插出的像素值极不确定。如传感器所见的图像亮度从不具有恒定值，且因此在外插出的像素值中的不确定性导致具有运动伪影的图像。另一缺点在于该方法使用专门化的硬件，从而其无法与目前的商业相机中所使用的常规电子图像传感器一起使用。减少模糊的另一方法是捕捉两个图像，一者具有短曝光时间，而一者具有长曝光时间。该短曝光时间被选择成产生有噪但相对无运动模糊的图像。该长曝光时间被选择成产生具有很少噪声但可能具有显著运动模糊的图像。使用图像处理算法来将那些两次捕捉组合为一个最终输出图像。此类办法在美国专利第7，239，342号、美国专利申请公开第2006/0017837号、美国专利申请公开第2006/0187308号及美国专利申请公开第 2007/0223831号中描述。这些办法的缺点包括要求附加缓冲存储器来存储多个图像；处理多个图像的额外复杂性；及解析对象运动模糊的困难性。减少模糊的另一方法是缩短曝光时间且保留更多穿过彩色滤光器阵列的光。对于基于硅的图像传感器而言，像素组件本身对于可见光广泛敏感，从而允许未经滤光的像素适合用于捕捉单色图像。为捕捉彩色图像，典型情况下在像素模式上制作二维的滤光器模式，其使用不同滤光器材料以使个体像素仅对可见光谱的一部分敏感。此类的滤光器模式的示例为公知的Bayer彩色滤光器阵列模式，如在美国专利第3，971，065号中所描述的。 Bayer彩色滤光器阵列具有在典型条件下获得全彩色图像的优点；然而，已发现此解决方案具有其缺点。虽然需要滤光器来提供窄带光谱响应，但对入射光的任何滤光皆趋向于减少到达每个像素的光量，从而减少每个像素的有效光敏感度且减少像素响应速度。作为用于改善变动的光条件下的图像捕捉及改善成像传感器的整体敏感度的解决方案，已公开了对熟知的Bayer模式的各种修改。例如，共同受让的由Hamilton等人申请的题为 “Capturing Images Under Varying Lighting Conditions (在变动光照条件下捕捉图像)”的美国专利申请公开第2007/0046807号及由Compton等人申请的题为“Image Sensor with Improved Light knsitivity (具有改善的光敏感度的图像传感器)”的美国专利申请公开第2007/0024931号两者均描述替换的传感器布置，其将彩色滤光器与全色滤光元件进行组合，以某种方式在空间上交错。用此类解决方案，图像传感器的某个部分检测色彩；其它全色部分被最优化成检测横越可见频带的光以实现改善的动态范围及敏感度。因此这些解决方案提供像素模式，其中一些像素具有彩色滤光器(提供窄带光谱响应)，而一些像素则不具有彩色滤光器(未经滤光的“全色”像素或经滤光以提供宽带光谱响应的像素)。然而，此解决方案不足以允许在低光条件下捕捉不具有运动模糊的高质量图像，因为彩色像素仍易受运动模糊影响。在天体摄影术及遥感领域中已知的在低光情景中减少模糊并捕捉图像的另一方法是捕捉两个图像即具有高空间分辨率的全色图像及具有低空间分辨率的多光谱图像。这些图像被融合以生成具有高空间分辨率的多光谱图像。此类办法在美国专利第 7，340，099号、美国专利案第6，011，875号及美国专利案第6，097，835号中描述。这些办法的缺点包括要求附加的缓冲存储器来存储多个图像；及解析对象运动模糊的困难。可用于减少运动模糊的另一方法是使用具有可移动透镜系统或特殊成像器定位硬件的图像稳定化系统。此类系统被设计成将图像保持在传感器上的稳定位置上。然而， 这些系统具有复杂且昂贵的缺点。此外，这些系统未解决场景中的对象以不同速度移动的情形。因此，需要藉由使用常规的电子图像传感器来产生具有彩色像素及全色像素、具有减少的运动模糊的改善的彩色滤光器阵列图像或彩色图像，而不使用摄影闪光灯，不增加图像噪声，且无显著的额外成本或复杂性或存储器需要。发明概述根据本发明，提供一种用于形成具有减少的运动模糊的最终数字彩色图像的方法，包括由一个或多个处理器提供以下步骤(a)提供具有全色像素及对应于至少两种彩色光响应的的彩色像素的图像；(b)在全色像素与彩色像素之间进行内插以产生全分辨率全色图像和全分辨率彩色图像；(c)自该全分辨率彩色图像产生全分辨率合成全色图像；(d)响应于该全分辨率合成全色图像及该全分辨率全色图像而形成色彩校正权重；(e)使用色彩校正权重来修正该全分辨率彩色图像，以提供最终彩色数字图像。本发明的一优点在于可对图像处理软件做基本的改变来产生具有减少的模糊的改善的全分辨率彩色图像，而不必使用摄影闪光灯或长曝光时间来适当地曝光单个图像。本发明的一进一步的优点在于可产生具有减少的由图像捕捉器件引入的模糊的全分辨率彩色图像，而不需要具有可移动透镜系统或特殊成像器定位硬件的昂贵的图像稳定化系统。本发明的一进一步的优点在于可产生具有减少的模糊的全分辨率彩色图像，而没有增加用于存储多个图像的缓冲存储器的需要。检阅以下对优选实施例的详细描述及所附的权利要求、并藉由参考附图，将可更清楚地理解并领会本发明的这些及其它方面、目的、特征及优点。附图简要说明
图1是用于实现本发明的数码相机的框图；图2是本发明的优选实施例的框图；图3是本发明的彩色滤光器阵列模式的视图；图4是示出毗邻行中的像素如何能够被并仓在一起以共享相同的浮动扩散组件的示意图；图5是来自一种可能的并仓(binning)策略的从图像传感器的一部分进行像素读出的视图；图6提供红、绿及蓝像素的代表性光谱量子效率曲线，及较宽光谱的全色量子效率，其全部与红外线截止滤光器的透射特性相乘；及图7是更详细地示出图2的步骤214的框图。发明的详细描述在以下描述中，将以平常将被实现为软件程序的形式来描述本发明的优选实施例。本领域技术人员将现成地认识到，此类软件的等效方案亦可在硬件中建构。由于图像
5操纵算法及系统是公知的，因此本描述将特别针对形成根据本发明的系统及方法的一部分的、或与根据本发明的系统及方法更直接地协作的算法及系统。本文中未具体示出或描述的、此类算法及系统的其它方面以及用于产生和以其他方式处理与之有关的图像信号的硬件或软件可从本领域中所知的此类系统、算法、组件及元件中选择。在给定了以下素材中根据本发明所描述的系统的前提下，在本文中未具体示出、建议或描述的、对本发明的实现有用的软件是常规的且在此类领域的普通技术人员的范围之内。更进一步而言，如本文中所使用的，用于执行本发明的方法的计算机程序可存储于计算机可读存储介质中，该计算机可读存储介质可包括例如磁存储介质，诸如磁盘(诸如硬盘驱动器或软盘)或磁带；光学存储介质，诸如光碟、光带或机器可读条形码；固态电子存储器件，诸如随机存取存储器(RAM)，或只读存储器(ROM)；或者用于存储计算机程序的任何其它物理器件或介质。由于采用成像器件的数码相机及用于信号捕捉及校正并用于曝光控制的相关电路系统是公知的，因此本描述将特别针对构成根据本发明的方法及装置的一部分的、或更直接地与根据本发明的方法及装置协作的元件。本文中未明确示出或描述的元件是从本领域所知的元素中选择的。将要描述的实施例的某些方面是以软件来提供。在给定了以下素材中根据本发明所示出及描述的系统的前提下，在本文中未具体示出、描述或建议的、对本发明的实现有用的软件是常规的且在此类领域的普通技术人员的范围之内。现转至图1，示出了图像捕捉器件的框图，该图像捕捉器件被示为实施本发明的数码相机。虽然现将解释数码相机，但显然本发明可应用于其它类型的图像捕捉器件。在所揭示的相机中，来自主题场景10的光被输入至成像级11，在此处该光由透镜12聚焦以在固态图像传感器20上形成图像。图像传感器20为每个图像元素(像素)将入射光转换成电信号。优选实施例的图像传感器20为电荷耦合器件(CCD)类型或有源像素传感器(APS) 类型(APS器件常被称为CMOS传感器，因为APS器件可在互补金属氧化物半导体工艺中制作)。亦可使用具有二维像素阵列的其它类型的图像传感器，只要它们采用本发明的模式即可)。本发明还利用具有二维彩色及全色像素阵列的图像传感器20，正如在在本说明书中稍后部分中在描述了图1后将会变得清楚的那样。到达传感器20的光量由改变光圈的光阑块14及中性密度(ND)滤光器块13来调节，该ND滤光器块13包括介于光学路径中的一个或多个ND滤光器。快门18打开的时间也调节整体光级。曝光控制器40响应于由亮度传感器块16所计量的该场景中可用的光量并控制所有这三个调节功能。对特定相机配置的此描述对于本领域技术人员将是熟悉的，且显然存在许多变体及附加特征。例如，可添加自动聚焦系统，或者透镜可为可卸的和可互换的。将理解，本发明可应用于任何类型的数码相机，其中类似的功能性由替换组件提供。例如，数码相机可为相对简单的傻瓜(point and shoot)相机，其中快门18为相对简单的可移动叶片快门、或类似物，而不是较复杂的焦平面布置。本发明亦可在非相机器件(诸如移动电话及汽车) 中所包括的成像组件上实践。来自图像传感器20的模拟信号由模拟信号处理器22处理并被应用于模数(A/D) 转换器24。定时发生器沈产生各种时钟计时信号以选择行及像素，且使模拟信号处理器22 与A/D转换器M的操作同步。图像传感器级观包括图像传感器20、模拟信号处理器22、A/D转换器M及定时发生器沈。图像传感器级观的组件可为分开制作的集成电路，或者它们可如对CMOS图像传感器通常所做的那样被制作为单个集成电路。来自A/D转换器M 的结果所得的数字像素值流被存储于与数字信号处理器(DSP) 36关联的数字信号处理器 (DSP)存储器32中。在本实施例中，DSP 36是三个处理器或控制器中除系统控制器50及曝光控制器 40外的一者。虽然将相机功能控制划分在多个控制器与处理器之间是典型的，但可以各种方式组合这些控制器或处理器，而不影响相机的功能操作及本发明的应用。这些控制器或处理器可包括一个或多个数字信号处理器器件、微控制器、可编程逻辑器件、或其它数字逻辑电路。虽然已描述此类控制器或处理器的组合，但应明了，可指定一个控制器或处理器来执行所有所需功能。所有这些变体可执行相同的功能并落在本发明的范围内，且将视需要使用术语“处理级”以将所有这些功能性涵盖在一个短语内，例如，正如在图1的处理级38 中那样。在所解说的实施例中，DSP 36根据软件程序来操纵DSP存储器32中的数字图像数据，该软件程序永久地存储在程序存储器M中且在图像捕捉期间被复制至DSP存储器32 以供执行。DSP 36执行实践图18中示出的图像处理所需的软件。DSP存储器32可为任何类型的随机存取存储器(诸如SDRAM)。包括用于地址及数据信号的通路的总线30将DSP 36连接至其相关的DSP存储器32、A/D转换器M及其它相关器件。系统控制器50基于存储在程序存储器M中的软件程序来控制相机的整体操作， 该程序存储器讨可包括快闪EEPROM或其它非易失性存储器。此存储器还可用于存储图像传感器校准数据、用户设置选择及在相机关机时必须留存的其它数据。系统控制器50藉由以下来控制图像捕捉序列如前所描述地指导曝光控制器40操作透镜12、ND滤光器块13、 光阑块14及快门18 ；指导定时发生器沈操作图像传感器20及相关联的元件；以及指导 DSP 36处理所捕捉到的图像数据。在捕捉并处理图像之后，存储在DSP存储器32中的最终图像文件经由主机接口 57传递至主机计算机，存储在可移动存储器卡64或其它存储器件上，且在图像显示器88上为用户显示。系统控制器总线52包括用于地址、数据及控制信号的通路，且将系统控制器50连接至DSP 36、程序存储器M、系统存储器56、主机接口 57、存储器卡接口 60及其它相关器件。主机接口 57向个人计算机(PC)或其它主机计算机提供高速连接以用于传递供显示、 存储、操纵或打印的图像数据。此接口可为IEEE1394或USB2.0串行接口或任何其它合适的数字接口。存储器卡64典型情况下为插入于存储器卡座62中且经由存储器卡接口 60 连接至系统控制器50的紧密闪存(CF)卡。可利用的其它类型的存储包含但不限于PC卡、 多媒体卡(MMC)或安全数字(SD)卡。经处理的图像被复制至系统存储器56中的显示缓冲器并经由视频编码器80被连续读出以产生视频信号。此信号直接从相机输出以供在外部监视器上显示，或由显示器控制器82处理并呈现在图像显示器88上。此显示器典型情况下为有源矩阵彩色液晶显示器 (LCD)，但亦可使用其它类型的显示器。用户接口 68由在曝光控制器40及系统控制器50上执行的软件程序的组合来控制，该用户接口 68包含以下的全部或其任何组合取景器显示器70、曝光显示器72、状态显示器76、图像显示器88、及用户输入74。用户输入74典型情况下包括以下的某种组合按
7钮、摇臂开关、操纵杆、旋转式拨盘或触摸屏。曝光控制器40操作光计量、曝光模式、自动对焦及其它曝光功能。系统控制器50管理呈现在这些显示器中的一者或多者上(例如，图像显示器88上)的图形用户界面(GUI)。GUI典型情况下包括用于作出各种选项选择的菜单及用于检查所捕捉到的图像的回顾模式。曝光控制器40接受用户选择曝光模式、透镜光圈、曝光时间(快门速度)及曝光指数或ISO速度定额(speed rating)的输入，且相应地指导透镜12及快门18进行后续的捕捉。采用亮度传感器块16来测量场景的亮度，且提供曝光计量功能以供用户在手动设置 ISO速度定额、光圈及快门速度时参考。在此情形中，随着用户改变一个或多个设置，呈现在取景器显示器70上的光计量指示符告知用户该图像将曝光过度或是曝光不足至何种程度。在自动曝光模式中，用户改变一个设置并且曝光控制器40自动变更另一设置以维持正确曝光，例如，对于给定的ISO速度定额，当用户减小透镜光圈时，曝光控制器40自动增加曝光时间以维持相同的整体曝光。ISO速度定额是数码静态相机的重要属性。曝光时间、透镜光圈、透镜透射率、场景照明度及光谱分布、以及场景反射决定数码静态相机的曝光程度。当使用不足的曝光获得来自数码静态相机的图像时，一般可藉由增加电子或数字增益来维持适当的色调再现，但结果所得的图像往往将包含无法接受的噪声量。随着曝光增加，该增益减小，且因此图像噪声正常情况下可减少至可接受的程度。若曝光过度增加，则在图像的明亮区域中的结果所得信号可能超过图像传感器或相机信号处理的最大信号电平容量。这可引起图像高光被限幅而形成一致的明亮区域，或“浮散”至该图像的周围区域中。因此，引导用户设置适当曝光是很重要的。ISO速度定额旨在用作此类引导。为使摄影者易于理解，用于数码静态相机的ISO速度定额应与用于照相胶卷相机的ISO速度定额直接相关。例如，若数码静态相机具有ISO 200的ISO速度定额，则相同的曝光时间及光圈对于定额为ISO 200的胶卷/处理系统应当是恰适的。ISO速度定额旨在与胶卷ISO速度定额协调一致。然而，在电子与基于胶卷的成像系统之间存在差异，这些差异使得精确的等效不可能。数码静态相机可包括可变增益，且可在已捕获图像数据之后提供数字处理，这使得能在相机曝光范围上实现色调再现。因此， 对于数码静态相机而言具有速度定额范围是可能的。此范围被定义为ISO速度宽容度。为防止混淆，单个值被指定为固有的ISO速度定额，而ISO速度宽容度上限及下限指示速度范围，即，包括不同于固有的ISO速度定额的有效速度定额的范围。谨记此点，固有ISO速度是从数码静态相机的焦平面处提供的曝光所演算得到的、用于产生指定的相机输出信号特性的数值。该固有速度通常是对于给定相机系统针对普通场景产生颠峰图像质量的曝光指数值，其中该曝光指数是与提供给图像传感器的曝光成反比的数值。对于数码相机的以上描述对本领域技术人员而言将是熟悉的。显然存在此实施例的许多可能的变体，且这些变体被选择以减少成本、添加特征或改善相机的性能。以下描述将详细揭示根据本发明的用于捕捉图像的此相机的操作。虽然此描述是参考数码相机，但将理解，本发明适用于供与具有带彩色及全色像素的图像传感器的任何类型的图像捕捉器件一起使用。图1中所示出的图像传感器20典型情况下包括制作于硅基板上的二维光敏像素阵列，其提供将每个像素处的传入光转换成被测量的电信号的途径。随着图像传感器20曝露于光，自由电子产生并在每个像素处的电子结构内被捕捉到。捕捉这些自由电子达一段时间且然后测量所捕捉到的电子的数量，或者测量自由电子产生的速率就能测量在每个像素处的光级。在前一种情形中，所累积的电荷从该像素阵列中被移出到电荷-电压测量电路，正如在电荷耦合器件(CCD)中那样，或者靠近每个像素的区域可包含电荷-电压测量电路的元件，正如在有源像素传感器(APS或CMOS传感器)中那样。在以下描述中每当一般性地引述图像传感器时，皆应将其理解为代表来自图1的图像传感器20。应进一步理解，本说明书中所揭示的本发明的图像传感器架构及像素模式的所有示例及其等效物均用于图像传感器20。在图像传感器的上下文中，像素(“图像元素”的缩约形式)是指离散光感测区域及与该光感测区域关联的电荷移位或电荷测量电路系统。在数字彩色图像的上下文中，术语“像素”通常是指图像中具有关联彩色值的特定位置。图2是本发明的优选实施例的高层图，其代表用于实施本发明的步骤的处理器。 图像传感器20(图1)捕捉包含全色通道202及对应于至少两个彩色光响应的若干彩色通道204的彩色滤光器阵列图像。该彩色滤光器阵列可包含红、绿、蓝及全色像素，但其它通道组合亦是可能的，诸如青、品红、黄色及全色。包括全色通道特别重要。以将全色通道曝露于光达不同于那些彩色通道中的至少一者的时间长度的方式来捕捉彩色滤光器阵列图像。 全色通道一般将具有不同于那些彩色通道中的每一者的曝光时间，且这些曝光区间被布置成使其并发地结束。CFA内插块206从由数码相机(图1)所捕捉到的彩色滤光器阵列图像产生全分辨率全色图像208及全分辨率彩色图像210。该全分辨率彩色图像210用于计算全分辨率合成全色图像212。在优选实施例中，全分辨率合成全色图像212是作为全分辨率彩色图像210的红、绿及蓝彩色通道的加权线性组合来演算的。对由块210产生的全分辨率彩色图像的红、绿、和蓝彩色通道的加权被选取为使所计算出的全分辨率合成全色图像212与全分辨率全色图像208相当。在最终步骤中，将全分辨率全色图像208、全分辨率彩色图像210及全分辨率合成全色图像212用于生成具有减少的运动模糊的改善全分辨率彩色图像214。现将更详细地描述图2中概述的个体步骤。最初，数码相机(图1)捕捉彩色滤光器阵列图像。图3解说该优选实施例的示例彩色滤光器阵列模式301。在此实例中，大约一半像素为全色像素302，而另一半分在红像素304、绿像素306及蓝像素308之间。全色像素的曝光期短于彩色像素的曝光期。这允许以短曝光时间捕捉全色数据， 藉此防止过度的运动模糊，而又允许以充分的曝光时间捕捉彩色数据来减少彩色噪声伪影。如图4中注意到的，在图像传感器的读出期间，有各种像素并仓方案是可能的。在图4中，显示图像传感器的两个局部行即图像传感器401的第一局部行及图像传感器402 的第二局部行。在此实施例中，用于传感器阵列的潜隐的读出电路系统使用浮动扩散404， 该浮动扩散404 —次可切换地连接至一个或多个周围像素。浮动扩散404的实现及使用为数字图像捕获领域中的技术人员所公知。图4示出其中每个浮动扩散404用于四个周围像素的常规布置，该布置在一个示例中示为像素四元组406。像素信号可以数种组合中的任一种切换至浮动扩散404。在第一读出组合408中，四元组406中的每个像素使自己的电荷分开地转移至浮动扩散404且因此被个体地读取。 在第二读出组合410中，全色像素P被并仓，即，那些全色像素P藉由同时将自己所存储的电荷清空至浮动扩散404来共享浮动扩散404 ；类似地，四元组中的这两个彩色(G)像素被并仓，从而同时将其信号切换至浮动扩散404。在第三读出组合412中，全色像素P不被并仓，而是被分开读取；而彩色像素(G)被并仓。在本发明的优选实施例中，用于全色通道202 (图2)的全色像素不被并仓，而用于彩色通道204(图2)的彩色像素被并仓412，结果导致图5中所解说的读出。在图5中，全色像素502占据棋盘模式，而彩色像素504合而形成低分辨率Bayer模式。CFA内插块206 (图幻使用包含全色通道202 (图幻及若干彩色通道204 (图2) 的彩色滤光器阵列图像产生全分辨率全色图像208(图幻及全分辨率彩色图像210(图 2)。用于执行CFA内插的方法为本领域所公知。例如，可使用在美国专利申请公开第 2007/0024934[E1]号中所描述的CFA内插方法，该申请藉由引用纳入本文中。在CFA内插块206已产生全分辨率彩色图像210之后，使用全分辨率彩色图像210 来计算全分辨率合成全色图像212。用于计算全分辨率合成全色图像212的计算上简单的演算由L = R+2G+B给出，其中L为全分辨率合成全色图像210(图2)的像素值，且R、G、B 分别是全分辨率彩色图像210(图幻的红、绿、蓝彩色通道的像素值。在优选实施例中，如图 6所解说地测量红、绿、蓝及全色像素的光谱响应，且以红、绿及蓝的加权线性组合的形式演算给出与该全色曲线的最佳拟合的全分辨率合成全色图像212。参考图6的图表，其示出在典型相机应用中具有红、绿及蓝彩色滤光器的像素的相对光谱敏感度。图6中的X轴代表以纳米计的光波长，其横越大致从近紫外线到近红外线的波长，且Y轴代表效率(经归一化)。在图6中，带宽滤光器曲线610代表用于阻断红外线光及紫外线光到达图像传感器的典型带宽滤光器的光谱传输特性。需要此类滤光器是由于用于图像传感器的彩色滤光器典型情况下并不阻断红外线光，因此像素无法在红外线光与落在其相关联的彩色滤光器的通带内的光之间进行区别。因此带宽滤光器曲线610所示出的红外线阻断特性防止红外线光破坏可见光信号。把应用红、绿及蓝滤光器的典型硅传感器的光谱量子效率，即被捕获并转换为可测量的电信号的入射光子的比例，乘以由带宽滤光器曲线610代表的红外线阻断滤光器的光谱传输特性以产生组合系统量子效率，其中红彩色通道的由红光响应曲线614代表，绿彩色通道的由绿光响应曲线616代表，并且蓝彩色通道由蓝光响应曲线618代表。从这些曲线可理解每个彩色光响应仅对可见光谱的一部分敏感。作为对比，未应用彩色滤光器(但包括红外线阻断滤光器特性)的相同硅传感器的光响应由全色光响应曲线612为全色通道示出。藉由将彩色光响应曲线614、616及618 与全色光响应曲线612比较，将清楚地看到全色光响应可比那些彩色光响应中的任何一者对宽光谱更敏感2到4倍。在步骤214(图2)中，使用全分辨率全色图像208(图2)、全分辨率彩色图像 210(图i)及全分辨率合成全色图像212(图i)来生成具有减少的运动模糊的改善全分辨率彩色图像。图7为优选实施例的步骤214(图2)的更详细的视图。色彩校正权重生成步骤 702使用全分辨率全色图像208(图2~)与全分辨率合成全色图像212(图2~)的比率并产生色彩校正权重。色彩校正权重调整步骤704对由色彩校正权重生成步骤702生成的色彩校正权重使用非线性运算来避免像素溢出以形成经校正的色彩校正权重。色彩改善步骤706 使用经校正的色彩校正权重及全分辨率彩色图像210 (图幻来产生具有减少的运动模糊的改善全分辨率彩色图像708。 在图7中，色彩校正权重生成步骤702可以本领域技术人员所知的任何恰适方式执行。可使用下式(1)来描述一种估计色彩校正权重的方式synthetic pan⑴其中CCW为由色彩校正权重生成步骤702所产生的色彩校正权重，pan为全分辨率全色图像208 (图2)，并且synthetic pan为全分辨率合成全色图像212 (图2)。在图7中，可以本领域技术人员所知的任何恰适方式执行色彩校正权重调整步骤 704。一种执行色彩校正权重调整步骤704的方式可使用下式( 来描述，其中由色彩校正权重生成步骤702所生成的色彩校正权重被限于小于1的值
AdJCCW = (ι 其他(2)在图7中，可以本领域技术人员所知的任何恰适方式执行色彩改善步骤706。一种执行色彩改善步骤706以产生新的全分辨率彩色图像的方式可用下式(3)、(4)及( 来描述RNew = R*(Adj CCW) (3)GNew = G*(Adj CCW) (4)BNew = B* (Adj CCW) (5)其中R、G及B分别为全分辨率彩色图像210的全分辨率红、绿及蓝彩色通道值。 RNew> GNew及Bnct分别为改善全分辨率彩色图像708的全分辨率红、绿及蓝彩色通道值。在本发明的优选实施例中所揭示的色彩比例缩放算法可在各种用户上下文及环境中采用。示例性上下文及环境包含但不限于批发数码相片洗印(其涉及示例性处理步骤或阶段，诸如提交数字图像用于批发履行、数字处理、打印输出)、零售数码相片洗印(提交数字图像用于零售履行、数字处理、打印输出)、家庭打印(家庭数字图像输入、数字处理、打印输出)、桌面软件(对数字图像应用算法以使其更佳——或甚至只是改变它们—— 的软件)、数字履行(从介质或通过web进行数字图像输入、数字处理、在介质上、在因特网上以数字形式进行数字图像输出)、信息亭(kiosk)(数字图像输入、数字处理、打印或数字媒体输出)、移动设备(例如，可用作处理单元、显示单元、或给出处理指令的单元的PDA或蜂窝电话)、及作为经由万维网(WWW)提供的服务。在每个情形中，色彩比例缩放算法可自立或可为更大系统解决方案的组件。此外， 与该算法的接口(例如输入、数字处理、对用户的显示(若需要)、用户请求或处理指令的输入(若需要)、输出)可各自处在相同的或不同的设备及实体位置，并且可经由公共或专用网络连接、或者基于介质的通信在那些设备与位置之间进行通信。在与本发明之前的揭示一致的场合，那些算法本身可完全自动、可有用户输入(完全或部分手动)、可由用户或操作者回顾以接受/拒绝其结果、或可由元数据(可为用户供应的、由测量器件[例如，在相机中]供应的、或由算法决定的元数据)来辅助。此外，这些算法可与各种工作流程用户接口方案来接口。
本文中揭示的根据本发明的色彩比例缩放算法可具有利用各种数据检测及精简技术(例如，面部检测、眼睛检测、皮肤检测、闪光检测)的内部组件。本发明已特别参考其某些优选实施例进行详细描述，但应理解，可实现各种变体和修改，其仍在本发明的精神及范围内。
0082]部件列表0083]10来自主题场景的光0084]11成像级0085]12透镜0086]13中性密度滤光器块0087]14光阑块0088]16亮度传感器块0089]18快门0090]20图像传感器0091]22模拟信号处理器0092]24模数(A/D)转换器0093]26定时发生器0094]28图像传感器级0095]30总线0096]32数字信号处理器(DSP)存储器0097]36数字信号处理器(DSP)0098]38处理级0099]40曝光控制器0100]50系统控制器0101]52系统控制器总线0102]54程序存储器0103]56系统存储器0104]57主机接口0105]60存储器卡接口0106]62存储器卡座0107]64存储器卡0108]68用户接口0109]70取景器显示器0110]72曝光显示器0111]74用户输入0112]76状态显示器0113]80视频编码器0114]82显示器控制器0115]88图像显示器0116]202全色通道
12
204
206
208
210
212
214
301
302
304
306
308
401
402
404
406
408
410
412
502
504
610
612
614
616
618
702
704
706
708
_说明书_
彩色通道
彩色滤光器阵列(CFA)内插块全分辨率全色图像全分辨率彩色图像全分辨率合成全色图像
具有减少的运动模糊的改良全分辨率彩色图像
彩色滤光器阵列模式
全色像素
红像素
绿像素
蓝像素
图像传感器的第一局部行图像传感器的第二局部行浮动扩散像素四元组第一读出组合第二读出组合第三读出组合全色像素彩色像素带宽滤光器曲线全色光响应曲线红光响应曲线绿光响应曲线蓝光响应曲线色彩校正权重步骤色彩校正权重调整步骤色彩改善
改善全分辨率彩色图像
11/11 页
1权利要求
1.一种用于形成具有减少的运动模糊的最终数字彩色图像的方法，包括由一个或多个处理器提供以下步骤(a)提供具有全色像素及对应于具有关联的彩色光响应的至少两个彩色通道的彩色像素的图像；(b)在所述全色像素之间内插以产生全分辨率全色图像，并且在所述彩色像素之间内插以产生全分辨率彩色图像；(c)从所述全分辨率彩色图像产生全分辨率合成全色图像；(d)响应于所述全分辨率合成全色图像及所述全分辨率全色图像而形成色彩校正权重；以及(e)使用所述色彩校正权重来修正所述全分辨率彩色图像以提供具有减少的运动模糊的最终彩色数字图像。
2.如权利要求1所述的方法，其特征在于，在步骤(a)中所提供的所述全色像素及所述彩色像素是以不同的曝光时间来捕捉的。
3.如权利要求1所述的方法，其特征在于，在步骤(a)中所提供的所述全色像素及所述彩色像素是使用既具有全色像素又具有彩色像素的单个图像传感器来捕捉的。
4.如权利要求1所述的方法，其特征在于，步骤(c)包括藉由演算在所述全分辨率彩色图像中的所述彩色通道的加权和来计算所述全分辨率合成全色图像。
5.如权利要求1所述的方法，其特征在于，步骤(d)包括计算在所述全分辨率全色图像中的像素与在所述全分辨率合成全色图像中的对应像素的比率。
6.如权利要求1所述的方法，其特征在于，步骤(d)包括对所述色彩校正权重应用非线性运算。
7.如权利要求6所述的方法，其特征在于，所述色彩校正权重被限于小于或等于1的值。
8.如权利要求1所述的方法，其特征在于，步骤(e)包括将所述全分辨率彩色图像乘以所述色彩校正权重以提供所述最终彩色数字图像。
全文摘要
一种用于形成具有减少的运动模糊的最终数字彩色图像的方法，包括由处理器提供具有全色像素及对应于至少两种彩色光响应的彩色像素的图像；在全色像素与彩色像素之间进行内插来产生全色图像及全分辨率彩色图像，以自该全分辨率彩色图像产生全分辨率合成全色图像；及响应于该合成全色图像及该全色图像而形成色彩校正权重；及使用这些色彩校正权重来修正该全分辨率彩色图像以提供最终彩色数字图像。
文档编号H04N5/232GK102369721SQ201080011842
公开日2012年3月7日 申请日期2010年2月23日 优先权日2009年3月10日
发明者B·H·费尔曼, J·E·小亚当斯, M·库玛 申请人:美商豪威科技股份有限公司