产生高动态范围图像的方法

专利名称：产生高动态范围图像的方法
技术领域：
本发明涉及通过组合多个图像生成改善的图像，尤其是涉及用于产生具有增加的动态范围的高分辨率图像的方法。
背景技术：
图像感应器件，例如电荷耦合器件(CCD)，通常在例如数字照相机、扫描仪和摄像机的产品中发现。当与传统的胶片产品相比时，这些图像感应装置具有非常有限的动态范围。标准的图像感应装置具有大约5个光圈的动态范围。结果，必须以相当的精度确定典型场景的曝光水平，以便避免削波信号。正如本文所限定的，曝光水平是在感应场景而产生图像的过程期间，允许落到图像感应装置上的光总量。当以具有固定光圈的光程的成像系统在固定照明下感应场景时，通过设置成像系统的曝光时间(快门速度)控制曝光水平。当用具有可变光圈的光程的成像系统在固定照明下感应场景时，通过设置成像系统的曝光时间和光圈控制曝光水平。由于多个光源(例如，场景的前照明和背光照明部分)，很多时候场景具有非常宽的动态范围。在宽动态范围场景的情况下，为物体选择适当的曝光常常需要裁剪在图像的另一个部分中的数据。因此，图像感应装置相对于场景的更窄动态范围导致图像感应装置获得的图像图像质量更低。增加由图像感应装置捕获的图像的动态范围的方法允许这样的图像重新平衡，以实现图像更令人满意的再现。而且，带有高动态范围的图像允许更令人满意的对比度改善，例如由 Lee 等人在共同授让的题为“ Interactive dynamic range adjustment system forprinting digital images”的美国专利5012333所描述的那样。用于用图像感应装置获得改善的图像的一个方法是包围曝光，其中，相同分辨率的多个静态图像在不同曝光水平的范围被捕获，所述图像中的一个被选择作为具有最佳整体曝光水平的图像。不过，这种技术不增加由图像感应装置捕获的任何单个图像的动态范围。正如本文所限定的，术语分辨率用于表示图像中像素的数量。获得高动态范围的图像的一个方法是，通过捕获具有不同曝光水平的、相同分辨率的多个静态图像，接着将所述图像组合为具有增加的动态范围的单输出图像。这种方法在 Mann 的共同授让的题为 “Method and apparatus for producing digital imageshaving extended dynamic ranges”的美国专利5828793和Ikeda的共同授让的题为“Method and apparatus for expanding the dynamic range of sensed color images，，的美国专利6040858中描述。这个方法常常要求数字照相机具有单独的捕获模式和处理路径。此外，多个捕获的瞬时接近度由可从图像传感器读出图像的速率限制。无论是和手抖动相关的照相机运动，还是物体在场景内运动导致的场景运动，捕获之中更大的瞬时不一致增加了捕获之中存在运动的可能性。运动增加了将多个图像合并为单个输出图像的难度。解决多个图像之中存在运动的问题、获得高动态范围的图像的另一个方法是同时捕获具有不同曝光水平的多个图像。随后，所述图像被组合为具有增加的动态范围的单个输出图像。通过使用多个成像路径和传感器，这种捕获过程可以实现。不过，由于多个成像路径和传感器，这种解决方案招致额外的成本。而且，由于传感器不在同一位置，并且因此生成具有不同视角的图像，这还引入在多个图像之中的对应性问题。替代地，分束器可以用于将入射光透射到单图像捕获装置内的多个传感器上。由于分束器和多个传感器，这种解决方案招致额外的成本，而且减少了可用于任何单个图像传感器的光量，从而由于信噪性能的降低，降低了图像质量。获得具有高动态范围的图像的另一个方法是，通过使用具有对曝光量具有标准响应的某些像素和对曝光量具有非标准响应的其他像素的图像传感器。这样的解决方案在共同授让的Gallagher等人题为“Method and apparatus to extend the effective dynamicrange of an image sensing device”的美国专利6909461中描述。不过，由于场景具有窄的动态范围，带有照相更慢、非标准响应的像素比带有标准响应的像素具有更差的信噪性能，因此，这样的传感器具有较差的性能。获得具有高动态范围的图像的另一个方法是，通过使用对被程序化为在第一曝光水平读取和存储图像传感器内的像素同时继续让图像传感器曝露于光的图像传感器。这样的解决方案在共同授让的、Ward等人题为“Multiple exposure methods and apparatusfor electronic cameras”的美国专利7616256中描述。在一个例子中，在实现第一曝光水平后，来自CCD的像素被读取到光屏蔽垂直寄存器中，并且图像传感器的曝光继续直到实现第二曝光水平。虽然这种解决方案允许来自图像传感器的各个像素在曝光之间最少时间的多次读取，但是其具有需要专用的硬件读取传感器的数据输出的缺陷。因此，存在对改善的解决方案的需要，以在不需要专用的硬件或额外图像传感器、没有为不需要高动态范围的场景牺牲性能、不需要单独的捕获模式和以多次曝光之间最少时间的情况下，将多个图像组合而形成具有高动态范围的图像。

发明内容
本发明阐明产生高动态范围图像的方法，其包括:a)接收具有第一分辨率且在第一曝光水平捕获的场景的低分辨率图像；b)接收具有第二分辨率且在不同于第一曝光水平的第二曝光水平捕获的场景的第一高分辨率图像；c)使用数据处理器以形成对应于第一高分辨率图像中高空间频率含量的残留图像；d)使用数据处理器以通过组合低分辨率图像和残留图像而形成具有第二分辨率和第一曝光水平的第二高分辨率图像；e)使用数据处理器以通过组合第一高分辨率图像和第二高分辨率图像产生高动态范围图像；以及f)将该高动态范围图像存储在处理器可存取的存储器中。本发明的优势是，在没有专用的硬件或额外图像传感器的情况下，可以产生具有高动态范围的图像。本发明的进一步优势是，在没有为不需要高动态范围的场景牺牲性能的情况下，可以广生具有闻动态范围的图像。
本发明的进一步优势是，在不需要单独捕获模式的情况下，可以产生具有高动态范围的图像。本发明的进一步优势是，以多次曝光之间的最少时间，可以广生具有闻动态范围的图像。通过回顾下列优选实施例的详细描述和附加权利要求，以及参考随附的图，本发明的这个和其他方面、目标、特征和优势将变得更加易于理解。本发明的优势是，在没有专用的硬件或额外图像传感器的情况下，可以产生具有高动态范围的图像。本发明的进一步优势是，在没有为不需要高动态范围的场景牺牲性能的情况下，可以广生具有闻动态范围的图像。本发明的进一步优势是，在不需要单独捕获模式的情况下，可以产生具有高动态范围的图像。本发明的进一步优势是，以多次曝光之间的最少时间，可以广生具有闻动态范围的图像。通过回顾下列优选实施例的详细描述和附加权利要求，以及参考随附的图，本发明的这个和其他方面、目标、特征和优势将变得更加易于理解。


图1是示出和本发明处理方法一起使用的数字静态照相机系统的框图；图2是在图像传感器上的现有技术拜耳滤色器阵列图案的图示；图3A是本发明实施例的流程图；图3B是本发明替代实施例的流程图；图4A是根据本发明实施例，用于组合实时景色和静态图像的方法的流程图；图4B是根据本发明替代实施例，用于组合实时景色和静态图像的方法的流程图；图5是根据本发明实施例，用于确定纠正因子图像的方法的流程图；图6A是根据本发明实施例，用于组合静态图像和高分辨率实时景色图像的方法的流程图；图6B是根据本发明实施例，用于组合实时景色图像和代表性的实时景色图像的方法的流程图；以及图7是根据本发明实施例，用于组合静态图像和调整后的实时景色图像的方法的流程图。
具体实施例方式由于采用成像器件和用于信号捕获及纠正以及曝光控制的相关电路的数字照相机是众所周知的，所以本描述将特别针对形成根据本发明的方法和设备一部分，或更直接配合根据本发明方法和设备的元素。本文将不专门描述或示出本领域已知的元素。将在软件中提供要描述的实施例的特定方面。给出以下列材料根据本发明示出和描述的系统，对实施本发明有用的本文没有专门示出、描述或建议的软件是常规的，并且对本领域的技术人员来说是熟知的。
现转向图1，其示出被显示为体现本发明的数字照相机的图像捕获装置的框图。虽然现在要解释的是数字照相机，但是很显然，本发明适用于其他类型的图像捕获装置，例如包括在非照相装置，例如移动电话和汽车中的成像子系统。来自主体场景的光10被输入到成像级11，其中所述光被透镜12聚焦，以在固态图像传感器20上形成图像。图像传感器20通过整合用于每个图像元素(像素)的电荷，将入射光转换为电信号。优选实施例的图像传感器20是电荷耦合器件(CXD)类型或有源像素传感器(APS)类型。(APS器件常常被称为CMOS传感器，这是因为能够在互补金属氧化物半导体工艺中制造它们)。该传感器包括滤色器的布置，随后将详细描述。到达图像传感器20的光量由改变光圈的膜片(iris) 14和可以包括插在光路中的一个或更多ND滤光器的滤光器块13调节。而且，调节整体光水平的时间是快门18打开的时间。曝光控制器40响应场景中可用的光量，所述场景中可用的光量由亮度传感器16计量，并且所述曝光控制器40控制所有这三个调节功能。图像传感器20的模拟信号由模拟信号处理器22处理，并被施加到用于数字化该模拟传感器信号的模数(A/D)转换器24。定时发生器26产生各种时钟信号，以选择行和像素并同步模拟信号处理器22和A/D转换器24的操作。图像传感器级28包括图像传感器20，模拟信号处理器22，A/D转换器24以及定时发生器26。图像传感器级28的功能元件可以是分开制造的集成电路，或者可以被制为单个集成电路，就像用CMOS图像传感器所实现的那样。来自A/D转换器24的数字像素值的结果流被存储在与数字信号处理器(DSP)36关联的DSP存储器32中。DSP36是在这个实施例中，除了系统控制器50和曝光控制器40以外的三个处理器或控制器中的一个。虽然这种照相机功能控制分布在多个控制器以及处理器之中是典型的，不过这些控制器或处理器可以以各种方式组合而不影响照相机的功能操作和本发明的应用。这些控制器或处理器可以包括一个或更多数字信号处理器器件，微处理器，可编程逻辑器件或其他数字逻辑电路。虽然已经描述了这样的控制器或处理器的组合，但是应当明白，一个控制器或处理器优选被指定执行所有需要的功能。所有这些变体可以执行相同功能并落入本发明的范围，以及术语“处理级”将被用于包含在一个阶段内的所有这些功能，例如如在图1中的处理级38中。在示出的实施例中，DSP36根据供图像捕获期间执行、永久存储在程序存储器54中和被复制到DSP存储器32的软件程序，控制在其DSP存储器32中的数字图像数据。DSP36执行实践如图3A和3B所示的图像处理所需要的软件。DSP存储器32包括任何随机存取存储器类型，例如SDRAM。总线30包括用于地址和数据信号的路径，其将DSP36和相关的DSP存储器32、A/D转换器24以及其他的相关装置连接。系统控制器50基于存储在程序存储器54中的软件程序，控制照相机的整体操作，所述程序存储器54可以包括闪存EEPROM或其他非易失性存储器。这个存储器还可以被用于存储图像传感器校准数据，用户设置选择以及照相机关闭时必须保存的其他数据。系统控制器50通过指挥曝光控制器40操作透镜12、滤光器块13、膜片14，以及快门18 (如之前描述的)，指挥定时发生器26操作图像传感器20和关联的元件，以及指挥DSP36处理捕获的图像数据，控制图像捕获的顺序。在图像被捕获和处理后，存储在DSP存储器32中的最终图像文件经由主机接口 57被转移到主计算机，存储在可拆卸的存储器卡64或其他存储装置上，并为用户在图像显示器88上显示。
总线52包括用于地址、数据和控制信号的路径，并将系统控制器50连接到DSP36、程序存储器54、系统存储器56、主机接口 57、存储器卡接口 60以及其他的相关装置。主机接口 57提供到用于将图像数据转移以显示、存储、处理或打印的个人计算机(PC)或其他主机计算机的高速连接。这种接口是IEEE1394或USB2.0串行接口或任何其他合适的数字接口。存储器卡64通常是插入插槽62中的安全数字(SD)卡，其经由存储器卡接口 60连接到系统控制器50。使用的其他存储类型包括但不限于PC卡，多媒体卡(MMC)或紧凑式闪存(CF)卡。处理的图像被复制到系统存储器56中的显示缓冲器，并且经由视频编码器80被连续读出以产生视频信号。这个信号从照相机直接输出，用于在外部监视器上显示，或由显示控制器82处理并在图像显示器88上展示。这个显示器通常是有源矩阵彩色液晶显示器(IXD)，虽然也可以使用其他的显示器类型。包括取景显示器70、曝光显示器72、状态显示器76和图像显示器88以及用户输入74的全部或任何组合的用户接口 68由在曝光控制器40和系统控制器50上执行的软件程序的组合控制。用户输入74通常包括按钮、摇杆开关、游戏杆、旋转表盘或触摸屏的某个组合。曝光控制器40操作光计量、曝光模式、自动聚焦和其他曝光功能。系统控制器50管理在一个或更多显示器上(例如，在图像显示器88上)展示的图形用户接口(⑶I)。⑶I通常包括用于做出各种选项选择的菜单和用于检查捕获图像的审查模式。曝光控制器40接受用户输入选择的曝光模式、镜头光圈、曝光时间(快门速度)以及曝光指数或ISO速度等级，并且相应命令镜头和快门用于随后的捕获。亮度传感器16被用于测量场景的亮度，并当手动设置ISO速度等级(曝光指数)、光圈和快门速度时，提供曝光测光功能供用户参考。在这样的情况下，在用户改变一个或更多设置时，在取景显示器70上展示的曝光表指示器可以经配置以向用户指示图像将被过度曝光或曝光不足到什么程度。在自动曝光模式中，用户改变一个设置，并且曝光控制器40自动改变另一个设置，以便保持正确的曝光水平。例如，对于给定的ISO速度等级，当用户减少镜头光圈时，曝光控制器40将自动增加曝光时间，以便保持相同的整体曝光水平。ISO速度等级是数字静态照相机的重要属性。曝光时间、镜头光圈、镜头透光率、场景照明的程度和光谱分布以及场景反射率确定数字静态照相机的曝光水平。当使用不足的曝光水平从数字静态照相机获得图像时，通常可以通过增加电子或数字增益来保持合适的色调再现，但是图像将包含不可接受的噪音量。在曝光水平增加时，增益被降低，因此图像噪音通常可以被降低到可接受的水平。如果曝光水平过分增加，在图像明亮区域中的结果信号会超出图像传感器或照相机信号处理的最大信号电平容量。这会导致图像亮点被裁减而形成均匀的明亮区域或发展进入图像的周围地区。指导用户设置合适的曝光水平是重要的。ISO速度等级的目的是用作这样的指导。为了让摄影师容易理解，用于数字静态照相机的ISO速度等级应当与摄影胶片照相机的ISO速度等级相关。例如，如果数字静态照相机具有IS0200的ISO速度等级，那么，相同的曝光时间和光圈应当适合IS0200等级的胶片/理系统。意图使ISO速度等级与胶片的ISO速度等级相称。不过，电子和基于胶片的成像系统之间存在妨碍确切对等的差异。数字静态照相机可以包括可变增益，并且在已经捕获图像数据后，可以提供数字处理，能够在照相机曝光水平的范围上实现色调再现。由于这个灵活性，数字静态照相机能够具有速度等级范围。这种范围被定义为ISO速度纬度。为了防止混淆，单个值被指定为固有的ISO速度等级，ISO纬度的上限和下限指示速度范围，SP，包括与固有ISO速度等级不同的有效速度等级的范围。考虑到这一点，固有的ISO速度是从产生特定照相机输出信号特性的、在数字静态照相机的焦平面提供的曝光水平计算的数值。该固有速度通常是给定的照相机系统对正常场景产生最高图像质量的曝光指数值，其中所述曝光指数是与提供给图像传感器的曝光水平成反比的数值。数字照相机的上述描述对于本领域的技术人员来是说熟悉的。很显然，这个实施例存在可选择以降低成本、增加特征或改善照相机性能的许多变化。例如，可以添加自动对焦系统，或接头是可拆卸和可更换的。应当理解本发明应用于任何类型的数字照相机，或更普遍地，数字图像捕获设备，其中替代模块提供类似的功能。给出图1的说明性例子，接着将详细描述根据本发明的捕获图像的这种照相机的操作。在下列描述中，每当提到图像传感器时，应当理解其表示来自图1的图像传感器20。在图1中示出的图像传感器20通常包括在硅基片上制作的光敏像素二维阵列，其将在每个像素的入射光转换为被测量的电信号。在图像传感器的上下文中，像素指的是离散的光感应区域和与光感应区域关联的电荷迁移或电荷测量电路。在数字彩色图像的上下文中，术语像素通常指的是图像中具有关联色彩值的特定位置。术语彩色像素指的是在相对窄的光谱波段上具有色彩光响应的像素。术语曝光持续时间和曝光时间可以交换使用。在图像传感器20被暴露于光时，自由电子被生成，并在每个像素的电子结构内被捕获。在一段时间内捕获这些自由电子，接着测量捕获电子的数量，或测量生成自由电子的速率，可以测量在每个像素的光水平。在前一情况下，累积的电荷从像素阵列迁出到电荷至电压测量电路，像在电荷耦合器件(CCD)中一样，或者靠近每个像素的区域可以包括电荷至电压测量电路的元件，像在有源像素传感器(APS或CMOS传感器)中一样。为了产生彩色图像，在图像传感器中的像素阵列通常具有放置在它们上面的滤色器的图案。图2示出通常使用的红色(R)、绿色(G)以及蓝色(B)的滤色器的滤色器阵列(CFA)图案90。在其发明人Bryce Bayer在美国专利3971065中公开后，这个特定图案通常被称为拜耳(Bayer)滤色器阵列(CFA)。这个图案被有效地用于具有彩色像素二维阵列的图像传感器中。结果，每个像素具有特定的色彩光响应，在这个的情况下，色彩光响应主要对红色、绿色或蓝色敏感。色彩光响应的另一个有用变体是针对紫红色、黄色、青色光的主灵敏度。在每种情况下，特定色彩光响应对可见光谱的特定部分具有高灵敏度，而同时对可见光谱的其他部分具有低灵敏度。利用具有带图2的CFA图案90的二维阵列的图像传感器20捕获的图像在每个像素仅具有一个色彩值。为了产生全色彩图像，存在推断或插值在每个像素的丢失色彩的许多技术。在本领域内，这些CFA插值技术是众所周知的，可以参考下列专利:美国专利N0.5506619，美国专利N0.5629734，以及美国专利N0.5652621为代表性的例子。图3A示出根据本发明实施例的流程图。在将照相机按钮推到SI的步骤310中，在操作员构造图像时，通过将数字照相机上的捕获按钮从SO位置(未按的位置)推到SI位置(部分按下的位置)，从而将部分按下的捕获按钮信号发送到数字照相机中的系统控制器50，操作员开始了图像的捕获过程。接着，系统控制器50利用捕获实时景色图像步骤320，指示照相机开始捕获实时景色图像325。捕获的实时景色图像325在图像显示器88上向操作员显示，以有助于图像的构造。一个或更多的被捕获实时景色图像325也可以存储在DSP存储器32中，供日后使用。通常，被捕获的实时景色图像325相对于完整的传感器分辨率具有降低的空间分辨率。降低的空间分辨率通过仅使用图像传感器20中像素的一部分，或通过组合来自多个像素的信号获得。应当指出，照相机的系统控制器50通常还同时完成自动对焦和自动曝光操作。当获取时机被操作员确认时，操作员将捕获按钮从SI位置推到S2位置(全按下的位置)，从而向照相机中的系统控制器50发送全按下的捕获按钮信号，如在将捕获按钮推到S2的步骤330所示。此时，在捕获静态图像步骤340中，系统控制器50指示数字照相机停止实时景色图像325的继续获取或捕获，并启动具有的空间分辨率比被捕获的实时景色图像325的空间分辨率更大的静态图像345的捕获。用于捕获静态图像345的曝光水平被设置为不同于用于捕获实时景色图像325的曝光水平，以便提供可以用于扩展动态范围的信息。该不同的曝光水平可以大于或小于被捕获的实时景色图像325的曝光水平。在组合图像步骤350中，一个或更多被捕获的实时景色图像325和被捕获的静态图像345被组合而形成高动态范围的图像355，其具有比最初捕获的静态图像更大的动态范围。最终，在呈现至输出空间的步骤360中，改善的静态图像被呈现到产生呈现的高动态范围图像365的输出色彩空间，并以数字图像文件存储在处理器可存取的存储器中，例如在存储器卡64上。在捕获实时景色图像步骤320中获取的实时景色图像325来自实时景色图像流，通常例如在图像显示器88上显示。这样的实时景色图像流的实时景色图像325通常以320行乘以240列(QVGA分辨率)或640行乘以480列(VGA分辨率)的空间分辨率以30帧每秒被捕获和显示。但是这个空间分辨率不是限制性的，并且实时景色图像325可以以更大的空间分辨率被捕获。实时景色图像325还可以以更大的空间分辨率显示。实时景色图像325可以被捕获并从传感器读取的最大频率与实时景色图像325的空间分辨率成反比。在捕获实时景色图像步骤320中获取的每个实时景色图像325最初以特定的有效曝光水平被捕获。正如本文所使用的，有效曝光水平被定义为用于给定图像的成比例的曝光水平，其中比例缩放通过将曝光水平乘以当从传感器读出图像数据时使用的任何收集因数完成。例如，图像传感器给实时景色图像325使用曝光水平E，以及收集因数9，则图像传感器为实时景色图像325生成有效的曝光水平9E。在上下文中，所述收集指的是在读出之前，来自相邻像素的电荷累积，而收集因数指的是多少像素将它们的电荷累积到被读出的单个值中。收集通常通过累积来自图像传感器上CFA图案内的相似像素的电荷产生。例如，在图2中，收集因数4可以通过累积来自图中示出的所有4个红色像素的电荷而形成单红色像素实现，以及类似地，通过累积蓝色像素的电荷和绿色像素的电荷。应当指出在拜耳图案中，绿色像素的数量是蓝色或红色像素的两倍，并且它们可以被累积成两个独立的组，以形成两个分开的已收集像素。在捕获静态图像步骤340中捕获的静态图像345的空间分辨率比在捕获实时景色图像步骤320中获取的实时景色图像325更大。通常，静态图像345具有图像传感器20的全空间分辨率。静态图像345在不同于对应实时景色图像325的有效曝光水平的有效曝光水平捕获。在有效曝光水平中的差异允许高动态范围图像355的后来生成。
实时景色图像325的获取还可以发生在捕获按钮不在SI位置的时候。例如，可以在快门按钮在SO位置时捕获实时景色图像325。实时景色图像325的获取还可以通过从SO到SI快门按钮位置的转变，或通过从SI到S2快门按钮位置的转变来继续。每个获取的实时景色图像325具有不同于静态图像345的有效曝光水平的有效曝光水平。在本发明的一个实施例中，获取的实时景色图像325具有小于静态图像345的有效曝光水平的有效曝光水平。在这种情况下，静态图像345可以包括从过度曝光修剪后的像素，而在实时景色图像325中的相应像素未被修剪。因此，具有更小有效曝光水平的实时景色图像325可以提供扩展静态图像345的动态范围的额外信息。应当指出，像素值随着场景照明的增加而增加，直到像素值不再增加的点，但是会停留在相同的点。这个点被称为修剪值。当像素在修剪值时，就可以说被修剪了。在本发明的另一个实施例中，获取的实时景色图像325具有大于静态图像345的有效曝光水平的有效曝光水平。在这种情况下，静态图像345可以包括暗区域并具有低的信噪比。这些暗区域可以通过将数字增益因数应用到那些像素值而变亮，或通过应用将细节带出阴影的色调缩放操作而变亮，但是这增加信号的噪音。具有更大有效曝光水平的实时景色图像325可以被用于提供具有这些暗图像区域中降低噪音的额外信息，从而扩展了图像的动态范围。在暗区域中的改善的信噪性能允许这些区域被点亮，而不良噪音的风险更少。没有限制需要使用相同的有效曝光水平捕获所有实时景色图像325。在本发明的另一个实施例中，至少一个获取的实时景色图像具有小于静态图像345的有效曝光水平的有效曝光水平，以及至少一个获取的实时景色图像325具有大于静态图像345的有效曝光的有效曝光水平。在这样的情况下，使用在实时景色图像325中提供的额外信息，改善静态图像345在暗图像区域以及修剪图像区域两者中的质量是可能的。当使用多个图像生成具有高动态范围的图像时，所述多个图像捕获相同场景是优选的。为了实现这点，可以以图像之中尽可能小的时间差距捕获所述多个图像。这最小化了场景中由例如照相机运动、物体运动或照明改变的事件产生的任何变化可能。一般来说，实时景色图像流生成实时景色图像325的连续流，随后是静态图像345的捕获。为了最小化获取的实时景色图像325与静态图像345之间的时间差距，从实时景色图像流最近捕获的捕获的实时景色图像325可以被获取和存储，连续替换更旧的实时景色图像325。在获取和存储具有多个不同的有效曝光水平的实时景色图像325的情况下，有必要改变在实时景色图像流中图像的有效曝光水平。获取具有两个有效曝光水平的实时景色图像325的一个方法是捕获具有交替的有效曝光水平的实时景色图像。这样的策略始终保证当静态图像345被捕获时，两个最近被捕获的实时景色图像325包括具有第一有效曝光水平的一个实时景色图像325，和具有第二有效曝光水平的另一个。这样的策略的缺点是，在没有可视伪像的情况下，在照相机背面显示具有交替有效曝光水平的实时景色图像325是困难的。不过在某些情况下，可以以超过实时景色图像325在照相机背面被显示的速率的速率捕获实时景色图像325。例如，如果以60帧每秒捕获实时景色图像325，并以30帧每秒在照相机的背面显示，则仅需要具有对应用于在照相机的背面显示的单个有效曝光水平的实时景色图像325，消除了对可视伪像的关注。图3B示出获取具有不同有效曝光水平的实时景色图像325的替代方法。在将捕获按钮按到SI的步骤310中，在操作员构造图像时，操作员通过将照相机上的捕获按钮从SO位置(未按的位置)推到SI位置(部分按下的位置)，从而将部分按下的捕获按钮信号发送到照相机中的系统控制器50，开始了图像获取过程。接着，系统控制器50指示照相机利用捕获实时景色图像步骤320，利用可用的DSP存储器32开始获取以及存储实时景色图像325。获取的实时景色图像325可以与单个有效曝光水平相对应。当获取时机被操作员确认时，操作员将捕获按钮从SI位置推到S2位置(全按下的位置)，从而向照相机中的系统控制器50发送全按下捕获按钮的信号，如将捕获按钮推到S2的步骤330所示。此时，在捕获额外实时景色图像的步骤335中，系统控制器50指示照相机以与不同于之前获取的有效曝光水平捕获至少一个额外的实时景色图像325。在一个或更多额外的实时景色图像325被捕获后，系统控制器50在捕获静态图像步骤340中指示照相机停止实时景色图像的继续获取，并启动具有的空间分辨率比实时景色图像325更大的静态图像345的捕获。在组合图像的步骤350中，具有不同有效曝光水平的被捕获实时景色图像325和被捕获的静态图像345被组合而形成改善的静态图像，其具有比最初捕获静态图像345大的动态范围。最终，在呈现至输出空间的步骤360中，改善的静态图像被呈现到输出空间以及产生的高动态范围图像355以数字图像文件存储在处理器可存取的存储器中，例如在存储器卡64上。通过延迟具有第二有效曝光水平的实时景色图像325，直到用户已经将捕获按钮从SI位置推到S2位置，在将捕获按钮推到S2的步骤330之前捕获的实时景色图像325可以在照相机的背面显示，而不关注由于改变实时景色图像325的有效曝光水平产生的可视伪像。在所有情况下，在没有用户要求切换照相机模式或手动设置实时景色图像325的曝光水平的情况下，可以自动捕获实时景色图像325。图4A更详细描述根据本发明的一个实施例的来自图3A和图3B的组合图像步骤350。组合图像步骤350的输入是一个或更多实时景色图像325中的一个以及静态图像345。最初，利用降低分辨率步骤410，静态图像345的分辨率被降低，产生代表性的低分辨率图像。在优选实施例中，代表性的低分辨率图像具有与实时景色图像325相同的分辨率，因此代表使用实时景色图像流已经捕获的图像。降低分辨率步骤410可以包括像素组合、抽取和裁减。在优选实施例中，降低分辨率的步骤410被指定模仿由照相机使用的、生成实时景色图像325的步骤。降低分辨率的例子是下面的具有4032列X3034行的12百万像素的拜耳图案图像传感器。静态图像345被降低分辨率，以生成具有与在将照相机按钮按到SI位置时生成的实时景色图像325相同的分辨率的1312X506代表性低分辨率图像。4032列X3034行通过因数3乘以每个尺寸被数字组合，以产生代表性的低分辨率图像。这可以通过组合相应的拜耳图案像素位置的像素值实现。九个蓝色像素值被组合生成一个组合后的蓝色像素值。类似地，九个红色像素值被组合生成一个组合后的红色像素值。在和红色像素相同行上的九个绿色像素值被组合形成组合后的绿色像素值。并且在和蓝色像素相同行上的九个绿色像素被组合形成另一个组合后的绿色像素值。组合后的像素值可以通过将组合后的像素值除以对值有贡献的像素数量被标准化。组合步骤还可以丢弃某些像素值。例如，当形成组合后的像素值时，仅有九个像素值中的六个可以被使用。产生的图像具有分辨率1342X1010并保留拜耳图案。为了进一步以因数2降低垂直分辨率，同时维持具有拜耳图案结构的图像，每隔一对行被丢弃。这导致具有分辨率为1342X506的拜耳图案图像。最终，图像左边的16列被修剪，以及图像右边的14列被修剪，以便生成分辨率对应于实时景色图像325的分辨率的1312X506图像。随后，使用插值图像步骤415，代表性的低分辨率图像被随后空间插值回到最初静态图像345的分辨率。插值图像步骤415过程生成低通静态图像420，其具有相对于最初静态图像345的减少的高频率图像内容。(在代表性的低分辨率图像形成期间，最初的静态图像的某些行或列被修剪的情况下，插值步骤仅生成具有和被修剪静态图像的分辨率相同分辨率的插值图像。)在优选实施例中，双三次插值被用于生成低通静态图像420。不过，本领域的技术人员应当认识到，存在可以被用于生成低通静态图像420的许多合适的插值技术。在替代实施例中，可以以各种不同方式计算低通静态图像420。例如，在某些实施例中，可以将低通卷积滤波器直接应用到静态图像345来形成低通静态图像420。优选地，低通卷积滤波器应当被设计成使得低通静态图像420的频率含量是实时景色图像325中频
率含量的仿真。计算残留图像步骤425被用于计算表示静态图像345与低通静态图像420之间差异的残留图像430。在优选实施例中，从最初静态图像345减去低通静态图像420以生成残留图像430。如果最初静态图像345和低通静态图像420是不同大小的，那么残留图像430可以是和低通静态图像420相同大小的，以及最初静态图像345的附加行和列可以被忽略。替代地，残留图像430可以和最初静态图像345是相同大小，以及残留图像430可以具有值，这些值等于在低通静态图像420的边界外面的任何位置的最初静态图像345。本领域的技术人员应该意识到，存在产生适于根据本发明的方法使用的残留图像的其他方法。例如，通过应用适当设计的高通卷积滤波器，可以直接从静态图像345计算残留图像430。优选地，高通卷积滤波器应当被设计成使得残留图像430的频率含量是未被包括在实时景色图像325 (以及低通静态图像420)中的、来自静态图像345的频率含量的估算，并且类似于利用上述步骤生成的残留图像430。在其他实施例中，可以应用子波变换方法产生残留图像430。插值图像步骤435被用于将实时景色图像325插值回静态图像345 (可能是修剪的)的分辨率，产生一个或更多插值后的实时景色图像440。在优选实施例中，插值图像步骤435等同于较早描述的插值图像步骤415。在对齐图像步骤445中，插值后的实时景色图像440与低通静态图像420对齐，以解释两个曝光之间已经发生的运动，产生对齐的实时景色图像450。在运动图像对齐的一个方法中，应用全局运动补偿步骤以便对齐两个图像。全局运动补偿可以包括平移、旋转和缩放操作，或它们的组合。全局运动估算和补偿的方法对于本领域的技术人员来说是众所周知的，并且任何合适的方法可以被应用到将插值后的实时景色图像440和低通静态图像420对齐。在优选实施例中，在对齐的图像是CFA图像的情况下，约束运动估算步骤为CFA图案大小整数倍的平移运动，例如在拜耳图案的情况下的2X2，以便确保运动补偿的图像保留拜耳图案。局部运动估算和补偿可以被用于替换或改进全局运动估算。局部估算和补偿的方法对于本领域的技术人员来说是众所周知的，并且可以应用任何合适的方法来局部对齐插值后的实时景色和插值后的静态图像。特别地，基于块的运动估算算法可以被用于确定局部区域(块)上的运动估算。在确定纠正因数图像步骤455中，具有较少曝光水平的图像(对齐后的实时景色图像450或低通静态图像420)被用于确定存在于具有较大曝光水平的图像中的修剪量，以产生最终的纠正因数图像460。图5示出根据本发明实施例，用于确定纠正因数步骤455的额外细节。这里需要考虑两个情况。第一种情况，实时景色图像325以小于静态图像345的曝光水平的曝光水平被捕获，以及第二种情况，实时景色图像325以高于静态图像345的曝光水平的曝光水平被捕获。与每个图像关联的曝光水平的表示可以通过计算图像中像素值的平均值来确定。(对于关于图5描述的步骤，可以假设代码值是线性曝光度量。)用于低通静态图像420的平均像素值可以由Es给出，以及用于对齐的实时景色图像450的平均像素值可以由Ej合出。当计算平均值时，在任意一个图像中被修剪的任何像素被排除。曝光试验510比较平均像素值，以识别具有较高曝光的图像。如果EJEs，那么以比静态图像345的曝光水平低的曝光水平捕获实时景色图像325，并且继续执行静态图像修剪试验515。静态图像修剪试验515检查低通静态图像420的像素，以便了解是否有任何像素被修剪。如果未检测出被修剪的像素，那么，产生统一纠正因数图像步骤585被用于产生纠正因数图像460，其中所有的值被设置为1.0。如果检测出被修剪的像素，接着执行确定平均曝光因数的步骤520。对于线性曝光度量中的图像数据，如果闪光被忽略，那么在低通静态图像420中图像数据的平均值通过倍增项与对齐后的实时景色图像450中图像数据的平均值大致相关。在下文中，倍增项被称为平均曝光因数(MeanExposureFactor),可以通过将低通静态图像的像素值的平均值(Es)除以对齐后的实时景色图像的像素值的平均值( )获得。MeanExposureFactor 的值可以大于 1.0。在确定增益后的 实时景色图像步骤525中，对齐后的实时景色图像450乘以平均曝光因数，产生增益后的实时景色图像。在确定已修剪增益后的实时景色图像步骤530中，在低通静态图像420的修剪值之上的增益后的实时景色图像的所有像素值被设置为修剪值，产生已修剪的增益后的实时景色图像。接着，在确定已修剪实时景色图像步骤535中，已修剪增益后的实时景色图像数据被平均曝光因数除，以便产生修剪后的实时景色图像。在确定最初纠正因数图像步骤540中，对齐的实时景色图像450的每个像素值被修剪后的实时景色图像的相应像素值除，以产生最初纠正因数图像，其中所述最初纠正因数图像的像素值有必要等于或大于I。而且，仅在修剪后的实时景色图像具有已修剪像素的空间位置，最初纠正因数图像的像素值大于I。修剪后的实时景色图像具有已修剪像素的空间位置可以被假设成低通静态图像420具有已修剪像素的空间位置。因此，最初的纠正因数图像是图像的估计，其需要乘以低通静态图像420以获得没有已修剪像素的低通静态图像的版本，并且这样在最初纠正图像中的每个像素具有这样的值，其对应于低通静态图像420中在相应空间位置的修剪量的估算。不过，可以看出，最初的纠正因数图像像素值仅在远离已修剪像素的空间位置上是正确的，其中已修剪像素表示被捕获场景的物体边缘。表示被捕获场景的已修剪物体边缘的最初纠正因数图像像素，或表示被捕获场景的已修剪物体边缘的附近像素，通常具有低估的像素值。就是说，在已修剪边缘上或接近已修剪边缘的修剪量通常被低估。在本发明的一个优选实施例中，假设在插值图像步骤415或插值图像步骤435之前不存在的任何像素和最初比例因数图像中的被低估修剪量相对应。而且，在相同实施例中，假设在插值图像步骤415或插值图像步骤435之前已经存在的所有像素和最初比例因数图像中的正确修剪量相对应。改进纠正因数图像步骤545被用于正确估算最初纠正因数图像的被低估像素值。首先，被低估的像素值被包括低估像素值的邻居内的已修剪值的最大正确量替换。一旦最初纠正因数图像的像素值被正确估算，那么可以认为其对应于正确的修剪量。类似地，最初纠正因数图像的所有被低估像素值被正确估算，以产生中间的纠正因数图像。下一步，和最初比例因数图像的正确修剪量相对应的中间纠正因数图像的像素值被修改，以产生最终的纠正因数图像。执行这个操作，以便防止冲击伪像(impulse artifact)。在本发明的一个实施例中，和最初比例因数图像中的正确修剪量相对应的中间的纠正因数图像的像素值被像素附近3 X 3邻域中的中位像素值替换。类似地，和最初比例因数图像中的正确修剪量相对应的中间的纠正因数图像的所有像素值被替换，以产生最终的纠正因数图像460。本领域的技术人员应当明白，存在产生纠正因数图像460的其他合适技术。例如，最初比例因数图像可以以实时景色图像325的分辨率产生，以及可以使用逐次最近邻插值，将最初比例因数图像向上采样到静态图像345的分辨率，其中，如果存在正确估算最初纠正因数图像中的被低估修剪量的至少两个最近邻，那么可以使用最大值的邻居。应当指出，如果像素 在对齐后的实时景色图像450和低通静态图像420中都被修剪，则不可以正确估算确切的修剪量，因此，在该像素位置，仅有一部分量的修剪纠正被确定。用于确定修剪量并从而产生最终纠正因数图像460的上述例子描述当实时景色图像325具有比静态图像345的曝光水平低的曝光水平时的情形，其中所述静态图像345具有被修剪后的像素。下一步将描述第二例子，其针对当静态图像345具有的曝光水平比实时景色图像325的曝光水平低时的情形，其中所述实时景色图像325具有修剪后的像素。在这样的情况下，曝光试验510将确定El>Es，以及继续到实时景色图像修剪试验555。实时图像修剪试验555检查对齐后实时景色图像450的像素，以便了解是否有任何像素被修剪。如果未检测出修剪后的像素，那么，产生统一纠正因数图像的步骤585被用于产生纠正因数图像460，其中所有的值被设置为1.0。如果检测出修剪后的像素，那么接着执行确定平均曝光因数的步骤560。在确定平均曝光因数步骤560中，通过将用于对齐后实时景色图像像素值的平均值( )除以低通静态图像数据的平均值(Es)获得平均曝光因数的值。平均曝光因数的值将大于1.0。在确定增益的静态图像的步骤565中，低通静态图像420乘以平均曝光因数，产生增益的静态图像。在确定修剪后的增益的静态图像的步骤570中，在对齐后的实时景色图像450的已修剪值之上的增益的静态图像的所有像素值被设置为产生修剪后的增益的静态图像的已修剪值。接着，在确定修剪后的静态图像的步骤575中，修剪后的增益修剪图像被平均曝光因数除，以便产生修剪后的静态图像。在确定最初纠正因数图像步骤580中，修剪后的静态图像450的每个像素值被低通静态图像520的相应像素值除，以产生最初的纠正因数图像，其中所述最初纠正因数图像的像素值有必要等于或小于I。而且，最初纠正因数图像的像素值仅在修剪后的静态图像具有已修剪像素的空间位置小于I。修剪后的静态色图像具有已修剪像素的空间位置可以被假设成对齐后的实时景色图像420具有已修剪像素的空间位置。因此，最初的纠正因数图像是图像的估算，其需要除以对齐后的实时景色图像420以获得没有已修剪像素的对齐后实时景色图像的版本，这样，在最初纠正图像中的每个像素具有一个值，其对应于对齐后实时景色图像450中在相应空间位置的修剪量的倒数的估计。不过，可以看出，最初的纠正因数图像像素值仅在远离已修剪像素的空间位置上是正确的，所述已修剪像素表示被捕获场景的物体边缘。表示被捕获场景的已修剪物体边缘的最初纠正因数图像像素或表示被捕获场景的已修剪物体边缘的附近像素，通常具有高估的像素值。就是说，在已修剪边缘上或接近已修剪边缘的修剪逆量通常被高估。在本发明的一个优选实施例中，假设在插值图像步骤415或插值图像步骤435之前不存在的任何像素和最初比例因数图像中的被高估修剪逆量相对应。而且，在相同实施例中，假设在插值图像步骤415或插值图像步骤435之前已经存在的所有像素和最初比例因数图像中的正确修剪逆量相对应。改进纠正因数图像步骤545被用于正确估算最初纠正因数图像的被高估像素值。首先，被高估的像素值由包括被高估像素值的邻居内的修剪值的最小正确逆量替换。一旦最初纠正因数图像的像素值已经被正确估算，那么认为其对应于正确的修剪逆量。类似地，最初纠正因数图像的所有被高估像素值被正确估算，以产生中间的纠正因数图像。下一步，和最初比例因数图像的正确修剪量相对应的中间的纠正因数图像的像素值被修改，以产生最终的纠正因数图像。执行这个操作以防止冲击伪像。在本发明的一个实施例中，和最初比例因数图像中的正确修剪量相对应的中间的纠正因数图像的像素值被围绕该像素的3 X 3邻域中的中位像素值替换。类似地，和最初比例因数图像的正确修剪量相对应的中间的纠正因数图像的所有像素值被替换，以产生最终的纠正因数图像460。现返回图4A讨论，使用产生被纠正的残留图像470的正确残留图像步骤465，纠正因数图像460和残留图像430被组合。用于组合残留图像430和纠正因数图像460以产生被纠正的残留图像470的方法是，将残留图像430乘以纠正因数图像460。另一个方法是，将纠正因数图像460修剪到某个已修剪值，其中已修剪值表示最大允许的纠正因数，接着，将残留图像430乘以修剪后的纠正因数图像。本领域的技术人员应当明白，存在将残留图像430和纠正因数图像460组合以产生纠正后的残留图像470的其他方法，包括但不限于，在将纠正因数图像460乘以残留图像430之前，对纠正因数图像460进行线性或非线性转换。在组合图像步骤475中，插值后的实时景色图像440和纠正后的残留图像470组合，以形成高分辨率的实时景色图像480。用于组合插值后的实时景色图像440和纠正后的残留图像470以广生闻分辨率实时景色图像480的方法是，将纠正后的残留图像470和插值后的实时景色图像440相加。另一个方法包括使产生已修改的纠正后残留图像的纠正后的残留图像470噪音降低以及获得增益，接着，将已修改的纠正后残留图像和插值后的实时景色图像440相加。本领域的技术人员应当明白，存在将插值后的实时景色图像440和纠正后的残留图像470组合以产生高分辨率的实时景色图像480的其他方法，其包括但不限于，在和插值后的实时景色图像440相加之前，线性或非线性转换纠正后的残留图像470。最终，利用组合图像步骤485，通过形成高分辨率实时景色图像480和静态图像345的组合，从而产生高动态范围图像355。在某些实施例中，不利用最初的静态图像345，而是通过将低通静态图像420和纠正的残留图像470组合，可以形成重建的静态图像。通过这样的方式，在已经确定纠正后的残留图像470后，静态图像345可以不必保留在存储器中。图6A更详细描述根据本发明的优选实施例的组合图像步骤485。这个步骤的输入是静态图像345和高分辨率实时景色图像480。在某些实施例中，重建的静态图像可以被用于替换静态图像，其中所述重建的静态图像通过组合低通静态图像420和纠正后的残留图像470形成。优选地，重建的静态图像可以通过执行图4A和4B中的计算残留图像步骤425的逆操作形成。在步骤425中从静态图像345减去低通静态图像420以生成残留图像430的优选实施例中，纠正后的残留图像470和低通静态图像420相加，以产生重建的静态图像。首先，线性化图像步骤615被用于处理静态图像345和高分辨率实时景色图像480，使得它们处于线性曝光度量中。就是说，处理后的像素值的度量与曝光成比例。为了组合静态图像345和高分辨率实时景色图像480，精确纠正两个图像的曝光水平与闪光之间的任何差异是重要的。为了产生相对曝光水平和闪光的估计，假设一下关系:X (x, y) =ExposureFactor.Y (x, y) +FlareDelta (I)其中X (x，y)是静态图像345的像素值，而Y (x，y)是高分辨率实时景色图像480的像素值，以及(x，y)指的是像素坐标。ExposureFactor和FlareDelta是必须确定的两个未知常数，以关联两个图像。对于线性曝光度量中的图像数据，仅曝光水平不同的两个图像可以通过如由ExposureFactor表示的乘积项相关。不由乘积项建模的两个图像之间的剩余差异，例如闪光的差异，可以由额外的偏移项建模，如FlareDeIta给出的。一般来说，两个图像之间的曝光水平差异，以及由此的ExposureFactor项，可以根据照相机捕获系统确定，不过，由于机械快门以及其他照相机组件的性能变化，图像的被记录曝光水平与实际的曝光水平之间可能存在明显的差异。在优选实施例中，ExposureFactor和FlareDelta常数可以如下所述从静态图像345和高分辨率实时景色图像480直接估算。首先，利用像素化图像步骤620，重建的静态图像和最终实时景色图像被像素化。正如在本领域是众所周知的一样，图像的像素化包括，将多个图像像素组合以形成小的图像表示(例如，12X8个像素)。在一个实施例中，图像被分成像素的矩形组，并且计算每个组内的平均像素值。替代地，图像可以使用前置滤波被缩小尺寸，以形成小的图像表
/Jn ο在优选实施例中，重建的静态图像和最终实时景色图像是CFA数据，并且仅利用来自单通道的图像数据，形成每个图像的像素化版本。例如，绿色像素数据可以被用于计算像素化的图像。替代地，拜耳图案CFA数据的所有三个通道可以被用于生成像素化图像的亮度值。在重建的静态图像和最终实时景色图像是在每个像素位置具有红色、绿色和蓝色值的全彩色图像的情况下，可以利用单通道的数据或通过从全彩色图像计算亮度通道以及从亮度图像数据导出像素化的图像来形成像素化的图像。
静态图像345和高分辨率实时景色图像480的像素化表示分别假定为Xp (i，j)和^ (i，j)，其中(i，j)是像素坐标。像素化的图像被矢量化，并布置成两列的数据阵列，其中所述数据阵列的每行包括来自Xp的一个静态图像像素值以及来自Yp的相应高分辨率实时景色像素值。下一步，使用消除像素步骤625消除包括已修剪像素值以及包括认为被噪音占主要地位的像素值的数据阵列中的所有行的数据。用于确定像素值是否被噪音占主要地位的阀值可以基于捕获设备的特定群的噪音数据设置。使像素数据回归步骤630用于执行数据阵列中剩余数据的线性回归，以计算使阵列的第一列中的数据和阵列的第二列中的数据相关的斜率和偏移值635。斜率值表示曝光水平比例因数(Expo sureFac tor )；偏移值表示全局闪光差异的估计(Fl ar eDe I ta )。下一步，调整实时计算图像数据640用于将斜率和偏移值635应用到高分辨率实时景色图像480，形成调整后的实时景色图像645。这通过应用在方程式(I)中给出的等式实现。通过这样的方式，在调整后的实时景色图像645中的曝光值将和静态图像345中的曝光值一致。如果静态图像345中整体闪光水平的估计是可获得的，则可以从静态图像345和调整后的实时景色图像645两者减去这个值，从而产生具有减少闪光的图像。最终，利用组合图像步骤650，静态图像345和调整后的实时景色图像645被组合，以形成高动态范围图像355。组合图像步骤650的额外细节在图7中描述。在这个图中示出的步骤被应用到图像的每个像素。首先，实时景色像素修剪试验710被用于测试在调整后的实时景色图像645中的·特定像素是否被修剪。如果未修剪，那么静态图像像素修剪试验720被用于测试在静态图像345中的相应像素是否被修剪。如果静态图像像素修剪试验720指示静态图像像素被修剪，接着，使用调整后的实时景色像素值的步骤740被用于将高动态范围图像355中的相应像素设置等于来自调整后的实时景色图像645的像素值。如果静态图像像素修剪试验720指示静态图像像素未被修剪，那么，使用组合后的实时景色像素值的步骤750被用于将高动态范围图像355中的相应像素设置等于来自静态图像345和调整后的实时景色图像645的像素值的组合。用于组合在使用组合后的像素值步骤750中的像素值的一个方法是，对静态图像345和调整后的实时景色图像645的像素值取平均值。另一个方法可以对加权的像素值取平均值，其中权重是像素值的函数，例如Devebec等人在论文“Recovering high dynamic rangeradiance maps from photographs，，(SIGGRAPFT97学术会议论文集，pp.369-378，1997)中所描述的，或由Mann在共同授让的美国专利5828793中描述的，或由Ikeda在共同授让的美国专利6040858中描述的，上述全部内容通过引用合并于此。如果实时景色像素修剪试验710指示在调整后的实时景色图像645中的像素被修剪，那么，静态图像像素修剪试验730被用于测试在静态图像345中的相应像素是否被修剪。如果静态图像的像素值被修剪，那么使用设置到修剪后值的步骤760，高动态范围图像355中的相应像素等于修剪后的像素值。在本发明的一个实施例中，修剪后的像素值和静态图像345与调整后实时景色图像645中更大的修剪点相对应。如果静态图像像素修剪试验730指示静态图像像素未被修剪，那么，使用静态图像像素值的步骤770被用于将在高动态范围图像355中的相应像素设置等于来自静态图像345的像素值。
返回图3A和3B的讨论，如上所述，本发明的某些实施例包括捕获多个实时景色图像325。如果实时景色图像325中的每个以相同的曝光水平捕获，那么，可以选择单个实时景色图像(例如，被捕获的最后实时景色图像)用于组合图像步骤350的方法中。替代地，多个实时景色图像可以被组合，以降低实时景色图像中的噪音。不过，必须考虑图像捕获之间场景的任何全局或局部运动。如果已经以不同的曝光水平捕获实时景色图像325，那么可以使用实时景色图像中的每个，多次执行组合图像步骤350。例如，考虑具有比静态图像345低的曝光水平的第一实时景色图像和具有比静态图像345高的曝光水平的第二实时景色图像被捕获的情况。首先，可以执行组合图像步骤350，以将静态图像345和第一实时景色图像组合，产生第一高动态范围图像。接着，可以第二次执行组合图像步骤350，以将第一高动态范围图像和第二实时景色图像组合，从而产生最终的高动态范围图像。在替代实施例中，可以确定对应于具有不同的曝光水平的每个实时景色图像325的高分辨率实时景色图像480。接着，可以修改图6A中示出的组合图像步骤485，以确定用于每个高分辨率实时景色图像480的缩放比例和偏移值，并且用于形成调整后的实时景色图像645的相应集合。接着，可以使用和在图7中示出的方法类似的方法，调整后的实时景色图像645的集合可以被组合形成单个聚集调整后的实时景色图像。接着，使用组合图像步骤650，聚集调整后的实时景色图像可以和静态图像345组合。替代地，组合图像步骤650可被推广，以将静态图像345和调整后的实时景色图像645的集合组合。在这种情况下，对于每个图像像素，来自未修剪图像的像素值可以被组合，以确定高动态范围图像355的相应像素值。一旦静态图像345和实时景色图像325已经被组合形成高动态范围图像355，那么使用呈现到输出空间步骤360，其可以可选地被呈现到输出空间。例如，通过色调缩放处理操作，例如Gindele等人在美国专利7130485中描述的那样，其可以被呈现到sRGB图像，所述专利通过引用合并于此。这个途径使用高动态范围信息来形成保持某些亮度和阴影细节的改善的图像，当所述图像呈现在典型输出设备上用于显示时，所述亮度和阴影细节通常会丢失。应当指出，如果图像要在能够处理和显示高动态范围图像的设备上显示，或以扩展范围形式存储以供以后处理，那么可以跳过呈现到输出空间步骤360。图4B示出根据本发明另一个实施例，用于执行在图3A和3B中的组合图像步骤350的替代方法。这个步骤的输入是静态图像345和至少一个实时景色图像325。在本方法的这个步骤中的步骤等同或类似于在图4A中的相应步骤的情况下，使用相同的参考数字。在降低分辨率步骤410中，静态图像345的分辨率被降低到和实时景色图像325的分辨率相同，产生代表性的实时景色图像412。在对齐图像步骤445中，实时景色图像325与代表性的实时景色图像412对齐，以说明在两个曝光之间可能已经发生的运动，产生对齐后的实时景色图像450。对齐方法可以类似于有关图4A描述的对齐方法。随后，使用插值图像步骤415，代表性的实时景色图像412被空间插回到最初静态图像345的分辨率，以生成低通静态图像420。在计算残留图像步骤425中，从最初静态图像345减去低通静态图像420以生成残留图像430。如前面所述的，如果最初静态图像345和低通静态图像420是不同大小的，那么残留图像430可以和低通静态图像420是相同大小的，以及来自最初静态图像345的附加行/列可以被忽略。替代地，残留图像430可以和最初静态图像345是相同大小，以及残留图像430可以在低通静态图像420的边界外面的任何位置具有等于最初静态图像345的值。在确定纠正因数图像步骤455中，纠正因数图像460被确定，响应于对齐后的实时景色图像450和代表性的实时景色图像412。在这个步骤中，具有较小曝光水平的图像被用于确定图像中具有较大曝光水平的图像中的修剪量，以产生纠正因数图像460。产生最终纠正因数图像的方法可以类似于有关4A描述的方法。在静态图像分辨率存在并且在实时景色分辨率丢失的任何像素应当被初始化为具有值I。如图4A的方法中那样，纠正残留图像步骤465被用于纠正因数图像460和残留图像430，产生纠正后的残留图像470。组合图像步骤490被用于组合对齐后的实时景色图像450和代表性的实时景色图像412，以产生低分辨率的高动态范围图像492。图6B更详细描述根据本发明的优选实施例的组合图像步骤49的。在图6B中示出的步骤等同于在图6A中示出的相对于组合图像步骤485描述的步骤。返回图4B的讨论，使用插值图像步骤494，低分辨率高动态范围图像492被插值回至IJ (可能修剪后的)静态图像345的分辨率，产生插值后的高动态范围图像496。在优选实施例中，插值图像步骤494等同于插值图像步骤415。最终，利用组合图像步骤485,插值后的闻动态范围图像496和纠正后的残留图像470被组合，以产生高动态范围图像355。高动态范围图像355将具有与插值后的高动态范围图像496关联的扩展动态范围，但是会具有等于静态图像345的分辨率和图像细节水平。将插值后的高动态范围图像496和纠正后的残留图像470组合的一个方法是，将两个图像相加在一起。在某些实施例中，在将纠正后的残留图像470加到插值后的高动态范围图像496之前，可以将噪音降低应用到纠正后的残留图像470。本领域的技术人员应当明白，存在将插值后的高动态范围图像496和纠正后的残留图像470组合以产生高动态范围图像355的其他方法，其包括但不限于，在和插值后的实时景色图像相加之前，线性或非线性转换纠正后的残留图像470。在优选实施例中，根据图4A和4B处理的实时景色图像325和静态图像345是CFA图像。类似地，产生的具有增加的动态范围的高动态范围图像355也是CFA图像。在这个例子中，在已经产生高动态范围图像后，执行众所周知的CFA插值图像处理步骤。替代地，根据本发明，在执行组合图像步骤350之前，CFA插值可以被应用到实时景色图像325和静态图像345。在这样的情况下，所述方法的步骤可以利用全彩色图像执行。在某些实施例中，局部运动估算或运动检测方法被用于识别在被捕获图像序列期间，在场景内的物体运动的区域。对应于物体运动的像素被识别，并在确定纠正因数图像步骤455 (图4A和4B)，在组合图像步骤485 (图4A)以及在组合图像步骤490 (图4B)中被不同处理。尤其是，由于场景内容在静态图像345以及一个或更多实时景色图像325之中在被识别为具有物体运动的区域不匹配，所以实时景色图像325不被用于改善静态图像345在所述区域的动态范围。运动检测的方法对于本领域的技术人员来说是众所周知的，以及可以应用任何合适的方法检测静态和实时景色图像中的运动区域。部件列表10光
11成像级12透镜13滤光器块14膜片16亮度传感器18快门20图像传感器22模拟信号处理器24A/D 转换器26定时发生器28图像传感器级 30总线32DSP 存储器36数字信号处理器(DSP)38处理级40曝光控制器50系统控制器52总线54程序存储器56系统存储器57主机接口60存储卡接口62插槽64存储卡68用户接口70取景显示器72曝光显不器74用户输入76状态显示器80视频编码器82显示控制器88图像显示器90CFA 图案310 将捕获按钮推到SI步骤320捕获实时景色图像步骤325实时景色图像330将捕获按钮推到S2步骤335捕获额外的实时景色图像步骤340捕获静态图像步骤
345静态图像350组合图像步骤355高动态范围图像360呈现到输出色彩空间步骤365呈现的高动态范围图像410降低分辨率步骤412代表性的实时景色图像415插值图像步骤420低通静态图像425计算残留图像步骤430残留图像435插值图像步骤440插值后的实时景色图像 445对齐图像步骤450对齐后的实时景色图像455确定纠正因数图像步骤460纠正因数图像465纠正残留步骤470纠正后的残留图像475组合图像步骤480高分辨率实时景色图像485组合图像步骤490组合图像步骤492低分辨率的高动态范围图像494插值图像496插值后的高动态范围图像510曝光试验515静态图像修剪试验520确定平均曝光因数步骤525确定增益的实时景色图像步骤530确定修剪后的增益的实时景色图像步骤535确定修剪后的实时景色图像步骤540确定最初纠正因数图像步骤545改进纠正因数图像步骤555实时景色图像修剪试验560确定平均曝光因数步骤565确定增益的静态图像步骤570确定修剪后的增益的静态图像步骤575确定修剪后的静态图像步骤575
580确定最初纠正因数图像步骤585确定平均曝光因数步骤615线性化图像步骤620像素化图像步骤625消除像素步骤630使像素数据回归步骤635斜率和偏移值640调整实时景色图像步骤645调整后的实时景色图像650组合图像步骤

710实时景色像素修剪试验720静态图像像素修剪试验730静态图像像素修剪试验740使用调整后的实时景色像素值步骤750使用组合后的像素值步骤750760设置修剪值的步骤770使用静态像素值步骤
权利要求
1.一种用于产生高动态范围图像的方法，其包括: a)接收具有第一分辨率并且第一曝光水平被捕获的场景的低分辨率图像； b)接收具有第二分辨率并且不同于第一曝光水平的第二曝光水平被捕获的第一高分辨率图像，所述第二分辨率大于所述第一分辨率； c)使用数据处理器形成对应于所述第一高分辨率图像中高空间频率含量的残留图像； d)通过组合所述低分辨率图像和所述残留图像，使用数据处理器形成具有所述第二分辨率和所述第一曝光水平的第二高分辨率图像； e)通过组合所述第一高分辨率图像和所述第二高分辨率图像，使用数据处理器产生所述闻动态范围图像；以及 f)将所述高动态范围图像存储在处理器可存取的存储器中。
2.根据权利要求1所述的方法，其中所述低分辨率图像和所述第一高分辨率图像使用数字照相机捕获。
3.根据权利要求2所述的方法，其中所述数字照相机具有提供实时景色图像流的预览模式，以及所述低分辨率图像是从所述实时景色图像流捕获的实时景色图像。
4.根据权利要求1所述的方法，其中所述第一曝光水平小于所述第二曝光水平。
5.根据权利要求1所述的方法，其中所述第一曝光水平大于所述第二曝光水平。
6.根据权利要求1所述的方法，其中所述步骤c)包括: i)从所述第一高分辨率图像确定代表性的低分辨率图像，其中所述代表性的低分辨率图像具有与所述低分辨率图像基本相同的分辨率； )重新设定所述代表性的低分辨率图像的大小，以产生具有与所述第一高分辨率图像相同分辨率的重新设定大小的代表性的低分辨率图像，以及 iii)响应于所述第一高分辨率图像与所述重新设定大小的代表性的低分辨率图像之间的差异，确定所述残留图像。
7.根据权利要求1所述的方法，其中所述步骤c)包括: i)通过将低通卷积滤波器应用到所述第一高分辨率图像，确定低通图像；以及 ii)响应所述第一高分辨率图像与所述低通图像之间的差异，确定所述残留图像。
8.根据权利要求1所述的方法，其中所述步骤c)包括，将高通卷积滤波器应用到所述第一高分辨率图像，所述高通卷积滤波器被设计成提供未被包括在所述低通图像中的来自所述第一高分辨率图像的频率含量的估计。
9.根据权利要求1所述的方法，其中所述步骤d)包括将所述低分辨率图像和所述残留图像相加。
10.根据权利要求1所述的方法，其中所述步骤d)包括以下步骤:在所述第一高分辨率图像或所述低分辨率图像被修剪处的像素周围的像素邻居中修改所述残留图像。
11.根据权利要求10所述的方法，其中通过将所述残留图像乘以纠正因数来修改所述残留图像，以及其中所述纠正因数是在所述像素邻居中的最大修剪量的函数。
12.根据权利要求1所述的方法，其中所述高动态范围图像的像素值通过形成来自所述第一高分辨率图像和所述第二高分辨率图像的相应像素的加权组合来确定。
13.根据权利要求12所述的方法，其中所述加权组合的权重作为所述第一高分辨率图像或所述第二高分辨率图像的像素值的函数变化。` 13.根据权利要求12所述的方法，其中任何修剪后的像素被排除在所述加权组合之外。
14.根据权利要求1所述的方法，其进一步包括使用对齐步骤来纠正所述低分辨率图像与所述第一高分辨率图像之间的对齐差异。
15.根据权利要求1所述的方法，其中所述低分辨率图像和所述第一高分辨率图像的像素值和场景曝光是线性关系。
16.根据权利要求1所述的方法，其中所述低分辨率图像和所述第一高分辨率图像是用具有布置在光感像素上的滤色器阵列的图像传感器捕获的滤色器阵列图像，其中所述滤色器阵列包括对应于至少三种不同色彩通道的至少三种不同类型的滤色器，并且其中所述步骤c) -e)被独立应用于对应于每个色彩通道的图像像素，使得所述高动态范围图像是滤色器阵列高动态范围图像。
17.根据权利要求17所述的方法，其进一步包括应用滤色器阵列插值算法以响应于所述滤色器阵列高动态范围图像确定对应的全彩色高动态范围图像。
18.根据权利要求1所述的方法，其进一步包括接收场景的第二低分辨率图像，所述第二低分辨率图像具有所述第一分辨率并且以第三曝光水平捕获，所述第三曝光水平不同于所述第一和第二曝光水平，以及其中响应于具有所述第二分辨率和所述第三曝光水平的第三高分辨率图像产生所述高动态范围图像，所述第三高分辨率图像通过组合所述第二低分辨率图像和所述残留图像形成。
19.根据权利要求19所述的方法，其中所述第一曝光水平小于所述第二曝光水平，以及所述第三曝光水平大于所述第二曝光水平。
20.一种用于产生高动态范围图像的数字照相机，其包括: 用于捕获数字图像的图像传感器； 用于在所述图像传感器上形成场景的图像的光学系统； 数据处理系统； 用于存储被捕获图像的存储器；以及 通信地连接到所述数据处理系统并且存储指令的程序存储器，所述指令经配置促使所述数据处理系统实施用于产生高动态范围图像的方法，其中所述指令包括: a)捕获场景的具有第一分辨率和第一曝光水平的低分辨率图像； b)捕获所述场景的具有第二分辨率和第二曝光水平的第一高分辨率图像，其中所述第二曝光水平不同于所述第一曝光水平，以及所述第二分辨率大于所述第一分辨率； c)确定对应于所述第一高分辨率图像中高空间频率含量的残留图像； d)通过组合所述低分辨率图像和所述残留图像，确定具有所述第二分辨率和所述第一曝光水平的第二高分辨率图像； e)通过组合所述第一高分辨率图像和所述第二高分辨率图像，产生所述高动态范围图像；以及 f)将所述高动态范围图像存储在所述存储器中。
全文摘要
本发明涉及一种用于产生高动态范围图像的方法，其包括接收具有第一分辨率并以第一曝光水平被捕获的场景的低分辨率图像；接收具有第二分辨率并以不同于第一曝光水平的第二曝光水平被捕获的场景的第一高分辨率图像，所述第二分辨率大于第一分辨率；形成对应于第一高分辨率图像中高空间频率含量的残留图像；通过组合低分辨率图像和残留图像，形成具有第二分辨率和第一曝光水平的第二高分辨率图像；通过组合第一高分辨率图像和第二高分辨率图像，产生高动态范围图像；以及在处理器可存取的存储器中存储高动态范围图像。
文档编号H04N5/235GK103201766SQ201180053171
公开日2013年7月10日 申请日期2011年10月31日 优先权日2010年11月3日
发明者E·O·莫拉莱斯 申请人:伊斯曼柯达公司