专利名称：采用静态图像和预览图像创建高动态范围图像的制作方法
技术领域：
本发明涉及根据多个图像产生改善的图像。更具体地，多个图像用于形成具有增加的动态范围的高分辨率图像。
背景技术：
通常在诸如数码相机、扫描机和摄像机这样的产品中发现图像传感设备，比如电荷耦合器件(CCD)。与传统的底片产品相比，这些图像传感设备具有非常有限的动态范围。典型的图像传感设备具有大约5档的动态范围。这意味着为了避免剪掉信号，对于典型场景必须确定具有相当数量的精确度的曝光。另外，由于多个光源(比如，场景的正面照明部分和背面照明部分)，场景常常具有非常宽的动态范围。在宽动态范围场景的情况下，选择适当的主体曝光经常使得剪掉图像的另一部分中的数据成为必需。因此，相对于卤化银介质，图像传感设备的低动态范围导致通过图像传感设备获得的图像的较低图像质量。 提高通过图像传感设备获得的图像的动态范围的方法允许再均衡这样的图像以获得图像的更令人喜爱的再现。具有增加的动态范围的图像也考虑到更令人喜爱的反差光补(contrast improvement),比如Lee等人在共同转让的美国专利No. 5, 012, 333中描述的。一种用于采用图像传感设备获得改善的图像的方法是包围式曝光，由此以一系列不同曝光捕捉具有相同分辨率的多个静态图像，并且这些图像之一被选作最好的整体曝光。然而，该技术不提高通过图像传感设备捕捉的单个图像的动态范围。一种用于获得具有增加的动态范围的图像的方法是通过以不同曝光捕捉具有相同分辨率的多个静态图像，并且将这些图像组合成具有提高的动态范围的单一输出图像。Mann在共同转让的美国专利No. 5，828，793和Ikeda在共同转让的美国专利No. 6，040, 858中描述了该方法。该方法经常需要数码相机中的单独的捕捉模式和处理通道。另外，多个捕捉的时间接近度被速率限制，其中可以以此速率从图像传感器读出图像。捕捉之间的更大的时间不一致提高存在于捕捉之间存在的运动的可能性，不管是涉及手抖动的相机运动还是由场景内的移动目标导致的场景运动。运动增加将多个图像融合成单一输出图像的困难。一种用于获得具有增加的动态范围的图像的另一方法是同时捕捉具有不同曝光的多个图像，其中该方法解决了存在于多个图像之间的运动问题。随后将图像组合成具有增加的动态范围的单一输出图像。可以通过使用多个成像通道和传感器实现该捕捉过程。然而，该解决办法招致以多个成像通道和传感器形式的额外成本。因为传感器不位于相同的位置，因此产生具有不同视角的图像，这也引入多个图像之间的一致性问题。或者，分光板可以用于将入射光投射到单一图像捕捉设备内的多个传感器上。该解决方法方案招致以分光板和多个传感器形式的额外成本，并且也减少任何单个图像传感器可用的光的量。用于获得具有增加的动态范围的图像的另一方法是通过使用具有标准响应于曝光的像素和不标准响应于曝光的像素的图像传感器。Gallagher等人在共同转让的美国专利No 6，909，461中描述了这样的解决办法。然而，因为具有较慢的、不标准响应的像素比具有标准响应的像素具有较差的信噪比性能，这样的传感器对于不呈现高动态范围特性的场景具有较差性能。用于获得具有增加的动态范围的图像的另一方法通过使用被编程以读出并存储处于第一曝光的图像传感器内的像素的图像传感器，同时继续将图像传感器暴露于光。Ward等人在共同转让的美国专利No7, 616，256中描述了这种解决办法。一个例子中，第一曝光时间之后，来自于CCD的像素被读入光屏蔽垂直寄存器，并且继续图像传感器的曝光，直到完成第二曝光时间为止。然而，该解决办法允许利用曝光之间的最小时间从图像传感器多次读出单个像素，它具有缺陷需要将数据从传感器读取的专门的硬件。因此，本领域中，需要一种改善的解决办法，以将多个图像组合以形成具有增加的动态范围的图像，不需要专门硬件或附加图像传感器，不牺牲不需要高动态范围的场景的性能，不需要单独的捕捉模式，并且多个曝光之间具有最小时间。
发明内容
本发明的目的是采用至少一个实时取景图像和至少一个静态图像产生具有增加的动态范围的图像。通过用于改善捕捉的数字图像的动态范围的方法实现该目的，方法包括步骤(a)从实时取景图像流采集至少一个图像，其中，每一采集的实时取景图像具有有效曝光和第一分辨率；(b)以不同于采集的实时取景图像中的每一个的有效曝光的有效曝光和以高于第一分辨率的分辨率捕捉至少一个静态图像；以及(C)将至少一个实时取景图像和至少一个静态图像组合。本发明的优点是可以不用专门硬件或附加图像传感器产生具有增加的动态范围的图像。本发明的另一个优点是可以产生具有增加的动态范围的图像而不牺牲不需要高动态范围的场景的性能。本发明的另一优点是可以产生具有增加的动态范围的图像而不需要单独的捕捉模式。本发明的又一优点是可以以多个曝光之间的最小时间产生具有提高的动态范围的图像。根据浏览下面对优选实施方式和对附加的权利要求的详细描述，并且参考附图，本发明的这些和其它方面、目的、特征和优点会被更清楚地理解和懂得。
图I是采用本发明的处理方法的数字静态照相机系统的方块图；图2 (现有技术)示出图像传感器上的Bayer模式；图3a是本发明的一个实施方式的流程图；图3b是本发明的一个实施方式的流程图；图4是本发明的用于将实时取景图像和静态图像组合的方法的流程图；图5是本发明的用于将实时取景图像和静态图像组合的方法的流程图；
图6是本发明的用于将实时取景图像和代表实时取景图像组合的方法的流程图7是本发明的用于将调整的实时取景图像和代表实时取景图像组合的方法的流程图；并且图8是本发明的用于将调整的实时取景图像和代表实时取景图像组合的方法的流程图。
具体实施例方式因为使用成像设备和用于信号捕捉和校正并用于曝光控制的相关电路的数码相机是众所周知的，本描述将特别指向形成根据本发明的方法和装置的一部分或更直接地与根据本发明的方法和装置合作的 元件。这里没有特别显示或描述的元件选择于现有技术中已知的元件。以软件提供要描述的实施方式的某些方面。考虑到接下来的材料中的根据本发明显示和描述的系统，这里没有明确显示、描述或提出的对本发明的实施有帮助的软件是常规的并处于这种领域中的普通技术的范围内。现在转向图1，显示为体现本发明的数码相机的图像捕捉设备的方块图被显示。尽管现在会解释数码相机，但是本发明清楚地适用于其它类型的图像捕捉设备，比如包括在非相机设备中的成像子系统，例如，其中非相机设备比如为手机和汽车。来自于主体场景的光10被输入到成像平台11，光被透镜12聚焦以形成固态图像传感器20上的图像。图像传感器20通过将每一图像元素(像素)的电荷积分(integrating)，将入射光转换成电信号。优选实施方式的图像传感器20是电荷耦合器件(CCD)类型或主动式像素传感器(APS)类型。(因为可以用互补金属氧化物半导体工艺制造APS设备，APS设备经常被称作CMOS传感器)。这种传感器包括随后更详细地描述的彩色滤光片排列。通过光圈模块14和中性密度(ND)滤光片模块13调节到达传感器20的光量，其中，光圈模块改变孔径，中性密度滤光片模块包括一个或更多插入在光路中的ND滤光片。快门模块18被打开的时间也调节整体光水平。曝光控制器模块40响应于场景中可用的、通过亮度传感器模块16测量的光量，并且控制所有这三个调节功能。来自于图像传感器20的模拟信号被模拟信号处理器22处理，并且被应用到用于数字化传感器信号的模拟数字(A/D)转换器24。定时发生器26产生各种时钟信号以选择行和像素，并使模拟信号处理器22和A/D转换器24的操作同步。图像传感器平台28包括图像传感器20、模拟信号处理器22、A/D转换器24和定时发生器26。图像传感器平台28的功能元件是分别制造的集成电路，或如同通常对CMOS图像传感器进行的，它们被制作成单一的集成电路。来自于A/D转换器24的生成的数字像素值流被存储在与数字信号处理器(DSP) 36相联系的存储器32中。数字信号处理器36是该实施方式中的三个处理器或控制器之一，除系统控制器50和曝光控制器40之外。尽管将相机功能控制分布在多个控制器和处理器中是典型的，但是这些控制器或处理器是可以以各种方式组合的，而不影响相机的功能操作和本发明的应用。这些控制器或处理器可以包括一个或更多数字信号处理设备、微控制器、可编程逻辑设备、或其他数字逻辑电路。尽管已经描述了这些控制器或处理器的组合，但是明显的应该是优选地，一个控制器或处理器被指派执行所有需要的功能。所有这些变体可以执行相同的功能并且落在本发明的范围之内，并且当需要时可以采用术语“处理平台”以将所有这些功能包含在一个短语之内，例如，图I中的处理平台38。
在示出的实施方式中，DSP36根据永久存储在程序存储器54中并被复制到存储器32以在图像捕捉期间执行的软件程序，处理其存储器32中的数字图像数据。DSP36执行实施图3a和3b中显示的图像处理需要的软件。存储器32包括任何类型的随机存取存储器，比如SDRAM。包括用于地址和数据信号的路径的总线30将DSP36连接到其相关存储器32、A/D转换器24和其他相关设备。系统控制器50基于存储在程序存储器54中的软件程序控制相机的整体操作，程序存储器可以包括Flash EEPROM或其他非易失存储器。该存储器也可以被用于存储图像传感器校准数据、用户设定选择和相机被关掉时必须被保存的其他的数据。通过命令如以前描述的曝光控制器40操作透镜12、ND滤光片13、光圈14和快门18，通过命令定时发生器26操作图像传感器20和相关的元件，并通过命令DSP36处理捕捉的图像数据，系统控制器50控制图像捕捉的序列。图像被捕捉并被处理之后，存储在存储器32中的最终图像文件被通过接口 57转移到主机、存储在可插拔存储卡64或其他存储设备上、并为用户显示在图像显示器88上。 总线52包括用于地址、数据和控制信号的路径，并将系统控制器50连接到DSP36、程序存储器54、系统存储器56、主机接口 57、存储卡接口 60和其他相关设备。主机接口 57提供到个人计算机(PC)或用于转移用于显示、存储、处理或打印的图像数据的其他主机的高速连接。该接口是IEEE1394或USB2.0串行接口、或任何其他合适的数字接口。典型地，存储卡64是插入到插口 62并通过存储卡接口 60连接到系统控制器50的紧凑型闪存(CF)卡。被采用的其他类型的存储体包括而不限于PC卡，多媒体卡(MMC)或安全数字(SD)卡。经过处理的图像被复制到系统存储器56中的显示缓冲器，并被通过视频编码器80连续读出以产生视频信号。信号被直接从相机输出，用于显示在外部监视器上，或被显示控制器82处理并被呈现在图像显示器88上。典型地，该显示器是主动阵列式彩色液晶显示器(IXD)，尽管也采用其他类型的显示器。用户接口 68(包括取景显示器70、曝光显示器72、状态显示器76和图像显示器88的所有或任何组合)和用户输入74被曝光控制器40和系统控制器50上执行的软件程序的组合控制。典型地，用户输入74包括按钮、摇臂开关、操纵杆、旋转拨盘或触摸屏的一些组合。曝光控制器40操作测光、曝光模式、自动聚焦和其他曝光功能。系统控制器50控制呈现在显示器的一个或更多，比如图像显示器88上的图形用户界面(⑶I)。典型地，⑶I包括获得用于检查捕捉的图像的各种选项选择和浏览模式的菜单。曝光控制器40接受选择曝光模式、透镜孔径、曝光时间(快门速度)和曝光指数或ISO速度等级的用户输入，并为随后的捕捉相应地指导透镜和快门。当手动设定ISO速度等级、孔径和快门速度时，采用亮度传感器16测量场景的亮度并为用户提供以供参考的曝光测量功能。这种情况下，当用户改变一个或更多设定时，呈现在取景显示器70上的测光计指示器告诉用户图像会过度曝光或曝光不足到什么程度。在自动曝光模式中，用户改变一个设定，曝光控制器40自动改变另一个设定，以维持正确的曝光，例如，对于用户减少透镜孔径时的给定的ISO速度等级，曝光控制器40自动增加曝光时间，以维持相同的整体曝光。ISO速度等级是数字静态照相机的重要属性。曝光时间、透镜孔径、透镜透射比、场景的照明水平及光谱分布和场景反射比确定数字静态照相机的曝光水平。当采用不足曝光获得来自于数字静态照相机的图像时，一般地可以通过增加电子或数字增益维持适当的色调再现，但是，图像会包含不能接受的噪声量。当增加曝光时，增益减少，因此，通常可以将图像噪声减少到可以接受的水平。如果过分增加曝光，在图像的明亮区域中产生的信号可以超过图像传感器或相机信号处理的最大信号水平容量。这可以导致图像加亮区被剪掉以形成均匀地明亮的区域，或导致图像加亮区发展成为包围图像的区域。指导用户设定恰当的曝光是重要的。ISO速度等级意在起这种指导的作用。为了被摄影者容易理解，数字静态照相机的ISO速度等级应该直接涉及胶卷相机的ISO速度等级。例如，如果数字静态照相机具有IS0200的ISO速度等级，那么相同的曝光时间和孔径对于IS0200等级的胶卷/过程系统应该是适当的。ISO速度等级意在与胶卷ISO速度等级调和。然而，电子和基于胶卷的成像系统 之间存在差异，其妨碍了确切的等效性。数字静态照相机可以包括可变增益，并且在图像数据被捕捉之后可以提供数字处理、使得可以实现覆盖相机曝光范围的色调再现。由于灵活性，数字静态照相机可以具有速度等级范围。该范围定义为ISO速度宽容度(latitude)。为了避免混淆，单一值被指派为固有ISO速度等级，ISO速度宽容度上、下限指示速度范围，也就是包括与固有ISO速度等级不同的有效速度等级的范围。基于这种思想，固有ISO速度是根据提供在数字静态照相机的焦平面的曝光计算的数值，以产生指定的相机输出信号特性。固有速度通常是针对正常场景产生给定相机系统的最高图像质量的曝光指数值，其中，曝光指数是与提供给图像传感器的曝光成反比的数字值。数码相机的前面的描述对本领域技术人员是熟悉的。明显的是，有该实施方式的许多变体可供选择，以减少成本、增加特征、或改善相机的性能。例如，可以增加自动对焦系统，或透镜是可拆卸的和可互换的。会被理解的是，本发明被应用到任何类型的数码相机，或更一般地，数字图像捕捉装置，其中，替换的模块提供相似的功能。考虑到图I的说明性的例子，那么下面的描述将详细描述根据本发明的用于捕捉图像的相机的操作。每当下面的描述中一般性地提到图像传感器时，它被理解成代表来自于图I的图像传感器20。典型地，图I中显示的图像传感器20包括制造在硅衬底上的二维光敏像素阵列，该二维光敏像素阵列将每一像素处的入射光转换成被测量的电信号。在图像传感器的背景下，像素(图像元素的缩写)指的是离散感光区域和与感光区域相联系的电荷转移或电荷测量电路。在数字彩色图像的背景下，术语像素通常指的是具有相关彩色值的图像中的特别位置。术语彩色像素指的是，具有覆盖相对狭窄的光谱带的彩色光响应的像素。术语曝光持续时间和曝光时间被交换使用。当传感器20被暴露于光时，每一像素处的电子结构内自由电子被产生并被捕捉。捕捉这些自由电子一段时间，然后测量捕捉的电子的数量，或测量自由电子产生的速度，可以测量每一像素处的光水平。在前面的情况中，如在电荷耦合器件(CCD)中那样，积累的电荷被从像素阵列转移到电荷电压测量电路，或如在主动式像素传感器(APS或CMOS传感器)中那样，接近每一像素的区域可以包含电荷电压测量电路的元件。为了产生彩色图像，典型地，图像传感器中的像素阵列具有放置在其上的彩色滤光片的模式。图2显示通常采用的红色(R)、绿色(G)和蓝色(B)彩色滤光片的模式。在其发明人Bryce Bayer在美国专利No. 3，971，065中公开之后，这种特别的模式通常被称为Bayer彩色滤光片阵列(CFA)。这种模式被有效利用在具有二维彩色像素阵列的图像传感器中。结果，每一像素具有特别的彩色光响应，这种情况下，彩色光响应主要对红色、绿色或蓝色光敏感。彩色光响应的另一有用的变体主要对品红色、黄色或青色光敏感。在每一情况下，特别的彩色光响应对可见光谱的特定部分具有高敏感性，而同时对可见光谱的其他部分具有低敏感性。采用具有有图2的CFA的二维阵列的图像传感器捕捉的图像在每一像素处仅具有一个彩色值。为了产生全彩色图像，有许多在每一像素处推断或内插缺失色彩的技术。这些CFA内插技术在本领域中是众所周知的，并且参考下面的专利美国专利No. 5，506，619、美国专利No. 5，629，734和美国专利No. 5，652，621。 图3a示出根据本发明的实施方式的流程图。在步骤310中，当操作者构成图像时，操作者通过将相机上的捕捉按钮从SO位置(未按下的位置)按压到SI位置(部分按下的位置)开始采集过程，从而将部分按下捕捉按钮信号发送到相机中的系统控制器50。然后，系统控制器50命令相机开始采集并存储(采用可用的DSP存储器32)实时取景图像320。应该注意的是，同时，相机中的系统控制器50也会典型地完成自动对焦和自动曝光。当操作者识别到采集时刻时，如步骤330中显示的，操作者将捕捉按钮从SI按压到S2 (完全按下的位置)，从而将完全按下捕捉按钮信号发送到相机中的系统控制器50。此时，在步骤340中，系统控制器50命令相机停止继续采集或捕捉实时取景图像，并且开始捕捉具有比实时取景图像的空间分辨率大的空间分辨率的静态图像。在步骤350中，实时取景图像和静态图像被组合以形成具有比原始捕捉的静态图像的动态范围高的动态范围的改善的静态图像。最后，在步骤360中，改善的静态图像被渲染到输出空间。在步骤320中采集的实时取景图像可以来自于实时取景图像流，比如经常显示在相机IXD显示器88上的。典型地，这些图像被捕捉并被以每秒钟30帧、以320列X 240行(QVGA分辨率)的空间分辨率或以640列X 480行(VGA分辨率)显示。然而，该空间分辨率不是限制性的，并且可以以更大的空间分辨率捕捉实时取景图像。也可以以更大的空间分辨率显示实时取景图像。实时取景图像可被捕捉并被从传感器读出的频率与实时取景图像的空间分辨率成反比。采用特定有效曝光初始捕捉在步骤320中获得的每一实时取景图像。如这里定义的，有效曝光被定义为针对给定图像的图像传感器的曝光时间，其通过从传感器读出图像数据时采用的任何装仓因子(binning factor)调整。例如,对于实时取景图像采用1/30秒的曝光、连同9X的装仓因子的图像传感器，对于实时取景图像产生9/30或相当于3/10秒的有效曝光。上下文中，装仓指的是读出之前来自于临近像素的电荷积累，并且装仓因子指的是多少像素将其电荷积累到被读出的单一值。典型地，通过从图像传感器上的CFA模式内的相似像素积累电荷来发生装仓。例如，图2中，通过积累来自于显示在图表中的所有4个红色像素以形成单一红色像素，并且针对蓝色像素和绿色像素通过相似地积累电荷，可以获得4X的装仓因子。注意，在Bayer模式中，有蓝色或红色两倍之多的绿色像素，并且在两个独立的组中积累它们以形成两个独立的装仓的像素。在步骤340中捕捉的静态图像具有比步骤320期间采集的实时取景图像的空间分辨率大的空间分辨率。静态图像经常具有图像传感器20的全空间分辨率。以不同于对应于任何实时取景图像的有效曝光的有效曝光捕捉静态图像。有效曝光的差异允许步骤350中的闻动态范围图像的随后广生。在SI之外实时取景图像的采集也可以发生。当相机处于SO位置时，可以如步骤320中采集实时取景图像。也可以通过从SO到SI的转移或通过从SI到SO的转移，继续采集实时取景图像。采集的实时取景图像具有不同于静态图像的有效曝光的有效曝光。在本发明的一个实施方式中，采集的实时取景图像具有少于静态图像的有效曝光的有效曝光。概念地，这种情况下，静态图像包括由于过度暴露于光而已经饱和的区域。如果相应的像素也没有饱和，具有较低有效曝光的实时取景图像提供这些区域中的另外的信息。本发明的另一个实施方式中，采集的实时取景图像具有比静态图像的有效曝光大的有效曝光。概念地，这种情况下，静态图像包含黑暗的、并且具有低信噪比的区域。可以通过将数字增益因子应用到那些像素值或通过应用显示阴影中的细节的色调调整操作使这些黑暗区域变亮，但是这增加随信号一起的噪声。具有较大有效曝光的实时取景图像提供这些区域中的具有减少的噪声的另外的信息。黑暗区域中的改善的信噪比性能允许这些区域变亮，具有讨厌的噪声的风险较少。本发明的另一个实施方式中，至少一个采集的实时取景图像具有比静态图像的有 效曝光少的有效曝光，并且至少一个采集的实时取景图像具有比静态图像的有效曝光大的有效曝光。概念地，这种情况下，可以采用提供在实时取景图像中的另外的信息提高黑暗区域和饱和区域中的静态图像的质量。当采用多个图像产生具有增加的动态范围的图像时，优选的是，多个图像捕捉相同的场景。为了实现这个，可以采用尽可能少的图像之间的时间不一致采集多个图像。这使得由比如相机运动、目标运动或照明改变的事件导致的场景中的任何改变的可能性最小化。大体上，实时取景图像流产生实时取景图像的连续流之后，捕捉静态图像。为了最小化采集的实时取景图像和静态图像之间的时间不一致，可以采集并存储来自于实时取景图像流的最近捕捉的图像，连续地代替较旧的实时取景图像。在采集并存储具有多个不同有效曝光的实时取景图像的情况下，改变某一瞬间的实时取景图像流中的图像的有效曝光是必要的。用于采集具有两个有效曝光的实时取景图像的一个方法是捕捉具有交替的有效曝光的实时取景图像。这种策略总是保证当捕捉静态图像时，两个最近捕捉的实时取景图像包括一个具有第一有效曝光的实时取景图像和另一个具有第二有效曝光的实时取景图像。这种策略的缺陷是在相机的后面显示具有交替的有效曝光的实时取景图像而没有视觉伪像是困难的。然而，在一些情况下，可以以超过实时取景图像显示在相机的后面的速度捕捉实时取景图像。例如，如果以每秒60帧捕捉实时取景图像，并以每秒30帧将实时取景图像显示在相机的后面，只需要使对应于单一有效曝光的实时取景图像用于显示在相机的后面，消除视觉伪像的忧虑。图3b示出用于采集具有不同有效曝光的实时取景图像的另外的方法。在步骤310中，当操作者构成图像时，操作者通过将相机上的捕捉按钮从SO位置(未按下的位置)按压到Si位置(部分按下的位置)开始采集过程，从而将部分按下捕捉按钮信号发送到相机中的系统控制器50。然后，系统控制器50命令相机开始采集并存储(采用可用的DSP存储器32)实时取景图像320。采集的实时取景图像可以对应于单一有效曝光。当操作者识别到采集时刻时，如步骤330中显示的，操作者将捕捉按钮从SI按压到S2 (完全按下的位置)，从而将完全按下捕捉按钮信号发送到相机中的系统控制器50。此时，在步骤335中，系统控制器50命令相机以不同于以前采集的有效曝光捕捉至少一个另外的实时取景图像。捕捉一个或更多另外的实时取景图像之后，在步骤340中系统控制器50命令相机停止继续采集或捕捉实时取景图像，并且开始捕捉具有比实时取景图像的空间分辨率大的空间分辨率的静态图像。在步骤350中，实时取景图像和静态图像被组合以形成具有比原始捕捉的静态图像的动态范围高的动态范围的改善的静态图像。最后，在步骤360中，改善的静态图像被渲染到输出空间。通过延迟捕捉具有第二有效曝光的实时取景图像，直到用户已经将捕捉按钮从SI按压到S2为止，先于S2捕捉的实时取景图像可以显示在相机的后面，而不担心由改变实时取景图像的有效曝光导致的视觉伪像。所有情况下，可以自动捕捉实时取景图像，而用户不需要转换相机模式，或针对实时取景图像手动设定曝光。图4更详细地描述根据本发明的一个实施方式将实时取景图像和静态图像组合
的步骤(来自图3a和图3b的步骤350)。采用静态图像410和至少一个实时取景图像420，将实时取景图像和静态图像组合的步骤开始。最初，静态图像的分辨率被减少430。注意，如这里定义的“代表实时取景图像”是作为步骤430的结果而产生的图像。该步骤可以包括像素组合、抽取(decimation)和修剪。优选实施方式中，减少静态图像的分辨率的步骤被设计成模仿相机采用的、产生实时取景图像的步骤。对于具有4032列和3034行的12兆像素Bayer模式传感器，减少分辨率的例子如下。减少静态图像以产生1312X506的实时取景图像，比如当相机按钮被按压到SI位置时产生的。在每一维中，通过因子3，4032列X3034行被数字化组合。这可以通过组合相应Bayer模式像素位置的像素值实现。九个蓝色像素值被组合以产生一个组合的蓝色像素值。相似地，九个红色像素值被组合以产生一个组合的红色像素值。与红色像素相同的行上的九个绿色像素值被组合以形成组合的绿色像素值。并且与蓝色像素相同的行上的九个绿色像素被组合以形成另一个组合的绿色像素值。可以将组合的像素值除以贡献于该值的像素的数量而将组合的像素值归一化。组合步骤也可以抛弃像素值中的一些。例如，当形成组合的像素值时可以仅采用九个像素值中的六个。产生的图像的分辨率是1342X1010，并且保留Bayer模式。为了通过因子2进一步降低垂直分辨率，同时维持具有Bayer模式结构的图像，每隔两行地抛弃。这导致具有1342X506的分辨率的Bayer模式图像。最后，从图像的左侧剪掉16列，并在图像的右侧剪掉14列，以产生具有对应于实时取景图像的1312X506的分辨率的图像。随后，将代表实时取景图像空间内插回到到原始静态图像的分辨率440。该过程产生内插的静态图像。在形成代表实时取景图像期间剪掉原始静态图像的某些行或列的情况下，内插步骤仅产生具有与剪掉的静态图像的分辨率相同的分辨率的内插的图像。优选的实施方式中，双三次内插用于产生内插的静态图像。然而，本领域的技术人员会认识到，存在许多产生内插的静态图像的合适的内插技术。在步骤450中，从原始静态图像减去内插的静态图像以产生剩余图像。如果原始和内插的静态图像具有不同尺寸，剩余图像的尺寸可以与内插的静态图像的尺寸相同，并且可以忽略来自于原始静态图像的另外的行/列。或者，剩余图像的尺寸可以与原始静态图像的尺寸相同，并且剩余图像可以具有与内插的静态图像的分辨率之外的任何位置处的原始静态图像的值相等的值。注意，一旦产生剩余图像，存储体中再也不需要原始静态图像。在步骤460中，将实时取景图像与代表实时取景图像组合以形成具有增加的动态范围的最终的实时取景图像。一旦完成该步骤，最终的实时取景图像被内插回到(可能修剪过的)静态图像的分辨率470。优选的实施方式中，内插步骤与步骤450中采用的内插步骤是相同的。最后，内插步骤的结果，内插的最终的实时取景图像被增加到剩余的图像，从而以具有增加的动态范围的静态图像分辨率形成改善的图像480。图5更详细地描述根据本发明的替换实施方式将实时取景图像和静态图像组合的步骤(来自图3a和图3b的步骤350)。采用静态图像410和至少一个实时取景图像420，将实时取景图像和静态图像组合的步骤开始。实时取景图像被内插到与静态图像的分辨率相同的分辨率530。随后，将内插的实时取景图像与静态图像组合以形成具有增加的动态范围的最终的静态图像。图6更详细地描述根据本发明的优选实施方式将实时取景图像和代表实时取景图像组合成具有增加的动态范围的最终的实时取景图像的步骤(来自图4的步骤460)。为 了将实时取景图像和代表实时取景图像组合成具有更大动态范围的单一图像，实时取景图像和代表实时取景图像被处理以处于曝光度量中610。也就是说，像素值被处理以处于可以被追溯到相对曝光量的度量中。在优选实施方式中，该度量是线性相对曝光量。随后，将实时取景图像和代表实时取景图像校正，以便两个图像都代表相同场景内容620。如以前描述的，期望的是如果多个图像捕捉相同的场景，并且多个捕捉期间没有全局或目标运动发生。然而，运动的情况下，将实时取景图像和代表实时取景图像组合之前，可以包括另外的运动补偿步骤。在一种运动补偿的方法中，应用全局运动补偿步骤以校正(align)实时取景图像和代表实时取景图像。全局运动估计和补偿方法对本领域技术人员是众所周知的，并且可以应用任何合适的方法以校正实时取景图像和代表实时取景图像。优选的实施方式中，在被校正的图像是CFA图像的情况下，运动估计步骤被限制到CFA模式尺寸的整数倍的平移运动，比如Bayer模式情况下的2X2,以确保运动补偿过的图像保留Bayer模式。可以采用局部运动估计和补偿以代替或精炼全局运动估计。局部运动估计和补偿的方法对本领域技术人员是众所周知的，并且可以应用任何合适的方法以校正实时取景图像和代表实时取景图像。特别地，可以采用基于块的运动估计算法以确定局部区域(块)上的运动估计。下一步是创建曝光和闪光的估计。假设有如下的关系Y (x, y) =ExposureDelta · X (x, y) +FlareDelta 等式(I)。在等式(I)中，(x，y)指的是像素坐标，X指的是实时取景图像，并且Y指的是代表实时取景图像。ExposureDelta和FlareDelta是两个待求解的未知项。对于线性曝光度量中的图像数据，可以通过ExposureDelta代表的倍增项使两个仅在曝光方面不同的图像发生关系。可以采用如通过FlareDelta给定的另外的偏移项模拟未被倍增项模拟的两个图像之间的剩余的差异，比如闪光方面的差异。大体上，可以根据相机捕捉系统确定两个图像之间的曝光差异和因此确定ExposureDe I ta项,然而，由于机械快门和其他相机元件的性能的变化，记录的曝光和实际的图像曝光之间存在显著差异。为了估计使实时取景图像和代表实时取景图像发生关系的曝光和闪光项，首先，将实时取景图像和代表实时取景图像像素化630或通过预过滤到小图像表示(比如，12X8像素)来减小实时取景图像和代表实时取景图像的尺寸。在优选实施方式中，实时取景图像和代表实时取景图像是CFA数据，并且仅采用来自单通道的图像数据形成每一图像的像素化版本。例如，计算像素化图像时，可以采用绿色像素数据。或者，可以采用所有三个通道的Bayer模式的CFA数据以产生像素化图像的亮度值。在实时取景图像和代表实时取景图像是全彩色图像的情况下，其中，每个像素位置处，全彩色图像具有红色、绿色和蓝色值，可以采用来自单通道的数据或根据全彩色图像计算亮度通道并根据亮度图像数据得到像素化图像而形成像素化图像。实时取景图像和代表实时取景图像的像素化表示分别被给定为XP(i，j)和YP(i，j)，其中(i，j)是像素坐标。将像素化图像矢量化，并将像素化图像排列成两列阵列，其中阵列的每一行包括来自于Xp的像素值和来自于Yp的相应像素值。接下来，除去包含剪 掉的像素值的所有行数据。注意的是，像素值随着增加的场景亮度增加到一点，其中，该点处像素值不再增加，而是保持相同。该点是剪掉的值。当像素处于剪掉的值时，它被称为被剪掉的。而且，除去包含被认为被噪声主导的像素值的所有行640。可以基于给定捕捉设备总体的噪声数据设定用于确定像素值是否被噪声主导的阈值。然后对剩余的阵列数据进行线性回归，以计算使阵列的第一列中的数据和阵列的第二列中的数据发生关系的斜率和偏移650。斜率代表曝光移位(ExposureDelta);偏移代表全局闪光的估计(FlareDelta)。下一步是，对于与等式(I)相符合的曝光和闪光，转换实时取景图像X以匹配代表实时取景图像Y 660。该步骤导致调整的实时取景图像。优选实施方式中，如果偏移项FlareDelta是正的，从代表实时取景图像和调整的实时取景图像中都减去FlareDelta项。这导致计算具有减少的闪光的代表实时取景图像和调整的实时取景图像。将代表实时取景图像和调整的实时取景图像组合以形成具有增加的动态范围的最终的实时取景图像670。在图7和图8中更详细地描述组合代表实时取景图像和调整的实时取景图像的步骤。在图7中，如果调整的实时取景图像中的像素被剪掉710，并且代表实时取景图像中的相应像素被剪掉730，那么高动态范围图像(HDR图像)中的相应像素被设定到剪掉的值760。如果调整的实时取景图像中的像素被剪掉710，并且代表实时取景图像中的相应像素不被剪掉730，那么HDR图像中的相应像素被设定到相应代表实时取景图像像素值770。如果调整的实时取景图像中的像素不被剪掉710，并且代表实时取景图像中的相应像素被剪掉720，那么HDR中的相应像素被设定到相应调整的实时取景图像像素值740。如果调整的实时取景图像中的像素不被剪掉710，并且代表实时取景图像中的相应像素不被剪掉720，那么基于图8中描述的下面的方法之一设定HDR图像中的相应像素750。组合像素的第一个方法810是简单地计算像素值的平均值820。平均值也可以是加权平均值，其中，权重是包含在每一图像中的相对噪声的函数。当捕捉之一具有较低分辨率和较低曝光时指出方法2，830。在这种情况下，计算两个图像的平均值会导致细节的损失。为了避免这样，总是选择来自于较高曝光图像的信息840。方法3描述一种方法850,其中，避免硬逻辑阈值，有利于以较低分辨率、较低曝光图像为特征的方法。将来自于较高曝光图像的像素值与阈值比较860。通过计算来自两个图像的像素值的平均值组合高于阈值的像素870。采用来自于具有较大曝光的图像的像素值组合不高于阈值的像素值880。
回到图3a和3b，一旦已经将实时取景图像和静态图像组合成具有增加的动态范围的图像，可以将它渲染到输出空间360。例如，可以通过色调调整处理(比如Gindele等人在美国专利No. 7，130, 485中描述的)将它渲染到sRGB图像。注意，如果图像被显示在固有地能够处理并显不闻动态范围图像的设备上，可以略过步骤360。在根据图4的本发明的优选实施方式中，实时取景图像和代表实时取景图像是CFA图像，并且具有增加的动态范围的最 终的实时取景图像也是CFA图像。这种情况下，已经产生高动态范围图像之后，执行CFA内插的标准的图像处理步骤。或者，实时取景图像和静态图像可以是最初内插的CFA，并且可以采用全彩色图像执行所有随后步骤。在图6中示出的组合实时取景图像和代表实时取景图像的步骤也可以被应用到待组合的两个图像是如步骤540中的内插的实时取景图像和静态图像的情况。该情况中，通过采用内插的实时取景图像和静态图像分别代替采用实时取景图像和代表实时取景图像来应用图6中概述的步骤中的每一个。而且，该情况中，组合步骤的输出是具有静态图像的分辨率的高动态范围图像。图6中示出的组合实时取景图像和代表实时取景的步骤可以被多次应用到有多个具有不同曝光的实时取景图像的情况中。每一实时取景图像可以具有个别的比例和偏移值，其中计算比例和偏移值以使实时取景图像与代表实时取景图像发生关系。最终的实时取景图像可以形成为多个调整的实时取景图像与代表实时取景图像一起的组合。运动补偿的另一个方法中，局部运动估计或运动检测用于识别场景中的目标运动区域。对应于目标运动的像素被识别，并且在将实时取景图像和代表实时取景图像组合(图4中的步骤460)，或将内插的实时取景图像和静态图像组合(图5中的步骤540)的步骤中被不同地处理。特别地，因为标记为具有目标运动的区域中的静态图像和实时取景图像之间，场景内容不匹配，实时取景图像不用于改善那些区域中的静态图像的动态范围。对于本领域技术人员，运动检测方法是众所周知的，并且可以应用任何合适的方法以检测静态图像和实时取景图像中的运动区域。本领域的技术人员会认识到，本发明有许多替换的方法。已经具体参考其特定优选实施方式详细描述了本发明，但是，需要理解的是，本领域技术人员可以在如上述和如所附的权利要求中表明的本发明的范围内实现变化和修改，而不脱离本发明的范围。元件清单10 光11成像平台12 透镜13滤光片模块14 光圈16传感器模块18快门模块20图像传感器22模拟信号处理器24 A/D 转换器
26定时发生器28传感器平台30总线32DSP 存储器36数字信号处理器、
38处理平台40曝光控制器50系统控制器52总线54程序存储器56系统存储器57主机接口60存储卡接口62插口64存储卡68用户接口70取景显示器72曝光显示器74用户输入76状态显示器80视频编码器82显示控制器88图像显示器310捕捉按钮到SI块320图像采集块330捕捉按钮到S2块335图像捕捉块340图像捕捉块350图像组合块360图像渲染块410静态图像420实时取景图像430分辨率减少块440 内插块450剩余计算块460图像组合块470 内插块480图像组合块530 内插块
540图像组合块610图像处理块620图像校正块630图像像素形成块640剪掉的和噪声数据除去块650回归块 660实时取景调整块670图像组合块710实时取景像素剪掉询问720代表实时取景像素剪掉询问730代表实时取景像素剪掉询问740分配块750分配块760分配块770分配块810方法一块820分配块830方法二块840分配块850方法三块860像素值询问870分配块880分配块。
权利要求
1.一种用于改善捕捉的数字图像的动态范围的方法，该方法包括步骤 a)从实时取景图像流采集至少一个图像，其中，每一采集的实时取景图像具有有效曝光和第一分辨率； b)以不同于采集的实时取景图像中的每一个的有效曝光的有效曝光和以高于所述第一分辨率的分辨率捕捉至少一个静态图像；以及 c)将至少一个实时取景图像和所述至少一个静态图像组合。
2.根据权利要求I所述的方法，进一步包括将组合的图像渲染到输出空间的步骤。
3.根据权利要求I所述的方法，其中，步骤c)包括以高于个别的采集的实时取景图像和捕捉的静态图像的动态范围的动态范围，将所述至少一个实时取景图像和所述至少一个静态图像组合到共同曝光空间。
4.根据权利要求I所述的方法，其中，步骤a)包括自动采集每一图像。
5.根据权利要求I所述的方法，其中，每一采集的实时取景图像具有少于静态图像的有效曝光的有效曝光。
6.根据权利要求I所述的方法，其中，每一采集的实时取景图像具有大于静态图像的有效曝光的有效曝光。
7.根据权利要求I所述的方法，其中，步骤a)包括以第一有效曝光采集第一实时取景图像和以不同于所述第一有效曝光的第二有效曝光采集第二实时取景图像。
8.根据权利要求7所述的方法，其中，第一采集的实时取景图像具有少于静态图像的有效曝光的有效曝光，并且第二采集的实时取景图像具有大于静态图像的有效曝光的有效曝光。
9.根据权利要求I所述的方法，其中，以实时取景图像的分辨率发生组合步骤。
10.根据权利要求I所述的方法，其中，以静态图像的分辨率发生组合步骤。
11.根据权利要求I所述的方法，其中，步骤c)进一步包括检测并补偿实时取景图像和静态图像中的运动。
全文摘要
一种用于改善捕捉的数字图像的动态范围的方法，包括从实时取景图像流采集至少一个图像，其中，每一采集的实时取景图像具有有效曝光和第一分辨率；以不同于采集的实时取景图像中的每一个的有效曝光的有效曝光和以高于第一分辨率的分辨率捕捉至少一个静态图像；以及将至少一个实时取景图像和至少一个静态图像组合。
文档编号H04N5/355GK102668545SQ201080058531
公开日2012年9月12日 申请日期2010年12月8日 优先权日2009年12月22日
发明者A·T·迪弗, W·E·普伦蒂斯 申请人:伊斯曼柯达公司