具有降低噪声的电子图像捕获的制作方法

专利名称：具有降低噪声的电子图像捕获的制作方法
技术领域：
本发明涉及用于例如从数字照相机设备捕获具有降低噪声的电子 图像的电子图像捕获系统以及捕获具有降低噪声的电子图像的方法。
背景技术：
许多种类的图像捕获设备的趋势是小型化，并且也存在对这些设备 小型化的需求。例如，数字照相机可以被集成在甚至更紧凑的蜂窝电话 中。与更传统的专用手持式数字照相机中的镜头相比，这种相机需要具 有小直径的镜头。为此，并且也为了节约成本，蜂窝电话和其它小型化 的数字照相机中所使用的检测器阵列已变得越来越小。同时，用户期望
更大数量的图像捕获像素单元(pixel element)，以用于提高图像分 辨率，结果，像素单元的尺寸被大大降低了。
较小的固态像素单元(例如CCD或CMOS型的固态像素单元)具有 降低的保持电荷的容量。尽管小像素单元的固有效率可能比得上较大单 元的效率，但是减小的检测器的"粒径(well size)"会限制每个像 素单元能够感测的光子总数。检测器散粒噪声随着捕获的图像强度的平 方根而变化，最佳信噪比一般处于具有最大图像强度的区域中。因此， 具有较小像素单元和较低最大信号的较小阵列通常比具有较大尺寸的 像素单元的检测器阵列的噪声更大。不依赖图像强度的其它更为恒定的 噪声源，特别是读出噪声，将会加到散粒噪声，并且通常在具有较低的 最大信号的阵列中将贡献较大部分的总信号。
结果，在许多电子图像捕获设备中更多地需要较好的噪声降低，而 不会过度增加这种设备的硬件成本或者使其它图像捕获性能度量(例如 每秒的最大帧数，或者便携电源的寿命)变差。
另一个问题在于，由于缩小的像素而引起的增加的噪声会对使用色
调映射来提高视觉图像质量有所限制，这是由于色调映射要求在信号范 围的一些部分中施加增益，而这将使得噪声更明显。
电子图像中噪声的相对强度通常在场景的光线昏暗区中最高，在该 区中对于给定的曝光时间、光圏(aperture)限制或电子增益设置(为了简便，下面共同地并且单独地简称为"曝光")，捕获的光子数最低。 该曝光需要使得图像的最亮部分在像素单元的饱和度极限之内，结果是
相同曝光下的光线暗淡(dimly lit)区域可以4艮好地在饱和度之下，并 且具有相应较低的信噪比(S/N)。
但是，从感觉的角度来说，如果暗淡区并非是图像的观看者所关注 的区域，则与较亮部分中的噪声相比，在场景的光线暗淡部分中的噪声 可能不那么明显或者不那么重要。考虑电子图像中的噪声降低的重要 性，因此仅考虑场景的光线暗淡区中的噪声的影响是不够的。
本发明的目的是提供一种用于捕获具有降低的可见噪声的电子图 像的更方便的装置和方法。

发明内容
根据本发明，提供了 一种用于捕获场景的降噪图像的电子图像捕获 系统，所述电子图像捕获系统包括检测器阵列和图像处理装置，该检测 器阵列被配置为向图像处理装置提供表示由该阵列所检测的场景的至 少一个图像的数据，并且该图像处理装置持有基本上表征该图像捕获系 统的噪声性能的噪声模型，其中该图像处理装置被配置为
-使用所述图像数据和所述噪声模型来识别所述场景中会对根据所 述图像数据形成的图像中的可见噪声不成比例地做出贡献的一个或多 个部分；以及
-基于如下条件选择曝光模式，所述条件为当组合来自所述选择 的曝光模式的曝光以形成所述降噪图像时，所述选择的曝光模式将降低 所述部分对该可见噪声的贡献。
所述降噪图像可以是例如由静止照相机拍摄的单个图像，或者可以 是来自视频捕获系统的形成视频序列的 一部分的单个图像。
所述噪声模型还可以通过包括来自组合所选择的曝光模式的过程 的贡献来表征图像处理的噪声性能。
所述图像处理装置可以被配置为使用所述噪声模型和所述图像数 据来估计从单次曝光或曝光组合导出(derive)的图像的至少一部分的 可见噪声，并且使用该噪声估计来识别该场景的上述部分。
该图像处理装置可以被配置为使用所述噪声模型和所述图像数据 来识别 一个或多个合适的曝光以降低对可见噪声的贡献。该场景的所识别的部分可以是至少部分基于所述图像数据中它们 的空间位置而定义的空间部分。
该场景的所识别的部分可以是至少部分基于所述图像数据中它们 的色调特性而定义的色调部分。
所述图像处理装置可以被配置为应用空间权重(weighting),使 得来自所述场景的所选空间区域的图像数据比来自其它空间区域的图 像数据相对更重要。在这种情况下，所述图像处理装置也可被配置为在 所检测的图像中识别一个或多个特定特征，并且增大或减小源自这些特 征的图像数据的权重。
在本发明的优选实施例中，所述权重依赖于所述场景的局部连续 性，使得强紋理得到低权重，而平滑的(smooth)色调或梯度得到高权 重。
附加地或可替换地，可以基于该图像处理装置所应用的面部识另'j规 则来增大或减小所述空间权重。
附加地或可替换地，可以基于该图像处理装置所应用的视觉显著性 (saliency )规则来增大或减小所述空间^又重。
附加地或可替换地，可以基于该图像处理装置所应用的图像处理规 则来增大或减小所述空间权重。在这种情况下，该图像处理规则可以包 括色调映射规则、色彩处理规则、噪声降低规则、渐暈(vignetting) 修正规则以及图像锐化规则中的 一个或多个。
在本发明的优选实施例中，所述图像处理装置可以被配置为根据所 述图像数据产生色调重要性映射，然后使用所述噪声模型来根据所述色 调重要性映射识别具有不成比例的可见噪声的所述部分中的一个或多 个。
所述色调重要性映射是从场景色调到重要性值的映射，该重要性值 指示在具有该色调值的该场景的部分中图像噪声的可见度。术语"色调" 可以指的是指示由该检测器的 一个或每个色彩通道感测的光镨部分中 的场景辐亮度(radiance)的任何测量或计算的值。关于色彩数据和马 赛克(mosaic)数据，每个像素位置处检测到的或内插的色彩值可被用 于导出每个色彩通道的场景色调的单独的图。
色调重要性映射根据具有对应图像色调的图像数据中的像素数和/ 或像素的空间权重，将较高或较低的重要性值与场景色调相关联。在彩色图像数据的情况下，可以在每个色彩通道上对具有特定色调值的像素 的计数进行求和。不同的空间权重可以被应用于每个色彩通道中的像 素，使得每个通道对色调重要性映射的贡献可以不相等，并且可以根据 场景的对应点的色彩而变化。
该处理器可以被配置在所检烦'J到的期望对其降低噪声的图像中识 别一个或多个特征。然后色调重要性映射可以被加权，使得源自所述特
征的图像数据被优先(preferentially)用于选择多个可能的多曝光 (multiple exposure)冲莫式中的一个。
该处理器可以被配置为将一个或多个预定规则应用于所述图像数 据，以在检测到的图像中选择一个或多个邻接(contiguous)的空间区 域，每个区域包括期望选择性地降低其噪声贡献的多个检测器像素。然 后色调重要性映射可以被加权，以在噪声计算中增强来自该多个像素的 贡献的重要性。
可以基于这些空间区域的强度的均匀性和/或色彩的均匀性来选择 这种空间区域。例如，可能期望优先在这种噪声可能很突出的高均匀性 的区域(诸如蓝天区)中降低噪声。相反，在具有高紋理或粒度的区域 中，噪声可能被隐藏或者与图像中的细节不可区分，在这种情况下，没 有必要降低噪声。
可替换地或附加地，可以基于由该处理器应用的面部识别来选 择空间区域。
因此，用于形成色调重要性映射的图像数据可以被加权，以赋予最 期望降低噪声的那些强度额外的显著性。
曝光模式可以是时间上顺序曝光的模式，或者是时间上重叠 (overlapping)曝光的模式，或者是这些模式的组合。
该处理器可以被限制为在计算的约束条件(在此称为成本度量)内 选择曝光模式。该成本度量可以由防止选择任何任意的曝光模式的任何 实际约束条件形成。例如，该成本度量可以包括总曝光时间、或者可用 电功率、或者可用存储器容量、或者电子图像捕获系统可以捕获图像的 速率的度量、或者这些因素的任何组合。
当成本度量包括可用电功率的度量时，当电池功率较低时，该系统 例如可以捕获较少的曝光。
可以限制所选曝光^t式的另一种途径是，需要在可变时间窗内完成
9此过程。可以通过正被捕获的场景的类型或者通过电子图像捕获装置的 捕获模式(例如，动作设置、低光设置或肖像设置)来确定该时间窗。
因此，可以由所述处理器根据多个预定曝光准则中的至少 一个来选 择该可变时间窗。这样的曝光准则可以包括最小可允许总曝光时间和最 大可允许总曝光时间。
在已捕获多个曝光(multiple exposures)后，处理器可以组合这 些曝光，以产生具有比用于产生色调重要性映射的图像数据少的噪声的 图像数据，其中基于该色调重要性映射来计算噪声。
同样根据本发明，提供了 一种选择用于捕获场景的具有降低噪声的 图像的多个曝光的方法，所述方法包括以下步骤
a) 将代表场景的图像数据提供给图像处理装置；
b) 识别该场景中会对由所述图像数据形成的图像中的可见噪声不 成比例地啦夂出贡献的一个或多个部分；以及
c)使用所述识别来选择曝光模式，以当组合来自所述选择的曝光 模式的曝光从而形成所述降噪图像时，降低由所述部分对所述可见噪声 的贡献。
本发明还提供一种使用包括图像处理装置的电子图像捕获系统来 捕获场景的降噪图像的方法，所述方法包括以下步骤将代表至少一个 监视图像的图像数据提供给所述图像处理装置，并且使用所述图像处理 装置来
i)根据所述图像数据产生色调重要性映射；
ii )使用该色调重要性映射来识别该场景中会对根据所述图像数据 导出的图像中存在的噪声不成比例地做出贡献的一个或多个部分；
iii) 选择包括至少一个曝光的多曝光模式，以降低来自所述部分 中的至少一个的噪声贡献；以及
iv) 使用所述期望的多曝光模式来捕获所述场景的多个图像，并且 组合所述多个图像以产生所述降噪图像。
步骤ii)可以包括以下步骤将表征电子图像捕获系统的噪声性能 的噪声模型存储在图像处理装置中，以及然后使用该噪声模型来根据强 度直方图计算从所述图像数据导出的图像中存在的噪声。
最简单形式的色调重要性映射是给出在检测的强度值范围上具有 特定强度值、或落入强度值带的像素的简单计数的强度直方图。通常，这将在零与最大检测强度(其可以是饱和强度)之间。用于形成强度直方图的图像数据可以被空间加权，使得来自检测器 阵列的所选空间区域的噪声贡献比来自其它空间区域的噪声贡献相对 更重要。例如，强度直方图可以由图像数据形成，对于该图像数据，在 直方图中，图像的中央区或角落附近区被赋予较高的权重或计数。所选曝光模式可以由处理器在优化例程之后得出，在所述优化例程 中，所述处理器对可能的曝光模式序列计算总噪声水平，同时寻找计算 出的总噪声中的局部最小值。当电子图像捕获系统包括检测器阵列时，该方法可以包括以下步骤使用该检测器阵列检测场景的至少一个监视图像，并且根据所述一 个(或多个)监视图像产生所述图像数据。步骤ii)可以包括如下步骤根据色调重要性映射确定存在于由所 述图像数据形成的图像中的可见噪声，并且然后识别对所述可见噪声不 成比例地做出贡献的色调重要性映射的 一 个或多个部分。步骤iii)可以包括如下步骤预测来自存在于所述场景的不同曝 光中的所述部分的噪声贡献，并且然后选择包括至少一个曝光的期望的 多曝光模式，以降低来自所述部分中的至少 一个的噪声贡献。该方法还可以包括捕获所述场景的多个图像以及组合所述多个图 像以产生降噪图像。由所选多曝光模式形成的图像可以是合成图像的形式，其中该图像 的不同部分或不同的图像像素将源自不同的曝光，通常从可用曝光中选 择最亮的非饱和像素，并且根据对应的曝光缩放像素值，以提供该场景 的一致照度。可替换地，不是从不同的曝光中选择合成图像的像素值，而是能够 在每个像素位置处组合来自多次曝光的值，以便进一步降低合成图像中 的噪声水平，并且避免相邻像素值之间的噪声水平中的突然阶跃 (step)。同样优选的是，已知技术被用于组合多个曝光，以便最小化 各个曝光之间的对象或照相机运动的任何影响。该图像也可以经受其它形式的后处理，诸如retinex图像处理或其 它形式的色调映射。本发明也与可应用于捕获的合成图像的各种已知降 噪技术相兼容。任选地，该噪声模型可以考虑这种后处理和降噪的能力。然而，该噪声模型的主要组成是检测器阵列的固有噪声，特别是散 粒噪声，以及诸如读出噪声的任何其它显著的噪声源。该噪声模型也可 以表征在处理器中执行的图像处理的噪声性能。可对检烦'J器和处理器的 给定配置，表征这种噪声源，以便产生噪声模型，并且由此对电子图像 捕获系统进行校准。特别地，该噪声模型可以表征图像处理的影响，以 组合多个曝光来形成降噪图像。该处理器可以被配置为定位强度直方图中的一个或多个局部最大 值，该预定准则于是包括该局部最大值的位置。这些然后可以被用于选 择期望的曝光模式。


下面参照附图仅通过示例的方式进一步描述本发明，在附图中图1是示出根据本发明的用于捕获场景的图像的电子图像捕获系统的示意图，该系统包括检测器阵列和图像处理装置；图2是图1的电子图像捕获系统的噪声性能的对数-对数曲线图， 示出了对于若干不同的曝光时间，绘制的噪声对场景辐亮度的曲线；图3是基于图2的对数-对数曲线图，示出了要在噪声模型中使用 的噪声，该噪声模型表征了对于那些特定的曝光时间电子图像捕获系统 的最终噪声性能；图4示出了一种类型的色调重要性映射，在此其是当电子图像捕获 系统用于对图1的场景成像时，原始检测器阵列计数对电子图像捕获系 统的图像辐亮度的强度直方图；图5示出了用于图1的场景的合成捕获图像的第一所选曝光模式， 其与以适合于整个图像的单次曝光拍摄的图像相比，降低了合成图像中 的图像噪声；图6是基于图4的强度直方图，示出了根据检测器阵列上的图像的 不同区的视觉重要性修改的检测器阵列计数；图7示出了用于图1的场景的合成捕获图像的第二所选曝光模式， 其进一步降低了捕获图像的在视觉上重要的区域的合成图像中的图像 噪声；以及图8是示出当使用电子图像捕获系统来捕获场景的图像时本发明的 主要步骤的流程图。
具体实施方式
图1示出了用于捕获场景2的图像的电子图像捕获系统1的示意图。系统l包括光学成像系统4，其被配置为将场景2的图像6投影到由网 格阵列上的检测器像素9形成的矩形检测器阵列8上。检测器阵列8在包括处理器12和存储器14的图像处理装置10的 控制下工作。处理器12向检测器阵列8发送命令信号16,并且当阵列 8检测到图像时接收返回的图像数据18。系统1可以是例如手持电子照相机设备的一部分，或者任何其它类 型的电子成像设备。为了清晰起见，没有示出通常与这种系统一起使用 的辅助电子器件、连接以及部件，例如用户输入控件、电源、图像输出、 显示器等。在此示例中，场景2包括将黑影22投射在地上的树20。图2是示出仅针对绿色通道的、在可能的曝光时间21范围上并且 相对于光谱的绿色部分的场景辐亮度的电子图像捕获系统1的噪声性能 的对数-对数曲线图，所述场景辐亮度依赖于检测器阵列8的绿色像素 上的图像强度。噪声的主要分量是检测器阵列8中的散粒噪声。每个曝 光时间21在较高的辐亮度延伸到接近于饱和度23。对于每个曝光时间 21,朝向低辐亮度的方向，噪声性能降低。图3例示了从图2导出的使用多曝光模式的曝光的噪声性能，其被 绘制为对数-对数曲线图。该曲线图用于例示简化的噪声模型25，该模 型25表征了当可能的曝光时间21被限制为所例示的那些值(即在lms 与1024ms之间以2的幂为间條的11个不同的曝光)时电子图像捕获系 统的最终噪声性能。噪声模型25具有噪声斜坡(noise ramp)的形式， 其中在每个曝光时间21的饱和度极限23处具有明显的阶跃27。噪声模 型25被存储在存储器14中作为系统1的噪声性能的校准，或者可以从 存储器14中存储的其它校准数据导出。实际中，电子成像系统1可以具有几乎任何数目的不同的可能曝光 时间，曝光步骤(exposure step)的分辨率仅由检测器阵列8或其它 电子控制器件的时钟周期时间限制。原理上，通过选择更大数量的多个 曝光可以随意地改善噪声性能，但实际上，从诸如完成多曝光所花的时 间长度、存储器限制等的实际角度考虑，这是不可行的。13图4示出了场景辐亮度直方图24，其是一种类型的未加权的色调重要性映射。该场景辐亮度直方图示出了具有与当用于对场景2成像时电子图像捕获系统1的每个场景辐亮度对应的强度的检测器阵列像素的计 数。该计数将直接与检测到的光子数加噪声相关，而该噪声又与场景辐 亮度相关。其它形式的色调重要性映射也是可能的，其提供从一般指示 场景的色调水平的量到 一般指示那些色调中存在的噪声的显著性的另 一量的可选映射。该第一步骤涉及根据在基本适于整个图像的期望曝光设置下的初步(preliminary)或监视图像6产生场景辐亮度直方图24。图像6的场景辐亮度直方图24是从具有强度值范围内的每个值的 像素的计数导出的直方图。该直方图与在图像中找到的每个不同的强度 值处的该图像中的像素数有关。对于16位灰度图像来说，存在65536 个不同的可能强度，因此直方图能够表示显示像素在这些灰度值中的分 布的65536个数。也可获得彩色图像的直方图。各个色彩通道的直方图 可以单独使用或组合使用，或者单个色彩通道可以被视为表示场景辐亮 度。表示存储在处理器存储器14内的图像的每个像素具有描述该像素 有多亮和/或其应当是什么颜色的像素值。为了表示彩色图像，对于每个像素，必须指定单独的红色、绿色以 及蓝色分量(假定RGB色空间)，因此像素"值"实际上是三个数的矢 量。通常这三个不同的分量被存储为三个单独的"灰度"图像，称为色 彩平面(各对应于红、绿以及蓝中的一个)，当显示或处理时必须重新 组合这些灰度图像。在本示例中，直方图24仅用于绿色，并且在与图像的暗区相对应 的较低辐亮度处(例如阴影22)具有一个峰值26,并且在较高辐亮度 处(例如树20)具有第二峰值28。在这两个峰值之间是最小值30，在 本示例中其被认为是蓝天。如图4所示，强度直方图是依据检测到的图像强度的一维直方图。 直方图的 一维特性简化了进一步的计算。一般来说，处理器使用噪声模型25来根据强度直方图24计算存在 于由图像数据形成的图像中的噪声，并且然后使用 一个或多个预定准则 来识别强度直方图24中对存在于所述图像数据中的计算的噪声不成比 例地做出贡献的 一 个或多个部分。此处的准则可以是直方图中的峰值检测。
然后处理器10从多个可能的多曝光模式中选择一个曝光模式，该
一个曝光模式在电子图像捕获系统1将被用于捕获场景2的图像时选择
性地降低由强度直方图24的这些部分对计算出的噪声的贡献。然后该
多个曝光被组合以形成噪声降低的图像。
如图5所示，在计算的噪声性能34中的噪声阶跃32被定位，使得
强度直方图24中的两个峰值26、28与最佳极限附近的噪声水平相一致，
而较低的直方图计数则不 一 致。
用于给特定曝光模式的性能打分的更一般的方法的示例如下所述。 曝光模式的度量或分数是通过在所有辐亮度上对每个辐亮度值的
重要性求总和并将该总和除以该辐亮度水平处的该模式的噪声或噪声
函数给出的。
通过此打分方法，图像的具有较高重要性的部分将被赋予更大的权 重，并且给出较低噪声水平的模式，特别是在较高重要性的那些区中的 提供较低噪声水平的模式，将给出较高的分数。
图4所示的像素的直方图计数在某些情况下可能有些粗略，因为像 素周围的环境在确定与该辐亮度值相关的噪声是重大还是明显 (noticeable)时通常很重要。
噪声可能最明显的一种类型的区域是图像的平坦区域或平滑变化 的区域，例如大区域的蓝天。该区域的面积越大，降低噪声越重要。如 修改后的强度直方图或者图6的色调重要性映射36所示，处理器10对 这种区域中的辐亮度值进行加权，从而与图4中的简单计数的值相比， 增加其重要性。
术语"色调重要性映射，，这里用来表示每个色调值中噪声的重要性、 重大性或显著性的任何度量，其中色调值是指例如使用辐亮度度量或者 表示光谱的特定部分中的场景亮度的其它值的原始场景中的色调。
但是也存在噪声不那么明显的 一些区域，因为其被高频内容所掩 蔽，例如通过树叶或树枝看到的蓝天区域。紋理具有类似的掩蔽效果。 这种区域中的辐亮度值将由处理器10加权，以在对它们的出现计数时 减小它们的重要性。理想地，重要的是噪声对最终图像质量的感觉效果。
因此，所选的曝光模式40将导致图像对于其观看者来说具有不那 么明显的噪声，其中噪声斜坡阶跃42位于不那么重要的图像强度处，如由色调重要性映射36所定义的。
因此，本发明可以组合曝光模式的噪声预测和合并了关于场景的视 觉上重要方面的信息的色调重要性映射，以确定更加优化的曝光模式。
总之，如图8的流程图50所述，在51,表征至少检测器阵列8的 噪声性能，并将其存储在图像处理装置10的存储器14中。存储器14 持有表征检测器阵列8在图像捕获像素9的饱和度极限23内在该阵列 的多个曝光设置21上的信噪比性能特性的信息。图像处理装置10被配 置为从检测器阵列8接收52表示由该阵列8捕获的至少一个图像6的 信号18。这包括这些图像是来自在此描述的系统的先前操作周期的情 况。换言之，这也覆盖了本发明的递增式(incremental )应用，由此 确定一个或多个曝光，并且然后在重复该周期之前进行捕获，以改善进 一步曝光的选择。
图像处理装置IO监视要被阵列8捕获的图像，并且当要捕获图像 时，在单次通过(single pass)中扫描由检测器阵列8检测到的图像， 并且保存在每个强度值处发现的像素数目的运行计数(running count )。 在53， 54，这然后被用于构造合适的色调重要性映射36，在此色调重 要性映射36是经过修改以计及图像的各部分的相对视觉重要性的强度 直方图24。因为通常来说图像中一般不包含随机信息，所以对存在的总 噪声不成比例地做出贡献的强度直方图中的一个或多个部分然后可以 被处理器10识别55。
色调重要性映射36然后可以与多个不同曝光模式的噪声预测25组 合，以确定56具有最小预测噪声34、 40的曝光模式。在此过程中，在 强度值的整个范围上评估计算出的噪声，并且强度直方图24或色调重 要性映射36被用于确定最小化因噪声导致的最终图像质量的明显下降 的曝光模式(增益、曝光时间、光圏控制、捕获的辐亮度范围等)。
然后使用57期望的多曝光模式34、 40来捕获在降噪对其很重要的 图像区或像素中具有降低的噪声的场景的合成图像。
应当注意，用于形成强度直方图24、 26的初始或监视图像的图像 数据可以任选地被存储在存储器中，并且以后被再次用作所选曝光模式 的一次曝光。这提供了无需再次获取该特定曝光的优点。
在本示例中，当强度直方图24或色调重要性映射36与曝光模式21 的噪声曲线25组合时，处理器IO产生指示场景中的重要辐亮度被捕获
16的程度如何的度量。使用关于曝光模式的度量允许基于优化的方法或搜
索能够找到用于降低明显噪声的最佳曝光模式34、 40。
仍然可以使用在下游图像处理流水线中的噪声降低。当识别不成比 例的噪声部分时或当估计曝光模式的噪声性能时，通过估计降噪最有效 的空间区域(通常在低细节的区域中)以及通过减小这些区域中的像素 的空间权重，可以减少或者忽略来自这些区域的噪声贡献。
例如，噪声最明显的区域有时是那些最容易检测的区域。简单的降
噪假设高光亮度(luminance)差对应于图像特征(边缘)，而低光亮 度差对应于噪声。当这些假设适用时，传统的降噪就可以起作用，因此 在这种区域中可以不必完全使用上述本发明来降低噪声。
诸如retinex的色调映射技术提供了在显示设备上真实地显现较 高动态范围的图像的方法，而无需显示原始图像所需的动态范围。这使 用能够增强阴影中的细节同时削弱高亮部分中的细节的空间变化的色 调映射。这些技术采用了对辐照度/光亮度中的反差比对绝对差更敏感 的人类视觉系统特性。
在没有具有低噪声的真实动态范围的情况下，色调映射通过增强阴 影中的噪声将产生干扰伪影(artefact )。因此，本发明可用于通过降 低其中噪声将被增强的区域中的噪声来提高retinex技术的性能。
在因其中噪声有可能被增强而在该区域中有可能发生色调映射伪 影的那些区域中，对应的像素可以;故加权，以增加在这种区域中的辐亮 度值在强度直方图中的计数。
如果多于一个图像被捕获作为初步或者监视图像，则这些图像中的 至少一个图像可以被闪光(strobe)或闪光灯(flash)照明，以提供 可用光中场景的强度和具有闪光照明的相对强度二者的估计。可用光和 闪光图像 一 起使得能够确定可用光、闪光或者每 一 个的混合下的曝光模 式。
如上所述，通过组合多个曝光来捕获场景辐亮度的电子图像捕获系 统将遵循绘出噪声对辐亮度的曲线的特性曲线25 。该曲线在噪声中将具 有明显的阶跃27。因此不同的曝光21具有不同的噪声特性。这些噪声 阶跃的位置由曝光模式和色彩通道的灵敏度来确定。当测量辐亮度值的 曝光组突然改变时，预测的噪声也会有突然的变化。
本发明确保正确设置噪声阶跃27,从而最小化图像中的噪声的任何突然变化，所述突然变化有时是眼睛可见的，例如作为平滑变化的区域 中的噪声轮廓。由于噪声阶跃27将在辐亮度值的有限范围内发生，因 此可以进一 步地将在阶跃产生伪影的区域中发生的噪声阶跃附近的辐 亮度值加权为在直方图计数的产生中更为重要。因此本发明能够用于改 变曝光模式以避免将噪声阶跃设置在这些噪声阶跃将产生伪影的区域 中。
在该描述中，仅描述了绿色通道的使用。这在一些情况下可能是足 够的，不过当然没有考虑在彩色图像的其它色彩通道中产生的噪声。在 一些应用中，可能期望每个色彩通道都具有强度直方图，然后对于给定 曝光配置的分数将是每个色彩通道的分数的加权和。这将允许最优化平 衡不同色彩通道中的噪声。
另一种可能性将是产生光亮度通道的强度直方图，并且计算光亮度 辐亮度值中的噪声，由于这仅是色彩通道的加权和，因此可以导出其方
差(variance)。选择曝光模式以降低一部分光亮度范围中的噪声将涉及 选择会降低这些色彩通道上的噪声水平的曝光，以便改善光亮度范围的
适当部分。对于已知主要色彩的相对较小的图像部分来说这是最容易实 现的。
然后通过处理器在进一步处理中的降噪来去除基于非光亮度的噪声。
根据本发明的组合多个曝光的电子图像捕获系统使曝光模式适合 于场景，因此能够增加其测量的场景辐亮度值的范围并且降低所测量的 辐亮度中的噪声。所使用的曝光模式确定辐亮度值的范围和测量的辐亮 度中的噪声这二者。
本发明有助于降低其中噪声使最终视觉图像质量退化的区域中的 噪声。以总曝光时间或曝光次数方面的合理成本能够实现最佳图像质量 或者对于给定质量能够实现降低的成本。
本发明也促进了色调映射，所述色调映射(由于可区分等级的增加 的数量)需要噪声性能超过目标显示或打印的高动态范围。
本发明也能够使用现在可用的传感器级别的方法来捕获场景的多 个曝光。例如，能够以60帧/秒的速度捕获六百万像素的新CMOS传感 器是可用的，所述新CMOS传感器具有硬件运动分析以促进多个曝光与 减少的运动伪影的组合。本发明解决了对电子图像捕获系统进行控制和适配，以捕获场景的 多个曝光从而获得较高动态范围图像，同时最小化因噪声引起的图像质 量退化的问题。
在此描述的方法允许与 一个辐亮度值相关的噪声与其它不那么重
要的辐亮度中的噪声进行交换(trade)。
此外，本发明能够考虑成像流水线中其它降噪技术的性能。'
因此，本发明提供了一种用于捕获电子图像的更方便的装置和方 法，其中所捕获的图像在选定的像素或区中具有降低的噪声。
应当认识到，在不脱离由所附权利要求书限定的本发明的范围的情 况下，可将各种变更、修改和/或增加引入上述部分的构建和配置中。
具体来说，应当注意，处理器和存储器可以被并入到单个集成电路 中，或者被分布在分立部件之间。处理器所用的指令可以是存储在存储 器中的软件或者硬接线为固件。本领域技术人员应当理解，在不脱离由 所附权利要求书定义的本发明的范围的情况下，可以对硬件和软件的具 体配置做出各种修改。
因此本发明提供了 一种用于捕获具有降低的噪声的电子图像的便 利的装置和方法。
权利要求
1、一种用于捕获场景的降噪图像的电子图像捕获系统，所述电子图像捕获系统包括检测器阵列和图像处理装置，所述检测器阵列被配置为向所述图像处理装置提供代表由该阵列检测的场景的至少一个图像的数据，并且所述图像处理装置持有基本表征所述图像捕获系统的噪声性能的噪声模型，其中所述图像处理装置被配置为-使用所述图像数据来识别所述场景中会对由所述图像数据形成的图像中的可见噪声不成比例地做出贡献的一个或多个部分；以及-基于如下条件选择曝光模式当组合来自所述选择的曝光模式的曝光以形成所述降噪图像时，所述选择的曝光模式将降低来自所述部分的对所述可见噪声的贡献。
2、 如权利要求1所述的电子图像捕获系统，其中，所述噪声模型 还表征在所述选择的曝光模式的组合中的图像处理的噪声性能。
3、 如权利要求1或2所述的电子图像捕获系统，其中，所述图像 处理装置被配置为使用所述噪声模型和所述图像数据来估计由单个曝 光或曝光组合导出的图像的至少一部分的可见噪声，并且使用所述噪声 估计来识另'J该场景的所述部分。
4、 如前述任一权利要求所述的电子图像捕获系统，其中，所述图 像处理装置被配置为使用该噪声模型和所述图像数据来识别一个或多 个合适的曝光以降低对可见噪声的所述贡献。
5、 如前述任一权利要求所述的电子图像捕获系统，其中，该场景 的所迷部分是至少部分基于它们在所述图像数据中的空间位置所定义 的空间部分。
6、 如前述任一权利要求所述的电子图像捕获系统，其中，该场景 的所述部分是至少部分基于所述图像数据中的它们的色调特性定义的 色调部分。
7、 如前述任一权利要求所述的电子图像捕获系统，其中，所述图 像处理装置被配置为应用空间权重，使得来自所述场景的所选空间区域 的图像数据比来自其它空间区域的图像数据相对更重要。
8、 如权利要求7所述的电子图像捕获系统，其中，所述图像处理 装置被配置为识别所检测的图像中的 一个或多个特定特征，并且增大或 减小源自这些特征的图像数据的权重。
9、 如权利要求7或8所述的电子图像捕获系统，其中，根据来自 于对应空间区域的图像数据中的色彩和/或色调的均匀性来增大或减小 所述空间权重。
10、 如权利要求7到9中任一权利要求所述的电子图像捕获系统， 其中，基于由所述图像处理装置应用的面部识别规则来增大或减小所述 空间权重。
11、 如权利要求7到10中任一权利要求所述的电子图像捕获系统， 其中，基于由所述图像处理装置应用的视觉显著性规则来增大或减小所 述空间权重。
12、 如权利要求7到11中任一权利要求所述的电子图像捕获系统， 其中，基于由所述图像处理装置应用的图像处理规则来增大或减小所述 空间权重。
13、 如权利要求12所述的电子图像捕获系统，其中，所述图像处 理规则包括色调映射规则、色彩处理规则、噪声降低规则、以及图像锐 化规则中的一个或多个。
14、 如前述任一权利要求所述的电子图像捕获系统，其中，所述图 像处理装置被配置为根据所述图像数据产生色调重要性映射，并且然后 使用所述噪声模型来根据所述色调重要性映射识别不成比例的可见噪 声的所述部分中的一个或多个。
15、 如权利要求14所述的电子图像捕获系统，其中，所述色调重 要性映射根据所述图像数据中具有对应图像色调的像素的数目和/或像 素的空间权重，将较高或较低的重要性值与场景色调相关联。
16、 如前述任一权利要求所述的电子图像捕获系统，其中，所述图 像处理装置被限制为在成本度量内选择所述选择的曝光模式。
17、 如权利要求16所述的电子图像捕获系统，其中，所述成本度 量包括总曝光时间的度量。
18、 如权利要求16或17所述的电子图像捕获系统，其中，所述成 本度量包括可用电功率的度量。
19、 如权利要求16到18中任一权利要求所述的电子图像捕获系统， 其中，所述成本度量包括存储器容量的度量。
20、 如权利要求16到19中任一权利要求所述的电子图像捕获系统， 其中，所述成本度量包括所述电子图像捕获系统能够捕获图像的速率的度量。
21、 如前述任一权利要求所述的电子图像捕获系统，其中，所述图 像处理装置被限制为选择所述选择的曝光模式，使得这可以在可变时间 窗内完成。
22、 如权利要求21所述的电子图像捕获系统，其中，所述图像处 理装置根据多个预定曝光准则中的至少一个来选择所述可变时间窗。
23、 如权利要求22所述的电子图像捕获系统，其中，所述曝光准 则包括最小可允许总曝光时间和最大可允许总曝光时间。
24、 如前述任一权利要求所述的电子图像捕获系统，其中，所述图 像处理装置被配置为捕获、重新缩放以及组合所述图像数据和来自所述 选择的曝光模式的图像数据，以产生所述降噪图像。
25、 一种选择用于捕获场景的降噪图像的多个曝光的方法，所述方 法包括以下步骤a)将代表场景的图像数据提供给图像处理装置；b )识别所述场景中会对由所述图像数据形成的所述图像中的可见噪 声不成比例地做出贡献一个或多个部分；以及c )使用所述识别来选择曝光模式，以当组合来自所述选择的曝光模 式的曝光以形成所述降噪图像时降低来自所述部分的对所述可见噪声 的贡献。
26、 一种使用包括图像处理装置的电子图像捕获系统来捕获场景的 降噪图像的方法，所述方法包括以下步骤将代表至少一个监视图像的 图像数据提供给所述图像处理装置，并且使用所述图像处理装置来i)根据所述图像数据产生色调重要性映射；ii )使用所述色调重要性映射来识别所述场景中会对从所述图像数 据导出的图像中存在的噪声不成比例地做出贡献的一个或多个部分；iii) 选择包括至少一个曝光的多曝光模式，以降低来自所述部分 中的至少一个的噪声贡献；以及iv) 使用所述期望的多曝光模式来捕获所述场景的多个图像，并且 组合所述多个图像以产生所述降噪图像。
27、 如权利要求26所述的方法，其中，步骤ii)包括如下步骤 将表征所述电子图像捕获系统的噪声性能的噪声模型存储在所述图像 处理装置中，并且然后使用所述噪声模型来根据强度直方图计算所述图像数据中存在的噪声。
28、 如权利要求26或27所述的方法，其中，所述电子图像捕获系 统包括检测器阵列，所述方法包括以下步骤-使用所述检测器阵列检测场景的至少 一个监视图像；以及 -根据所述一个(或多个)监视图像产生所述图像数据。
29、 如权利要求26到28中任一权利要求所述的方法，其中，步骤ii) 包括如下步骤根据色调重要性映射确定由所述图像数据形成的图 像中存在的可见噪声，并且然后识别色调重要性映射中对所述可见噪声 不成比例地做出贡献的一个或多个部分。
30、 如权利要求26到29中任一权利要求所述的方法，其中，步骤iii) 包括如下步骤预测来自存在于所述场景的不同曝光中的所述部 分的噪声贡献，并且然后选择包括至少一个曝光的期望的多曝光模式， 以降低来自所述部分中的至少 一 个的噪声贡献。
31、 如权利要求26到30中任一权利要求所述的方法，其中，所述 方法包括捕获所述场景的多个图像并且组合所述多个图像，以产生所述 降噪图像。
32、 一种基本如在此参照附图所述的或者如附图中所示的用于捕获 场景的图像的电子图像捕获系统。
33、 一种基本如在此参照附图所述的或者如附图中所示的选择用于 捕获场景的降噪图像的多个曝光的方法。
34、 一种基本如在此参照附图所述的或者如附图中所示的使用电子 图像捕获系统来捕获场景的图像的方法。
全文摘要
本发明涉及一种用于从例如数字照相机设备捕获具有降低噪声的电子图像的电子图像捕获系统以及用于捕获具有降低噪声的电子图像的方法。用于捕获场景(2)的降噪图像的电子图像捕获系统(1)包括检测器阵列(8)和图像处理装置(10)。该检测器阵列(8)被配置为向该图像处理装置(10)提供代表由该阵列(8)检测的场景的至少一个图像(6)的数据(18)，并且该图像处理装置保存有基本表征该图像捕获系统(1)的噪声性能的噪声模型。该图像处理装置(10)被配置为使用该图像数据(18)和所述噪声模型来识别该场景(2)中会对由所述图像数据(18)形成的图像中的可见噪声不成比例做出贡献的一个或多个部分；以及基于如下条件选择曝光模式当组合来自所选曝光模式的曝光从而形成所述降噪图像时，所选曝光模式会降低对该可见噪声的贡献。
文档编号H04N5/235GK101523897SQ200780036610
公开日2009年9月2日 申请日期2007年7月27日 优先权日2006年7月31日
发明者A·亨特, D·格罗斯维诺尔 申请人:惠普开发有限公司