图像降噪方法和设备的制作方法

专利名称：图像降噪方法和设备的制作方法
技术领域：
本发明涉及信号处理领域。本发明尤其涉及图像降噪。
技术背景多数图像降噪算法使用的基本概念试图同时实现两个相反的目的(i) 保留图像边缘(信号的空间相关的高频分量)以及(ii)平滑噪声(信号的空间不相关的高频分量)。通常利用称作阈值化(thresholding)或取心(coring)的处理步骤来实现上述目的。该操作将信号的可变性平滑掉， 所述信号可变性的幅度小于被认为是区分信号和噪声的界线的某一阈值。 在其它降噪算法例如双边滤波中，使用高斯函数以更软的方式限定噪声一 信号界线，以评估像素附近信号的可变性。在这些算法中，必须指定适当 的值来确定高斯函数的宽度，并且这样的参数设定与在其它基于阈值的降 噪算法中同样重要。如果降噪系统中的阈值(或等价物)设定不当，则降 噪效果可能不能令人满意，或者可能最终得到具有过度衰减边缘的非常模 糊的图像。因此，适当的阈值(或等价物)设定是获得满意的图像质量所必须 的。此外，准确地知道进行降噪的信号路径的节点的噪声量也很重要。发明内容在此描述了一种图像降噪系统以及实现所述图像降噪系统的方法。所 述图像降噪系统和方法利用快速准确的多信道频率依赖方案用于分析噪 声。在各个信道中噪声被分解为多个频带，子带噪声被传播。于是在准确 地预测具有信号电平依赖性、频率依赖性和信道间相关性的噪声之后，能 够在相机流水线的任意节点进行降噪。所包括的整套方法用于基于平均图 像电平和相机噪声参数估计传感器输出的各个颜色信道中的图像噪声。实现一种方案以对各个颜色信道检测峰值白图像电平，并对一组代表性颜色 预测图像电平值。基于噪声模型和相机参数，对各个色标的各个颜色信道预测噪声电平，这些噪声电平被传播到降噪节点。三维LUT将信号电平与噪声电平相关联。然后适应性地控制降噪阈值。在一个方面， 一种图像降噪方法包括以下步骤获取图像，其中所述图像包含噪声；将所述噪声拆分为多个噪声子带；确定各个噪声子带的阈 值；以及将低于所述各个噪声子带阈值的噪声滤除。所述方法还包括获取 一个或多个相机参数。所述方法还包括通过合并所述一个或多个相机参 数，计算输入噪声矩阵。所述方法还包括从所述噪声矩阵中传播带式噪 声。所述方法还包括产生信号一噪声査找表以将信号值与噪声值相关联。 所述方法还包括使用所述信号一噪声査找表来预测逐像素噪声量。所述阈 值为逐像素阈值。通过所述逐像素阈值将所述噪声滤除。所述一个或多个 相机参数包括放大器增益、自动白平衡增益、边缘增强增益以及颜色校正 矩阵参数中至少一个。所述一个或多个参数当在相机上实现时可在处理器 处获得。所述一个或多个参数当在计算装置上以图像绘制软件实现时，经 由图像中的头信息可获得。传播带式噪声的步骤还包括将所述输入噪声矩 阵中的每一个带拆分为N个子带。获取图像、拆分噪声以及确定阈值的步骤实时进行。预测逐像素噪声量的步骤还包括以下步骤将像素值输入所述査找表；将输入的所述像素值转换为预测噪声量；用所述査找表将输入 信号上的信号值映射到带式噪声矩阵；以及根据所述信号值内插和外推带 式噪声矩阵。所述方法还包括当拍摄条件改变时更新所述査找表。在另一方面， 一种图像降噪方法包括以下步骤获取一个或多个相机 参数；通过合并所述一个或多个相机参数，计算输入噪声矩阵；从所述输 入噪声矩阵中传播带式噪声；产生信号一噪声査找表以将信号值与噪声值相关联；使用所述信号一噪声査找表预测逐像素噪声量；控制逐像素阈 值；以及使用所述逐像素阈值将所述图像中的噪声滤除。所述一个或多个 相机参数包括放大器增益、自动白平衡增益、边缘增强增益以及颜色校正 矩阵参数中至少一个。所述一个或多个参数当在相机上实现时可在处理器 处获得。所述一个或多个参数当在计算装置上以图像绘制软件实现时，经由图像中的头信息可获得。传播带式噪声的步骤还包括将所述输入噪声矩 阵带拆分为N个子带。获取一个或多个相机参数、计算输入噪声矩阵、传 播带式噪声以及产生信号一噪声查找表的步骤实时进行。预测逐像素噪声 量的步骤还包括以下步骤将像素值输入所述查找表；将输入的所述像素 值转换为预测噪声量；用所述査找表将输入信号上的信号值映射到带式噪 声矩阵；以及根据所述信号值内插和外推带式噪声矩阵。所述方法还包括当拍摄条件改变时更新所述査找表。在另一方面， 一种图像降噪系统包括图像处理流水线；以及连接所 述图像处理流水线的噪声降低控制单元，其中，所述噪声降低控制单元确 定阈值以降低噪声。所述图像处理流水线还包括成像器，用于获取图 像； 一组成像部件，连接所述成像器，用于处理所述图像；噪声降低模 块，连接所述一组成像部件，用于降低所述图像中的噪声；以及一组后处 理部件，连接所述噪声降低模块，用于处理经噪声降低后的所述图像。所 述噪声降低模块将所述噪声拆分为多个子带，并利用从所述噪声降低控制 单元接收的阈值滤除所述噪声。所述噪声降低控制单元基于所述多个子带 产生阈值。所述噪声降低控制单元在处理器上实现。所述噪声降低控制单 元实现成像器噪声模型、噪声传播以及预测带式噪声矩阵，以确定所述阈 值。在另一方面， 一种图像降噪系统包括图像处理流水线，其中所述图像 处理流水线还包括成像器，用于获取图像； 一组成像部件，连接所述成 像器，用于处理所述图像；噪声降低模块，连接所述一组成像部件，用于 降低所述图像中的噪声；以及一组后处理部件，连接所述噪声降低模块， 用于处理经噪声降低后的所述图像；以及处理器，实现噪声降低控制单元 的功能，连接所述图像处理流水线，其中，所述处理器确定阈值以降低噪 声。所述噪声降低模块将所述噪声拆分为多个子带，并利用从所述噪声降 低控制单元接收的阈值滤除所述噪声。所述处理器基于所述多个子带产生 阈值。所述处理器实现成像器噪声模型、噪声传播以及预测带式噪声矩 阵，以确定所述阈值。在另一方面， 一种图像降噪方法包括以下步骤在一组颜色信道中对各个颜色信道检测传感器的平均图像电平；在所述一组颜色信道中对各个 颜色信道估计平均噪声电平；预测进行降噪的节点的噪声；以及控制阈值 以用于降噪。在另一方面， 一种图像降噪方法包括以下步骤在一组颜色信道中对 各个颜色信道检测图像传感器的峰值白图像电平；预测一组代表性颜色的 图像电平；计算各个色标和各个颜色信道的噪声电平；预测进行降噪的节 点的噪声；产生三维査找表以将信号电平与噪声电平相关联；以及适应性 地控制阈值设置以用于降噪。


图1示出相机流水线的方框图。图2示出图像降噪系统的方框图。图3示出使用图像降噪系统降噪的程序的流程图。图4示出包括附加步骤的使用图像降噪系统降噪的程序的流程图。
具体实施方式
在大部分实际降噪系统的实现和设计中，参数整定在很大程度上依靠 试错法，试错法基于设计者的主观估计，耗费时间，并且取决于设计者的 个人偏好。通常，传感器输出的图像噪声可假定为白的、高斯的和空间不相关 的，其中将标准差定义为= V"x2十6x + c (1)其中x为像素灰度(pixel intensity) ， a、 6和c是与图像传感器、模拟预 处理以及模数转换器电路具体相关的常数。常数"对应于逐像素光圈变 化，常数6对应于光 学散粒噪声(optical-shot noise)，常数c对应于本底 噪声(floor noise)，包括热噪声、暗散粒噪声以及逐像素暗电流变化。常 数fl、 6和c可以或者通过测量确定，或者通过理论推导确定。如图所示， 预测图像传感器输出的图像中的噪声量比较简单。但是，图像处理越接近 最终的输出，噪声特性就变得越复杂(图O 。图l示出相机流水线IOO的方框图。图像传感器102发出高斯的、白的且不相关的噪声，但是噪声具有信号电平依赖性。噪声还具有缺失像素(马赛克)。增益部件104在低光时产生高增益，在高光时产生低增益。 信号一噪声行为相应地变化。白平衡部件106根据照度对于R、 G和B改 变增益。此外，在白平衡部件106之后存在信道依赖性。在使用去马赛克 部件108将全部RGB平面去马赛克之后，出现频率依赖信道间相关性。 具体而言，G信道高频噪声被复制到B信道和R信道，相比于低频，保持 了更高的信道间相关性。在矩阵部件110之后信道间相关性更加复杂。在 伽马部件112之后，增加了强烈的电平依赖性，噪声不再是高斯的。RGB 至YCbCr矩阵114增加了额外的信道间依赖性。锐化/滤波部件116放大 Y信号高频，对C信号进行了带限(band-limit)，导致额外的频率依赖 性。最终的相机输出通常具有信道式(YCbCr)、信号电平式以及带式噪 声。例如在YCbCr颜色空间中的Cb信道中，预测噪声量不是一个简单任 务，YCbCr颜色空间广泛应用于相机输出图像格式。通常，或者在黑、白 或灰色标(patch)里Cb约等于零，同时由于在伽马校正时应用于图像信 号的色调曲线，噪声量通常随着图像灰度的增加而减少，所以噪声量在各 个色标中不同。这意味着不能通过简单地测量Cb值来准确地预测Cb信号 中的噪声量。此外，Cb信道中的信号和噪声通常是被带限的。为了将原始 传感器噪声与Cb噪声相关联，计算方法必须考虑插入在图像传感器与 YCbCr输出之间的空间滤波操作。为了处理上述问题，提出并使用基于测量的噪声量鉴别方法。但是， 在这种情况下，图像流水线必须具有附加电路来测量一定大小的图像窗口 内的噪声量，这会影响到系统的成本和尺寸。此外，由于更大的窗口尺寸 转化为更准确的噪声预测，所以在硬件尺寸与准确性之间有一个权衡。此 外，基于测量的噪声量鉴别方法并不总是完美的，这是因为它难以从背景 纹理中区分出噪声。一些噪声降低(NR)理论(例如小波NR)对具有已知量噪声的图像 提供最佳阈值的统计学/数学推导。但是，在多数情况下，这些理论假定输入图像噪声为白色(噪声功率谱分布相对于频率是平坦的，没有频率依赖 性)。这种假定不适用于在真实相机的处理流水线(图1)中流动的图像 的噪声。作为估计图像噪声的替代方法，已知一种快速噪声传播方法，用于预 测图像信号处理流水线中任意节点的噪声量。但是，这种方法不能解决噪 声的频率依赖性，在噪声量预测中会具有相当大的误差。如果要求更高的 预测准确度，则要进行具有统计上足够数量的像素的图像仿真。然后，通 过测量所得到的图像，可知道感兴趣的节点的噪声量。但是，这样计算太 繁复，不能实时地和/或相机内置地实际进行。没有能考虑噪声的频率依赖 性的快速噪声传播方法。因此，以前不存在这样的图像降噪系统，系统本身自动地、系统地确 定适当的阈值设定以用于降噪。但是，下面描述了一种改善的图像降噪系 统和实现这种图像降噪系统的方法。图2示出图像降噪系统200的方框图。图像降噪系统200分为两大模 块，即主图像处理流水线210和NR控制单元250，主图像处理流水线210 包括噪声降低(NR)模块216， NR控制单元250包括图像传感器噪声模 型和噪声传播部件。在主图像处理流水线210中，成像器212从相机输入(例如通过用户 拍照)来获取图像。成像部件214连接成像器212，用于进行图像处理， 例如改变拍摄条件的增益、矩阵和滤波器。NR模块216连接成像部件 214。 NR模块216通过噪声数据带拆分图像，利用阈值滤除各个带中的噪 声，然后重建没有噪声或者至少降低了噪声的图像。后处理部件218处理 重建后的图像，最后，输出最终的图像。在一些实施例中， 一些上述部件 利用处理器以软件实现，例如成像部件214、 NR模块216以及后处理部件 218。在一些实施例中，这些部件以硬件实现。在NR控制单元250中，实现成像器噪声模型、基于扩充Burns & Berns (BB)的噪声传播、预测的带式噪声矩阵以及阈值转换。扩充BB 在题为"METHOD OF AND APPARATUS FOR ANALYZING NOISE IN A SIGNAL PROCESSING SYSTEM"的待审美国专利申请中提到，该申请通过参考合并于此。优选在嵌入式处理器中实现NR控制单元250。 NR控制 单元250最后确定带式噪声的阈值，因此基于带拆分的NR模块216能够 将噪声适当地滤除。图3示出使用图像降噪系统降噪的程序的流程图。在步骤300，获取 相机参数。该步骤是为了得到计算降噪节点的噪声量所必要的信息。在真 实相机中，例如在消费者级别的数码摄像机或者数码相机中，根据拍摄条 件将一些图像处理参数适应性地更新。这些参数例如有根据背景亮度而变 化的放大器增益、根据光照的色度而变化的自动白平衡增益、能够在黑暗 和噪声环境下降低的边缘增强增益、以及能够为了在不同照度下保持颜色 恒定性而变化的颜色校正矩阵参数。这些参数的变化能够显著影响降噪节 点的噪声特性。优选地考虑全部这些参数。通常，这些参数可在相机内置 微处理器处获得，并当在相机上实现图像降噪系统时能被使用。或者，能 够经由记录的图像中的头信息而使这些参数成为可用的，并且当图像降噪 系统作为在个人计算机上运行的图像绘制软件的一部分时，能使用这些参 数。在步骤302，计算输入噪声矩阵。在该步骤，指定图像流水线输入噪 声(图像传感器输出噪声)。为了计算此噪声，需要噪声模型(方程式(l) 和常数a、 6、 c)以及方程式(l)中的x值。如上所述，常数fl、 6、 c能够通过测量或者通过理论推导来指定。x 值可以是任何单位，例如电子计数、电压、或数字代码值，而常数"、& c应随之改变。这些常数中的一部分或全部是可编程放大器增益的函数。 通过监测在图像流水线中流动的像素值，能够容易地知道数字代码值的x 值；但是在这种实现中采用替代方式，这种方式具有一组代表值，将这些 值存储作为信号一噪声映射数据。首先，通过分别结合相机的元件式产 品、照度和代表性色标光谱灵敏度、发射和反射分布，计算任意单位的x 值(对于原色相机系统，例如矢量(n g，。中的每个分量)。在一般的消 费者相机中运行照度估计，因此能够使用这个用于计算的估计的照度。对 于代表性色标组，常常使用Macbeth ColorChecker。接着，根据自动曝光 算法(也是相机内置运行的)，能够知道与图像传感器处的入射光的绝对亮度(例如光电子的绝对数目)相关的信息，并且知道指定单位的X值。<formula>formula see original document page 13</formula>其中对角线元素由方程式(l)计算。在输入处，因为在多数图像传感器中可 认为像素间噪声相关性极小，所以可假定噪声矩阵的非对角线元素为零。在步骤304 ，传播带式噪声。在题为"METHOD OF AND APPARATUS FOR ANALYZING NOISE IN A SIGNAL PROCESSING SYSTEM"、通过参考合并于此的待审美国专利申请中公开的噪声传播方 法能够考虑在相机信号处理流水线中常常使用的重要的信号操作、线性 的、非线性的以及空间的转换，并能够准确地预测沿着流水线传播的噪 声。方程式(2)被带拆分为7V个带。结果，方程式(2)变成噪声矩阵的带式 表达式，其大小为3TVX37V。然后，通过采用题为"METHOD OF AND APPARATUS FOR ANALYZING NOISE IN A SIGNAL PROCESSING SYSTEM"的待审美国专利申请中所说明的计算，在任意的信号处理节点 (例如YCbCr)都可以有带式噪声矩阵，在所述信号处理节点中应用降噪 算法。对于色标的数目重复噪声传播。例如对于Macbeth ColorChecker， 数目为24。因此，有24个带式噪声矩阵，其中N为带数目。同时，为了 在下一步骤中使用，还进行信号传播，并存储一组24X3的信号值。在步骤306，产生三维信号一噪声查找表(LUT)。形成三维LUT是 为了将信号值与噪声值相关联。可以使用任何已知的从随机散射代表性点 产生矩形光栅组的方法。在步骤308，进行逐像素噪声量预测。优选地，该步骤实时进行。像 素值(例如YCbCr)被输入LUT，输入的像素值被转换为预测噪声量。 LUT将信号值映射到带式噪声矩阵。根据输入信号值，对带式噪声矩阵作 内插或外推。为了避免噪声量预测的不必要波动，对LUT输入信号可应用低通滤波器。在步骤310，进行逐像素阈值控制。由于准确地预测了输入像素的噪声量，所以降噪处理能够具有适当的阈值控制。例如，将预测噪声量乘以 系数3，再用作阈值。从步骤300到歩骤306，计算不必是实时的(换而言之，像素级计算 速率不必要)。仅当拍摄条件(例如背景亮度、照度等等)改变时才必须 更新LUT。用于产生LUT的计算量相当小，因此能够在数码摄像机或相 机中的嵌入式微处理器中实现算法，在所述数码摄像机或相机中拍摄条件 参数是容易获得的。将图像从图像传感器输出向最终相机输出处理得越多，噪声特性变得 越复杂。为了准确地预测图像流水线中的噪声量，必须考虑噪声的信号电 平依赖性、频率依赖性以及信道间相关性。以前没有能够同时考虑上述三 个噪声因素的快速噪声传播技术。三维LUT概念与传播技术的结合能够以 合理的计算资源准确地预测噪声。当这种噪声传播方法应用于具有降噪功 能的成像系统中时，通过参考降噪节点的预测噪声值，能够适当地设定降 噪参数。这使得降噪算法能够显著更好地进行，导致数码成像装置的图像 质量改善。图4示出包括附加步骤的使用图像降噪系统降噪的程序的流程图。在 步骤400，原始图像数据被输入，例如当用户拍照时通过相机获取。盒子 430包含标准相机图像流水线处理，例如增益432、白平衡434、颜色矩阵 436、伽马438以及噪声降低440。在步骤402和步骤404并行地获得相机 参数，步骤402运行自动曝光算法，步骤404运行白平衡算法。在白平衡 算法中是照度估计算法和白平衡增益设置。根据自动曝光算法，在步骤 406计算噪声模型常数。在白平衡算法之后，在步骤408，照度光谱、传 感器光谱以及Macbeth光谱继续计算针对Macbeth Checker的图像数据。 在步骤410，使用分别从步骤406和步骤408得到的噪声模型常数和图像 值计算针对Macbeth Checker的噪声矩阵。在步骤412，将噪声矩阵拆分为 带，如前所述。在步骤414，结合带拆分噪声矩阵，使用颜色矩阵值和伽 马校正表进行带式噪声传播。在步骤416，结合用于Macbeth Checker的图 像数据，仍使用颜色矩阵值和伽马校正表，以用于信号传播。在步骤 418，使用带式噪声传播和信号传播，产生光栅格(grid-raster) 3D (信号-噪声)LUT。在步骤420，使用信号-噪声3D LUT，进行表的査找， 在步骤422，进行内插/外推，在步骤424，将数据转换为阈值；所有三个 步骤实时进行。然后在步骤440，使用阈值降低图像流水线中的噪声。最 后在步骤442，输出降低了噪声的图像。为了使用图像降噪方法和系统，用户用数码相机拍照或者用数码摄像 机拍电影。 一旦获取图像或者视频数据，就通过硬件/软件部件处理数据， 这些部件除了在此描述的降噪处理之外，还进行标准的图像处理。降噪处 理包括将含有噪声的数据拆分为带，对各个带进行滤波，由此对各个带使 用阈值，然后重建具有最小化噪声的数据。将噪声最小化或消除后，还进 行后处理以产生清晰的、降噪的图像或视频。操作中，成像装置例如相机或摄像机实现带式降噪所需的硬件和/或软 件。适当配置的成像装置自动地将噪声拆分为带，预测并传播噪声，最后 将噪声最小化或消除。结果得到噪声小得多的图像或视频。在一实施例中，在一组颜色信道中对每个颜色信道检测传感器的平均 图像电平。然后对每个颜色信道估计平均噪声电平。在将要进行降噪的节 点预测噪声。因此能够准确地控制降噪方法的阈值。在另一实施例中，在 图像传感器处针对该组颜色信道中的每个颜色信道检测峰值白图像电平。 然后预测一组代表性颜色的图像电平。计算各个色标和各个颜色信道的噪 声电平。然后预测将要进行降噪的节点的噪声。产生3-D查找表(LUT) 以将信号电平与噪声电平相关联。然后能够适应性地控制阈值设定。在替代实施例中，实现逐像素噪声传播流水线，与图像流水线并行工作。根据结合细节的具体实施例描述了本发明，以助理解本发明的构造原 理和操作。在此对于具体实施例及其细节的这种参考不是为了限制所附权 利要求书的范围。对于本领域技术人员来说显而易见的是，为了示例而选 择的本实施例可作出各种其它的修改而不脱离权利要求书所限定的本发明 的精神和范围。
权利要求
1.一种图像降噪方法，包括以下步骤a.获取图像，其中所述图像包含噪声；b.将所述噪声拆分为多个噪声子带；c.确定各个噪声子带的阈值；以及d.将低于各个噪声子带所述阈值的噪声滤除。
2. 如权利要求1所述的方法，还包括获取一个或多个相机参数。
3. 如权利要求2所述的方法，还包括通过合并所述一个或多个相机参 数，计算输入噪声矩阵。
4. 如权利要求3所述的方法，还包括从所述噪声矩阵传播带式噪声。
5. 如权利要求4所述的方法，还包括产生信号一噪声查找表，以将信 号值与噪声值相关联。
6. 如权利要求5所述的方法，还包括使用所述信号一噪声查找表预测 逐像素噪声量。
7. 如权利要求1所述的方法，其中，所述阈值为逐像素阈值。
8. 如权利要求7所述的方法，其中，通过所述逐像素阈值将所述噪声 滤除。
9. 如权利要求2所述的方法，其中，所述一个或多个相机参数包括放 大器增益、自动白平衡增益、边缘增强增益以及颜色校正矩阵参数中至少一个o
10. 如权利要求2所述的方法，其中，所述一个或多个参数当在相机 上实现时在处理器处可获得。
11. 如权利要求2所述的方法，其中，所述一个或多个参数当在计算 装置上利用图像绘制软件实现时，经由图像中的头信息可获得。
12. 如权利要求4所述的方法，其中，传播带式噪声的步骤还包括将 所述输入噪声矩阵各自带拆分为N个子带。
13. 如权利要求1所述的方法，其中，步骤a到c实时进行。
14. 如权利要求6所述的方法，其中，预测逐像素噪声量的步骤还包括以下步骤a. 将像素值输入所述查找表；b. 将输入的所述像素值转换为预测噪声量；C.用所述査找表将输入信号的信号值映射到带式噪声矩阵；以及 d.根据所述信号值内插和外推带式噪声矩阵。
15. 如权利要求5所述的方法，还包括当拍摄条件改变时更新所述查 找表。
16. —种图像降噪方法，包括以下步骤a. 获取一个或多个相机参数；b. 通过合并所述一个或多个相机参数，计算输入噪声矩阵；c. 从所述输入噪声矩阵传播带式噪声；d. 产生信号一噪声查找表，以将信号值与噪声值相关联；e. 使用所述信号一噪声査找表预测逐像素噪声量；f. 控制逐像素阈值；以及g. 使用所述逐像素阈值将所述图像中的噪声滤除。
17. 如权利要求16所述的方法，其中，所述一个或多个相机参数包括 放大器增益、自动白平衡增益、边缘增强增益以及颜色校正矩阵参数中至 少一个。
18. 如权利要求16所述的方法，其中，所述一个或多个参数当在相机 上实现时在处理器处可获得。
19. 如权利要求16所述的方法，其中，所述一个或多个参数当在计算 装置上利用图像绘制软件实现时，经由图像中的头信息可获得。
20. 如权利要求16所述的方法，其中，传播带式噪声的步骤还包括将 输入噪声矩阵带拆分为N个子带。
21. 如权利要求16所述的方法，其中，步骤a至d实时进行。
22. 如权利要求16所述的方法，其中，预测逐像素噪声量的步骤还包 括以下步骤a. 将像素值输入所述查找表；b. 将输入的所述像素值转换为预测噪声量；C.用所述査找表将输入信号的信号值映射到带式噪声矩阵；以及 d.根据所述信号值内插和外推带式噪声矩阵。
23. 如权利要求16所述的方法，还包括当拍摄条件改变时更新所述查找表。
24. —种图像降噪系统，包括a. 图像处理流水线；以及b. 噪声降低控制单元，连接所述图像处理流水线，其中，所述噪声降低控制单元确定阈值以降低噪声。
25. 如权利要求24所述的系统，其中，所述图像处理流水线还包括a. 成像器，用于获取图像；b. —组成像部件，连接所述成像器，用于处理所述图像；c. 噪声降低模块，连接所述一组成像部件，用于降低所述图像中的噪 声；以及d. —组后处理部件，连接所述噪声降低模块，用于处理经噪声降低后 的所述图像。
26. 如权利要求25所述的系统，其中，所述噪声降低模块将所述噪声 拆分为多个子带，并利用从所述噪声降低控制单元接收的阈值过滤所述噪 声。
27. 如权利要求26所述的系统，其中，所述噪声降低控制单元基于所 述多个子带产生阈值。
28. 如权利要求24所述的系统，其中，所述噪声降低控制单元在处理器上实现。
29. 如权利要求24所述的系统，其中，所述噪声降低控制单元实现成 像器噪声模型、噪声传播以及预测带式噪声矩阵，以确定所述阈值。
30. —种图像降噪系统，包括a.图像处理流水线，其中所述图像处理流水线还包括i. 成像器，用于获取图像；ii. 一组成像部件，连接所述成像器，用于处理所述图像；iii. 噪声降低模块，连接所述一组成像部件，用于降低所述图像中的噪声；以及iv. —组后处理部件，连接所述噪声降低模块，用于处理经噪声降 低后的所述图像；以及b.处理器，实现噪声降低控制单元的功能，所述处理器连接所述图像 处理流水线，其中，所述处理器确定阈值以降低噪声。
31. 如权利要求30所述的系统，其中，所述噪声降低模块将所述噪声 拆分为多个子带，并利用从所述噪声降低控制单元接收的阈值过滤所述噪 声。
32. 如权利要求30所述的系统，其中，所述处理器基于所述多个子带 产生阈值。
33. 如权利要求30所述的系统，其中，所述处理器实现成像器噪声模 型、噪声传播以及预测带式噪声矩阵，以确定所述阈值。
34. —种图像降噪方法，包括以下步骤a. 在传感器处对一组颜色信道中的各个颜色信道检测平均图像电平；b. 在所述一组颜色信道中对各个颜色信道估计平均噪声电平；c. 预测进行降噪的节点的噪声；以及d. 控制用于降噪的阈值。
35. —种图像降噪方法，包括以下步骤a. 在图像传感器处对一组颜色信道中的各个颜色信道检测峰值白图像 电平；b. 预测一组代表性颜色的图像电平；c. 计算各个色标和各个颜色信道的噪声电平；d. 预测进行降噪的节点的噪声；e. 产生三维查找表，以将信号电平与噪声电平相关联；以及f. 适应性地控制用于降噪的阈值设置。
全文摘要
在此描述了一种图像降噪系统以及实现图像降噪系统的方法。在各个信道中噪声被分解为多个频带，子带噪声被传播。于是在准确地预测具有信号电平依赖性、频率依赖性和信道间相关性的噪声之后，能够在相机流水线的任意节点进行降噪。所包括的整套方法用于基于平均图像电平和相机噪声参数估计传感器输出的各个颜色信道中的图像噪声。实现一种方案以对各个颜色信道检测峰值白图像电平，并对代表性颜色预测图像电平值。基于噪声模型和相机参数，对各个色标的各个颜色信道预测噪声电平，这些噪声电平被传播到降噪节点。三维LUT将信号电平与噪声电平相关联。然后适应性地控制降噪阈值。
文档编号H04N5/21GK101282417SQ200810088080
公开日2008年10月8日 申请日期2008年3月31日 优先权日2007年3月29日
发明者松井章, 法尔汉·A·巴凯, 西尾研一 申请人:索尼株式会社;索尼电子有限公司