数字图像中降低的位置相关噪声的制作方法

专利名称：数字图像中降低的位置相关噪声的制作方法
技术领域：
本发明一般涉及数字成像系统，并且更特别地，涉及数字图像中场 位置相关噪声的降低。
背景技术：
在摄像机中，于胶片或图像传感器所在的焦平面处形成的图像可能 以对摄像机光轴的接近度的函数的形式变模糊。图像的 一部分距离光轴 (通常为图像的中心)越远，该部分变模糊的程度可能更大。诸如一次 性摄像机的廉价摄像机所产生的图像放大了该问题。由于 一次性摄像机 的简单光学装置的关系，或者由于胶片可能不在整个焦平面的最佳聚焦 位置中， 一次性摄像机倾向于随着从光轴朝摄像机的图像框边缘方向移 动而具有明显的锐度损失。
已经设计了图像处理技术以校正数字图像中的场位置相关模糊。例
如，给Kelly等的共同受让的题为"Correction of Position Dependent Blur in a Digital Image"的美国专利第6628329号，教示了以场中 位置的函数形式来修改模糊校正算法(例如，锐化过滤)的强度，并且 通过引用将该专利结合在本文中。该技术意在显著提高能感觉到的图像 质量。即便如此，该图像处理技术对数字图像的应用还可能增加该图像 中的噪声。 一般来说，所应用的模糊校正的量越大，生成的噪声量越大。 因此，场位置相关的模糊校正算法的应用可能也会以场位置相关的方式 提高噪声。
为了降低数字图像中的噪声，已开发了一些降噪算法，诸如斑点过 滤、均值过滤、中值过滤、局部区域过滤以及Sigma过滤。例如，在典 型的Sigma过滤算法中，对具有在被过滤像素的信号值的固定标准偏差 范围内的值的附近像素的信号值求平均，用通过该求平均确定的值来代 替被过滤像素的信号值。该类型的过滤基于噪声以高斯分布在数字图像 中产生的假设，使得在标准偏差范围内有效的噪声抑制是有可能的。如 果附近像素和被过滤像素之间有较大的信号值差，该信号值差很有可能不是由噪声引起，而是由数字图像的某些其它内容引起的。因此，该附 近像素的信号值不应包括在求平均中。
尽管如此，没有对该常规降噪算法进行优化以校正场位置相关的噪 声强度。因此，需要一种校正具有以场位置的函数形式变化的噪声强度 的数字图像中的噪声的有效方法。

发明内容
本发明的实施例通过提供用于降低数字图像中的场位置相关噪声 的方法和设备来处理以上指出的需求。
根据本发明的 一方面，利用为数字图像将噪声等级表示为位置的函 数的信息来降低由成像设备生成的数字图像中的噪声。将降噪算法应用 于数字图像，在过程中改变降噪算法的一个或多个参数。基于作为场位 置的函数的获得的噪声等级， 一个或多个参数作为数字图像中场位置的 函数变化。
在说明性的实施例中，成像系统包括数字摄像机和通用计算机。由 数字摄像机生成的数字图像包括随场位置变化的噪声。利用计算机将改
良的Sigma过滤算法应用于数字图像。基于各场位置处的预定噪声等级， 为数字图像中的各场位置改变改良的Sigma过滤算法的过滤范围。因此， 改良的Sigma过滤算法适于响应局部噪声等级。以这种方式，数字图像 中的噪声被显著降低，并且在空间上均匀分布。
根据要结合附图来阅读的以下详细说明，本发明的这些以及其它特 征和优点将变得明显。


图1示出了可在其中实施本发明的方面的数字成像系统的框图； 图2示出了图1的数字成像系统中的数字摄像机的框图； 图3示出了图1的数字成像系统中的计算机的框图； 图4A示出了在图1的数字成像系统中生成的数字图像； 图4B示出了噪声等级作为图4A的数字图像中的场位置的函数的曲 线图。
图5示出了用于在图1的数字成像系统中实施本发明的方面的说明 性方法的流程6图6示出了标准偏差和过滤范围与用于图4A的数字图像的信号值
之间的关系曲线图
图7示出了图4A的数字图像中的过滤窗口中的红色像素的示意图； 图8示出了过滤范围与用于图4A的数字图像中的不同场位置的信 号值的关系曲线图。
具体实施例方式
将参照说明性实施例来描述本发明。应当理解的是，可对这些实施 例进行大量修改，并且结果将还是在本发明的范围内。不意图或应推断 关于这些特定实施例的限制。
图1示出了可在其中实施本发明的方面的说明性数字成像系统的框 图。该特定数字成像系统包括数字摄像机110和计算机120。尽管如此， 可以预期各种各样的其它配置，并且这些配置将在本发明的范围内。除 了数字摄像机以外，成像系统可以，例如，包括具有光学扫描器的胶片 摄像机，该光学扫描器用于将显影于胶片上的图像转换为数字图像。作 为选择，成像系统可以包括替代静止摄像机的视频摄像机，或者能够捕 获静止圉像和视频两者的摄像机。数字摄像机可以与诸如移动电话、个 人数字助理(PDA)或无线电子邮件装置的其它装置结合。
图2和3分别示出了数字摄像机110和计算机120的进一步的细节。 数字摄像机包括图像传感器210,其包括与图像的图像元素(像素)对 应的感光元件的二维阵列。图像传感器可以包括，例如，电荷耦合装置 (CCD)或者互补型金属氧物半导体(CMOS)成像器。优选地，用常规 的Bayer型滤色器盖住图像传感器的像素，以便形成红绿蓝(RGB)滤 色器阵列(CFA)。在使快门230打开并且使透镜250将对象240的图 像施加到图像传感器上的微处理器220的控制下捕获图像。当图像传感 器暴露于图像光时，在各像素中产生模拟图像电荷。在快门关闭之后， 图像传感器产生的电荷信息被发送给模拟信号处理器260。模拟信号处 理器将接收到的电荷信息转换为与图像传感器中的各像素对应的模拟 图像信号。然后，来自模拟信号处理器的模拟图像信号被送至模数(A/D) 转换器270,该模数转换器270为从模拟输入信号为各像素生成数字信 号值。例如，对于10比特的数字化，为各像素分配0到1 023之间的信 号值。捕获的数字图像信号存储在摄像机存储器280中。计算机120包括处理器310、计算机存储器320和输入/输出(I/O) 装置330。例如，计算机可以是通用计算机，诸如来自通常称之为"IBM PC Compatible"类计算机的个人计算机。作为选择，计算机可以是专 用计算装置。
一旦数字图像被存储在摄像机存储器280中，就可以用直接或无线 连接，或者通过使用本领域技术人员熟悉的常规存储卡将该数字图像传 送到计算机存储器320。 一旦数字图像被存储到计算机存储器中，计算 机120就可以依照终端用户的期望来显示、修改、打印或发送该存储的 数字图像。
为了说明本发明的方面，将假设由数字摄像机11Q生成的并且存储 在计算机存储器320中的给定数字图像包括以场位置的函数形式变化的 噪声等级。更具体地，将假设数字图像400表现为如图4A所示的图像。 在该特定实例中噪声等级随着远离数字图像中心而增加，如朝图像框边 缘的方向增加的点密度所示。图4B中以曲线图的形式示出了作为场位 置函数的噪声。
有利地，只要表征了作为场位置的函数的噪声等级，实施本发明的 方面的能力不依赖于确切的场相关噪声的源。数字图像4 0 0中的噪声可 以是各不同机制的结果。例如，它可以部分地由数字摄像机110中有缺 陷的或者非最优的电子部件产生。噪声还可以，或替代地，由将诸如上 面引用的美国专利第6628329号所述类型的场位置相关模糊校正算法的 校正算法应用于数字图像而产生。
对于数字摄像机110所产生的图像，该数字摄像机110的制造商优 选地将噪声等级表征为场位置的函数。如果噪声主要由数字摄像机中的 部件引起，可以由制造商通过使用本领域技术人员熟知的常规噪声分析 技术生成和分析测试目标的数字图像来获得场位置的函数形式的噪声 等级。另一方面，如果噪声主要是向数字图像应用场位置相关的模糊校 正算法的函数，那么图像中的给定场位置处的噪声将在很大程度上与该 场位置处应用于模糊校正算法的增益因子成比例。在上面引用的美国专 利第6628329号中详细描述了该增益因子。
一旦确定了噪声分布(例如，场位置的函数形式的噪声等级)，制 造商就可以随后为数字摄像机110将该噪声分布存储在，例如，包括在 数字摄像机中并可由计算机120读取的摄像机存储器280中或磁或光存
8储介质上。
在使噪声分布对于计算机120可用之后，根据本发明方面的降噪算
法可以作为计算机的图像修改能力的一部分，应用于数字图像400。图 5示出了用于向数字图像应用场位置相关的降噪算法的说明性方法的流 程图。在该特定说明性实施例中，降噪算法是改良的Sigma过滤算法，
但是本发明不限于该特定类型的噪声过滤。降噪算法对构成来自数字摄 像机110的CFA的数字图像的像素数据进行操作。如上所述，CFA包括 具有Bayer型过滤器的图像传感器210。因此，各像素被过滤以只记录 三种颜色中的一种25%的像素被过滤以检测红光，25%的像素被过滤以 检测蓝光，并且50%的像素被过滤以检测绿光。
图5中的步骤510-560描述了由计算机120向数字图像400应用改 良的Sigma过滤算法中涉及的步骤。如早先述及的，常规Sigma过滤算 法中，对具有在被过滤像素的信号值的标准偏差范围内的信号值的附近 像素的信号值求平均，用通过该求平均而确定的信号值来代替被过滤像 素的信号值。改良的Sigma过滤算法也使用这样的标准偏差。优选地， 由成像装置的制造商使用 一组色彩目标来确定标准偏差范围。色彩目标 可以包括跨越具有变化的亮度、色调和饱和度的色域的多个块。制造商 成像这些色块并随后检查所得的数字图像，以便为特定色块确定像素信 号值的统计分布。根据该数据，确定标准偏差和信号值之间的关系。图 6中较低的一组数据为数字摄像机110示出了该关系。和噪声分布数据 一样，该数据可存储在数字摄像机自身中，或者可通过其它手段使其对 于计算机可用。
改良的S i gma过滤算法还使用过滤范围来确定当对信号值求平均时 包括被过滤像素附近的哪些像素。然而，与常规Sigma过滤算法相反， 在改良的S igma过滤算法中使用的过滤范围不仅是被过滤像素的信号值 处的标准偏差的函数，而且是被过滤图像中特定场位置处的噪声等级的 函数。以这种方式，改良的Sigma过滤算法变成适合于场位置相关噪声 的过滤算法。
在步骤510中，计算机120中的处理器310定义要过滤的像素上的 过滤窗口。图7示出了该过滤窗口 700的实例。虽然可以采用其它的过 滤窗口大小，该过滤窗口包括9行9列的像素。要过滤的红色像素710 在过滤窗口的中心。只在过滤窗口中示出了红色像素，由于只有这些像素是将用于过滤一个红色像素的像素。如果要过滤的像素改为绿色或蓝 色，将分别只考虑绿色或蓝色像素。
在步骤520中，处理器310确定数字图像400中的过滤窗口 700的 场位置，并从存储的噪声分布中获得该场位置的噪声等级。在本实施例 的上下文中也将该噪声等级称为"局部，，噪声等级。
在步骤530中，处理器310确定要应用于过滤窗口 700的过滤范围。 为了实现这个目的，处理器首先通过参考与图6中较低的数据组对应的 存储数据为与要过滤的像素710的信号值相等的信号值获得标准偏差。 然后，处理器用在步骤520中为数字图像400中的该过滤窗口的该特定 场位置确定的噪声等级，修改该标准偏差。
对于数字图像400中的特定场位置，图6中较高的一组数据将过滤 范围示为被过滤像素的信号值的函数。可以以若干不同的方式来根据标 准偏差数据和局部噪声数据计算过滤范围。过滤范围可以，例如，等于
其中Rx为对特定信号值x的过滤范围，c^为信号值x的标准偏差，a和 b为比例常数，并且Nww为该过滤窗口的场位置处的局部噪声等级。这 些变量的值将取决于要求的过滤等级，并且适当的值对于本领域技术人 员来说是4艮明显的。此外，应当注意到，该公式是说明性的，并且还可 以用包括不同于这里所提出的项的公式来确定过滤范围。例如，公式可 以包括含有C7 x和/或Nwind。w的更高次幂的附加项。
在步骤540中，将改良的Sigma过滤算法应用于一皮过滤像素710。 对过滤窗口 7 00中的具有在被过滤像素的过滤范围内的信号值的那些像 素求平均，并且用该平均信号值来代替被过滤像素的信号值。在步骤55 0 处，确定是已经否到了数字图像400中的最后一个像素。如果不是，处 理器310前进至下一像素并重新应用步骤510-550。如果在步骤550处 已经到了最后一个像素，处理器在步骤560中结束该图像处理。
图8将过滤范围与被过滤像素的信号值的关系示为数字图像400中 的不同场位置的函数。位置A (数字图像的边缘附近)具有比位置B更 高的局部噪声等级，该位置B又具有比位置C (图像的中心附近)更高 的局部噪声等级。因此，对于任何给定的被过滤像素的信号值，使得位 置A和B的过滤范围在很大程度上高于位置C的过滤范围。这具有这样 的效果在位置A和B处的求平均处理中在过滤窗口 700内包括的像素比在位置C处的求平均处理中在过滤窗口 700内包括的像素更多。这是 符合逻辑的，因为位置A和B处的过滤窗口中的像素的信号值与位置C 处的窗口中的像素相比，可能由于噪声的关系而从被过滤像素偏离了更 大的程度。有利地，该处理显著降低了数字图像中的噪声。此外，该处 理显著降低了处理过的数字图像将包含跨图像场可观察到的噪声梯度 的可能性。因此，通过使用根据本发明的方面的方法，显著降低了被过 滤数字图像中的感觉到的噪声。
虽然图5中的上述处理使用了改良的Sigma过滤算法，本发明不限 于该特定类型的降噪算法。相反地，本发明应用于适于对局部噪声等级 响应的任何降噪算法。本领域技术人员可以意识到这些其它的降噪过滤 算法，以及如何根据本发明的方面来修改它们。例如，这样的降噪算法 包括斑点过滤、均值过滤、中值过滤以及局部区域过滤。
此外，虽然利用计算机120来应用上述实施例中的场位置相关的噪 声降低算法，可以改为优选地使数字摄像机110自身将降噪算法作为摄 像机的内部图像处理能力的一部分来应用(例如，使用摄像机微处理器 220 )。该配置可以允许数字摄像机产生充分处理的数字图像，而不需 要外部的图^象处理硬件和4欠件。然后，该完全处理过的图^象可以，例如， 被直接送至打印机或显示装置。
已经参照说明性的实施例描述了本发明。然而，应当理解的是，在 不脱离本发明的范围的前提下，本领域的普通技术人员可以实现改变和 修改。
部件列表
100数字成像系统 110数字摄像机 120计算机 210图像传感器 220樣￡处理器 2 30快门 240对象 250透镜
260模拟信号处理器
ii270模数转换器
28 0摄像机存储器 310处理器 320计算机存储器 330输入/输出装置 400数字图像 510-560处理步骤 700过滤窗口 710被过滤像素
权利要求
1.一种降低由成像装置生成的数字图像中的噪声的方法，该方法包括获得用于所述数字图像的将噪声等级表示为场位置的函数的信息；以及向所述数字图像应用降噪算法，在过程中基于作为场位置的函数的获得的噪声等级，作为所述数字图像中的场位置的函数来改变所述降噪算法的一个或多个参数。
2. 如权利要求l所述的方法，其中所述成像装置包括静止摄像机、 视频摄像机和光学扫描器中的至少 一个。
3. 如权利要求l所述的方法，其中在所述成像装置中实施所述方法。
4. 如权利要求l所述的方法，其中在与所述成像装置分开的计算 机中实施所述方法。
5. 如权利要求4所述的方法，其中所述计算机包括通用计算机。
6. 如权利要求l所述的方法，其中所述成像装置包括Bayer型滤 色器阵列。
7. 如权利要求l所述的方法，其中所述数字图像中的噪声至少部 分地由向所述数字图像应用模糊较正算法而引起。
8. 如权利要求7所述的方法，其中模糊校正算法的强度是场位置 相关的。
9. 如权利要求l所述的方法，其中所述数字图像包括多个像素， 每个所述像素具有各自的信号值，并且其中向所述数字图像应用所述降 噪算法的步骤包括定义要过滤的像素上的窗口 ，该窗口包括所述数字图像中的所述多 个像素的一部分；确定过滤范围，该过滤范围是所述窗口的场位置处的确定的噪声等 级的函数；确定平均信号值，该平均信号值是具有的信号值在要过滤的像素的 信号值的过滤范围内的窗口内的那些像素的信号值的平均；以及 用所述平均信号值来代替要过滤的像素的信号值。
10. 如权利要求9所述的方法，其中过滤范围进一步是测试色彩目 标的图像中的像素的信号值的标准偏差的函数。
11. 一种包括含有软件的机器可读介质的制造品，该软件用于使包 括处理器和存储器的基于处理器的装置实施权利要求1中的方法的步骤。
12. —种用于降低数字图像中的噪声的设备，已为该数字图像将噪 声等级确定为场位置的函数，该设备包括存储器，该存储器操作来存储用于所述数字图像的将确定的噪声等 级表示为场位置的函数的数据；以及连接于所述存储器的处理器，其操作来向所述数字图像应用降噪算 法，在过程中基于作为场位置的函数的确定的噪声等级，作为所述数字 图像中的场位置的函数来改变所述降噪算法的一个或多个参数。
13. 如权利要求12所述的设备，其中在静止摄像机、视频摄像机 或光学扫描器中实施所述设备。
14. 如权利要求12所述的设备，其中在通用计算机中实施所述设备。
15. 如权利要求12所述的设备，其中数字图像包括多个像素，每 个所述像素具有各自的信号值，并且其中在向所述数字图像应用所述降 噪算法时，所述处理器进一步执行操作定义要过滤的像素上的窗口 ，该窗口包括所述数字图像中的所述多 个像素的一部分；确定过滤范围，该过滤范围是窗口的场位置处的确定的噪声等级的 函数；确定平均信号值，该平均信号值是具有的信号值在要过滤的像素的 信号值的过滤范围内的窗口内的那些像素的信号值的平均；以及 用所述平均信号值代替要过滤的像素的信号值。
16. 如权利要求15所述的设备，其中所述过滤范围进一步是测试 色彩目标的图像中的像素的信号值的标准偏差的函数。
17. —种用于降低数字图像中的噪声的系统，已为该数字图像将噪 声等级确定为场位置的函数，该系统包括成像装置，该成像装置用于捕获所述数字图像；以及 包括存储器和处理器的计算机，该存储器用于存储用于所述数字图3像的将确定的噪声等级表示为场位置的函数的数据，并且该处理器连接 于所述存储器，并用于向所述数字图像应用降噪算法，在过程中基于作 为场位置的函数的确定的噪声等级，作为所述数字图像中的场位置的函 数来改变降噪算法的一个或多个参数。
18. 如权利要求17所述的系统，其中所述成像装置包括静止摄像机、视频摄像机和光学扫描器中的至少之一。
19. 如权利要求17所述的系统，其中所述数字图像包括多个像素， 每个所述像素具有各自的信号值，并且其中在向所述数字图像应用所述 降噪算法时，所述处理器进一步执行操作定义要过滤的像素上的窗口 ，该窗口包括所述数字图像中的所述多 个像素的一部分；确定过滤范围，该过滤范围是该窗口的场位置处的确定的噪声等级 的函数；确定平均信号值，该平均信号值是具有的信号值在要过滤的像素的 信号值的过滤范围内的窗口内的那些像素的信号值的平均；以及 用所述平均信号值来代替要过滤的像素的信号值。
20. 如权利要求19所述的系统，其中所述过滤范围进一步是测试 色彩目标的图像中的像素的信号值的标准偏差的函数。
全文摘要
在由成像装置生成的数字图像中，利用将噪声等级表示为位置的函数的信息为该数字图像降低了噪声。降噪算法被应用于数字图像，在过程中改变降噪算法的一个或多个参数。基于作为场位置的函数的获得的噪声等级，作为数字图像中的场位置的函数来改变一个或多个参数。以这种方式，在数字图像中，噪声被显著降低并且在空间上均匀分布。
文档编号G06F11/00GK101569173SQ200780047704
公开日2009年10月28日 申请日期2007年11月19日 优先权日2006年12月22日
发明者S·C·凯利 申请人:伊斯曼柯达公司