用于减少图像数据中的噪声的方法和系统的制作方法

专利名称：用于减少图像数据中的噪声的方法和系统的制作方法
技术领域：
本发明涉及一种用于减少图像数据中的噪声的方法、涉及一种用于执行该方法的步骤的程序产品、涉及一种用于图像数据中的噪声减少的系统和涉及一种包括用于噪声减少的系统的成像设备。
背景技术：
在获取、处理和显示图像的领域中，多种类型的失真影响了图像的质量。因此，采用多种相关方法和处理步骤来去除失真并增强图像
的质量。 一个问题是，要通过例如阴极射线管CRT监视器、LC显示器、电视机、扫描仪、数字相机和/或打印系统的部件显示或处理的图像受到图像数据中的噪声影响，图像数据中的噪声是由于图像获取(数字化)和/或传输而产生的。
例如，成傳_传感器的性能受到多种因素的影响和/或图^f象可能在传输期间因传输所用的信道的干扰而受到破环。 一般，图像噪声是导致图像捕获、传输、编码和/或存储的不完善过程所导致的非期望的视觉现象。
为了去除图像内的噪声，多种噪声减少技术被采用。通常，采用用于减少空间和时间噪声的算法和对应滤波器的组合。
图像处理中的另 一个任务是伽玛校正。基于CRT的显示器或LC显示器或任何其他类型的显示器一般在施加的信号电压与所产生的图像强度之间具有非线性关系。伽马校正尝试通过沿相反方向对信号进行预失真来补偿因此类非线性导致的失真。因此，从图像数据，导出单独的颜色信号RGB (红色、绿色和蓝色)，并且这 颜色信号经过伽马;f交正。参考图1，下文将解释根据现有技术用于处理图像数据的系统
100。将原始图像数据2提交到伽马校正组件3以对图像数据执行伽马校正，然后将伽马校正后的图像数据提交到空间噪声减少组件4,空间噪声减少组件4对伽马校正后的图像数据执行空间噪声减少。
将噪声减少后的图像数据6直接提交到显示器或还可以将其提交到后续处理组件5，例如用于执行运动估计ME和时间噪声减少TNR的组件。
现有技术的系统100的问题在于，噪声减少非常困难。由于伽马校正，原始图像数据中包含的噪声的影响进一步恶化，这使得后续空间噪声减少更费力。这导致图像仍具有显著的噪声和下降的质量。
因此，本发明的目的在于减少现有技术的缺点。确切地来iJi，本发明的目的在于提供一种用于改进图像数据中的噪声减少的方法和系统。
此目的通过独立权利要求的特征来实现。有利特征和实施例是从属权利要求的主题。

发明内容
本发明提供 一 种用于减少图像数据中的噪声的方法，包括以下步骤对所述图像数据执行空间噪声减少并对空间噪声减少后的图像数据应用伽马校正。
本发明还提供一种当由计算机执行时用于执行上述方法的步骤的计算机程序产 品。
本发明还提供一种用于图像数据中的噪声减少的系统，包括处理单元。所述处理单元包括空间噪声减少组件，用于对所述图像数据执行空间噪声减少；以及伽马校正组件，用于对空间噪声减少后的图像数据应用伽马校正。
本发明还提供一种成像设备，优选地为照相机，包括上述用于噪声减少的系统。


现在将结合附图在下文对优选实施例的描述中更详细地解释本
发明，其中
图1示出根据现有技术的噪声减少系统的示意框图，图2示出才艮据本发明的噪声减少系统的第一实施例，图3示出才艮据本发明的噪声减少系统的另一个实施例，图4示出包括根据本发明的噪声减少系统的成像设备的示意框图，以及
图5示出根据本发明的方法的过程步骤的流程图。
具体实施例方式
本发明的一个基本理念是提供使用的处理步骤的特定次序。确切地来说，本发明提出首先执行空间噪声减少，然后对噪声减少后的图像数据执行伽马校正。
在现有技术中，常常低估伽马校正对原始图像数据2中所含的噪声的影响。因此，伽马校正之后施加空间噪声减少不足以去除伽马校正后的图像数据中的所有噪声，并且保留显著的噪声，这是由于伽马校正的影响所致。
本发明认识到此问题并提供一种有效同时非常简单的解决方案，该解决方案通过按不同的次序，即通过首先执行空间噪声减少，然后对已经执行噪声减少后的数据执行伽马校正来应用处理步骤以减少现有技术中的问题。即使本发明采用更改处理步骤的简单解决方案，仍实现了图像质量上的完全意想不到的显著提高。这不仅能够提高图像质量本身，而且还正面地影响所有后续处理步骤，例如运动估计、时间噪声减少等。
图2示出根据本发明的第一实施例的用于图像数据中噪声减少的系统1 。根据此实施例，对原始图像数据2应用空间噪声减少步骤，然后对空间噪声减少后的图像数据执行伽马校正。
因此将原始图像数据2馈送到空间噪声减少组件4以减少图像数据中的空间噪声。然后，将空间噪声减少后的图像数据提交到伽马校正组件3,在伽马校正组件3中执行伽马校正。然后可以直接显示噪声减少后的图像数据9、将其提交到另一个设备、将其存储以供后来显示或传输或可以由另外的组件进行处理，例如由图2所示的运动估计和时间噪声减少组件5来处理。要注意，图2仅示出处理噪声减少后的图像9的一种可能的方式。本发明并不局限于所示的实施例，而是涵盖如上所述的对噪声减少后的图像数据9的处理的任何其他类型》
与在空间噪声减少之前对图像数据应用伽马校正的现有技术相比，本发明提出首先执行空间噪声减少，然后执行伽马校正。正如已经提到的，这具有如下优点当图像数据被提供到伽马校正时，图像数据的空间噪声已经被去除，从而在伽马校正的情况下，不会使空间噪声进一步恶化，因为空间噪声已经从图像数据去除。因此，最终噪声减少后的图像数据9包括比现有技术噪声减少后的图像数据6更少的噪声，并且因此提供改善的图像质量。
本发明的另 一个优点在于，如果此噪声减少后的图像数据9用于后续的运动估计过程，则实现运动估计性能上的显著改进。然后可以使用此改进的运动估计结果来进行噪声的时间滤波以获得最优的噪声减少效果。
根据本发明的空间噪声减少组件4可以采用能够减少图像数据中的空间噪声的任何现有或将来的组件和/或算法。 一般，空间噪声减少旨在基于一个图像平面内的数据来减少噪声。空间噪声减少组件4可以例如作为对应的线性或非线性滤波器来实现，这在现有技术中是公知的并且因此将不作进一步论述。在任何情况中，本发明采用任何现有或将来的空间噪声减少方法，并不限于一种类型的空间噪声减少。空间噪声减少组件4可以对整个图像或对图像局部执行空间噪声减少。
同样地，本发明中使用的伽马校正组件3可以采用应用于任何类 型的图像数据的任何类型的现有或将来的伽马校正。伽马校正组件3 适合于对基于RGB (红绿蓝)色彩空间或sRGB (标准红绿蓝)色彩 空间的任何阴极射线管CRT监视器、LC显示器或基于任何类型的色 彩空间的任何其他类型的监视器应用伽马校正。
本发明的第一实施例提供一种简单且强大的方法来减少图像数 据中的噪声。尽管如此，仍可能存在提出的第一实施例不适于以令人 满意的方式减少噪声的原始图像数据2的类型。
根据拍摄一个或多个图像时存在的照明状况和/或照相机特性，与 伽马校正组合的公知的空间噪声减少不足以提供噪声减少的图像数 据。确切地来说，低亮度状况下拍摄的图像受到与高亮度状况下拍摄 的图像不同类型的噪声的影响。根据原始图像数据2中所含的噪声的 类型，公知的空间噪声减少方法不足以去除或充分地减少原始图像数 据2中所含的噪声。
在此情况中，本发明提出根据图3所示的另一个实施例的系统11。
在此系统11中，在应用空间噪声减少之前，原始图像数据2首 先经过变换组件7执行的变换步骤。在此变换步骤中，由用于变换原 始图像数据2中所含的噪声的类型的对应算法来变换包含噪声的原始 图像数据2。因此，优选地，以这样的方式来选择用于变换原始图像 数据2的算法，即变换的图像数据包含可以最优方式被后续空间噪 声减少组件4减少或去除的噪声类型。
在空间噪声减少之后，将图像数据提交到反向变换组件8，反向 变换组件8对该图像数据执行反向变换，以反向变换由变换组件7执 行的变换。在反向变换之后的图像数据对应于没有已去除的空间噪声 的原始图像数据2。
用于变换和反向变换图像数据的任何算法均可以使用，同样地，任何空间噪声减少算法均可以使用。优选地，需要满足如下状况该 变换将图像数据中的噪声以使噪声能够在随后的空间噪声减少步骤 期间被有效地去除的方式进行变换。此外，优选地以不丟失原始图像 数据的任何信息的方式选择变换算法和反向变换算法。或者，可以选 择其中包含少量图像信息的图像的小部分丢失的变换算法。
在反向变换之后，再次将图像数据提交到伽马校正组件3以便执 行伽马校正，然后显示、存储、传送噪声减少的图像数据19或由另 外的处理组件5对其进一步处理，例如进4亍运动估计和时间噪声减少。 再次要注意，本发明并不局限于包括另外的处理组件5的系统，而且 还涵盖包括以不同方式处理噪声减少的图像数据19的任何其他系统。
在本发明中，优选地对于变换算法，使用Anscombe变换算法。 同样地，优选地对于反向变换步骤，使用反向Anscombe变换算法。 很明显，利用变换步骤，图像数据本身也被变换，但是利用反向变换 步骤，该图像数据被无任何信息丟失地复原。下文将解释Anscombe 算法的不同优点以及可以使用的Anscombe算法的不同类型。
一般有不同类型的噪声。 一方面，有遵循泊松曲线的噪声，下文 中称为散粒或量子或泊松噪声。例如CCD检测器上光子到达以及其 光子计数的表示可以通过泊松分布建模。另一方面，还有遵循高斯曲 线的噪声，下文称为高斯噪声，例如读出噪声。利用根据现有技术的 空间噪声减少，只能减少高斯噪声。受高斯噪声和泊松噪声混合影响 或主要受泊松噪声影响的图像无法以令人满意的方式得以校正。尤其 是利用高ISO设置(例如ISO 6400和ISO 12800 )拍摄的图像以及在 低亮度状况下拍摄的图像(例如在50 LUX或以下拍摄的图像)受泊 松噪声严重影响。利用公知的空间噪声减少方法，仅处理高斯噪声， 而泊松噪声并未被此过程去除。
在与Anscombe变换组合执行空间噪声减少的本发明中，可以不 仅抑制(即减少)高斯噪声，而且抑制泊松噪声。 一般，利用Anscombe 变换，变换包含噪声的图像数据，并将图像数据中所含的泊松噪声变换成高斯噪声。即如果图像数据中的噪声是泊松类型的，则Anscombe 变换起作用，好像该噪声数据源自高斯白噪声模型。
如果原始图像数据2中的噪声主要是泊松噪声，可以使用简化的 Anscombe变换。可以由如下公式来表示该简化的Anscombe变换ATS:
其中I (x, y)是原始图像数据。
利用此变换，将整个原始图像数据2变换，并另外也将泊松噪声 变换成高斯噪声。然后可以通过公知的空间噪声减少方法来处理高斯 噪声，在空间噪声减少步骤之后，根据如下^^式对空间噪声减少后的 图像数据执行简化的反向Anscombe变换IATS:
其中J(x，y)是空间噪声减少后的图像数据。由此有效地减少空间噪声， 并可以实现最优的图像质量。当使用简化的Anscombe变换时，降低 了处理图像所需的处理能力，以使本实施例也可以在具有小处理能力 的设备中实现。
在另 一种情况中，即图像数据中有泊松噪声和高斯噪声的混合的 情况中，可以采用常规Anscombe变换，以将高斯和泊松噪声的混合 变换成高斯噪声。此处，信号的值I(x, a)被-现为均值g和标准偏差cj 的高斯变量y和均值mo的泊松变量n之和。设置为I(x, y) = y + an， 其中a是增益。可以利用如下公式来表示常规Anscombe变换AT(j:
因此，可以由如下公式来表示反向常规Anscombe变换IATG:总之，本发明提出用于减少图像数据中的不同实施例在一个实 施例中，执行空间噪声减少然后伽马校正。在另一个实施例中，在空 间噪声减少之前执行变换步骤，并在空间噪声减少之后执行反向变换 步骤。在另一些实施例中，对于变换，使用简化的或常规Anscombe 变换，并且相应地，对于反向变换，使用简化的或常规反向Anscombe 变换。在任何执行噪声减少的设备中，可以实现一个或多个实施例。
如果仅在设备中实现一个实施例，则在任何情况中该实施例首先 执行空间噪声校正，然后执行伽马校正，从而可以实现相对于现有技 术的显著改进。仅选择一个实施例来实现可能源于适应有限的处理能 力和/或存储容量的需要。或者，可能出现这样的情况 一个设备期望 仅处理包含特定类型的噪声的图像数据，从而可以选择最适于处理该 种类噪声的对应实施例。
在其它情况下，在一个设备中实现本发明的两种或两种以上实施 例是可能的。然后，可以提供有一种机制用于为每个图像或图像序列 选择最适合于该图像数据中的噪声类型的一个实施例。稍后将解释用 于确定要使用哪种类型的实施例的机制。作为附加或备选方式，可以 提供部件允许用户来选择这些实施例的其中之一。
现在参考图4，将详细解释包括本发明系统1、 ll的一个或多个 实施例的成像设备20。该成像设备可以是允许获取图像数据并处理图 像数据的任何类型的设备。优选地，该成像设备是用于静态图像和/ 或3见频序列的照相机、移动电话、PDA、 PC、电视机、笔记本或任何 其他类型的设备。
成像设备20包括用于获取原始图像数据2的图像获取单元22。 根据本发明，图像数据可以是单个图像或图像序列，即可以是静态图 像或视频流。因此图像获取单元22可以包括用于拍摄图像的CCD传 感器或在成像设备20外部的适合于拍摄物体的图像的任何其他现有 或将来的机制。图像获取单元22可以是到任何类型的源(例如存储 装置)的连接、因特网连接、广播传输或用于接收图像的任何其他无线或有线连接。
该成像设备还包括显示器24，显示器24可以是例如CRT监视器 或LC显示器或适合于显示图像数据的任何其他类型的显示器。成像 设备20还包括存储器25，存储器25可以包括易失性和/或非易失性 存储装置的一个或多个部分。
可选地，成像设备20包括检测单元21，检测单元21适合于检测 指示图像原始数据2中所含的噪声类型的状况。检测单元21可以例 如检测当前亮度状况，即拍摄图像时的亮度状况。作为备选或附加方 式，检测单元21可以检测曝光值和感光度。检测单元21可以例如是 用于检测当前照明或亮度状况的传感器。根据检测单元21检测的亮 度状况，将根据预定义的参数来决定要使用哪种类型的噪声减少处 理。在存储器中，可以存储例如包含几个亮度值和对应地包含应该用 于校正原始图像数据2的处理步骤的几个类型的表。 一般，照相机的 亮度以LUX为单位来测量。在50 LUX或以下捕获的图像被分类为在 低亮度状况下拍摄的。但是，具体根据照相机的类型，指示低亮度状 况的LUX值可能有所不同，本发明对于检测低亮度状况并不局限于 50LUX的值。
备选地，还可以省略检测单元21,并且可以在成像设备20中仅 实现一个实施例或用户能够利用对应的开关或通过任何其他类型的 输入设备(附图中未示出)自己选择处理方法。
图像获取单元22、检测单元21、显示器24和存储器25全部连 接到处理单元23并与处理单元23进行数据通信，处理单元23控制 成像设备20中的处理，即在成像设备20内的读、写、存储、传送、 删除或任何其他类型的数据处理。
空间噪声减少组件4、伽马校正组件3和(如果存在的话)变换 组件7和反向变换组件8 #1包括在处理单元23中，它们或作为软件 执行的步骤或可以作为硬件组件来实现。同样地，用于例如运动估计 和时间噪声减少的任何其他处理组件5也可以作为处理单元23中的软件或硬件来实现。
现在将参考图5解释根据本发明的方法执行的详细步骤。该过程 开始于步骤SO。
在下一步Sl中，获取图像。如前所解释的，该图像可以是单个 静态图像或构成视频序列的多个图像的序列。图像的获取可以通过例 如使用CCD传感器拍摄图像或通过经任何类型的传输信道接收图像 或通过任何其他获取图像的方式来实现。
在下一步S2中，检测单元21将检测亮度状况或指示当前获取的 图像中的噪声类型的其他参数。
在随后的步骤S3中，决定是否提供变换。在步骤S3中，基于检 测的亮度状况或其他参数，决定是否利用对应的变换和反向变换或不 进行变换步骤来执行噪声减少。如果决定不提供变换，则在下一步S4 中，执行空间噪声减少。
否则，如果在步骤S3中决定提供变换并且在对于变换提供 Anscombe变换的情况中，则在下一步S5中，决定是否提供常规类型 的Anscombe变换或是否提供筒化类型的Anscombe变换。如果存在 不同类型的变换之间选择的可能性，则在此步骤S5中，决定是否提 供常规类型的变换，正如上文解释的。如果决定提供常规类型的变换， 则在下一步S6中，对图像数据执行常规Anscombe变换，在随后步骤 S7中，执行空间噪声减少，并下一步S8中执行常规反向Anscombe 变换。
否则，如果决定不提供常规类型的变换，则在下一步S9中，对 图像数据执行简化的Anscombe变换，在随后步骤S10中，执行空间 噪声减少，并下一步Sll中执行简化的反向Anscombe变换。
正如已解释的，也可以省略步骤S2和检测单元21，并且允许用 户选择要使用哪种过程。还有可能性，即在设备中仅实现两种不同的 过程，从而可以省略S3或S5。在另一个备选方式中，可以在成像i殳 备20中仅实现一个实施例。在此情况中，可以省略整个步骤S2、 S3和S5以及检测单元21。
在任何情况中，在利用变换步骤或不利用变换步骤进行空间噪声 减少之后，过程继续到步骤S12，其中对空间噪声减少后的图像数据 4丸4亍伽马才交正。
在步骤S13中，可选地，可以实现后续图像处理，例如，运动估 计和时间噪声减少。在随后步骤S14中，存储和/或显示噪声减少后的 图像数据和/或将其传送到任何其他设备。该过程结束于步骤S15。
除了使用户能够选择这些实施例之一的可能性，本发明釆用一种 鲁棒且完全自动的能够实现噪声减少的方法和系统。确切地来说，在 任何情况中，都无需人工调整参数。
通过在伽马校正之前执行空间噪声减少的第一实施例，本发明已 经提供一种有效地减少图像数据中的噪声的方法和系统。此外，在特 定亮度状况的情况中，更广义地来说，在原始图像数据中的不同类型 的噪声的情况中，本发明采用不同的机制来处理不同类型的噪声，这 又促成改进的噪声减少并由此促成增强的图像质量。本发明适于所有 噪声水平图像并提供更有效的噪声减少。如果本发明用作运动估计的 预处理，则它在运动矢量精度方面优于常规系统。
权利要求
1.一种用于减少图像数据中的噪声的方法，包括以下步骤对所述图像数据执行(S4、S7、S10)空间噪声减少并对空间噪声减少后的图像数据应用(S12)伽马校正。
2. 如;^又利要求1所述的方法， 还包括以下步骤在执行所述空间噪声减少之前对所述图像数据执行变换步骤 (S6、 S9)以用于变换所述图像数据中包含的噪声的类型， 以及在应用伽马校正之前对所述空间噪声减少后的图像数据执行反 向变换步骤(S8、 Sll )。
3. 如权利要求2所述的方法，其中所述变换步骤包括执行(S6、 S9) Anscombe变换以用于将 所述图像数据中包含的噪声变换成高斯噪声，以及所述反向变换步骤包括执行(S8、 Sll )反向Anscombe变换。
4. 如权利要求3所述的方法，其中对于所述Anscombe变换(S9 )和所述反向Anscombe变换 (Sll ),使用简化的变换来实现将泊松噪声变换成高斯噪声。
5. 如权利要求3所述的方法，其中对于所述Anscombe变换(S6 )和所述反向Anscombe变换 (S8 ),使用常规变换来实现将泊松噪声和高斯噪声的混合变换成高 斯噪声。
6. 如权利要求2至5中任一项所述的方法， 还包括以下步骤检测(S2)当前亮度状况。
7. 如权利要求6所述的方法，包括基于检测到的亮度状况决定(S3 )是否要对所述图像数据执 行变换和对应的反向变换的步骤。
8. 如权利要求7所述的方法，包括基于检测到的亮度状况决定(S5 )要使用常规还是简化的变 换和对应的反向变换的步骤。
9. 一种当由计算机执行时用于执行如权利要求1至8中任一项所 述方法的步骤的计算机程序产品。
10. —种用于图像数据中的噪声减少的系统， 包括处理单元(23 )， 所述处理单元包括空间噪声减少组件(4 ),用于对所述图像数据执行空间噪声减少，以及伽马校正组件(3)，用于对空间噪声减少后的图像数据应用伽马 校正。
11. 如权利要求IO所述的系统， 其中所述处理单元(23)还包括变换组件(7),用于在执行所述空间噪声减少之前对所述图像数 据执行变换步骤以用于变换所述图像数据中包含的噪声的类型，以及反向变换组件(8),所述反向变换组件(8)在应用伽马校正之 前对所述空间噪声减少后的图像数据执行反向变换步骤。
12. 如权利要求11所述的系统，还包括检测单元(21)，所述检测单元(21)用于检测当前亮度 状况。
13. 如权利要求12所述的系统，其中所述处理单元(23)根据由所述检测单元(21 )检测到的亮 度状况来决定是否要对所述图像数据执行变换和对应的反向变换。
14. 如权利要求13所述的系统，其中所述处理单元(23)根据由所述检测单元(21 )检测到的亮 度状况来决定要对所述图像数据执行常规还是简化的变换和对应的 反向变换。
15. —种成像设备(20)，优选地为照相机，包括如权利10至14 中任一项所述的用于噪声减少的系统。
全文摘要
本发明名称为“用于减少图像数据中的噪声的方法和系统”。本发明涉及一种用于减少图像数据中的噪声的方法，包括对图像数据执行(S4、S7、S10)空间噪声减少并对空间噪声减少后的图像数据应用(S12)伽马校正的步骤。本发明还涉及一种用于图像数据中的噪声减少的系统。
文档编号H04N5/217GK101686321SQ20091017975
公开日2010年3月31日 申请日期2009年9月25日 优先权日2008年9月25日
发明者K·齐默曼, M·西迪奎 申请人:索尼株式会社