专利名称：减小噪音的方法
技术领域：
本发明涉及到在由均匀区域和边缘划定界限的纹理组成的图象中减小噪音的方法，这种方法包含并行的几个步骤对上述的图像进行滤波，检测这些图像中的边缘和纹理，根据图像象素是否与边缘或纹理相关来对每个图像象素是进行消除或者相反施加上述的滤波的选择步骤。
本发明也涉及到使用这种方法来处理图像的系统，以及用来实施这种方法的计算机程序。本发明可以用于图像编码系统中，比如MPEG2编码器中。
背景技术：
诸如从照相机或者放大器中获得图像的方法，产生各种不同的称之为＂噪音＂的混乱，这就对图像的处理和理解带来了很多的麻烦。噪音降低了图像的质量，当图像被压缩的时候增加了存储图像所必需的存储空间。使用滤波器可以降低噪音但是也降低了图像的边缘和纹理。纹理是图象中不均匀的部分，比如草地，这与图象中均匀的部分比如没有白云的蓝天形成了对比。
如图5所示美国专利5974197中介绍的典型噪音减小设备的结构包括滤波步骤，检测边缘和纹理的步骤，通过后一步骤可以根据象素与边缘或者纹理有关还是无关来确定对图像象素的滤波操作进行还是不进行。
发明内容
本发明的第一个目标是提供一种方法，对选择滤波的选择基准进行改善。
根据本发明，在开头的段落中定义的噪音减小的方法有以下几个特征。减小噪音的方法也包含了在检测边缘和纹理步骤的最后阶段，根据连通性的测试的结果确定是否对每个图像象素重新布置边缘和纹理的子步骤。
本发明的第二个目标是提供用来执行这种方法的计算机程序。
本发明的第三个目标是提供用于图像处理的系统，用来实施上述的方法。
本发明考虑到以下几点。在编码图像序列的时候，噪音起着很重要的作用，比如在MPEG(运动图像专家组的简称)。在一系列的图像中，噪音是很令人讨厌的，不仅因为它降低了图像的质量，而且因为使得这一系列图像的编码复杂化。通过应用图象序列中出现的元素的冗余度来实现压缩。如定义的那样，尽管随机噪音没有冗余度，但是其编码要比冗余元素的编码困难，这也就是一系列噪音图像编码中使用的数位数目比没有噪音的一系列图像要多的原因。
根据以往的技术，在对一系列图像进行编码前，用来减小该系列图像中噪音的该系列图像处理具有以下特征。为了消除这一系列图象中的脉动噪音使用第一个滤波设备。当使用了第一个滤波设备后，第二系列图像可以得到，其中部分噪音已经消失了并且保留边缘和纹理。第二个滤波设备接着在第二系列图像中使用以消除时间噪音。第二个滤波设备通常削弱了边缘，产生了模糊的纹理。为了限制对边缘和纹理的削弱作用，使用一种用来检测边缘和纹理的设备，为的是让第二滤波设备不对第二系列图像中与边缘和纹理相关的象素使用，而是对第二系列图像中与边缘和纹理不相关的象素使用。在此得到第三系列图像，其中大部分噪音被消除了而边缘和纹理被保留下来。
然而，在一系列没有经过处理的图像中出现的部分噪音不能被第一滤波设备滤波，并被用来检测边缘和纹理的设备认作是边缘或纹理的一部分。这种噪音也没有被第二滤波设备所滤波，出现在第三系列图像中，这就增加了编码的复杂性。
下面的原理可以减小在第三系列图像中仍出现的部分噪音。在使用边缘和纹理检测设备后，对第二系列图像使用一种可以检测连通性的设备。当与边缘或者纹理相关的象素被赋值为1而与边缘和纹理都不相关的象素被赋值为0的时候，由边缘和纹理的检测设备产生了一个二进制的图像。对于每个值为1的象素，能够进行连通性检测的设备对相邻的值为1的象素计数。如果这一数目大于或等于给定的阈值N(N是一个位于1到8之间的整数)，就认为对应的象素是与边缘或者纹理相关。如果这一数值严格小于同一阈值N，就认为对应的象素与边缘或者纹理无关。由边缘和纹理的检测设备产生的值为0的二进制图像的象素不被进行连通性检测的设备处理，并且保持数值为0。
本发明这些方面和其它方面是很明显的，并且将根据下面介绍的实施例以非限定举例方式予以阐明。
图1所示为用来说明本发明特征的图表；图2所示为框图，用来介绍在视频编码序列中使用本发明的例子；图3所示为用来说明本发明实施例的框图；图4a和4b介绍用来检测边缘和纹理的滤波器；图5a为一框图，用来说明实现连通性检测的方法，图5b和5c介绍了连通性检测的例子；图6为一框图，用来说明选择设备的实施例。
实施例说明如前所述，图1介绍了本发明的特征。图像处理系统包括第一滤波设备[FIL1]，第二滤波设备[FIL2]，用来检测边缘和纹理的设备[DET]，用来形成连通性检测的设备[CONN]和选择设备[SEL]。
第一图像序列[IM1]应用到第一滤波设备[FIL1]的输入端中。第一滤波设备[FIL1]的作用是消除第一图像序列[IM1]中表现为噪音形式的所有象素，特别是混有脉动噪音的象素。第一滤波设备[FIL1]是一种在保留边缘和纹理的同时用来消除部分噪音的设备。在第一滤波设备[FIL1]的输出端得到了第二图像序列[IM2]，第二图像序列[IM2]应用到边缘和纹理的检测设备[DET]的输入端上。当被认为与边缘和纹理有关的象素接受到数值1而被认为与边缘和纹理无关的象素接受到数值0时，边缘和纹理的检测设备[DET]从第二图像序列[IM2]中产生第一系列二进制图像[IMB1]。第一系列二进制图像[IMB1]被应用到用来进行连通性检测的设备[CONN]的输入端中上。对于第一系列二进制图像中的每个值为1的象素，用来进行连通性检测的设备对值为1的相邻象素的计数。如果这一数值大于或者等于给定的阈值N(在此N是一个位于1到8之间的整数)，相应的象素被认为与边缘或者纹理有关因此保持数值1。如果这一数值严格小于同一阈值N，相应的象素被认为与边缘和纹理无关因而接受数值0。第一系列二进制图像[IMB1]中值为0象素保持数值0。这样在用来进行连通性检测的设备[CONN]的输出端获得了第二系列二进制图像[IMB2]。如果第二图像序列[IMB2]中相应的象素值为0，选择设备允许对第二图像序列[IM2]中的象素使用第二滤波设备[FIL2]，如果第二图像序列[IMB2]中相应的象素值为1，选择设备[SEL]不允许对第二图像序列[IM2]中的象素使用第二滤波设备[FIL2]。通过使用选择设备可以获得预处理过的图像序列[PPI]。
图2所示为在MPEG2视频编码设备中使用本发明的例子。MPEG2视频编码设备包括图像处理设备[PROC]和包含用来实现空间压缩的设备[SPAT]的MPEG2编码器[ENC]，以及用来实现时间压缩的设备[TEMP]。
第一图像序列[IM1]应用到图1所述的图象处理设备[PROC]的输入端。这样在这种图像处理设备[PROC]的输出端获得了预处理过的图像[PPI]的序列。通过MPEG2编码器[ENC]对预处理图像序列[PPI]进行编码，这样就获得了对预处理图像序列[PPI]进行编码的二进制数据[BIT]。
空间压缩设备[SPAT]分析预处理图像序列[PPI]用来确定在预处理图像序列[PPI]的图像中的冗余信息，并且消除那些人眼看不到的频率。空间压缩设备[SPAT]使用DCT[离散余弦变换]，将空间域中的预处理图像序列[PPI]中图像的信息转化为频域以便消除振幅较低的频率和不能被人眼感知的高频成分。
时间压缩设备[TEMP]使用预处理图像序列[PPI]中连续图像的差值。预处理图像序列[PPI]的第一副图像包含当没有运动时用来描述下列图像所必需的全部信息。这样在预处理图像[PPI]序列的第一副图像之后，当没有运动时不必对图像信息进行编码。结果，只需要对在预处理图像序列第一副图像之后的图像对运动信息编码就足够了。时间压缩设备[TEMP]连续使用运动估计，运动补偿和预计，通过这些在预处理图像序列[PPI]中两幅图像之间的关于运动信息的数量就确定了。
图3介绍了本发明的实施例。图2所示的图像处理系统[PROC]包含中间滤波器[MED]，时空递归滤波器[REC]，边缘和纹理的检测设备[DET]，用来进行连通性检测的设备[CONN]和选择设备[SEL]。
第一图像序列[IM1]应用到中间滤波器[MED]的输入端。中间滤波器[MED]的作用是在保持边缘和纹理的同时消除在获取第一图像序列[IM1]期间由电信号随机振动产生的诸如散粒噪声之类的高频噪声。中间滤波器[MED]是作用于第一图像序列[IM1]的图像之一中给定象素邻域的非线性滤波器。例如，中间滤波器可以作用于包含给定象素和与其相邻的8个象素的邻域上。9个象素的灰度级通过增加数值来分类，中央象素被赋予9个灰度的中间值。对第一图像序列[IM1]中所有图像的所有象素都进行这一操作，为的是获得一系列中间滤波的图像[MEI]。如参考图1所述那样，在中间滤波图像系列[MFI]的基础上实现边缘和纹理检测以及连通性测试，这样就获得了第二系列二进制图像[IMB2]。中间滤波图像系列[MFI]也通过时空递归滤波器[REC]处理，为的是提供一系列递归中间滤波的图像[MRF1]。时空递归滤波器[REC]的作用是让图像平滑以消除没有被中间滤波设备[MED]消除的部分噪音。时空递归滤波器[REC]具有卡尔曼滤波型结构。选择设备[SEL]的作用和功能将参照图6进行介绍。预处理图像序列[PPI]在选择设备[SEL]输出端得到。
图4a所示为边缘和纹理可以通过其检测的滤波器。滤波器包含水平Sobel掩码[SHa]和垂直Sobel掩码[SVa]。
允许边缘和纹理检测的方法将在此进行介绍。在希望进行边缘和纹理检测的图像序列中，对其中的给定象素P，考虑由象素P和8个与其最相邻的象素构成的邻域V。水平Sobel掩码[SHa]置于这一邻域中，邻域V中9个象素的灰度级之积受到覆盖每个象素的水平Sobel掩码[SHa]数值的影响，接着计算9个积的总和。垂直Sobel掩码[SVa]置于这一邻域中，邻域V中9个象素灰度级的积受到覆盖每个象素的垂直Sobel掩码[SVa]数值的影响，接着，计算9个积的总和。接着，计算和的平方和。如果大于阈值S，象素P被认为与边缘或纹理有关并且被赋值1。将阈值S固定为边缘和纹理检测所需电平的函数。如果小于这一阈值S，象素P被认为与边缘或者纹理无关并且被赋值0。对要检测象素边缘和纹理的图像序列中所用图像的所有象素进行这一操作。这样，获得了二进制图像序列，其中被认为与边缘或者纹理有关的象素被赋值为1而被认为与边缘或纹理无关的象素被赋值为0。这种滤波器的缺点是对于检测纹理不是很有效。
图4b介绍了另一种可以检测边缘和纹理的滤波器。这种滤波器包含了水平SVbel掩码[SHb]和垂直掩码Sobel[SVb]，它们与[SHa]和[SHb]只有中间值的不同。
这种允许边缘和纹理检测的方法与参照图4a描述的方法是相同的，这种方法的优点是相对图4a所示的滤波器而言它对纹理检测更有效。
图5a介绍了图1所示连通性检测设备[CONN]的一种方法。连通性检测设备[CONN]包括掩码滤波器[MASQ]和比较器[COMP]。
在边缘和纹理的检测设备的输出部分的第一系列二进制图象[IMB]应用到掩码滤波器[MASQ]的输入端。掩码滤波器[MASQ]产生一个结果[RES]，由比较器[COMP]对这一结果和阈值N(N是位于1到8之间的整数)进行比较。由这个比较器产生了第二系列二进制图像[IMB2]。掩码滤波器[MASQ]包含9个数值，除了掩码滤波器[MASQ]中间值之外其余的均为1。
连通性检测设备[CONN]按照下面的方式工作。对于在第一系列二进制图像中的给定象素P(值为1)，考虑由象素P和其最相邻的8个象素系列成的邻域V。掩码滤波器[MASQ]放置在这一邻域中，这一邻域V中9个象素灰度级的积受到覆盖在每个象素上的掩码滤波器[MASQ]积的影响。接着计算这9个数值的总和用来得到结果[RES]。很容易看到结果[RES]对应于与象素P相邻且值为1的象素的数目，也就是说在纹理和边缘检测设备的输出端值为1的象素P被视为与边缘和纹理相关。如果这一结果[RES]大于或者等于阈值N，象素P被认为与边缘或纹理相关，相应于象素P的第二系列二进制图像的象素值为1。如果这一结果[RES]小于阈值N，象素P被认为与边缘和纹理都无关，相应于象素P的第二系列二进制图像的象素值为0。在第一系列二进制图像[IMB1]中值为0的象素不会被用来进行连通性检测的设备[CONN]处理，并且在第二系列象素图像[IMB2]保持为0。
图5b所示为一个例子，用来使用户容易理解进行连通性测试的设备[CONN]的操作。在这个例子中，阈值N固定为3。对于在第一系列二进制图像[IMB1]中仅有两个相邻象素与边缘或纹理相关的象素P(值为1)，掩码式滤波器[MASQ]的输出端的结果[RES]是2。在该值严格小于固定值3的阈值时，相应于象素P的第二序列二进制象素的值为0。
图5c介绍了另一个例子，通过这个例子可以很容易了解用来进行连通性测试的设备[CONN]的工作情况。在这个例子中，阈值N被设为3。对于在第一系列二进制图像[IMB1]中具有5个相邻象素与边缘或者纹理相关的象素P(值为1)，掩码滤波器[MASQ]输出端的结果[RS]为5。由于这一值比固定的阈值3大，相应于象素P的第二系列二进制图像[IMB2]的象素值为1。
图6中介绍了图3所示的选择设备[SEL]的例子。在这幅图的描述中位于支架之间并且没有在图中显示的符号请参考图3。在进行连通性检测设备[CONN]的输出端的第二系列二进制图像[IMB2]用作选择设备[SEL]的指令。第二系列二进制图像[IMB2]由一些象素系列成，当认为这些象素与边缘或者纹理有关时它们的值为1，当认为这些象素与边缘或者纹理无关时它们的值为0。当第二系列二进制图像[IMB2]给定象素的值为1时，在预处理序列图像[PPI]中对应的象素是在中间滤波图像序列[MFI]中对应的象素。当第二系列二进制图像[IMB2]给定象素的值为0时，在预处理序列图像[PPI]中对应的象素是在递归中间滤波图像序列[MRFI]中对应的象素。
在图2至6中介绍的图象处理系统是采用了图1中所示的特征的例子。图1所示的滤波设备[FIL1，FIL2]分别具有中间滤波器[MED]和时空递归滤波器[REC]的形式。
参照附图进行的上述描述是在介绍而并非在限制本发明。很显然在所附的权利要求范围内可以有很多选择，在这一点下面将进行一些讨论。
在给定序列图像中检测边缘和纹理的方法有多种。图4显示了一种可行的方法，在这种方法中使用的掩码是来自于通常用于9个象素构成的邻域中的Sobel掩码。也可以使用其它各种长度的掩码来检测边缘和纹理。
在给定的图像序列中有许多用来进行连通性检测的方法。图5仅仅介绍了一种可行方法，在这种方法中使用的掩码用于包含9个象素的邻域中，以这种方式来实现连通性测试。也可以使用其它不同长度的掩码用来进行连通性测试。
权利要求
1.一种由均匀区域和边缘所划定界限的纹理形成的图像中减小噪音的方法，这种方法包含并行的几个步骤对上述图像进行滤波；检测这些图像中的边缘和纹理；选择步骤，根据图像象素是否与边缘和纹理有关来对每个图像象素进行消除或者是相反施加上述的滤波，其特征在于，在这种方法中包含在检测边缘和纹理步骤的最后，根据连通性测试的结果确定是否对边缘或者纹理重新排列每个图像象素的子步骤。
2.一种用来执行权利要求1所述的噪音减小方法的处理器所执行的计算机程序。
3.一种对由均匀区域和边缘划定界限的纹理形成的图像进行处理的系统，这一系统包括并列的几个设备用来对上述图像进行滤波的设备；用来在这些图像中检测边缘和纹理的设备；根据图像象素是否与边缘或纹理有关来对每个图像象素进行消除或者是相反施加上述的滤波的选择设备，其特征在于，这种系统包括，在上述边缘和纹理的检测设备输出端中，根据预定的基准来确定是否对边缘和纹理重新排列每个图像象素的连通性测试设备。
4.根据权利要求3所示的图像处理系统，其特征为上述连通性测试设备包括掩码滤波器，用来将滤波器的输出和预定数值进行比较的比较器以及根据上述比较结果用来确定是否对边缘或者纹理排列每个图像象素的决策电路。
5.一种在权利要求1所述噪音减小方法或者按权利要求3所述的图像处理系统之前的MPEG型视频编码序列。
全文摘要
由均匀区域和边缘定界的纹理形成的图象中减小噪音的方法包含对这些图像进行滤波的步骤,在这些图像中检测边缘和纹理的步骤,根据连通性检测的结果确定是否在边缘或者纹理中重新排列图像象素的子步骤,该子步骤发生在检验边缘和纹理的步骤的最后,以及根据图像象素是否与边缘或者纹理相关来消除滤波或相反对每个图像象素实施滤波的子步骤。这种方法在保持边缘和纹理的同时允许降低图像或者未处理图像序列中的噪音。相关的方法可以在诸如MPEG2压缩序列的视频编码序列中应用为初次连接。
文档编号H04N7/26GK1356830SQ01133889
公开日2002年7月3日 申请日期2001年11月24日 优先权日2000年11月28日
发明者V·罗尔, S·德尔, 科索 申请人:皇家菲利浦电子有限公司