专利名称：用于减小mpeg伪像的方法和设备的制作方法
技术领域：
本发明通常涉及对视频和图形质量的改进。
背景技术：
MPEG压缩是用于数字视频信号传输和存储的广泛使用的算法。MPEG编码和解码的视频流可被用于各种应用，包括有线电视、卫星电视和数字视频盘(DVD)。
视频信号的内容通常包括用于逐行视频序列的图像帧序列和用于隔行视频序列的图像场序列。每一帧/场由一个矩形的像素空间区域构成。当使用MPEG编码视频内容时，通常如下的处理视频信号的图像帧中的8×8像素窗(64像素)。首先，对所述窗施加离散余弦变换(DCT)以生成所述8×8窗的2D空间谱表示。该2D空间谱通常称为傅立叶图像，因为其是所述图像在傅立叶域中的表示。该傅立叶图像也具有64个像素。该傅立叶图像中的像素值代表一个DC分量，和各种频率的AC分量。DC分量通常位于傅立叶图像的左上角像素中。傅立叶图像中的其它的63个像素代表各AC分量。在生成傅立叶图像后，施加一个MPEG编码器量化，以便量化傅立叶图像中的所有64个像素。
MPEG-2标准提供帧内压缩。在一个视频序列中，相邻的图像帧被编组成一个或多个画面组(“GOP”)。在一个GOP中，对一个图像帧(即I帧)进行空间编码。对于其它帧，则对差异进行编码。在其中对差异进行编码的有两种类型的帧P帧和B帧。对于P帧，对当前帧和由运动矢量修改的I帧之间的差异进行空间编码。对于B帧，对当前帧和由运动矢量修改的I帧及P帧(或两个P帧)的加权和之间的差异进行空间编码。“由运动矢量修改”是指将当前编码的P(或B)帧分成16×16像素方块，并且对于每个方块搜索位于距基准帧的某一空间偏移处的最佳匹配方块。所述搜索发生在某一局部区域中。所述最佳匹配块的空间偏移(垂直的以及水平的)被保留在MPEG流中，并被称为运动矢量。P帧的每个16×16块具有一个运动矢量，而B帧的每个16×16块则具有两个运动矢量。用于隔行信号的MPEG压缩处理场，而不是帧。
当使用MPEG或MPEG-2标准解码图像时，将图像帧从傅立叶域变换回空间域。对使用MPEG压缩的图像帧的编码和解码使得在经处理的图像帧中出现伪像。压缩比(即在MPEG编码和解码中使用的比特率)限定了伪像的级别和特性。也就是说，伪像的视觉感知效果是比特率的函数。
在图像帧中可以出现各种类型的伪像。当采用低压缩速率(例如低于每秒2兆比特(Mbits/sec))时，最可感知的是出现在图像帧的特定区域中的块状伪像，特别是纹理区域以及蚀刻(etched)或线区域。这些块状伪像通常在视觉上被感知为看起来被分成块的图像或对象(object)。图像帧内部的像素值受到影响，引入了表现为在相邻窗或图像帧的各块之间的突然过渡的伪像。这些突然过渡在图像帧中通常是垂直及水平对准的，并使得所述伪像极易感知。在边缘(线)区域中，当存在自然边缘或线(例如树枝、电线或对象之间的边缘)时，块状伪像是由相邻窗或块之间的过渡产生的。在这些边缘区域中，在视觉上感知到附加的锯齿。将比特率提升至中等的或较高的级别(例如高于2Mbits/sec)，可以有效地减小在低比特率下出现的块状伪像。对于低比特率，还会发生诸如蚊子噪声(mosquito noise)和平坦区域块状伪像之类的其它伪像。
对于高于2Mbits/sec的比特率，块状伪像较难感知。在这些和更高的比特率下出现的主要伪像是蚊子噪声。蚊子噪声是出现在像素窗或像素块内部的高频图案，而当附近存在尖锐边缘(high edge)或在像素值之间存在任何其它尖锐过渡(high transition)时，蚊子噪声特别出现在大体上平坦的区域中。蚊子噪声表现为在所述窗内的区域中清晰可见的与三角冲激图案相混合的小棋盘形。由于出现在块中的量化噪声的均匀空间分布，蚊子噪声变得可见，所述块通常在存在清楚边缘(strongedge)的情况下包含平滑区域。蚊子噪声在所述平滑区域中是视觉可感知的。纯垂直和水平的块内振铃是蚊子噪声的一种类型。这里，蚊子噪声出现在靠近图像帧中的水平和垂直边缘的地方。比起由斜线结构引起的蚊子噪声，由纯垂直和水平边缘引起的蚊子噪声没有那么严重，但是作为边缘的垂直和水平振铃仍然可见。
此外，在图像帧的平坦或平滑区域中，在中等或较高比特率(高于约2Mbits/sec)下在视觉上可以感知平坦区域(DC)块状伪像。平坦区域块状伪像是由基本上只包含一个DC分量的经量化的块(即经解码的块的像素值是相同的)引起的。在感知上，平滑的平坦区域表现为具有相近但是不同值的平铺的8×8方块。因此，在所述块内部有可辨识的具有平滑区域的块状图案，而在相邻块之间有矩形过渡。所述过渡是清晰可见的，因为它们通常是垂直和水平对准的。
在现代视频处理应用中，视频信号源通常是未知的。视频信号可以是数字或模拟的，并且可以是发送自DVD播放器、有线电视源、卫星或者来自不同源的图像蒙太奇。举例来说，视频信号可以是来自几个模拟和数字源的组合。这样，任何用于伪像减小的技术都需要在不依靠有关视频信号源的任何知识(包括有关图像帧或视频信号中的窗或块边界的任何知识)的情况下有效地执行。此类知识可以包括有关边缘的信息、纹理信息和其它信息。如果需要此类知识，MPEG伪像减小技术将会过分复杂以及消耗过多的硬件和时间。
视频序列还会受到与MPEG伪像无关的、信道附加的高斯噪声的影响。
因此，需要一种用于在MPEG压缩中减小在中等和更高压缩速率下出现的伪像的技术，所述技术在无需有关块边界的知识和关于视频信号中的图像帧内容的其它信息的情况下是有效的，其中所述视频信号中存在或者不存在高斯噪声。
发明内容
一方面，本发明提供了包括计算机程序产品在内的、实现并且使用用于减小视频信号的图像帧内的蚊子噪声的技术的方法和设备。提供了图像帧的窗。所述窗包括多个像素值。从所述窗内的各像素值中选出一个像素值，以便限定像素值差的经修改的窗。基于所述像素值差计算局部平均(DC)值。同样基于所述像素值差计算蚊子噪声减小值。计算作为所述像素值差的动态范围量度的函数的伪像衰减因子。应用所述伪像衰减因子和所述所选择的像素值，计算蚊子噪声减小值和局部平均值的加权和，以便生成经修改的像素值。
在附图和下面的说明中阐述了本发明的一个或多个实施例的细节。从说明书、附图以及权利要求书中，本发明的其它特征、目的以及优点将会显而易见。
图1显示根据本发明一个实施例的、用于修改图像帧中的像素值的设备100的框图。
图2显示根据本发明一个实施例的、用于修改图像帧中的像素值的方法200的流程图。
图3A显示根据本发明一个实施例的、3×3情况的、图像帧中像素值的孔径窗300的图示。
图3B显示根据本发明一个实施例的、3×3情况的、像素值差的经修改的孔径窗350的图示。
图4显示根据本发明一个实施例的、3×3情况下的蚊子噪声减小模块110的框图。
图5显示根据本发明一个实施例执行的、用于执行蚊子噪声减小操作的方法500的流程图。
图6A显示根据本发明一个实施例的、用于生成一个非线性函数的非线性处理模块115。
图6B显示根据本发明一个实施例的、所述非线性处理模块的限制模块650。
图6C显示根据本发明一个实施例的、用于执行非线性处理操作的方法600的流程图。
图7显示根据本发明一个实施例的非线性函数700的图形表示。
图8A显示根据本发明一个实施例的平滑衰减模块120。
图8B显示根据本发明一个实施例执行的、用于执行平滑衰减操作的方法800的流程图。
图9A显示根据本发明一个实施例的、MPEG伪像衰减因子λ的图形表示。
图9B显示根据本发明一个实施例的、高斯噪声衰减因子λ1的图形表示。
图10显示根据本发明一个实施例、由输出模块125执行的方法1000的流程图。
各图中相同的附图标记表示相同的元件。
具体实施例方式
本发明的各实施例提供包括计算机程序产品在内的方法和设备，用于修改视频信号的图像帧内的像素值，以便减小图像帧内的伪像。本文所描述的方法和设备通常是对于MPEG压缩而执行的，其中采用了通常高于2Mbits/sec的中等的和较高的比特率。所述这些技术特别适用于去除包括纯垂直和水平块内振铃在内的蚊子噪声和平坦区域(DC)块状伪像。
本发明的各实施例提供包括计算机程序产品在内的方法和设备，所述方法和设备实现并且使用用于修改视频信号的图像帧的像素值的技术，以便减小图像帧内的伪像。根据某些实施例，由几个模块中的一个或多个模块接收输入图像帧并对其进行逐像素的处理，以便减小图像帧内的上述伪像。各模块合作以校正图像帧的像素值，以便在尽可能保持图像帧的自然细节的同时减小伪像。
本文所公开的方法和设备的各实施例逐像素地处理作为处理孔径的方形滑动窗，其中修改像素通常是所述窗的中心像素。该窗包括多个像素值。对于硬件实施方式来说，行存储(linestore)是消耗成本的；因此滑动窗的尺寸优选地较小，例如3×3。通常使用n×n的窗，其中n是小的奇数值。目标是修改位于所述窗中心处的像素值，以便减小伪像。作为初始步骤，从所述窗内的各像素值中减去中心像素值，以便限定像素值差的经修改的窗。中心像素差是零。
提供蚊子噪声减小模块来识别像素的蚊子噪声分量。如下所示，蚊子噪声减小处理是基于知道蚊子噪声在垂直和水平方向上具有高频图案，并且假设其动态范围被限制于由一个阈值所限定的值。蚊子噪声减小模块对于经修改的窗内的像素值差执行蚊子噪声减小操作，以便生成两个信号。首先是一个蚊子噪声减小值。其次是一个基于所述滑动窗孔径的局部DC值。这两个值被提供到非线性处理模块。
在非线性处理模块处，将一个非线性函数应用于所述蚊子噪声减小值和局部DC值之间的差。这样，非线性处理模块减小残余噪声、纯垂直和水平振铃、DC块状伪像以及在由蚊子噪声减小模块处理后的像素中剩余的残余蚊子噪声。非线性处理模块具有一个自适应性阈值，并且使用如下所述的技术、基本上将由蚊子噪声减小模块计算的所述值趋近于局部DC值。非线性处理模块有效地减小纯垂直和水平振铃以及DC块状伪像，而不会在图像中引入大量模糊。
用静态模糊度参数γ乘以非线性处理模块的输出值，以便控制图像细节的整体模糊度。用由如下所述的平滑衰减模块生成的高斯噪声衰减因子乘以所述乘积，并控制高斯噪声减小强度。由于在非线性处理模块中减去了局部DC值，因此将所得乘积添加回局部DC值。用同样由平滑衰减模块生成的MPEG伪像衰减因子乘以所得结果，并且控制MPEG伪像减小强度。由于从所述滑动窗的各像素值中减去了所述中心像素值，因此将上述相乘的结果添加给孔径窗中心像素输入值。根据本发明的某些实施例，该输入值是MPEG伪像减小方法和设备的输出值。
提供平滑衰减模块来基于MPEG伪像和高斯噪声减小动态范围生成MPEG伪像衰减因子和高斯噪声减小衰减因子。这些动态范围是由MPEG伪像阈值和高斯噪声阈值限定。所述衰减因子具有三个工作区最大值、零和最大值与零之间的平滑过渡。如果没有平滑过渡区，则会带来附加的闪烁(flickering)。闪烁的发生是因为在从帧到帧的变化中，像素值可能会从略低于阈值变化到略高于阈值，从而发生从零到最大值的生硬转换。小的上下变化引起大的上下变化。平滑衰减模块输出具有所述工作区的衰减因子，并且不发生附加的闪烁。
本文所公开的方法和设备的各实施例提供一个空间方法，其通常被实践于代表视频信号内的图像帧的一部分的二维区域或窗中。所述帧通常是在逐像素的基础上被处理的。
本文所公开的方法和设备的各实施例可以被实现在软件和硬件的各种组合中。在一个实施例中，所述方法和设备被实现在用于与电视或其它显示设备一起使用的视频控制器中。本文所述的方法和设备特别适用于处理来自各种源中的任何一个的视频信号，所述源包括模拟源、数字源以及模拟和数字信号的蒙太奇。举例来说，所述方法和设备适用于电视机、DVD播放器、有线电视系统以及电视信号的卫星传输。包括蚊子噪声和平坦区域块状伪像在内的、与中等和较高比特率编码相关联的伪像被无关于视频信号源地减小。不需要关于在MPEG压缩中使用的窗或块边界的知识。因此，比起需要块边界知识的传统技术来讲，所述方法和设备的各实施例在计算上没那么复杂，并且消耗较少的时间和硬件。
图1显示了设备100，用于修改输入视频信号的图像帧内的像素值，以便减小该图像帧中的伪像。在图1中，设备100包括用来接收输入图像帧的加窗和像素减法模块105。设备100还包括用来从加窗和像素减法模块105接收像素值a’-i’的蚊子噪声减小和局部平均确定模块110。此外，设备100包括用来从蚊子噪声减小和局部平均确定模块110接收信息、以及向乘法器模块130输出一个要乘以静态模糊度参数γ的值的非线性处理模块115。设备100还包括平滑衰减模块120，其从模块105接收像素值a’-i’，并且将MPEG伪像和高斯噪声衰减因子λ及λ1输出到输出模块125。用来从模块130和模块120接收输出值以及从模块110接收局部DC值的输出模块125提供经修改的像素值e作为输出。如图1所示，加窗和像素减法模块105将中心像素值“e”输出到输出模块125，以用于修改该像素值“e”。参数T2、TR1、T0和γ是用于方法200和设备100的控制参数，并在以下讨论。
图2提供了设备100的操作方法200，用于修改图像帧内的像素值，以便减小该图像帧内的伪像。在步骤205，输入图像帧被提供给加窗和像素减法模块105。在此实施例中，加窗和像素减法模块105提供两个功能(1)滑动加窗操作，和(2)像素减法操作。本领域的熟练技术人员将了解，在另一个实施例中，有单独的模块用于每个功能；也就是说，加窗操作由加窗模块提供，而像素减法操作则由单独的像素减法模块执行。
在图2的步骤210，加窗模块105提供输入图像帧的窗300。在一个实施例中，窗300是一个在下面参照图3A所描述的3×3滑动窗。该窗包括来自输入图像帧的一部分的多个像素值。在步骤215，如下面参照图3B所描述的那样，模块105中的像素减法模块从所述窗内的其它像素值中减去该窗内的中心像素值，以便限定像素值差a’-i’的经修改的窗。
在图1中，蚊子噪声减小和局部平均确定模块110提供两个功能(1)蚊子噪声减小操作，和(2)局部平均确定操作。本领域的熟练技术人员将了解，在另一个实施例中，局部平均确定模块是蚊子噪声减小模块的一个子模块。在图2的步骤220，局部平均确定模块基于输入像素值差a’-i’确定局部平均值“EDC”。在步骤225，蚊子噪声减小模块110对于图3B的经修改的窗内的像素值差a’-i’执行蚊子噪声减小操作，以便生成蚊子噪声减小值“u”。下面参照图4和5描述该蚊子噪声减小操作。
在图2的步骤230，非线性处理模块115确定局部平均值“EDC”和蚊子噪声减小值“u”之间的差，并且基于该差生成一个非线性函数，以便减小DC块状伪像以及纯垂直和水平振铃。在图2的步骤235，在相乘器块130中将非线性处理模块115输出的值乘以控制整体模糊度的模糊度参数γ。其输出结果由模块125接收。
在步骤240，在输出模块125中进行处理。在输出模块125处，将输入值134乘以接收自平滑衰减模块120的高斯噪声衰减因子λ1。随后将接收自模块110的局部平均添加到所述乘积。用同样接收自平滑衰减模块120的MPEG伪像衰减因子λ乘以所得到的结果。将所得到的乘积添加到接收自模块105的滑动窗的中心像素值，并输出经修改的像素值e。被提供到输出模块125的衰减因子λ和λ1控制由先前各模块对像素值e所进行的MPEG伪像和高斯噪声减小的强度。在步骤245，在输出图像帧中指定经修改的像素值e。
图3A显示了被提供给图1的加窗和像素减小模块105的输入图像帧内的像素值a-i的窗300。在此具体实施例中，窗300是来自输入图像帧的3×3像素窗。本领域的熟练技术人员会了解，在其它实施例中可以采用其它的窗尺寸n×n，其中n优选地是一个较小的奇数。在此实施例中，将3×3窗的中心像素“e”选择为用于处理的像素。在水平和垂直方向上沿着整个图像帧移动滑动窗300，即在每行中逐像素地、以及逐行地移动滑动窗300，以便处理图像帧内的所有像素。窗300使得设备100能够基于窗300内的9像素值a-i提供对中心像素值“e”的一个修改。
图3B显示了在由图1中的模块105对窗300执行像素减法操作215之后的像素值差a’-i’的经修改的窗350。在此实施例中，从窗300内的每个像素a-i中减去中心像素“e”，以便限定如图3B所示的像素值差a’-i’。特别地，将窗300的像素值a-i与中心系数e之间的差表示为e’＝0；a’＝a-e；b’＝b-e；c’＝c-e；d’＝d-e；f’＝f-e；g’＝g-e；h’＝h-e；i’-i-.
图4显示根据本发明一个实施例构建的蚊子噪声减小和局部平均确定模块110的框图。模块110包括限制模块405、局部平均确定模块410、2D高通滤波器415以及用于计算加权系数α的方差模块420。图5提供用于执行(参照图4描述)蚊子噪声减小操作的方法500的流程图。蚊子噪声减小和局部平均确定模块110在尽可能保持输入图像帧的自然细节的同时减少了块内振铃。蚊子噪声减小操作是基于知道蚊子噪声是在垂直和水平方向上的高频过程(process)并表现为棋盘形与三角冲激图案的混合，以及假设蚊子噪声的动态范围位于e-T1和e+T1的范围之间。
在图4中，经修改的窗350的像素值差a’-i’被提供给限制模块405。
在图5的步骤505，限制模块405用阈值-T1从下方并用+T1从上方限制像素值差，以便限定受限的像素值差。该阈值T1限定蚊子噪声减小的工作动态范围。所述限制模块输出一组受限的像素值差b”、d”、f”、h”、a”、c”、g”和i”。特别地，关于这些受限像素值差的推导的数学表示为a″＝Lim(a′，T1)，b″＝Lim(b′，T1)，c″＝Lim(c′，T1)，d″＝Lim(d′，T1)，f″＝Lim(f′，T1)，g″＝Lim(g′，T1)，h″＝Lim(h′，T1)，i″＝Lim(i′，T1)，其中Lim(x,T1)=x,|x|≤T1sign(x)T1|x|>T1.]]>在步骤510，2D高通滤波器415计算棋盘图案Ecb的减小值。在步骤511，局部平均确定模块410计算局部DC值EDC。
在图5的步骤515，图4的方差模块420将加权系数α计算为受限像素值差a”-i”的方差的函数。在步骤520，加权系数α连同棋盘图案Ecb的减小值和局部DC值EDC一同被提供给相加模块425，以便计算加权和，从而生成蚊子噪声减小值“u”。
u＝αEcb+(1-α)EDC，由方差模块420生成的α值理想地满足0≤α≤1的条件，并且取决于中心像素e周围的各像素相对于彼此的接近度。特别地，α由方差模块420根据下面的非线性函数确定α=exp(-β1V|E0|),]]>
其中E0＝0.5·(E1+E2)“V”是对所有周围像素的期望的估计，V＝|E0-a′|+|E0-b′|+|E0-c′|+|E0-d′|+|E0-f′|+|E0-g′|+|E0-h′|+|E0-i′|β1是基于主观试验得到的预定的恒定正值。在一个实例中，为了在尽可能保持自然图像细节的同时显著减少蚊子噪声值，选择β1＝5。减少β1则有可能在更多的模糊图像的自然细节的情况下减小伪像。
在一个实例中，对于从一维滤波器获得的3×3窗来讲，局部平均确定模块410包括一个用于局部平均确定的二维低通滤波器，1/4 1/2 1/4具有如下的冲激响应1/161/81/161/8 1/41/81/161/81/16.
因此，局部DC值EDC如下EDC＝1/2·E1+1/4·E2，其中E1＝Avr(b″，d″，f″，h″)以及E2＝·Avr(a″，c″，g″，i″)，并且其中Avr()指的是平均。
对于从一维滤波器获得的3×3窗，用于减小棋盘图案Ecb的值的二维高通滤波器-1/4 1/2 -1/4具有如下的冲激响应-1/16 1/8-1/161/8 1/41/8-1/16 1/8-1/16.
因此，局部DC值Ecb如下Ecb＝1/2·E1-1/4·E2，
其中E1＝Avr(b″，d″，f″，h″)以及E2＝·Avr(a″，c″，g″，i″)，并且其中Avr()指的是平均。
如图1所示，EDC连同蚊子噪声减小值u一起被输出到非线性处理模块115。图1和6A、6B的非线性处理模块115在执行蚊子噪声减小操作之后减小剩余的蚊子噪声以及DC块状伪像和纯垂直或水平振铃的任何残余量。如下所示，非线性处理模块115基本上使经修改的像素值趋于局部DC值EDC，以便减小与蚊子噪声、DC块状伪像和纯垂直或水平振铃相关联的剩余的高频分量。
根据本发明的一个实施例，图6A显示用于生成蚊子噪声减小值和局部DC值之间的差Δ＝u-EDC的非线性函数Ψ(Δ)的非线性处理模块115。图6B显示根据本发明的一个实施例的非线性处理模块115的限制模块650。图6C提供参照图6A描述的用于执行非线性处理操作的方法600的流程图。
在图6C的步骤660，计算蚊子噪声减小值和局部DC值之间的差Δ＝u-EDC。在步骤670，对于动态死区(dead zone)阈值TDC的计算是基于(1)DC块状伪像阈值T0，也称作静态死区阈值，以及(2)输入蚊子噪声减小值。在步骤680，应用非线性函数Ψ(Δ)，使所述输入值趋近于零。
在图7中显示了由非线性处理模块115所应用的示例性非线性函数Ψ(Δ)700的一个图形表示。非线性函数Ψ(Δ)700的数学表示如下Ψ(Δ)=0,|Δ|≤TDC2sign(Δ)(|Δ|-TDC)TDC≤|Δ|≤2TDC,Δ,|Δ|≥2TDC]]>TDC=γ1|u|,γ1|u|>T0T0,γ1|u|≤T0]]>如图7所示，上面的非线性函数避免了生硬的定限(hardthresholding)在TDC。定限会引起闪烁。非线性函数在TDC和2TDC之间具有线性过渡而不是生硬的转换，这有助于减小任何此类闪烁。
在先前的非线性函数Ψ(Δ)中，控制参数T0是预定阈值，其限定非线性函数的静态死区。主观试验显示对于T0≈2，...，3的最佳值。如图6B所示，阈值TDC的值是基于蚊子噪声减小块γ1|u|的输出确定的。参数γ1是优选地满足条件0≤γ1≤1的加权系数，该参数提供图像中的图像平滑度与MPEG伪像减小之间的折衷。γ1限定MPEG伪像自适应减小特征的强度，即控制自适应阈值TDC。当γ1|u|值小于T0时，TDC变成等于T0。这一修改添加了附加筛选(filtration)特性，在不在图像中引入任何显著模糊的情况下有效地减少DC块状伪像以及纯垂直和水平振铃。根据主观测试，在一个实例中，提供令人满意结果的参数γ1的值是γ1≈0.5。
回到图1，在相乘器块130处，将作为非线性处理模块115的输出的非线性函数Ψ(Δ)的结果乘以参数γ。γ是优选地满足条件0≤γ1≤1的加权系数，并且限定MPEG伪像静态减小特征的强度，即与蚊子噪声减小值相混合的那部分局部DC值。实际上，γ是来自由局部DC值限定的最小值到最大值中的控制整个帧的静态模糊度特性的模糊度参数。举例来说，当γ是1.0时，输出模块125的伪像减小值135是非线性函数Ψ(Δ)。当γ是0时，输出模块125的伪像减小值135是局部DC值EDC。本领域的熟练技术人员将了解，当γ是零或接近零时，图像帧中小的细节被模糊，因为它们被等同于局部DC值。在一个实例中，基于主观测试，提供令人满意结果的控制参数γ的值是γ＝0.8，...，1。
蚊子噪声减小处理是基于这样的假设其动态范围被限制于由阈值T1限定的值。动态范围量度M是所述滑动窗内部的像素差a’-i’的所有绝对值的函数。M是考虑到特定差a’-i’对动态范围量度的影响的差的绝对值的非线性函数FDR()。对于3×3的窗，M可被表示为M＝FDR(|a′|，|b′|，|c′|，|d′|，|f′|，|g′|，|h′|，|i′|)，当所述动态范围量度小于或等于所述阈值时，其具有统一值。当所述滑动窗的动态范围量度超出所述阈值时，输出的经修改的像素值必须被如下地减小e＝e+λu′，其中λ是MPEG伪像衰减因子。当输出的经修改的像素值在超出阈值后而立刻被减小到零时，发生生硬转换的情况。在相同空间位置处的像素值从帧到帧的、从略小于阈值变化到略大于阈值是有可能的。因此，对于生硬转换的情况，在相邻帧中的相同位置输出像素将具有非常不同的值。此外，有可能具有从帧到帧的略小于然后略大于阈值的重复模式。因此，会发生某种程度的闪烁。为避免这一现象，执行平滑衰减操作。当M低于或等于阈值T1时，MPEG伪像衰减因子是1。一旦M超出该阈值，λ的值开始线性地减小。当M达到值T1+T1/K时，λ对于所有更高值都等于零。K是线性平滑过渡的陡度系数。
图8A显示用于3×3滑动窗的执行平滑衰减操作800的平滑衰减模块120的框图。图8B显示用于执行平滑衰减操作的方法800的流程图。
如上所述，在图8B的步骤810中，从所述像素值差计算动态范围量度M。非线性函数FDR()基于其相对于中心像素的空间位置接近度考虑特定的像素差对输出值的影响，其被表示为M=M1,M1≥M2M1+0.5(M2-M1),M1<M2,]]>M1＝max(|b′|，|d′|，|f′|，|h′|，M2＝max(|a′|，|c′|，|g′|，|i′|).
角落像素差a’，c’，g’，i’对于所述输出值的影响和贡献比起“十字”像素差b’，d’，f’，h’低两倍。
在步骤820，平滑系数值λ是基于M和T1，并被计算为λ=1,r≥1r,0<r<1,0,r≤0]]>其中r=1-K(MT1-1)]]>图8显示基于主观试验提供令人满意结果的k＝1的情况。应用MPEG伪像衰减因子λ的输出值，以便限制将所述非线性函数应用于所选择的像素值e。
图9A对于Ti的各个值以及K＝1和K＝2，显示作为M函数的平滑系数λ的图形表示。
在图8B的步骤830，平滑衰减模块120还计算并输出作为到输出模块125的输入之一的高斯噪声衰减因子λ1。当由图1中的开关145禁用高斯噪声衰减时，λ1的值必须统一，并且如下所述，输出模块125内部的残余值不被修改。当λ1的值等于0时，使输出模块125内部的残余值区域局部DC值。当M≤T2时，λ1等于0的区域由动态范围量度M和阈值T2限定。和MPEG伪像衰减因子λ相类似，为了避免在M≤T2和M＞T2的情况之间的生硬转换，通过对于T2≤M≤2T2应用线性过渡区域来进行平滑衰减。因此，将λ1的值确定为λ1=1,p≥1p,0<p<1,0,p≤0---p=(MT2-1)]]>图9B对于T2的各个值显示作为M函数的平滑系数λ1的图形表示。
在图1中，输出模块125提供对于非线性函数Ψ(Δ)的应用，在模块130中将其乘以参数γ，并将其输入到图1中的MPEG伪像减小打开/关闭开关140的第一输入。开关140的第二输入是具有反相-EDC的局部DC值。当开关140出于“打开”位置时，启用MPEG伪像减小模式。当开关140处于“关闭”位置时，禁用MPEG伪像减小模式。当启用MPEG伪像减小模式时，到输出模块125的输入值134是γΨ(Δ)，而当禁用MPEG伪像减小模式时，该输入值是-EDC。
图10显示由图1的输出模块125执行的方法1000的流程图。在步骤1010，将来自开关140的输入值134乘以输入值133，也就是高斯噪声衰减因子λ1。在步骤1020，将所得结果添加到输入信号132(局部DC值)，以便计算值135。当MPEG伪像减小模式和高斯噪声减小模式都被启用时，值135等于u′＝λ1γΨ(Δ)+EDC，当禁用MPEG伪像减小模式以及启用高斯噪声减小模式时，值135等于u′＝-λ1EDC+EDC＝EDC(1-λ1).
当MPEG伪像减小模块和高斯噪声减小模块都被禁用时，值135等于u′＝EDC(1-1)＝0.
当启用MPEG伪像减小模块以及禁用高斯噪声减小模块时，值135等于
u′＝γΨ(Δ)+EDC.
在步骤1030，将值135乘以MPEG伪像衰减因子λ(即值104)，以便控制相对于动态范围量度M的伪像减小的可用性。在步骤1040，将所得结果添加到输入像素e的值，以便计算输出的经修改的像素值e。因此e＝e+λu′包括本文所公开的设备在内，本发明的各实施例可以被实现为数字电子电路，或者计算机硬件、固件、软件，或者它们的组合。本发明的各设备实施例可以被实现为计算机程序产品，所述计算机程序产品被确实地包含在机器可读存储设备中，以用于由可编程处理器执行；而本发明的各方法步骤可以由可编程处理器执行，所述处理器执行指令程序，以便通过对输入数据进行操作以及生成输出来执行本发明的各功能。本发明的各实施例可以有利地被实现为一个或多个计算机程序，所述计算机程序可以在包括至少一个可编程处理器的可编程系统上执行，所述处理器被耦合来从数据存储系统、至少一个输入设备和至少一个输出设备接收数据和指令，以及向其发送数据和指令。每个计算机程序可以以高级程序或以面向对象的编程语言来实施，或者想要的话也可以以汇编或机器语言实施；并且在任何情况下，所述语言可以是经编译或者解译的语言。
举例来说，适用的处理器包括通用和专用微处理器。一般来说，处理器将从只读存储器和/或随机存取存储器接收指令和数据。一般来说，计算机将包括一个或多个大容量存储设备以用于存储数据文件；此类设备包括诸如内部硬盘和移动盘之类的磁盘、磁-光盘、以及光盘。适用于确实地(tangibly)包含计算机程序指令和数据的存储设备包括所有形式的非易失性存储器，举例来说，包括诸如EPROM、EEPROM和闪速存储器设备之类的半导体存储器设备；诸如内部硬盘和移动盘之类的磁盘；磁-光盘；以及CD-ROM盘。任何前述设备都可以由ASIC(专用集成电路)补充或被合并到ASIC中。
已经描述了本发明的多个实现方式。然而，应该理解，在不背离本发明的精神和范围的情况下可以进行各种修改。因此，其它实施例同样处在所附权利要求书的范围之内。
权利要求
1.一种减小视频信号的图像帧内的蚊子噪声的方法，该方法包括提供图像帧的一个窗，该窗包括多个像素值；从所述窗内的各像素值中减去所选择的一个像素值，以便限定像素值差的经修改的窗；基于所述像素值差计算局部平均(DC)值；基于所述像素值差计算蚊子噪声减小值；计算作为所述像素值差的动态范围量度的一个函数的伪像衰减因子；以及应用所述伪像衰减因子和所选择的像素值计算所述蚊子噪声减小值和所述局部平均值的加权和，以便生成经修改的像素值。
2.权利要求1的方法，还包括用一个阈值限制所述经修改的窗内的所述像素值差。
3.权利要求1的方法，其中计算所述蚊子噪声减小值包括计算与一个棋盘图案相关联的减小值；计算作为所述像素值差的方差的一个函数的加权系数；以及应用所述加权系数计算所述减小值和所述局部平均值的加权和，以便限定所述蚊子噪声减小值。
4.权利要求1的方法，其中计算局部平均(DC)值包括对所述像素值差施加2D低通滤波。
5.权利要求1的方法，其中所述所选择的像素值是所述窗的中心像素。
6.权利要求1的方法，其中所述窗是n×n像素窗。
7.权利要求6的方法，其中n是一个小奇数。
8.权利要求7的方法，其中n＝3。
9.一种用于减小视频信号的图像帧内的蚊子噪声的设备，该设备包括一个加窗模块，被配置成提供图像帧的一个窗，该窗包括多个像素值；一个减法模块，被配置成从所述窗内的各像素值中减去所选择的一个像素值，以便限定像素值差的经修改的窗；一个局部平均确定模块，被配置成基于所述像素值差计算局部平均(DC)值；一个蚊子噪声减小模块，被配置成对所述经修改的窗内的所述像素值差执行蚊子噪声减小操作，以便生成蚊子噪声减小值；一个平滑衰减模块，被配置成计算作为所述像素值差的动态范围量度的一个函数的伪像衰减因子；以及一个输出模块，被配置成应用所述伪像衰减因子和所选择的像素值计算所述蚊子噪声减小值和所述局部平均值的加权和，以便生成经修改的像素值。
10.权利要求9的设备，其中所述蚊子噪声减小模块包括一个限制模块，被配置成用一个阈值来限制所述经修改的窗内的所述像素值差。
11.权利要求9的设备，其中所述蚊子噪声减小模块包括一个高通滤波器，被配置成计算与一个棋盘图案相关联的减小值；一个方差模块，被配置成计算作为所述受限像素值差的方差的一个函数的加权系数；以及一个相加模块，被配置成应用所述加权系数计算所述减小值和所述局部平均值的加权和，以便限定所述蚊子噪声减小值。
12.一种存储在处理器可读媒体上的计算机程序产品，包括用于使计算机执行减小视频信号的图像帧内的蚊子噪声的方法的指令，所述方法包括提供图像帧的一个窗，该窗包括多个像素值；从所述窗内的各像素值中减去所选择的一个像素值，以便限定像素值差的经修改的窗；基于所述像素值差计算局部平均(DC)值；基于所述像素值差计算蚊子噪声减小值；计算作为所述像素值差的动态范围量度的一个函数的伪像衰减因子；以及应用所述伪像囊减因子和所选择的像素值来计算所述蚊子噪声减小值和所述局部平均值的加权和，以便生成经修改的像素值。
13.权利要求12的计算机程序产品，其中所述方法还包括用一个阈值限制所述经修改的窗内的所述像素值差。
14.权利要求12的计算机程序产品，其中计算所述蚊子噪声减小值包括计算与一个棋盘图案相关联的减小值；计算作为所述像素值差的方差的一个函数的加权系数；以及应用所述加权系数计算所述减小值和所述局部平均值的加权和，以便限定所述蚊子噪声减小值。
15.权利要求12的计算机程序产品，其中计算局部平均(DC)值包括对所述像素值差施加2D低通滤波。
16.权利要求12的计算机程序产品，其中所述所选择的像素值是所述窗的中心像素。
17.权利要求12的计算机程序产品，其中所述窗是n×n像素窗。
18.权利要求17的计算机程序产品，其中n是一个小奇数。
19.权利要求18的计算机程序产品，其中n＝3。
全文摘要
本文公开了包括计算机程序产品在内的、实现并且使用用于减小视频信号的图像帧内的蚊子噪声的技术的方法和设备。提供了图像帧的窗。所述窗包括多个像素值。从所述窗内的各像素值中选出一个像素值，以便限定像素值差的经修改的窗。基于所述像素值差计算局部平均(DC)值。同样基于所述像素值差计算蚊子噪声减小值。计算作为所述像素值差的动态范围量度的一个函数的伪像衰减因子。应用所述伪像衰减因子和所述所选择的像素值，计算蚊子噪声减小值和局部平均值的加权和，以便生成经修改的像素值。
文档编号G06T5/00GK1652606SQ20041010216
公开日2005年8月10日 申请日期2004年12月15日 优先权日2003年12月16日
发明者V·施斯金 申请人:创世纪微芯片公司