专利名称：使用活动映射对视频图像进行递归滤波的制作方法
技术领域：
本发明涉及使用活动映射对视频图像进行递归滤波的方法。
背景技术：
从例如BBC研究部门报告“Video noise reduction(视频降噪)”BBC RD 1984/7，N.E.Tanton等人，1984年7月(Tanton)可知，可通过应用递归时间滤波器，该递归时间滤波器作用于每一个像素(下文中简称为‘pel’)，来降低电视序列或例如扫描胶片的一些其它种类的电子生成图像中的随机噪声。在观看图像之前以及在对噪声的存在敏感的处理之前降低噪声级是有益的，特别是诸如(但不限于)MPEG规范所定义的压缩系统。实际上，噪声控制归于MPEG规范等的现代压缩硬件和软件实现中固有的预处理元件中采用的一些重要的并且有价值的技术。
对于图像中的索引为i的每一个像素，递归滤波器的输出R(i)是当前图像C(i)和先前得到的输出图像S(i)的互补比例的和，这样，借助于分数参数K来控制输出R(i)中的C(i)和S(i)的比例。如果用下标‘f’表示帧，来扩展该记号，则明显的是，条件Sf(i)＝Rf-1(i)保证一阶递归时间滤波器操作。
因此，结果R(i)中的每一个pel表示为Rf(i)＝K·Cf(i)+(1-K)·Sf-1(i)0≤K≤1等式1递归降噪计算其中Cf(i)是操作下的当前输入图像；i是该图像的各个像素的索引，并且f是完整图像序列的索引，Sf(i)是存储的pel的阵列，等于对先前图像进行滤波操作的结果Rf-1(i)，并且i是该图像的各个像素的索引。
R(i)是得到的pel场，其在操作之后并在对序列中的下一图像执行操作之前被复制到S(i)，并且i是该图像的各个像素的索引。
期望在滤波计算中R(i)、C(i)和S(i)中每个的索引i均相同，以使在每个图像中pel都在空间上共位(collocated)。每一个图像中的pel的索引，i，可被定义为多于一维；通常使用二维是适当的，与电视图像的通用的光栅扫描相对应。这样，Rf(i)变为Rf(x，y)。索引f与帧或时域相对应。
k是控制当前图像C(x，y)与用于获得当前结果R(x，y)的先前图像S(x，y)的比例的分数参数。在现有技术中，参数K不随时间而频繁改变，典型地每完成一个图像就改变一次，在极端情况下可无限期地固定在一个值。也可在直接手动控制下操作该分数参数。经验表明，这对于一些图像素材的效果并不令人满意。
K的值被用于控制滤波的程度(从而控制噪声衰减)，并且在K趋向0时衰减增加。在数值K＝0时，没有输入图像C的传输，因此输出“不变”。这是处理静止图像的理想设置，在静止图像的情况下没有运动，这使得可以使用最优滤波来进行降噪。然而，在有运动的时候，设置为K＝0通常是非常不理想的。在K＝1时，完全没有进行滤波，并且输出完全等于输入，不能实现降噪。
此技术有一些局限性。连续图像中捕获的运动物体使其各自的pel改变在图像中的位置，从而改变它们的索引(x，y)。即使摄像机不运动，可识别物体的运动也会引起其在图像中的位置的改变，即，横向运动，或姿态改变，即，旋转运动。摄像机的运动也会引起物体位置的改变，诸如，摄像机摇摄或俯仰或两者均有，摄像机变焦也会使物体位置和缩放比例发生改变，即，摄像机镜头的焦距的改变。因此，在所有这些情况下，上述的递归滤波器将会将连续图像中的索引(x，y)不再与此运动物体的相同部分相对应的那些pel加在一起，从而运动将与噪声相混淆，并且滤波器会把由运动引起的连续图像间的差值当作噪声而减小该差值。结果，看到的图像对于少量的运动会变得模糊，并且对于大量的运动则会产生实质上由于用伪像(artefact)对图像进行折衷而引起的所有运动物体的重影。问题的实质在于不能可靠地区分噪声和运动，因为少量的运动难以与噪声区分开。
为了减少不必要的伪像，可基于每个pel根据从正在被操作的pelC(x，y)和周围的pel获得的信息来定义K，即，K(x，y)的值。K(x，y)的值可从共位的pel之间的时间差别来获得，然而，因为该局部差别是探索到的运动之后和图像中的噪声这二者的函数，所以这会产生伪像。区别噪声和运动需要测量和随后使用运动和噪声的不同统计特性。
Reinhard Klette和Piero ZamperoniHandbook of image processingoperators(图像处理操作者手册)。英国的John Wiley和Sons Chichester于1996年8月(书号为ISBN 0 471 956422(Klette和Zamperoni))提出了一种通过动态地在图像中进行操作并从亮度pel强度和共位的pel的强度的“局部平均”的分数产生输出图像，来对单个静态图像进行降噪的方法。
使用的局部平均的分数通过他们表述为“局部方差”，σ，的函数来设置。换言之，滤波的程度通过图像中的局部活动的量来确定。在有此种活动的区域中，因为与在可见度较大的非活动区域相比，噪声可见度较小，所以降低滤波的程度。
Klette和Zamperoni如下定义他们的操作符F‾(r,s))=1αΣi=-mmΣj=-nnf(r-i,s-j)]]>等式2局部平均的计算这定义了索引位置为(r，s)的pel周围的亮度强度的局部平均值定义为2m+1乘以2n+1个pel的任意窗口中的亮度pel之和除以‘α’(窗口中的pel的数目)，并且α＝(2m+1)·(2n+1)。
Klette和Zamperoni还定义了σ(r，s)，局部方差，即，pel值的平方的均值，为σ(r,s)=F~(r,s)=1αΣi=-mmΣj=-nn[f(r-i,s-j)-F‾(r,s)]2]]>等式3局部方差的计算他们描述的该操作通过朝向亮度值的局部平均来软化图像，以进行降噪，但这会和伪像一样导致模糊和软化。
Klette和Zamperoni还描述了对pel(K)应用的软化程度由下式定义
K=σ2σ2+σr2]]>等式4应用的滤波程度的计算其中σ为从平均亮度等级测量的局部方差，并且σr为噪声方差的估计值。
用图形表示为面，从等式4的计算如图1所示。
发明内容
本发明的一个目的是至少改善现有技术中的上述缺点。
本发明的另一个目的是提供可以借以改进运动和噪声之间的区分的方法。
本发明的再一个目的是，使K的值可适当地逐个pel地改变，以降噪并抑制不必要的伪像，从而使K变为K(x，y)。
根据本发明的第一方面，提供了一种对视频图像进行递归滤波的方法，包括以下步骤确定图像上的像素的邻域中的亮度的局部方差σ2；选择表现出该噪声的特性的噪声方差σr2的估计值；从等式K=α[ρ·λσ2ρ·λ·σ2+τ·σr2]+β]]>获得代表比例参数K的值的面，其中1≤σ≤128，1≤σr≤64，并且ρ，τ，α和β是经验常数；选择λ的值以按比例缩放亮度方差和噪声方差对K的值的相对贡献；以及，使用比例参数K对图像进行递归滤波，以将当前图像和紧接着的前一图像的部分按比例相加。
适当地，确定亮度的局部方差σ2的步骤包括，确定像素值与正被处理的像素的预定邻域中的像素亮度的均值之差的平方的均值。
可替代地，确定亮度的局部方差σ2的步骤包括，确定像素值与正被处理的像素的预定邻域中的像素亮度的均值之差的平方之和的正根。
优选地，本方法还包括根据图像中存在的运动和噪声的等级选择衰减特性。
适当地，对包括基本相同等级的运动和噪声的图像，该方法还包括，选择需要给定程度的衰减的运动/噪声测量等级，并使用衰减曲线来使选择的等级衰减所需要的量，并衰减到高于该等级的程度逐渐变少。
适当地，对于包含的运动等级很高的图像，该方法还包括，选择λ的值，使得在预定的运动程度以上不发生滤波。
适当地，对于包含很少发生的高等级噪声的图像，该方法还包括，使用没有沿着σr轴归一化的面的一部分，使得无论图像中的运动等级如何都应用某种衰减。
根据本发明的第二方面，提供了一种用于视频图像的递归滤波系统，该系统包括计算装置，其被设置成确定图像上像素的邻域中的亮度的局部方差σ2；输入装置，其用于输入表示噪声的特性的噪声方差σr2的估计值；处理装置，其被设置成从等式K=α[ρ·λ·σ2ρ·λ·σ2+τ·σr2]+β]]>获得比例参数K值的面，其中1≤σ≤128，1≤σr≤64，并且ρ，τ，α和β是经验常数；选择装置，其被设置成允许选择λ的值以按比例缩放亮度方差和噪声方差对比例参数K的相对贡献；以及，递归滤波器，其被设置成使用比例参数K对图像进行滤波，以将当前图像和紧接着的前一图像按比例相加。
适当地，计算装置被设置成，确定像素值与正被处理的像素的预定领域中的像素的亮度的均值之差的平方的均值。
可替代地，计算装置被设置成，通过确定像素值与正被处理的像素的预定邻域中的像素的亮度的均值之差的平方和的正根，来确定亮度的局部方差σ2。
适当地，递归滤波系统还包括用于输入根据图像中存在的运动和噪声的等级所选择的衰减特性的输入装置。
适当地，对于包含基本相同等级的运动和噪声的图像，该递归滤波系统还包括如下的输入装置该输入装置被设置成允许选择需要给定程度的衰减的运动/噪声测量等级，还被设置成使用衰减曲线来使选择的等级衰减所需的量，并衰减到高于该等级的程度逐渐变少。
适当地，对于包括的运动等级很高的图像，该递归滤波系统还包括如下的输入装置该输入装置用于输入λ值，使得在确定的运动程度以上不发生滤波。
适当地，对于包括很少发生的高等级噪声的图像，该递归滤波系统包括如下的装置该装置用于选择没有沿着σr轴归一化的面的一部分，使得无论图像中的运动等级如何都应用某种衰减。
根据本发明的第三方面，提供了一种计算机程序，其包括在程序在一个或多个计算机上运行时执行上述方法的所有步骤的代码装置。
现将通过实例，结合附图来描述本发明，在附图中图1是根据现有技术从等式4得到的面的图形，代表递归滤波中使用的比例参数的值；图2是从等式5得到的面的图形，代表根据本发明的递归滤波中使用的比例参数的值；以及图3是根据该设备的方法的流程图。
在各附图中，相同的附图标记表示相同的部分。
具体实施例方式
Klette和Zamperoni的方法适用于静止图像，但其缺点在于，当应用于运动图像序列时，会产生过多的局部软化和其它伪像。他们的方法也不能得到通过使用帧序列中可用的时间冗余而获得的有益效果。
Tanton的递归滤波的原理有时被用于运动视频，但即使滤波程度改变，其仍然不能在不影响运动的同时使噪声有效地衰减。
对于递归滤波，在步骤31，存储图像，用于与随后在步骤32中输入的当前图像进行比较。
通过采用Klette和Zamperoni的元素并用运动测量来取代“从平均亮度等级得到的局部方差”，可发现衰减的轮廓被设计成更加有效地作用于噪声并且防止引入运动中的伪像。其优势还在于，用系数，λ，按比例缩放运动的程度，能对下文所述的衰减曲线进行最好的利用。
由于一些原因，等式4的现有技术公式对于处理运动视频是次优的；首先，在σr增加时该面从一偏离开。这表明对于很大的运动程度，衰减程度大于零。其次，允许K趋于零是不适当的，因为这会导致对小幅运动和等级改变的严重的视觉损害。为了得到更好的噪声衰减，按比例缩放和选择适当的面的部分也是必要的。
因此，对于运动图像，根据本发明，从等式4得到的公式被修改为K=α[ρ·λ·σ2ρ·λ·σ2+τ·σr2]+β]]>等式5修改后的应用的滤波程度的计算其中1≤σ≤ 128，1≤σr≤64并且ρ，τ，α和β是经验常数。
找出的适当的经验常数的值为ρ＝0.4，τ＝1，α＝0.9和β＝0.1。
通过改变使用的面的部分(通过改变ρ和τ的值)并沿着σ轴归一化，可选择K的更为适当的范围。以上给出的ρ，τ，α和β的值仅为示例性的。选择这些值以提供在σ轴和σr轴上的衰减选择的全范围，并且同样这些值的选择是经验性的。
将面标准化表示对于较大的σ值，K趋于1，这可防止运动较大的情况下出现重影。
系数α和β将面按比例缩放，限制最大衰减并防止难看的伪像。
为了应用该等式，在步骤33，确定正被处理的像素的邻域中的亮度的局部方差，作为运动程度的估计，并且在步骤34进行邻域中的噪声方差σr2的估计。可以理解，σr不仅是噪声方差的估计，还是该噪声特性的指示。根据噪声表现的特性从那些可用的衰减轮廓中进行选择。如果图2中从标号为1到128的轴被映射到估计的运动程度，则使用标记为S 1到S64的轴映射σr(所选择的衰减轮廓)。从0到1范围变化的纵轴为K，其中K＝1表示没有对图像应用滤波，这样在步骤35得到代表K的值的面。
映射曲线的最佳使用一旦实现该系统，就可以操纵衰减特性使其适合于图像和存在的噪声。
这种方案的实例为1.在步骤36选择需要给定程度的衰减的运动/噪声测量的等级，并在步骤37使用衰减曲线使该等级衰减所选择的量，并衰减到高于该等级的程度逐渐变小，以获得剩余的宽噪声分布。此方案对于因低运动和噪声或较高运动和高噪声而导致运动程度和噪声的最低限度重叠的图像是理想的。
2.选择运动程度，在该运动程度以上不希望进行滤波，并且用λ按比例缩放σ，以使该值位于曲线的最远端处。这对于例如体育运动的快速、大幅的运动是有用的，否则这种运动将由于递归算法而受到模糊的影响。此方法还采用对快速运动物体上的噪声不敏感的人类视觉系统的心理-视觉模型。
3.对于受到不经常出现的大等级噪声影响的素材，使用没有沿σr轴归一化的曲线的部分是适当的。这表明无论测量的运动如何都将应用一定程度的衰减。这将应用于在存储期间受到机械或化学影响而导致例如醋酸纤维裂纹的物理缺陷的源图像。
权利要求
1.一种对视频图像进行递归滤波的方法，包括以下步骤a.确定所述图像上的像素的邻域中的亮度的局部方差σ2；b.选择表示该噪声特性的噪声方差σr2的估计值；c.从等式K=α[ρ·λ·σ2ρ·λ·σ2+τ·σr2]+β]]>获得代表比例参数K的值的面，其中1≤σ≤128，1≤σr≤64并且ρ，τ，α和β是经验常数；d.选择λ的值，以按比例缩放所述亮度方差和所述噪声方差对所述比例参数K的值的相对贡献；和e.使用所述比例参数K以将当前图像和紧接着的前一图像的比例相加，以对所述图像进行递归滤波。
2.如权利要求1所述的方法，其中，所述确定亮度的局部方差σ2的步骤包括，确定像素值与正被处理的像素的预定邻域中的像素的亮度的均值之间的差的平方的均值。
3.如权利要求1所述的方法，其中，所述确定亮度的局部方差σ2的步骤包括，确定像素值与正被处理的像素的预定邻域中的像素的亮度的均值之差的平方和的正根。
4.如权利要求1或2所述的方法，还包括根据所述图像中存在的运动和噪声的等级，来选择衰减特性。
5.如权利要求4所述的方法，对于包含基本相同的运动和噪声的等级的图像，还包括选择需要给定程度的衰减的运动/噪声测量等级，和使用衰减曲线以在选择的等级上衰减需要的量，并衰减到高于该等级的程度逐渐变少。
6.如权利要求4所述的方法，对于包括高等级的运动的图像，包括选择λ的值，使得在确定的运动程度以上不发生滤波。
7.如权利要求4所述的方法，对于包含不常发生的高等级的噪声的图像，包括使用没有沿着σr轴归一化的面的一部分，使得无论所述图像中的运动等级如何都应用某种衰减。
8.一种用于视频图像的递归滤波系统，包括a.计算装置，其被设置成确定所述图像上的像素的邻域中的亮度的局部方差σ2；b.输入装置，其用于输入表示该噪声特性的噪声方差σr2的估计值；c.处理装置，其被设置成从等式K=α[ρ·λ·σ2ρ·λ·σ2+τ·σr2]+β]]>获得代表比例参数K的值的面，其中1≤σ≤128，1≤σr≤64并且ρ，τ，α和β是经验常数；d.选择装置，其被设置成允许选择λ的值，以按比例缩放所述亮度方差和所述噪声方差对所述K的值的相对贡献；和e.递归滤波器，其被设置成使用所述比例参数K以将当前图像和紧接着的前一图像的比例相加，来对所述图像进行滤波。
9.如权利要求8所述的递归滤波系统，其中，所述计算装置被设置成，确定像素值与正被处理的像素的预定邻域中的像素的亮度的均值之差的平方的均值。
10.如权利要求8所述的递归滤波系统，其中，所述计算装置被设置成，通过确定像素值与正被处理的像素的预定邻域中的像素的亮度的均值之差的平方和的正根，来确定所述亮度的局部方差σ2。
11.如权利要求8或9所述的递归滤波系统，还包括用于输入根据所述图像中存在的运动和噪声的等级所选择的衰减特性的输入装置。
12.如权利要求10所述的递归滤波系统，对于包含基本相同的运动和噪声的等级的图像，所述递归滤波系统还包括被设置成允许选择需要给定程度的衰减的运动/噪声测量的等级，并使用衰减曲线使选择的等级衰减需要的量的装置。
13.如权利要求10所述的递归滤波系统，对于包含高等级的运动的图像，所述递归滤波系统包括用于输入λ的值以使得在确定的运动程度以上不发生滤波的输入装置。
14.如权利要求10所述的递归滤波系统，对于包含不常出现的高等级噪声的图像，所述递归滤波系统包括用于选择没有沿着σr轴被归一化的面的一部分以使得无论所述图像的运动的等级如何都应用某种衰减的装置。
全文摘要
对视频图像进行递归滤波的方法包括确定该图像上的像素的邻域中的亮度的局部方差σ
文档编号H04N7/26GK101083721SQ200710105498
公开日2007年12月5日 申请日期2007年6月1日 优先权日2006年6月2日
发明者A·米切尔 申请人:泰德广播电视公司