专利名称：在时域噪声滤波中减少幻影伪像的制作方法
在时域噪声滤波中减少幻影伪像背景技术
视频噪声滤波器已经变为消费类视频产品的区分点，因为噪声级别是视频质量的关键因素之一。成像传感器(例如，蜂窝电话相机、视频相机)拍摄的或者从模拟视频输入 (例如，TV电缆、DVD/VCR)接收的视频通常被大量的随机噪声污染。视频噪声滤波器可以提高视频质量、编码效率，并且帮助进一步处理和分析，诸如增强、对象跟踪和识别。此外，视频噪声滤波器可以应用于很多应用，诸如蜂窝电话相机、视频监控和DVR等。
在很多应用中，视频噪声滤波器包括空间噪声滤波器(SNF)和时域噪声滤波器 (TNF)0 一般地，对于视频噪声滤波，时域噪声滤波比空间噪声滤波更有效，因为时域噪声滤波利用来自多个帧的信息。更普遍使用的TNF中的一个是时域无限脉冲响应(IIR)滤波器， 具有非常低的计算复杂度并且利用来自全部先前帧的信息。然而，对视频序列使用时域IIR 噪声滤波器可能导致幻影伪像(ghosting artifacts),其在视频序列的运动区域中引发粘滞轮廓(sticky contour),特别是在高滤波器强度下。如果视频序列中的对象在运动并且当对象运动了时对象的轮廓即边缘在以前位置保持可见，则出现粘滞轮廓。例如，如果框从左向右运动，则粘滞轮廓可以被作为在运动的框的左边的很多竖直线看见。这些可见轮廓可以被称为·幻影伪像。运动自适应时域IIR噪声滤波器可以通过根据视频序列的运动幅度自动调整滤波器强度来减少幻影伪像。然而，尽管通过这种自动调整，一些幻影伪像不随着时间衰退。因此，期望时域噪声滤波的改进。
以下参照附图描述根据本发明原理的示例性实施例，在附图中
图I示出根据本发明的一个或者更多个实施方式的数字系统的框图2A示出根据本发明的一个或者更多个实施方式的包括时域噪声滤波器的噪声滤波器的框图2B—图2D示出根据本发明的一个实施方式的运动一混合因数函数；
图3—图6示出根据本发明的一个或者更多个实施方式的方法流程图；以及
图7到图9示出根据本发明的一个或者更多个实施方式的示例性数字系统。
具体实施方式
例示本发明的原理的示例实施方式被描述为用于实现以提供用于在数字视频序列的时域噪声滤波中减少幻影伪像的方法和系统。更具体地，所描述的实施方式减少由于对视频序列的帧应用运动自适应时域无限脉冲响应(IIR)噪声滤波器而可能引入的幻影伪像。例如，在运动自适应时域IIR滤波器中，输出巾贞[Y0 (x, y, η), U0 (x, y, η), V0 (χ, y, η)] 是滤波器的输入帧[Yc (χ, y, η)，Uc (χ, y, η)，Vc (χ, y, η)]和滤波器的先前输出帧即参考帧 (reference frame) [Y0 (x, y, n_l)，U0 (x, y, n_l)，V0 (x, y, n_l)]的加权平均
Y0 (x, y, n) =a (x, y, n) Yc (χ, y, η) + (l~a (χ, y, η)) Y0 (χ, y, η-1)；
U0(χ, y, η) =a(χ, y, η)Uc(χ, y, n) + (l-a(x, y, η))U0(χ, y, η-1)；4
V0 (χ, y, n)=a(x, y, n)Vc(x, y, η) + (l_a (x, y, η)) V0 (χ, y, η-1)；
其中χ和y是空间坐标，η是时域坐标，即，巾贞索引，Y、U、V是视频序列的二个彩色通道，并且a(x，y，n)是被运动值m(x，y，η)控制的混合因数。
针对像素的运动值m(x，y, η)是LI距离，即，针对全部三个彩色通道的当前输入帧和参考帧之间的绝对差之和
m(x, y, n) = | Yc(x, y, η) —Y。(χ, y, η-1) +IUc(χ, y, η)-U0(χ, y, η-1) +I Vc(χ, y, η)-V0( χ, Y, η-1) I ·
如果运动值小，指示像素在此位置对齐的好，则强的时域滤波器被应用。
如果运动值大，指示像素在此位置对齐的不好，则弱的时域滤波器被应用。因而， 针对X、y处的每一个像素的混合因数是在该像素位置的运动m的函数
a(x,y,n) = a0+(l-a0)m(x, y, n)/Tm if m(x, y, n) < Tm ；
=1else ；
其中，Tn^Patl是时域滤波器的输入参数。以下更详细说明这些参数。大值可能造成幻影伪像。
理想地，输出像素值[Y。(χ, y, n)，U0 (x, y, η), V0 (χ, y, η)]总接近当前输入值 [Yc (χ, y, η), Uc (χ, y, η), Vc (χ, y, η)]。然而,在通常的定点实现中，输入和输出像素值是整数。在这种情况下，可能发生以下数值问题。考虑Y通道。如果全部像素值是整数，则输出帧的Y通道是加权平均的舍入值
Y0 (χ, y, n) = round (a (x, y, η) Yc (χ, y, η) + (l_a (χ, y, η)) Y0 (χ, y, η-1))；
=round (Y。(χ, y, η-1) +a (χ, y, η) (Yc (χ, y, η) -Y。(χ, y, η-1)))；
=Y0 (χ, y, η-1) +round (a (χ, y, η) (Yc (χ, y, η) -Y。(χ, y, η-1))).
如果|Yc(x, y, η)_Υ0(χ, y, η-1) I 小并且 a(x，y，n)也小，贝U a(x, y, η) (Yc(x, y, n)-Y0(x, y, η-1)) I将小于1/2。在这种情况下,输出像素值Yci(χ, y, η)等于先前输出像素值Ytl (x，y，n-Ι)。如果在这些像素位置出现幻影伪像，则伪像将保留，只要条件继续被满足。可见地，在视频序列的运动区域中的粘滞轮廓将被观察到。同样的结论应用于 U和V通道。
在本发明的一个或者更多个实施方式中，所选择的混合因数被修改，以补偿这个状况因而减少幻影伪像的出现。在本发明的一些实施方式中，在进行了加权平均之后进行后处理，以补偿这种状况因而减少幻影伪像的出现。
图I示出根据本发明的一个或者更多个实施方式的数字系统的框图。数字系统被配置为对数字视频序列进行时域噪声滤波。该系统包括源数字系统200，其经过通信信道 218向目的地数字系统202发送编码的视频序列。源数字系统200包括视频拍摄组件204、 视频噪声滤波器组件206、视频编码器组件208和发送器组件210。视频拍摄组件204被配置为提供在被视频编码器组件208编码之前被视频噪声滤波器组件206滤波的视频序列。 视频拍摄组件204可以是例如成像传感器、视频相机、视频档案或者来自视频内容提供商的视频馈送。在本发明的一些实施方式中，视频拍摄组件204可以产生计算机图形作为视频序列，或者现场视频和计算机产生的视频的组合。
视频噪声滤波器组件206从视频拍摄组件接收视频序列并且对视频序列的帧进行噪声滤波，包括此处描述的减少幻影伪像的时域噪声滤波的方法的实施方式，以产生滤去噪声的视频序列。在本发明的一些实施方式中，视频噪声滤波器组件206可以包括以下参照图2A描述的功能/组件。
视频编码器组件208从视频噪声滤波器组件206接收滤去噪声的视频序列并且将其编码以便被发送组件210发送。一般地，视频编码器组件208经由视频噪声滤波器组件 206从视频拍摄组件204接收滤去噪声的视频序列作为帧序列，将帧划分为编码单元，该编码单元可以是整个帧或者帧的一部分，将编码单元划分为像素块，并且基于这些块对编码单元中的视频数据编码。
发送器组件210经过通信信道218向目的地数字系统202发送经编码的视频数据。通信信道218可以是任意通信介质，或者适用于传送经编码的视频序列的通信介质的组合，诸如，例如有线或者无线通信介质、局域网或者广域网。
目的地数字系统202包括接收器组件212、视频解码器组件214和显示组件216。 接收器组件212经过通信信道218从源数字系统200接收经编码的视频数据，并且向视频解码器组件214提供经编码的视频数据以便解码。一般地，视频解码器组件214反转由视频编码器组件208进行的编码处理以重构视频序列的帧。可以接着在显示组件216上显示经重构的视频序列。显示组件216可以是任意适当的显示设备，诸如，例如，等离子体显示器、液晶显示器(IXD)、发光二极管(LED)显示器等。
在本发明的一些实施方式中，源数字系统200还可以包括接收器组件和视频解码器组件和/或目的地数字系统202 可以包括发送器组件和视频编码器组件用于针对视频流、视频广播和视频电话的双向视频序列传送。此外，根据一个或者更多个视频压缩标准， 诸如，例如，动态图像专家组(MPEG)视频压缩标准，例如，MPEG-UMPEG-2和MPEG-4 ；ITU-T 视频压缩标准，例如，H. 263和H. 264 ；电影电视工程师协会(SMPTE) 421M视频CODEC标准 (统称为“VC-1”);由中国音频视频编码工作组定义的视频压缩标准(统称为“AVS”)等，视频编码器组件208和视频解码器组件214可以进行编码和解码。视频噪声滤波器组件206、视频编码器组件208和视频解码器组件214可以以软件、固件和硬件的任意适当组合实现，诸如，例如，一个或者更多个数字信号处理器(DSP)、微处理器、分立逻辑器件、专用集成电路 (ASIC)、现场可编程门阵列(FPGA)等。
图2A示出根据本发明的一个或者更多个实施方式的噪声滤波器200，例如，图I 的视频噪声滤波器组件106的框图。噪声滤波器200被配置为对视频序列上的帧进行空间滤波和时域滤波。输入帧中的像素值和经滤波的输出帧中的像素值是整数值。时域滤波由运动自适应时域IIR滤波器提供，该滤波器包括进行此处描述的幻影伪像减少。此外，在进行空间滤波之后进行时域滤波。如图2所示，噪声滤波器200包括噪声电平估计组件202、 IIR滤波器组件220、空间滤波器组件204和用于时域滤波的组件，即运动检测组件206、运动_混合因数转换组件218、帧混合组件222和帧缓冲器208。
此外，I；、β、Tm和a(l是噪声滤波器200的输入参数。Ttl是空间滤波器组件204的参数，其控制空间噪声滤波器的强度。越大的Ttl值产生越平滑的结果，而越小的值保留越多的细节。β是IIR滤波器220的参数，其控制噪声电平多快地逐帧改变。Tn^Patl是针对时域滤波的输入参数。值是运动阈值，并且用于控制时域噪声滤波器的强度。对于增大的Tm值，帧中的平坦区域，即，没有纹路的区域，看上去更平滑，但是越大Tm的值可能造成运动区域中的更多的幻影伪像。％的值也用于控制时域噪声滤波器的强度。该值范围可以从O到1，其中当％接近O时滤波器更强并且当％接近I时更弱。
噪声电平估计组件202估计输入巾贞中的噪声的电平。噪声估计针对输入巾贞的每一个彩色通道，即，Y、U、V进行，并且可以在输入帧上逐块或者逐行进行。可以使用任何适当的噪声估计技术进行噪声电平估计。美国专利申请公布No. 2009/0153739中描述了一些适当的技术。
IIR滤波器组件220对噪声电平估计组件202的输出应用低通IIR滤波器以通过产生经滤波的噪声电平来控制噪声电平的变化速度。低通IIR滤波器应用于每一个彩色通道的噪声电平。经滤波的噪声电平接着被提供作为对运动-混合因数转换组件218的输入。 此外，使用Ttl缩放经滤波的噪声电平以产生针对空间滤波器组件204的输入强度参数。
空间滤波器组件204对输入帧210的每一个彩色通道即Y、U、V进行空间滤波，以产生经空间滤波的帧214。此外，空间滤波器可以逐块应用或者逐行应用。经空间滤波的帧被提供作为对运动检测组件206和帧混合组件222的输入。可以根据任何适当的空间滤波技术进行空间滤波。美国专利申请公布No. 2009/0153739中描述了一些适当的空间滤波技术。
帧缓冲器208存储噪声虑波器100的先前的输出帧。这些输出帧被运动检测组件 206和帧混合组件222用作参考帧。
运动检测组件206计算来自帧缓冲器208的参考帧和经空间滤波的帧214之间的运动。基于三个彩色通道计算针对每一个像素的运动值m(x，y, η)，其被计算为两个帧中的对应的像素之间的绝对差的和。
m(χ, y, n) = | Yc(x, y, η) —Y。(x, y, η-1) +IUc(χ, y, η)-U0(χ, y, η-1) +I Vc(χ, y, η)-V0( χ, y, η-1) I ;
其中，[Yjx,y, η-1)，Ujx, y, η-1)，Vjx, y, η-1)]是参考巾贞，并且 [Yc (χ, y, η), Uc (χ, y, η), Vc (χ, y, η)]是经空间滤波的巾贞(214)。
运动-混合因数转换组件218使用来自噪声电平估计组件202的经滤波的噪声估计和来自运动检测组件206的运动值计算针对每一个像素的混合因数a(x，y, η)。更具体地，根据针对该像素的％、ΤΠ和运动值计算像素的混合因数。如先前说明的，a0是对时域噪声滤波器的用于控制滤波器的强度的输入参数。如果运动大，则该参数的值被设定为更接近O以增大滤波器的强度；如果运动大，则该参数的值被设定为更接近I以减小滤波器的强度。在本发明的一些实施方式中，该参数的值被用户设定。在本发明的一些实施方式中，该参数的值由噪声电平估计组件202针对三个彩色通道计算的噪声电平确定。美国专利申请公布No. 2009/0153739公开了基于估计的噪声电平设定该参数的值。以下更详细描述本发明的各个实施方式中计算混合因数a (χ, y, η)。
帧混合组件222使用由运动-混合因数转换组件218计算出的混合因数 a(x, y，η)、来自帧缓冲器208的参考帧和经空间滤波的帧214产生经滤波的输出帧 212。更具体地说，输出巾贞[Y0 (x, y, η), U0 (x, y, η), V0 (χ, y, η) ] 212的在三个彩色通道中的像素值被计算为参考巾贞[Y0(x, y, n-1), U0(x, y, n-1), V0(χ, y, η-1)]和经空间滤波的中贞 [Yc (χ, y, η)，Uc (χ, y, η)，Vc (χ, y, η)]中的像素的加权平均
Y0 (χ, y, η) =round (a (χ, y, η) Yc (χ, y, η) + (l_a (χ, y, η)) Y0 (χ, y, η-1))；
U0 (χ, y, η) =round (a (χ, y, η) Uc (χ, y, η) + (l_a (χ, y, η)) U0 (χ, y, η-1))
V0 (χ, y, n) = round (a (x, y, η) Vc (χ, y, η) + (l_a (χ, y, η)) V0 (χ, y, η-1)).
在本发明的一个或者更多个实施方式中，运动-混合因数转换组件218计算针对每一个像素的混合因数为
a(x, y, n) =a0+(l-a0)m(x, y, n)/Tm if m(x, y, η) < Tm ；
=1else.
如图2B所例示，针对位置x、y处的像素的混合因数a是在该像素位置的运动m的函数。运动-混合因数函数a(m)可以实现为查找表，该查找表针对每一个帧更新，因而不要求针对每一个像素的附加计算。表I例示针对巾贞的查找表a(m)的创建的伪码。在伪码中， MAX_m是最大运动值。在如上所示计算混合因数的本发明的实施方式中，帧混合组件(222) 可以对经滤波的输出帧(212)进行后处理以减少幻影伪像。
权利要求
1.一种用于数字视频序列的噪声滤波以减少幻影伪像的方法，所述方法包括 基于参考帧计算针对所述数字视频序列的帧中的像素的运动值； 基于所述运动值计算针对所述像素的混合因数； 通过应用所述混合因数到所述参考帧和所述帧中的对应的像素值产生经滤波的输出像素值，其中所选择的经滤波的输出像素值向所述帧中对应的像素值收敛以减少幻影伪像；以及 输出经滤波的帧。
2.根据权利要求I所述的方法，其中，所选择的经滤波的输出像素值向所述帧中的对应的像素值快速收敛。
3.根据权利要求I所述的方法，其中，所选择的经滤波的输出像素值向所述帧中的对应的像素值逐步收敛。
4.根据权利要求I所述的方法，其中，产生经滤波的输出像素值包括当经滤波的输出像素值等于所述参考帧中的对应的像素值时，将经滤波的输出像素值递增或者递减I以将经滤波的输出像素值更接近所述帧中的对应的像素值。
5.根据权利要求I所述的方法，其中，产生经滤波的输出值包括当经滤波的输出像素值等于所述参考帧中的对应的像素值时，用所述帧中的对应的像素值代替经滤波的输出像素值。
6.根据权利要求I所述的方法，其中，计算混合因数包括当(2(&(ι+(1-&(ι)πι(Χ，7，η)/Τπ)m(x, y, η) >=3)时计算混合因数为 a0+(l_a0)m(x，y, n) /Tm ;im(x, y, !^二^或者!!^，y, n) =O时计算混合因数为I ;以及否则计算混合参数为3/(2*(x，y，n));其中，η是帧的数量，χ和Y是像素坐标，m(x, y, η)是运动值，Tffl是运动阈值，并且a0是强度参数。
7.根据权利要求I所述的方法，其中，计算混合因数包括当(2 (a0+(l-a0) m (x, y, n) /Tm) m (x, y, η) >=3)并且 m (χ, y, η) <Tm 时计算混合因数为a0+(l-a0)m(x, y，n)/Tm ;以及否则计算混合参数为I ;其中，η是帧的数量，χ和y是像素坐标，m(x, y, η)是运动值，Tffl是运动阈值，并且％是强度参数。
8.根据权利要求I所述的方法，所述方法还包括在计算所述运动值之前对所述帧应用空间滤波器。
9.一种用于对数字视频序列滤波以减少幻影伪像的噪声滤波器，所述噪声滤波器包括 帧缓冲组件，所述帧缓冲组件被配置为存储要被用作参考帧的所述噪声滤波器的输出帧； 运动检测组件，所述运动检测组件被配置为基于所述参考帧计算针对数字视频序列的帧中的像素的运动值； 运动-混合因数转换组件，所述运动-混合因数转换组件被配置为基于所述运动值计算针对像素的混合因数；以及 帧混合组件，所述帧混合组件被配置为通过应用所述混合因数到所述参考帧和所述帧中的对应的像素值而产生经滤波的输出像素值，其中所选择的经滤波的输出像素值向所述帧中的对应的像素值收敛以减少幻影伪像。
10.根据权利要求9所述的噪声滤波器，其中，所述帧混合组件被配置为执行从以下组成的组选择的一个当经滤波的输出像素值等于所述参考帧中的对应的像素值时，将经滤波的输出像素值递增或者递减I以使经滤波的输出像素值更接近所述帧中的对应的像素值，以及当经滤波的输出像素值等于所述参考帧中的对应的像素值时，用所述帧中的对应的像素值代替经滤波的输出像素值。
11.根据权利要求9所述的噪声滤波器，其中，所述运动-混合因数转换组件被配置为计算混合因数包括当(2(&(ι+(1-&(ι)πι(Χ，7，η)/Τπ)πι(Χ，7，η)>=3)时计算混合因数为a0+(l-a0)m(x, y, η) /Tm ;当m(x, y, !^气或者!!^，y, n) =O时计算混合因数为I ;以及否则计算混合参数为3/(2*(x，y，η));其中，η是帧的数量，χ和y是像素坐标，m(x，y，η)是运动值，Tffl是运动阈值，并且％是强度参数。
12.根据权利要求9所述的噪声滤波器，其中，所述运动-混合因数转换组件被配置为计算混合因数包括当(2 (a0+(l-a0) m (x, y, n) /Tm) m (x, y, η) >=3)并且 m (χ, y, η) <Tm 时计算混合因数为a0+(l-a0)m(x, y，n)/Tm ;以及否则计算混合参数为I ;其中，η是帧的数量，χ和y是像素坐标，m(x, y, η)是运动值，Tffl是运动阈值，并且％是强度参数。
13.根据权利要求9所述的噪声滤波器，所述噪声滤波器还包括空间滤波器组件，所述空间滤波器组件被配置以对帧应用空间滤波器。
14.一种配置为对数字视频序列进行滤波以减少幻影伪像的数字系统，所述数字系统包括 用于存储要被用作参考帧的所述噪声滤波器的输出帧的装置； 基于所述参考帧计算针对数字视频序列的帧中的像素的运动值的装置； 基于所述运动值计算针对像素的混合因数的装置；以及 通过应用所述混合因数到所述参考帧和所述帧中的对应的像素值而产生经滤波的输出像素值的装置，其中所选择的经滤波的输出像素值向所述帧中的对应的像素值收敛以减少幻影伪像。
全文摘要
一种数字视频序列的噪声滤波以减少幻影伪像的方法。所描述的方法的示例包括基于参考帧计算针对数字视频序列的帧中的像素的运动值(302)；基于所述运动值计算针对每一个像素的混合因数(304)；通过应用混合因数到参考帧和所述帧中的对应的像素值产生经滤波的输出像素值(306)；其中，所选择的经滤波的输出像素值向帧中的对应的像素值收敛(例如，逐步或者快速)以减少幻影伪像(308)并且输出经滤波的帧(310)。还公开了用于对数字视频序列滤波以减少幻影伪像的噪声滤波器和数字系统。
文档编号H04N5/217GK102948139SQ201180018106
公开日2013年2月27日 申请日期2011年4月4日 优先权日2010年4月4日
发明者W·洪, H·辛格 申请人:德克萨斯仪器股份有限公司