专利名称：运动补偿时域递归滤波器的制作方法
技术领域：
本发明涉及运动补偿时域递归滤波器。
背景技术：
数字视频序列中的噪声为视频压缩引擎造成了严重的问题。噪声典型地具 有高空间(和时间)频率系数。在视频压缩中，该噪声或者消耗很多比特来编 码，或者，如果比特率太低以至于不能使噪声被编码，导致不愉决的赝像。因 此，希望在编码前从视频流中移除噪声。
,递归微器
图1示出了一种已知的简单的时域递归滤波器(TRF, temporal recursive filter)。输入视频信号1被施加给混合器2的第一输入端，来产生经滤波的输出 视频信号3 。经滤波的输出信号通过帧延迟缓冲器5被反馈以产生延迟的输出视 频信号6，其被传递给混合器2的第二输入端。该混合器被控制输入4控制，控 制输入4具有值k，其中。帧延迟5确保输出的联合定位的像素(co-located pel)与输入像素以权重k相混合。如果ut(x， y)是帧t在位置(x， y)处的输入像 素，并且vt(x， y)是输出，那么
vt(x， y)=kut(x， y)+(l-k)v"(x， y)等式1
对于由静止画面组成的视频序列，也就是说，在每一帧上都相同，带有在 每一帧上都不同的噪声，这样的滤波器会根据中心极限定理削减噪声。用实验 已经显示这样的滤波器在缓慢移动的序列中也提供有用的噪声降低。
然而，当图像包含快速运动，移动对象导致图像中的"重f^(ghosting)"。延 迟的帧不再与到来的帧匹配，因此，移动对象的部分看起来像是在运动中对象 的后面衰落的拖尾。在远离移动对象的区域中，有用的噪声削减仍能被观察到。
运动自适应时鹕归繊器
这个问题导致了采用己知的运动自适应时域递归滤波器(MATRF (motion-adaptive temporal recursive filter)),如图2中所示。
这个搶波器以与图l的TRF相同的方式工作，相同的附图标记表示相同的
3组件。不同的是，控制信号4现在自适应地被运动自适应块7控制，其j顿延迟的输出图像6和输入图像1之间的差来区分具剤艮差匹配的区域(其中假设差是由于运动)和具有好匹配的区域(其中假设差是由于噪声)。具有好匹配的区域以低k值被滤波。
大体上，这个滤波器试图通过比较源和延迟的输出，在序列内识别移动活动区域，然后在这些区内增加k。这增加了被传递至懒出端的源信号的比例，减小了反馈，从而减少重影赝像，但是也减少了噪声削减的程度。
对于运动自适应块7有很多种合适的功能。有良好性能的运算法育,适合本地、时间和空间、统计学，使得即使相同图像的其他部分包含强运动，在具有低运动的区域中强噪声削减仍然是可能的。然而，MATRF的根本局限在于，在运动区域中，噪声不能安全地被移除。
这个滤波器有时被称作运动补偿时域递归滤波器。为更深层考察MATRF，参见专利申请GB0610967.2， GB0610968.0, GB0610972.2和GB0611222.1。
运动德,递归微器
图3示出了运动补偿时域递归滤波器(MCTRF)的一般结构。像MATRF一样，MCTRF包括运动自适应功能7，其根据预测的图像11和源1之间匹配的接近度来控制混合器。
然而，鉴于图2的MATRF简单地^ffl之前的输出图像6作为当前帧的预观U， MCTRF试图通过首先估计紧接前一输出帧和当fm入帧之间的运动矢量，IOT运动估计块8输出矢量10，然后使用图像重建i央9从前一帧和这些矢量重建当前帧的估计来产生更好的估计。
过去，运动估计块8〗OT基于块的运动估计。当以不同方式移动的对象包含在同一个块中，这在重建的图像中导致赝像，在这些区域中导致差的预测和差的噪声削减。运动估计和重建的组合处理在这里被称为运动补偿。
场间处理一般不用在MATRF中，因为这样的处理在静态图像上产生垂直颤动(vertical judder)的不愉决的效应。因此影像延迟5通常是帧延迟。
发明内容
本发明的目的至少是改善现有技术中的前述缺陷。
根据本发明提供用于时间递归滤波器(time recursive filter)的运动补偿装置包括块运动估计装置，其具有输入视频信号和时域递归滤波器的延迟的输出
4信号作为输入，并且被设置用于输出块运动矢量给至少一个块分裂级，所述至
少一个i央分裂级设置用于将块细分为分区(partition),并且与输入视频信号和时间递归滤波器的延迟的输出信号一起确定每个分区的矢量，用于输入到图像重建装置来产生已运动补偿的图像。
有利地，运动补偿装置进一步包括过釆样装置，其被设置用于产生过采样的参考面，以用在至少一个细化引擎装置中，该至少一个细化引擎装置被设置用于提供具有比在细化装置下游的任何分裂级中和在图像重建装置中的输入视频的分辨率更高的精度的矢量。
根据本发明的第二方面，提供一种为时间递归滤波器提供运动补偿的方法，包括步骤从输入视频信号和时间递归滤波器的延迟的输出信号中估计块运动矢量；将估计的矢量输出给至少一个i央分裂级，其与输入视频信号和时间递归滤波器的延迟的输出信号一起，被设置来产生子i央运动矢量；和将子块运动矢量输入至鹏像重建装置来产生已运动补偿的图像。
有利地，该方法进一步包括产生过采样的参考面，用在细化引 置、细
化弓l擎装置下游的任意i央分裂级和图像重建装置中。
根据本发明的第三方面，提供一种计算机程序产品，其包括编码装置，用于当程序在一个或多个计算机上运行时，执行以上描述的方法的所有步骤。
根据本发明的第四方面，提供通过计i^几存储介质具体化的，的计算机禾MI^产品。
本发明现在将参考附图以示例的方式加以描述
图1是己知的时域递归滤 波器；
图2是己知的运动自适应时域递归滤波器；
图3是适用于本发明的运动补偿时域递归滤波器；
图4是用在图3的运动补偿时域递归滤波器中的依照本发明的运动补偿块;图5是用在图3的运动补偿时域递归滤波器中的依照本发明的运动补偿块的又一实施例；
在这些图中，相同的附图标记表示相同的部分。
具体实施例方式
图4显示了依据本发明的运动补偿块，其中相应的信号和块与在之前的图中有相同的附图标记。输入视频信号1和延迟的输出信号6被传递给±央运动估计装置12，用以输出±央运动矢量13。这些块运动矢量与输入视频信号1和g的输出信号6 —起被输入到第一i央分裂装置14，产生子块运动矢量15。进一步地，±央分裂，16、 18分别产生更小的子子块和子子子块的运动矢量17、 19。最低级别的矢量19被馈入到图像重建装置9来产生已运动补偿的图像11 。
用于将块运动矢量的场分裂成子块运动矢量场的方法在申请人的在参考号为P115606GB下所提交的悬而未决的申请中得以公开。
地，最低级别的矢量对于图像中的WM象素有单独的矢量。在像素级别产生有用矢量的分裂算法则的能力克服了现有技术中的缺点，即，如果块仅仅用一个运动矢量表示，位于两个具有不同运动的对象之间的边界上的块不被很好地预测。然而，该预测的外观以及进而输出图像包含其他不期望的赝像
a) 对象上的混叠边缘
b) 运动中的急动(Jerkiness)和颤动，尤其是如果预测是场间的时垂直颤动。
这两个缺点可以由众所周知的图像细化处理来克服。这允许运动被补偿到像素的典型的1/2或1/4的精度内。
图5示出了本发明的又一实施例。在分裂引擎14、 16、 18的链中的某一级，细化装置(refinement engine) 20被引入，连同过采样器22。过采样器产生过采样的参考面23，其被用在细化装置20，用在任意后来的分裂级18和图像重建装置9中。
执行将运动细化到半像素或更好的分辨率的一个有益效果是允许对图像的交替场之间的垂直位移进行补偿。这具有有益效果，原因在于能精确地进行场间运动估计。在没有半像素细化级的情况下，在重建图像和输入图像之间总是有半线失配(half-line mismatch),其在输出图像中自身表现为降低的噪声抑制和/或垂直晃动。
场间预观舰得帧间的时间差和进而运动估计器的需求范围尽可能得低。图像延迟5也被减小。
应理解，分裂级的数量和分裂级中任意细化引擎的位置是滤波器的设计参数。选择在明陧方爐细化弓摩被以下两个因素所影响1 、试图对太小的块进行细化可能会导致细化的矢量跟随随机噪声而不是图像的根本结构。
2、对太大的块进行细化削减了滤波器跟踪运动(例如伸展和旋转)的能力。
典型的系统可以使用16x16像素的初始i央尺寸、两个分裂级以产生对应于4x4块的矢量，细化4x4i央矢量，和另外两个分裂级以产生像素矢量。
像在例如申请人的在参考号为P115606GB下提交的悬而未决的申请中那样的分裂方法被应用于运动补偿时域递归滤波器中的运动估计器用于减少噪声，从而对每个像素产生對虫的矢量。色度和亮度都可以被考虑到。关 处
生成的视频序列与传统的基于块的MCTRF相比有更好的噪声减少和引入了更少的赝像。这对于在将压缩算法应用于视频信号之前的预处理级是重要的技术。
权利要求
1、用于时间递归滤波器的运动补偿装置，包括块运动估计装置，其具有输入视频信号和时间递归滤波器的延迟的输出信号作为输入，并被设置用于输出块运动矢量给至少一个块分裂级，所述至少一个块分裂级被设置用于将块细分为分区，并且与输入视频信号和时间递归滤波器的延迟的输出信号一起来确定每个分区的矢量，以便输入到图像重建装置来产生经运动补偿的图像。
2、 根据权利要求1所述的运动补偿装置，进一步包括过采样装置，其被设置用于产生过采样的参考面，用在至少一个细化引擎装置中，所述至少一个 细化弓l擎装置被设置用于在细化引擎装置下游的任何分裂级中和在图像重建装 置中提供具有比输入视频的分辨率更高的精度的矢量。
3、 一种为时间递归滤波器提供运动补偿的方法，包括步骤a、 从输入视频信号和时间递归滤波器的延迟的输出信号中估计i央运动矢b、 衞古计的矢量输出给至少一个i央分裂级，其与输入视频^言号和时间递归 滤波器的延迟的输出信号一起，被设置来产生子土央运动矢量；禾口c、 将子i央运动矢量输入到图像重建装置来产生已运动补偿的图像。
4、 根据权利要求3所述的方法，进一步包括产生过采样的参考面，用在 细化引 置、细化引 置下游的任意±央分裂级和图像重建装置中。
5、 一种计算机程序产品，包括代码装置，用于当在一个或多个计算机上 运4ff呈序时，实施权利要求3或4所述方法的所有步骤。
6、 根据权利要求5所述的计^m禾聘产品，通过计^m存储介质实现。
全文摘要
本发明涉及用于时间递归滤波器的运动补偿装置，其包括块运动估计模块(12)，该块运动估计模块具有输入视频信号(1)和时间递归滤波器的输入延迟的输出信号(6)。块运动估计模块输出块运动矢量(13)给至少一个块分裂级(14，16，18)，其与输入视频信号(1)和时间递归滤波器的延迟的输出信号(6)一起，被设置用于至少产生子块运动矢量(15，17，19)，用于输入到图像重建装置(9)来产生已运动补偿的图像(11)。
文档编号H04N5/14GK101637016SQ200780041549
公开日2010年1月27日 申请日期2007年11月9日 优先权日2006年11月10日
发明者A·R·休格特, A·R·琼斯 申请人:爱立信股份有限公司