专利名称：时间分解和逆时间分解方法及视频编码器和解码器的制作方法
技术领域：
本发明涉及视频编码，更具体地讲，涉及一种使用平滑预测帧改善图像质量和视频编码的效率的方法。
背景技术：
随着包括互联网的信息通信技术的发展，视频通信以及文本和语音通信爆发性地增长。传统的文本通信不能满足用户的各种需要，因此，能够提供诸如文本、图像、和音乐的各种信息的多媒体服务已经增长。由于与其它类型的数据相比多媒体数据的量通常很大，所以多媒体数据需要大容量存储介质和用于传输的宽带宽。因此，对于传输包括文本、视频、和音频的多媒体数据需要压缩编码方法。例如，具有640*480分辨率的24比特真彩色图像每帧需要640*480*24比特，即7.37M比特的容量。当诸如这样的图像被以30帧每秒的速度发送时，需要221M比特/秒的带宽。当存储基于这种图像的90分钟电影时，需要大约1200G比特的存储空间。因此，对于传输包括文本、视频、和音频的多媒体数据，压缩编码方法是必要的。
在这种压缩编码方法中，数据压缩的基本原理在于消除数据冗余。数据冗余被典型地定义为(i)其中在图像中重复相同颜色或对象的空间冗余；(ii)其中在运动图像中相邻帧之间几乎没有改变或在音频中重复相同的声音的时间冗余；或(iii)考虑到人类视力和感觉对高频不敏感的心理视觉(mentalvisual)冗余。通过消除这种数据冗余可压缩数据。数据压缩可根据源数据是否损失而被大致分为有损/无损压缩，根据各个帧是否被独立压缩而被分为帧内/帧间压缩，并且根据压缩所需的时间是否与恢复所需的时间相同而被分为对称/非对称压缩。另外，当压缩/恢复时间延迟不超过50ms时数据压缩被定义为实时压缩，并且当帧具有不同的分辨率时被定义为可伸缩压缩。例如，对于文本或媒体数据，通常使用无损压缩。对于多媒体数据，通常使用有损压缩。
同时，当前使用的传输媒体具有各种传输速率。例如，超高速通信网络可每秒传输几十兆比特数据，而移动通信网络具有每秒384千比特的传输速率。在诸如运动图像专家组(MPEG)-1、MPEG-2、H.263和H.264的已有技术视频编码方法中，基于运动估计和补偿由运动补偿消除时间冗余，并且通过变换编码消除空间冗余。这些方法具有令人满意的压缩率，但是由于它们在主算法中使用自反方法，所以它们不具有真正地可伸缩比特流的灵活性。近来，能够提供真正地可伸缩比特流的基于小波的可伸缩视频编码技术已被积极研究。可伸缩视频编码技术指的是具有可伸缩性的视频编码方法。可伸缩性表示部分解码单一压缩的比特流的能力，即执行多种类型视频再现的能力。可伸缩性包括指示视频分辨率的空间可伸缩性、指示视频质量等级的信噪比(SNR)可伸缩性、指示帧速率的时间可伸缩性、及其组合。
在用于基于小波的可伸缩视频编码的多种技术中，由Ohm介绍并由Choi和Wood改进的运动补偿的时间滤波(MCTF)是用于消除时间冗余和用于具有灵活的时间可伸缩性的视频编码的重要技术。在MCTF中，对图像组(GOP)执行编码，并且一对当前帧和参考帧在运动方向上被时间滤波。
图1显示传统的可伸缩视频编码器的配置。图2示出使用5/3运动补偿时间滤波(MCTF)的时间滤波处理。
参照图1，可伸缩视频编码器包括运动估计器110，用于估计输入的视频帧之间的运动以确定运动向量；运动补偿时间滤波器140，用于使用运动向量补偿帧间的运动并且消除受到运动补偿的帧间中的时间冗余；空间变换器150，用于消除帧内和其中时间冗余已被消除的帧间中的空间冗余，并且产生变换系数；量化器160，量化变换系数以便减少数据量；运动向量编码器120，用于编码运动向量以便减少运动向量需要的比特数；以及比特流产生器130，用于使用量化的变换系数和编码的运动向量产生比特流。
运动估计器110计算将被用于补偿当前帧的运动并且消除当前帧中的时间冗余的运动向量。运动向量被定义为参考帧中的最匹配块相对于当前帧中的块的位移。在作为各种已知运动估计算法之一的分级可变大小块匹配(HVSBM)算法中，具有N*N分辨率的帧首先被缩减采样(downsample)以形成具有诸如N/2*N/2和N/4*N/4分辨率的较低分辨率的帧。其后，以N/4*N/4分辨率获得运动向量，并且使用N/4*N/4分辨率的运动向量获得具有N/2*N/2分辨率的运动向量。类似地，使用N2*N/2分辨率的运动向量获得具有N*N分辨率的运动向量。在获得每一分辨率的运动向量之后，通过选择处理确定最终的块大小和最终的运动向量。
运动补偿的时间滤波器140使用由运动估计器110获得的运动向量来消除当前帧中的时间冗余。为了完成此操作，运动估计的时间滤波器140使用参考帧和运动向量以产生预测帧，并且将当前帧与预测帧进行比较从而产生残余帧。下面将参照图2更详细地描述时间滤波处理。
空间变换器150空间变换残余帧以获得变换系数。视频编码器使用小波变换消除残余帧中的空间冗余。小波变换被用于产生空间可伸缩比特流。
量化器160使用嵌入的量化算法以量化通过空间变换器150获得的变换系数。运动向量编码器120编码由运动估计器110计算的运动向量。
比特流产生器130产生包含量化的变换系数和编码的运动向量的比特流。
现在将参照图2来描述MCTF算法。为了便于解释，图像组(GOP)大小被假定为16。
首先，在时间级0，可伸缩视频编码器接收16帧并且对16帧向前执行MCTF，因此获得8低通帧和8高通帧。其后，在时间级1，对8低通帧向前执行MCTF，从而获得4低通帧和4高通帧。在时间级2，对在时间级1获得的4低通帧向前执行MCTF，从而获得2低通帧和2高通帧。最后，在时间级3，对在时间级2获得的2低通帧向前执行MCTF，从而获得1低通帧和1高通帧。
对两帧执行MCTF并且因此获得单一低通帧和单一高通帧的处理将被描述。视频编码器预测两帧之间的运动，通过补偿运动产生预测帧，将预测帧与一帧进行比较以由此产生高通帧，并且计算预测帧和其它帧的平均值以由此产生低通帧。作为MCTF的结果，获得包括15高通子带和在最后级的1低通子带的总共16子带H1、H3、H5、H7、H9、H11、H13、H15、LH2、LH6、LH10、LH14、LLH4、LLH12、LLLH8、和LLLL16。
由于在最后级获得的低通帧近似于原始帧，所以可产生具有时间可伸缩性的比特流。例如，当比特流被这样截取以仅将帧LLLL16发送到解码器时，解码器将帧LLLL16解码以重构具有原始视频序列的帧速率的十六分之一的帧速率的视频序列。当比特流被这样截取以将LLLL16和LLLH8发送到解码器时，解码器将帧LLLL16和LLLH8解码以重构具有原始视频序列的帧速率的八分之一的帧速率的视频序列。以类似方式，解码器从单一比特流重构具有四分之一帧速率、二分之一帧速率、和完全帧速率的视频序列。
由于可伸缩视频编码允许从单一比特流中产生各种分辨率、各种帧速率或各种质量的视频序列，所以此技术可被用在广泛的应用中。然而，当前已知的可伸缩视频编码方案与诸如H.264的其它现有编码方案相比提供相当低的压缩效率。低压缩效率是严重阻碍可伸缩视频编码的广泛使用的重要因素。类似于其它压缩方案，用于可伸缩视频编码的基于块的运动模型不能有效地表现非平移运动，这将在通过时间滤波产生的低通和高通子带中导致块效应(block artifact)，并且降低随后的空间变换的编码效率。在重构的视频序列中引入的块效应也妨碍视频质量。
传统上，已经做出了各种尝试以在降低块效应的影响的同时改善视频编码的效率。一种方法是将称作“解块”的技术应用于视频编码和解码算法。例如，闭环H.264编码器对通过解码先前编码的帧而获得的重构的帧执行解块，并且使用解块的帧作为参考来编码其它帧。H.264解码器对接收的用于重构的帧执行解码，对重构的帧执行解块，并且使用解块的帧作为参考来解码其它帧。
然而，解块不能被应用于使用原始帧作为参考帧而不是使用通过对先前编码的帧执行解码而获得的重构的帧的开环可伸缩视频编码。因此，高度期望将与改善编码效率和视频质量二者的解块相似的技术结合到开环视频编码中。
发明内容
本发明提供用于视频编码和解码的使用平滑预测帧的时间分解和逆时间分解以及一种编码器和解码器。
随着以下描述，对于本领域技术人员，本发明的上述方面以及其它方面、特点和优点将变得清楚。
根据本发明的一方面，提供一种用于视频编码的时间分解方法，包括使用至少一帧作为参考来估计当前帧的运动，并且产生预测帧；使预测帧平滑并且产生平滑预测帧；以及通过将平滑预测帧与当前帧进行比较来产生残余帧。
根据本发明的另一方面，提供一种视频编码器，包括时间分解单元，用于消除当前帧中的时间冗余以产生其中时间冗余已被消除的帧；空间变换器，用于消除其中时间冗余已被消除的帧中的空间冗余以产生其中空间冗余已被消除的帧；量化器，用于量化其中空间冗余已被消除的帧，并且产生纹理信息；以及比特流产生器，用于产生包含纹理信息的比特流，其中，时间分解单元包括运动估计器，用于使用至少一帧作为参考来估计当前帧的运动；平滑预测帧产生器，用于使用运动估计的结果来产生预测帧，并且使预测帧平滑以产生平滑预测帧；以及残余帧产生器，通过将平滑预测帧与当前帧进行比较来产生残余帧。
根据本发明的另一方面，提供一种用于视频解码的逆时间分解方法，包括使用至少一个从比特流获得的帧来产生预测帧；使预测帧平滑，并且产生平滑预测帧；以及使用从比特流获得的残余帧和平滑预测帧来重构帧。
根据本发明的另一方面，提供一种视频解码器，包括比特流解释器，解释比特流并且获得纹理信息和编码的运动向量；运动向量解码器，用于对编码的运动向量解码；逆量化器，用于对纹理信息执行逆量化来创建其中空间冗余被消除的帧；逆空间变换器，用于对其中空间冗余已被消除的帧执行逆空间变换，并且创建其中时间冗余被消除的帧；以及逆时间分解单元，用于从自运动向量解码器获得的运动向量和其中时间冗余已被消除的帧重构视频帧，其中，逆时间分解单元包括平滑预测帧产生器，用于使用用于其中时间冗余已被消除的帧的运动向量来产生预测帧，并且使预测帧平滑以产生平滑预测帧；以及帧重构器，用于使用其中时间冗余已被消除的帧和平滑预测帧来重构帧。
根据本发明的另一方面，提供一种视频编码方法，包括缩减采样视频帧以产生低分辨率视频帧；对低分辨率视频帧编码；以及使用关于编码的低分辨率视频帧的信息作为参考来编码视频帧，其中，视频帧的编码中的时间分解包括使用至少一帧作为参考来估计视频帧的运动并且产生预测帧；使预测帧平滑，并且产生平滑预测帧；以及通过将平滑预测帧与视频帧进行比较来产生残余帧。
根据本发明的另一方面，提供一种视频解码方法，包括从自比特流获得的纹理信息重构低分辨率视频帧；以及使用重构的低分辨率视频帧作为参考来从纹理信息重构视频帧，并且其中，对视频帧的重构包括逆量化纹理信息以获得空间变换的帧；对空间变换的帧执行逆空间变换并且获得其中时间冗余已被消除的帧；产生用于其中时间冗余已被消除的帧的预测帧；使预测帧平滑以产生平滑预测帧；以及使用其中时间冗余已被消除的帧和平滑预测帧来重构视频帧。
通过参照附图对本发明的优选实施例进行详细的描述，本发明的上述和其他特点和优点将会变得更加清楚，其中图1是传统的可伸缩视频编码器的方框图；图2示出传统的时间滤波处理；图3是根据本发明第一实施例的视频编码器的方框图；图4示出根据本发明第一实施例的时间分解处理；图5示出根据本发明第二实施例的时间分解处理；图6示出根据本发明第三实施例的时间分解处理；图7是根据本发明第一实施例的视频解码器的方框图；图8示出根据本发明第一实施例的逆时间分解处理；图9示出根据本发明第二实施例的逆时间分解处理；图10示出根据本发明第三实施例的逆时间分解处理；图11是根据本发明第二实施例的视频编码器的方框图；以及图12是根据本发明第二实施例的视频解码器的方框图。
具体实施例方式
参照下面对优选实施例的详细描述和附图可更容易地理解本发明的优点和特点以及实现本发明的方法。然而，本发明可以以不同的形式实现，而不应别理解为限于在此阐述的实施例。相反，这些实施例被提供从而此公开将是全面的和完整的，并且将本发明的构思完全传递给本领域技术人员，本发明将仅由所附权利要求限定。
图3是根据本发明第一实施例的视频编码器的方框图。
尽管传统的基于运动补偿的时间滤波(MCTF)视频编码方案需要更新步骤，但是不包括更新步骤的很多视频编码方案近来已被开发。尽管图3示出了执行更新步骤的视频编码器，但是视频编码器也可跳过更新步骤。
参照图3，根据本发明第一实施例的视频编码器包括时间分解单元310、空间变换器320、量化器330、和比特流产生器340。
时间分解单元310以图像组(GOP)为基础对输入视频帧执行MCTF以消除视频帧中的时间冗余。为了实现此功能，时间分解单元310包括运动估计器312，用于估计运动；平滑预测帧产生器314，用于使用通过运动估计获得的运动向量来产生平滑预测帧；残余帧产生器316，用于使用平滑预测帧产生残余帧(高通子带)；以及更新单元318，用于使用残余帧产生低通子带。
更具体地讲，运动估计器312通过计算受到时间分解的当前帧(以下称作“当前帧”)中的每一块和与该块对应的一个或多个参考帧中的一块之间的位移来确定运动向量。在说明书中，当前帧包括输入视频帧和用于产生较高级中的残余帧的低通子带。
平滑预测帧产生器314使用运动估计器312估计的运动向量和参考帧中的块来产生预测帧。本实施例的视频编码器不是直接使用预测帧，而是使预测帧平滑，并且在产生残余帧的过程中使用平滑预测帧。
残余帧产生器316将当前帧与平滑预测帧进行比较来产生残余帧(高通子带)。更新单元318使用残余帧来更新低通子带。将在下面参照图4-6来描述产生高通子带和低通子带的处理。其中时间冗余已被消除的帧(低通和高通子带)被发送到空间变换器320。
空间变换器320消除其中时间冗余已被消除的帧中的空间冗余。使用离散余弦变换(DCT)或小波变换来执行空间变换。其中空间冗余已被消除的帧被发送到量化器330。
量化器330将量化应用于其中空间冗余已被消除的帧。使用诸如嵌入式零树小波(EZW)、多级树集合分裂(SPIHT)、和嵌入式零块编码(EZBC)的已知算法来执行用于可伸缩视频编码的量化。量化器330将帧转换为其后被发送到比特流产生器340的纹理信息。在量化之后，纹理信息具有信噪比(SNR)可伸缩性。
比特流产生器340产生包含纹理信息、运动向量、和其它必要信息的比特流。运动向量编码器350使用算数编码或可变长度编码来无损地编码将被包含在比特流中的运动向量。
现在将描述时间分解处理。为了便于解释，图像组(GOP)大小被假定为8。
图4示出使用5/3MCTF的根据本发明第一实施例的时间分解处理。参照图4，使用5/3MCTF的时间分解被用于使用相同级中的紧接着之前的和将来的帧来消除当前帧中的时间冗余。
一个GOP中的帧1至8被时间分解为1个低通子带和7个高通子带。图4中的阴影帧是由时间分解的结果而被获得的帧，并且在受到空间变换和量化之后将被转换为纹理信息。P和S分别表示预测帧和平滑预测帧。H和L分别表示残余帧(高通子带)和使用H帧更新的低通子带。
时间分解处理包括1)产生预测帧以使用接收的构成GOP的8个帧；2)使预测帧平滑；3)使用平滑预测帧产生残余帧；以及4)使用残余帧产生低通子带。
更具体地讲，视频编码器使用帧1和帧3作为参考来产生预测帧2P。即，需要运动估计来产生预测帧2P，在此期间在帧1和帧3中找到与帧2中的每一块相应的匹配块。其后，通过比较用于编码当前受到分别使用帧1中的块(后向预测模式)、帧3中的块(前向预测模式)、和帧1和帧3二者中的块(双向预测模式)的运动预测的块的代价来确定模式。同时，使用来自帧2中的另一块的信息或其自身的信息来编码帧2中的当前块，这被称作帧内预测模式。在用于帧2中的全部块的运动估计被完成之后，与帧2中的块相应的匹配块被集合以产生预测帧2P。同样地，视频编码器分别使用帧3和帧5、帧5和帧7、以及帧7作为参考来产生预测帧4P、6P、和8P。
视频编码器其后分别使预测帧2P、4P、6P、和8P平滑以产生平滑预测帧2S、4S、6S、和8S。下面将详细描述平滑处理。
视频编码器分别将平滑预测帧2S、4S、6S、和8S与帧2、4、6、和8进行比较，从而获得残余帧2H、4H、6H、和8H。
其后，视频编码器使用残余帧2H以更新帧1，从而产生低通子带1L。视频编码器使用残余帧2H和4H以更新帧3，从而产生低通子带3L。类似地，视频编码器分别使用残余帧4H和6H和残余帧6H和8H以产生低通子带5L和7L。
在产生预测帧、使预测帧平滑、产生残余帧、并且更新帧之后，在级0中的帧被分解为在级1中的低通子带1L、3L、5L、和7L以及残余帧2H、4H、6H、和8H。以类似方式，在产生预测帧、使预测帧平滑、产生残余帧、并且更新帧之后，级1中的低通子带1L、3L、5L、和7L被分解为级2中的低通子带1L和5L和残余帧3H和7H。而且，在受到与级1中的帧相同的处理之后，级2中的低通子带1L和5L被分解为级3中的低通子带1L和残余帧5H。
在空间变换和量化之后，低通子带1L和高通子带2H、3H、4H、5H、6H、7H和8H其后被组合为比特流。
图5示出根据本发明第二实施例的不包括更新步骤的时间分解处理。
与在图4中示出的第一实施例相同，参照图5，通过预测帧产生处理、平滑处理、和残余帧产生处理，视频编码器使用级0中的帧1至8来获得级1中的残余帧2H、4H、6H、和8H。然而，与第一实施例的不同在于级0中的帧1、3、5、和7在没有被更新的情况下分别被用作级1中的帧1、3、5、7。
通过预测帧产生处理、平滑处理、和残余帧产生处理，视频编码器使用级1中的帧1、3、5、7获得级2中的帧1和5以及残余帧3H和7H。类似地，视频编码器使用级2中的帧1和5获得级3中的帧1以及残余帧5H。
图6示出根据本发明第三实施例的使用Haar滤波器的时间分解处理。
如在图4中所示的第一实施例中那样，视频解码器使用全部处理，即，预测帧产生处理、平滑处理、残余帧产生处理、和更新处理。然而，与第一实施例的不同是仅使用一帧作为参考来产生预测帧。因此，视频编码器可使用前向或后向预测模式。即，编码器不能为每一块选择不同的预测模式(例如，为一块选择前向预测并且为另一块选择后向预测)，也不能选择双向预测模式。
在本实施例中，视频编码器使用帧1作为参考以产生预测帧2P，使预测帧2P平滑以获得平滑预测帧2S，并且将平滑预测帧2S与帧2进行比较以产生残余帧2H。以相同的方式，视频编码器获得其它残余帧4H、6H、和8H。而且，视频编码器分别使用残余帧2H和4H以更新级0中的帧1和帧3，从而产生级1中的低通子带1L和3L。类似地，视频编码器获得级1中的低通子带5L和7L。
通过预测帧产生处理、平滑处理、残余帧处理、和更新处理，视频编码器使用低通子带1L、3L、5L、和7L获得级2中的低通子带1L和5L以及残余帧3H和5H。最后，视频编码器使用2中的低通子带1L和5L获得级3中的低通子带1L和残余帧5H。
现在将描述图4-6中示出的实施例中包括的平滑处理。
对预测帧执行平滑处理。尽管在原始视频帧中不存在块效应，但是在预测帧中引入了块效应。因此，块效应将出现在从预测帧获得的残余帧中和使用残余帧获得的低通子带中。为了降低块效应，对预测帧进行平滑。视频编码器通过对在预测帧中的块之间的边界进行解块来执行平滑处理。对帧中的块之间的边界进行解块还被用在H.264视频编码标准中。由于解块技术在视频编码应用中是公知的，所以将不给出其描述。
可根据分块的等级确定解块强度。可根据几个原理确定解块强度。
例如，可使得用于通过在具有大时间距离的帧之间的运动估计而获得的预测帧中的块之间的边界的解块强度高于用于通过在具有小时间距离的帧之间的运动估计而获得的预测帧中的块之间的边界的解块强度。例如，参照图4，级0中的当前帧和参考帧之间的时间距离为1，而级1中的当前帧和参考帧之间的时间距离为2。在图4-6示出的实施例中，用于在较高级获得的预测帧的解块强度比用于在较低级获得的预测帧的解块强度高。有各种方法确定根据级的解块强度。一个例子是线性确定如式(1)定义的解块强度D＝D1+D2*T…(1)其中，D为解块强度，并且D1为可根据视频编码环境改变的默认解块强度。例如，由于大量块效应可在低比特率下出现，所以对于低比特率环境，默认解块强度D很大。D2是用于每一级的解块强度的偏移值，并且T是级。例如，在级0和级2下的解块强度D分别是D1和D1+D2*2。
也可根据为预测帧中的每一块选择的模式确定解块强度。使得用于使用不同的预测模式预测的块之间的解块强度高于用于使用相同的预测模式预测的块之间的解块强度。
使得用于具有大的运动向量差的块之间的边界的解块强度高于用于具有小的运动向量差的块之间的边界的解块强度。
当根据以上原理以可变强度对预测帧解块时，关于解块强度的信息被包含在比特流中。解码器通过以与编码器相同的解块强度对预测帧解块，来使预测帧平滑，并且使用平滑预测帧重构视频帧。
为了比较使用平滑预测帧的视频编码的性能，本发明的发明人进行了将H.264解块滤波器模块应用于传统可伸缩视频编码器的实验。H.264解块滤波器模块中的解块强度取决于量化参数(QP)。当用于默认解块强度的QP被设置为30并且用于SOCCER的QP被设置为35时，实验的结果如下
测试1序列
测试2序列
从试验的结果明显可见，根据本发明实施例的视频编码提供超过传统的可伸缩视频编码的改善的视频质量。
图7是根据本发明第一实施例的视频解码器的方框图。基本上，视频解码器执行编码器的逆操作。因此，尽管视频编码器消除视频帧中的时间和空间冗余以产生比特流，但是视频解码器从比特流恢复空间和时间冗余以重构视频帧。
视频解码器包括比特流解释器710，用于解释输入的比特流以获得纹理信息和编码的运动向量；逆量化器720，用于逆量化纹理信息并创建其中空间冗余被消除的帧；逆空间变换器730，用于对其中空间冗余已被消除的帧执行逆空间变换并创建其中时间冗余已被消除的帧；逆时间分解单元740，用于对其中时间冗余已被消除的帧执行逆时间分解，并重构视频帧；以及运动向量解码器750，用于将编码的运动向量解码。在视频解码包括用于使预测帧平滑的平滑处理时，视频解码器还包括用于对重构的视频帧解块的后滤波器760。
为了从其中时间冗余已被消除的帧(低通和高通子带)重构视频帧，逆时间分解单元740包括更新单元742、平滑预测帧产生器744、和帧重构器746。
更新单元742使用高通子带以更新低通子带，从而产生较低级中的低通子带。平滑预测帧产生器744使用通过更新而获得的低通子带以产生预测帧，并且使预测帧平滑。帧重构器746使用平滑预测帧和高通子带以产生较低级中的低通子带或重构视频帧。
后滤波器760通过对重构的帧解块来降低块效应的影响。关于后滤波器760执行的后滤波的信息由编码器提供。即，确定是否对重构的视频帧执行后滤波的信息被包含在比特流中。
现在将参照图8-10来描述逆时间分解处理。为了便于解释，GOP大小被假定为8。
图8示出根据本发明第一实施例的使用5/3MCTF的逆时间分解处理。使用5/3MCTF的逆时间分解处理被执行以使用紧接着残余帧之前和之后的重构的帧，即紧接的前一重构的帧(低通子带或重构的视频帧)和紧接的下一重构的帧，来重构帧(低通子带或视频帧)。
对包括一个低通子带和七个高通子带的每一GOP执行逆时间分解。即，视频解码器接收一个低通子带和七个高通子带以重构8个视频帧。在图8中，阴影帧是由逆空间变换的结果而被获得，P和S分别表示预测帧和平滑预测帧，并且H和L分别表示残余帧(高通子带)和低通子带。
逆时间分解处理包括1)以与编码被执行的顺序相反的顺序更新接收的八个子带、2)更新预测帧、3)是预测帧平滑、和4)使用预测帧产生低通子带或重构视频帧。
视频解码器使用残余帧5H来以与编码被执行的顺序相反的顺序更新级3中的低通子带1L，从而更新级2中的低通子带1L。视频解码器其后使用级2中的低通子带1L和运动向量来产生预测帧5P，并使预测帧5P平滑以产生平滑预测帧5S。其后，视频解码器使用平滑预测帧5S和残余帧5H以重构级2中的低通子带5L。
类似地，通过更新处理、预测帧产生处理、平滑处理、和帧重构处理，视频解码器使用级2中的低通子带1L和5L和残余帧3H和7H来重构级1中的低通子带1L、3L、5L、和7L。最后，视频解码器使用级1中的低通子带1L、3L、5L、和7L和残余帧2H、4H、6H、和8H以重构视频帧1至8。同时，当根据包含在比特流中的信息还需要时，对视频帧1至8执行后滤波。
图9示出根据本发明第二实施例的逆时间分解处理。
不同于图8中示出的第一实施例，根据本发明实施例的逆时间分解处理不包括更新步骤。
参照图9，级3中的视频帧1与级2、1、和0中的重构的视频帧1相同。类似地，级2中的视频帧5与级1和0中的重构的视频帧5相同，并且级1中的视频帧3与7与级0中的重构的视频帧3和7相同。
通过预测帧产生处理、平滑处理、和帧重构处理，视频解码器使用级3中的视频帧1和残余帧5H来重构级2中的构视频帧5。类似地，视频解码器使用级2中的视频帧1和5以及残余帧3H和7H来重构级1中的视频帧3和7。最后，视频解码器使用级1中的视频帧1、3、5、和7以及残余帧2H、4H、6H和8H来重构级0中的视频帧1至8。
图10示出根据本发明第三实施例的使用Haar滤波器的逆时间分解处理。
如在图8中示出的第一实施例中那样，视频解码器使用全部处理，即更新处理、预测帧产生处理、平滑处理、和帧重构处理。然而，与第一实施例的不同之处在于仅使用一帧作为参考来产生预测帧。因此，视频解码器可使用前向或后向预测模式。
参照图10，通过更新处理、预测帧产生处理、平滑处理、和帧重构处理，视频解码器使用级3中的低通子带1L和残余帧5H来重构级2中的低通子带1L和5L。其后，视频解码器使用级2中的低通子带1L和5L以及残余帧3H和7H来重构级1中的低通子带1L、3L、5L、和7L。最后，视频解码器使用级1中的低通子带1L、3L、5L、和7L以及残余帧2H、4H、6H、和8H来重构级0中的视频帧1至8。
根据与编码处理相同的原理执行在图8-10中的实施例中执行的平滑处理。因此，当参考帧和预测帧之间的时间距离增加时，解块强度增加。而且，用于使用不同的运动估计模式预测的或具有大的运动向量差的块的解块强度很高。关于解块强度的信息可从比特流中获得。
图11是根据本发明第二实施例的视频编码器的方框图。
视频编码器是具有具有不同分辨率的层的多层编码器。
参照图11，视频编码器包括缩减采样器1105、第一时间分解单元1110、第一空间变换器1130、第一量化器1140、帧重构器1160、扩增采样器(upsampler)1165、第二时间分解单元1120、第二空间变换器1135、第二量化器1145、和比特流产生器1170。
缩减采样器1105缩减采样视频帧以产生其后被提供给第一时间分解单元1110的低分辨率视频帧。
第一时间分解单元1110以GOP为基础对低分辨率视频帧执行MCTF以消除低分辨率视频帧中的时间冗余。为了实现此功能，第一时间分解单元1110包括运动估计器1112，用于估计运动；平滑预测帧产生器1114，用于使用通过运动估计获得的运动向量来产生平滑预测帧；残余帧产生器1116，用于使用平滑预测帧产生残余帧(高通子带)；以及更新单元1118，用于使用残余帧产生低通子带。
更具体地讲，运动估计器1112通过计算正被编码的低分辨率视频帧中的每一块和与该块对应的一个或多个参考帧中的块之间的位移来确定运动向量。平滑预测帧产生器1114使用由运动估计器1112估计的运动向量和参考帧中的块来产生预测帧。本实施不是直接使用预测帧，而是例使预测帧平滑并在产生残余帧的过程中使用平滑预测帧。
残余帧产生器1116将低分辨率视频帧与平滑预测帧进行比较以产生残余帧(高通子带)。更新单元1118使用残余帧来更新低通子带。其中时间冗余已被消除的低分辨率视频帧(低通子带和高通子带)其后被发送到第一空间变换器1130。
第一空间变换器1130消除其中时间冗余已被消除的帧中的空间冗余。使用离散余弦变换(DCT)或小波变换执行空间变换。其中已使用空间变换消除了空间冗余的帧被发送到第一量化器1140。
第一量化器1140将量化应用于其中空间冗余已被消除的低分辨率视频帧。在量化之后，低分辨率视频帧被转换为其后被发送到比特流产生器1170的纹理信息。
运动向量编码器1150编码在运动估计期间获得的运动向量，以便减少运动向量所需的比特数。
帧重构器1160对量化的低分辨率帧执行逆量化和逆空间变换，其后使用运动向量执行逆时间分解，从而重构低分辨率视频帧。扩增采样器1165扩增采样重构的低分辨率视频帧。扩增采样的视频帧在压缩视频帧的过程中被用作参考。
第二时间分解单元1120以GOP为基础对输入的视频帧执行MCTF，以消除视频帧中的时间冗余。
为了实现此功能，第二时间分解单元1120包括运动估计器1122，用于估计运动；平滑预测帧产生器1124，用于使用通过运动估计获得的运动向量来产生平滑预测帧；残余帧产生器1126，用于使用平滑预测帧产生残余帧(高通子带)；以及更新单元1128，用于使用残余帧产生低通子带。
运动估计器1122通过计算当前正被编码的视频帧中的每一块和与该块对应的一个或多个参考帧中的块之间的位移来获得运动向量，或确定是否使用由扩增采样器1165获得的扩增采样的帧中的每一块。
平滑预测帧产生器1124使用参考帧和扩增采样的帧中的块来产生预测帧。本实施例的视频编码器不是直接使用预测帧，而是使预测帧平滑并在产生残余帧的过程中使用平滑预测帧。
残余帧产生器1126将平滑预测帧与视频帧进行比较以产生残余帧(高通子带)。更新单元1128使用残余帧来更新低通子带。其中时间冗余已被消除的视频帧(低通和高通子带)其后被发送到第二空间变换器1135。
第二空间变换器1135消除其中时间冗余已被消除的帧中的空间冗余。使用离散余弦变换(DCT)或小波变换执行空间变换。其中已使用空间变换消除了空间冗余的帧被发送到第二量化器1145。
第二量化器1145将量化应用于其中空间冗余已被消除的视频帧。在量化之后，视频帧被转换为其后被发送到比特流产生器1170的纹理信息。
运动向量编码器1155编码在运动估计期间获得的运动向量，以便减少运动向量所需的比特数。
比特流产生器1170产生包含与低分辨率视频帧和原始分辨率视频帧相关联的纹理信息和运动向量以及其它必要信息的比特流。
尽管图11示出具有不同分辨率的两层的多层视频编码器，但是视频编码器可具有三个或多个不同分辨率的层。
在相同分辨率下执行不同视频编码方案的多层视频编码器还可以以与图11中的方式相同的方式实现。例如，当第一和第二空间变换器1130和1135分别采用DCT和小波变换时，具有相同分辨率的层的多层视频编码器不需要缩减采样器1105或扩增采样器1165。
另一方面，图11的多层视频编码器可以以第一和第二时间变换器1110和1120中的任一个产生平滑预测帧并且另一个产生典型的预测帧的方式实现。
图12示出作为图11的视频编码器的对应物的根据本发明第二实施例的视频解码器的配置。该视频解码器还可被配置为从由如上所述改进的多层视频编码器编码的比特流中重构视频帧。
参照图12，视频解码器包括比特流解释器1210，用于解释输入的比特流以获得纹理信息和编码的运动向量；第一和第二逆量化器1220和1225，用于逆量化纹理信息并创建其中空间冗余被消除的帧；第一和第二逆空间变换器1230和1235，用于对其中空间冗余已被消除的帧执行逆空间变换并创建其中时间冗余已被消除的帧；第一和第二逆时间分解单元1240和1250，用于对其中时间冗余已被消除的帧执行逆时间分解，并重构视频帧；以及运动向量解码器1270和1275，用于将编码的运动向量解码。视频解码包括用于使预测帧平滑的平滑处理，并且视频解码器还包括用于对重构的视频帧解块的后滤波器1260。
尽管图12示出了第一和第二逆时间分解单元1240和1250二者产生平滑预测帧，电视，第一和第二逆时间分解单元1240和1250中的任一个可产生典型的预测帧。
第一逆量化器1220、第一逆空间变换器1230、和第一逆时间分解单元1240重构低分辨率视频帧，并且扩增采样器1248扩增采样重构的低分辨率视频帧。
第二逆量化器1225、第二逆空间变换器1235、和第二逆时间分解单元1250使用由扩增采样器1248获得的扩增采样的帧作为参考来重构视频帧。
如上所述，当在相同分辨率下从使用不同的视频编码方案编码的比特流中重构视频帧时，视频解码器不需要扩增采样器1248。
如上所述，根据本发明的时间分解和逆时间分解允许在开环可伸缩视频编码和解码过程中使预测帧平滑，从而改善图像质量和用于视频编码的编码效率。
在所有方面中上述实施例和附图将被认为是说明性的而非限制性的。因此，本发明的范围和实质将由所附权利要求表示，而不是由前述描述表示。
权利要求
1.一种用于视频编码的时间分解方法，包括使用至少一帧作为参考来估计当前帧的运动，并且产生预测帧；使预测帧平滑并且产生平滑预测帧；以及通过将平滑预测帧与当前帧进行比较来产生残余帧。
2.如权利要求1所述的方法，其中，参考帧是紧接在当前帧之前和之后的相同级中的帧。
3.如权利要求1所述的方法，还包括使用残余帧更新参考帧。
4.如权利要求1所述的方法，其中，通过对预测帧中的块之间的边界解块来产生平滑预测帧。
5.如权利要求4所述的方法，其中，当当前帧和参考帧之一之间的时间距离增加时，解块的强度增加。
6.如权利要求4所述的方法，其中，当预测帧中的块使用不同的预测模式而被预测或具有大的运动向量差时，解块的强度高。
7.一种视频编码器，包括时间分解单元，用于消除当前帧中的时间冗余以产生其中时间冗余已被消除的帧；空间变换器，用于消除其中时间冗余已被消除的帧中的空间冗余以产生其中空间冗余已被消除的帧；量化器，用于量化其中空间冗余已被消除的帧，并且产生纹理信息；以及比特流产生器，用于产生包含纹理信息的比特流，其中，时间分解单元包括运动估计器，用于使用至少一帧作为参考来估计当前帧的运动；平滑预测帧产生器，用于使用运动估计的结果来产生预测帧，并且使预测帧平滑以产生平滑预测帧；以及残余帧产生器，通过将平滑预测帧与当前帧进行比较来产生其中时间冗余已被消除的残余帧。
8.如权利要求7所述的编码器，其中，由运动估计器参照的参考帧是紧接在当前帧之前和之后的相同级中的帧。
9.如权利要求7所述的编码器，其中，时间分解单元还包括使用其中时间冗余已被消除的残余帧来更新参考帧的更新单元。
10.如权利要求7所述的编码器，其中，平滑预测帧产生器通过对预测帧中的块之间的边界解块来产生平滑预测帧。
11.如权利要求10所述的编码器，其中，平滑预测帧产生器通过根据当前帧和参考帧之一之间的时间距离增加解块的强度来对预测帧中的块之间的边界进行解块。
12.如权利要求10所述的编码器，其中，当预测帧中的块使用不同的预测模式而被预测或具有大的运动向量差时，平滑预测帧产生器对预测帧中的块之间的边界进行解块。
13.一种用于视频解码的逆时间分解方法，包括使用至少一个从比特流获得的帧作为参考来产生预测帧；使预测帧平滑，并且产生平滑预测帧；以及使用从比特流获得的残余帧和平滑预测帧来重构帧。
14.如权利要求13所述的方法，其中，参考帧是紧接在残余帧之前和之后的重构的帧。
15.如权利要求13所述的方法，其中，参考帧是在产生预测帧之前使用残余帧更新的帧。
16.如权利要求13所述的方法，其中，通过对预测帧中的块之间的边界解块来产生平滑预测帧。
17.如权利要求16所述的方法，其中，从比特流中获得解块的强度。
18.一种视频解码器，包括比特流解释器，解释比特流并且获得纹理信息和编码的运动向量；运动向量解码器，用于对编码的运动向量解码；逆量化器，用于对纹理信息执行逆量化来创建其中空间冗余被消除的帧；逆空间变换器，用于对其中空间冗余已被消除的帧执行逆空间变换，并且创建其中时间冗余被消除的帧；以及逆时间分解单元，用于从自运动向量解码器获得的运动向量和其中时间冗余已被消除的帧重构视频帧，其中，逆时间分解单元包括平滑预测帧产生器，用于使用用于其中时间冗余已被消除的帧的运动向量来产生预测帧，并且使预测帧平滑以产生平滑预测帧；以及帧重构器，用于使用其中时间冗余已被消除的帧和平滑预测帧来重构帧。
19.如权利要求18所述的解码器，其中，平滑预测帧产生器通过参照紧接在残余帧之前和之后的重构的帧来产生预测帧。
20.如权利要求18所述的解码器，其中，逆时间分解单元还包括更新单元，其更新至少一个在产生用于相应的残余帧的预测帧的过程中使用的重构的帧。
21.如权利要求18所述的解码器，其中，平滑预测帧产生器通过对预测帧中的块之间的边界解块来产生平滑预测帧。
22.如权利要求21所述的解码器，其中，从比特流中获得解块的强度。
23.一种视频编码方法，包括缩减采样视频帧以产生低分辨率视频帧；对低分辨率视频帧编码；以及使用关于编码的低分辨率视频帧的信息作为参考来编码视频帧，其中，编码视频帧的步骤中的时间分解包括使用至少一帧作为参考来估计视频帧的运动；通过使预测帧平滑，来产生平滑预测帧；以及通过将平滑预测帧与视频帧进行比较来产生残余帧。
24.一种视频解码方法，包括从自比特流获得的纹理信息重构低分辨率视频帧；以及使用重构的低分辨率视频帧作为参考来从纹理信息重构视频帧，并且其中，重构视频帧的步骤包括逆量化纹理信息以获得空间变换的帧；对空间变换的帧执行逆空间变换并且获得其中时间冗余已被消除的帧；产生用于其中时间冗余已被消除的帧的预测帧；使预测帧平滑以产生平滑预测帧；以及使用其中时间冗余已被消除的帧和平滑预测帧来重构视频帧。
25.一种其中记录有计算机可读程序的记录介质，该程序用于执行用于视频编码的时间分解方法，该方法包括使用至少一帧作为参考来估计当前帧的运动，并且产生预测帧；使预测帧平滑并且产生平滑预测帧；以及通过将平滑预测帧与当前帧进行比较来产生残余帧。
26.一种其中记录有计算机可读程序的记录介质，该程序用于执行用于视频解码的逆时间分解方法，该方法包括使用至少一个从比特流获得的帧作为参考来产生预测帧；使预测帧平滑，并且产生平滑预测帧；以及使用从比特流获得的残余帧和该平滑预测帧来重构帧。
27.一种其中记录有计算机可读程序的记录介质，该程序用于执行视频编码方法，该方法包括缩减采样视频帧以产生低分辨率视频帧；对低分辨率视频帧编码；以及使用关于编码的低分辨率视频帧的信息作为参考来编码视频帧，其中，编码视频帧的步骤中的时间分解包括使用至少一帧作为参考来估计视频帧的运动；通过使预测帧平滑，来产生平滑预测帧；以及通过将平滑预测帧与视频帧进行比较来产生残余帧。
28.一种其中记录有计算机可读程序的记录介质，该程序用于执行视频解码方法，该方法包括从自比特流获得的纹理信息重构低分辨率视频帧；以及使用重构的低分辨率视频帧作为参考来从纹理信息重构视频帧，并且其中，重构视频帧的步骤包括逆量化纹理信息以获得空间变换的帧；对空间变换的帧执行逆空间变换并且获得其中时间冗余已被消除的帧；产生用于其中时间冗余已被消除的帧的预测帧；使预测帧平滑以产生平滑预测帧；以及使用其中时间冗余已被消除的帧和平滑预测帧来重构视频帧。
全文摘要
提供使用用于视频编码和解码的平滑预测帧的时间分解和逆时间分解方法、以及视频编码器和解码器。用于视频编码的时间分解方法包括使用至少一帧作为参考来估计当前帧的运动，并且产生预测帧；使预测帧平滑并且产生平滑预测帧；以及通过将平滑预测帧与当前帧进行比较来产生残余帧。
文档编号H04N7/26GK1722840SQ20051008414
公开日2006年1月18日 申请日期2005年7月14日 优先权日2004年7月15日
发明者李宰荣, 韩宇镇 申请人:三星电子株式会社