专利名称：视频编码中的帧间预测方法、视频编码器、视频解码方法和视频解码器的制作方法
技术领域：
本发明涉及视频编码和解码，更具体地讲，涉及一种视频编码中的帧间预测方法、使用该方法的视频编码器、比特流结构、视频解码方法和视频解码器。
背景技术：
随着包括互联网的信息通信技术的发展，视频通信以及文本和语音通信增长。传统的文本通信不能满足用户的各种需要，因此，可提供诸如文本、画面和音乐的各种类型的信息的多媒体服务在增长。由于多媒体数据的量通常很大，因此多媒体数据需要大容量存储介质和用于传输的宽的带宽。例如，具有640×480分辨率的24位真色彩图像需要每帧640×480×24比特的容量，即约7.37M比特的数据。当以每秒30帧的速度传输该图像时，需要221M比特/秒的带宽。当存储基于这样的图像的90分钟的电影时，需要约1200G比特的存储空间。因此，为了传输包括文本、视频和音频的多媒体数据，压缩编码方法是必不可少的。
数据压缩的基本原理是去除数据冗余。可通过去除空间冗余、时间冗余或心理视觉冗余来压缩数据，所述空间冗余是指图像中相同的颜色或物体被重复，所述时间冗余是指运动图像中相邻帧之间存在很小改变或者在音频中相同的声音被重复，所述视觉冗余则考虑人的视力及对高频的有限感知。可根据是否损失源数据将数据压缩分为有损/无损压缩，根据各帧是否独立地被压缩将数据压缩分为帧内/帧间压缩，根据压缩所需的时间是否与恢复所需的时间相同将数据压缩分为对称/非对称压缩。此外，当压缩/恢复时间延迟不超过50ms时，数据压缩被定义为实时压缩，当帧具有不同的分辨率时，数据压缩被定义为可扩展(scalable)压缩。对于文本或医学数据，通常使用无损压缩。对于多媒体数据，通常使用有损压缩。同时，帧内压缩通常用于去除空间冗余，帧间压缩通常用于去除时间冗余。
用于多媒体数据的不同类型的传输介质具有不同的性能。目前使用的传输介质具有各种传输率。例如，超高速通信网络每秒可传输几十兆比特的数据，而移动通信网络具有每秒384千比特的传输率。诸如运动图像专家组(MPEG)-1、MPEG-2、H.263和H.264的传统视频编码方法基于运动补偿预测编码技术来去除时间冗余和空间冗余。具体地讲，在传统视频编码方法中，通过运动补偿去除时间冗余，通过变换编码去除空间冗余。
图1是解释用于去除时间冗余的帧间预测的概念的示图。
参照图1，帧间预测执行如下。执行搜索以确定参考帧中参考块的位置，所述参考块将与当前正被编码的帧(当前帧)中的当前正被编码的块(当前块)进行比较。在所述搜索期间，参考帧的预定搜索区域内的与相应的块相匹配的候选块被找到。在以这样的方式在参考帧中找到多个候选块之后，在当前块和每一候选块之间计算帧间编码的成本，成本最小的候选块被选择为参考块。在这种情况下，参考块和当前块之间的位置差异由用于当前块的运动矢量表示。在帧间预测中，以这样的方式为当前帧中的每一块确定运动矢量，并且将当前块与相应于该运动矢量的参考块进行比较，从而产生具有减小的数据量的残差帧。
图2是传统视频编码器的方框图。
为了产生原始帧210的编码的帧250，传统视频编码器包括运动预测模块220、变换模块230和量化模块240。在用于运动预测的诸如MPEG-2的闭环视频编码算法中，通过对先前编码的帧进行解码而获得的重构的帧代替原始帧被用作参考帧。为此，该视频编码器还包括逆量化模块260和逆变换模块270。
当按帧内方式编码原始帧210时，原始帧210经过变换模块230和量化模块240。另一方面，当按帧间方式编码原始帧210时，原始帧210首先被输入到运动预测模块220。运动预测模块220的运动估计模块222估计输入的帧和参考帧280之间的运动。在运动估计之后，由比较器模块226比较输入的帧与经过运动补偿的参考帧，以产生残差帧。然后，由变换模块230对残差帧进行空间变换，由量化模块240对残差帧进行量化。然后，在空间变换和量化之后获得的编码的帧250经过逆量化模块260和逆变换模块270，以使得帧250可被用作对另一帧进行编码的参考帧。由加法器228将经过逆变换之后的帧加到经过运动补偿的参考帧，合成的帧被重构为参考帧280。
发明公开技术问题传统的视频编码方案使用运动估计和运动补偿来实现有效的视频编码。然而，传统的视频编码方案中对视频序列进行放大/缩小或淡入/淡出使残差图像中包含的数据量增加，从而降低了视频编码效率。因此，需要一种能够在所有环境下提供有效编码的视频编码方案。
技术解决方案本发明提供一种用于在各种环境下提供有效的视频编码的方法以及采用该方法的视频编码器。
本发明还提供一种从由所述视频编码器编码的比特流中重构视频序列的视频解码方法以及执行该解码方法的视频解码器。
通过阅读下面的描述、附图和权利要求，对于本领域技术人员来说，本发明的上述方面以及其他方面、特点和优点将变得清楚。
根据本发明的一方面，提供一种视频编码中的帧间预测方法，包括估计输入的帧中的当前块和参考帧中与该当前块相对应的参考块之间的运动矢量，并估计定义将被应用到当前块和参考块中的至少一个上的空间效果的滤波模式；根据估计出的运动矢量和滤波模式来对所述输入的帧进行帧间编码。
根据本发明的另一方面，提供一种视频编码器，包括运动预测和滤波单元，估计输入的帧中的当前块和参考帧中与该当前块相对应的参考块之间的运动矢量，并估计定义将被应用到当前块和参考块中的至少一个上的空间效果的滤波模式，并且分别根据估计出的运动矢量和滤波模式来预测输入的帧的运动并对输入的帧进行滤波；变换单元，对经过运动预测和滤波的帧进行空间变换；量化器，对经过空间变换的帧进行量化；比特流产生器，产生包括量化的帧的比特流。
根据本发明的另一方面，提供一种比特流结构，包括通过对帧执行视频编码而获得的编码的图像数据；在视频编码期间在运动估计之后获得的运动矢量；指示在视频编码期间是否应用了空间效果的滤波应用字段。
根据本发明的另一方面，提供一种视频解码方法，包括解释输入的比特流，并获得编码的图像数据、运动矢量和滤波信息；对编码的图像进行逆量化，然后对逆量化的图像执行逆变换；使用所述运动矢量和滤波信息来补偿经过逆变换的图像，并重构视频序列。
根据本发明的另一方面，提供一种视频解码器，包括比特流解释器，解释输入的比特流，并获得编码的图像数据、运动矢量和滤波信息；逆量化器，对编码的图像进行逆量化；逆变换单元，对逆量化的图像执行逆变换；运动补偿和滤波单元，使用所述运动矢量和滤波信息来补偿经过逆变换的图像，并重构视频序列。
通过参照附图对本发明示例性实施例进行详细描述，本发明的上述和其他特点和优点将变得更明显，其中图1是解释帧间预测的概念的示图；图2是传统视频编码器的方框图；图3是根据本发明一个实施例的视频编码器的方框图；图4是根据本发明另一实施例的视频编码器的方框图；图5是示出根据本发明实施例的视频编码处理的流程图；图6是示出根据本发明一个实施例的估计运动矢量和滤波模式的过程的流程图；图7是示出根据本发明另一实施例的估计运动矢量和滤波模式的过程的流程图；图8和图9是解释根据本发明第一实施例的滤波操作的示图；图10和图11是解释根据本发明第二实施例的滤波操作的示图；图12是解释根据本发明第三实施例的滤波操作的示图；图13是解释根据本发明第四实施例的滤波操作的示图；图14是解释根据本发明第五实施例的滤波操作的示图；图15是解释根据本发明第六实施例的滤波操作的示图；图16示出根据本发明实施例的比特流结构；图17是根据本发明实施例的视频解码器的方框图。
具体实施例方式
现在，将参照附图更全面地描述本发明，本发明的示例性实施例示出于附图中。
图3是根据本发明实施例的视频编码器的方框图。
参照图3，视频编码器是闭环视频编码器。即，利用通过对先前编码的帧进行解码而重构的帧代替原始帧作为参考来对当前正被编码的原始帧(当前帧)进行编码。
为了对当前帧310进行编码，所述视频编码器包括运动预测和滤波模块320、变换模块330和量化模块340。为了从编码的帧350获得参考帧380，该视频编码器还包括逆量化模块360和逆变换模块370。
运动预测和滤波模块320包括运动和滤波模式估计模块322以及运动补偿和滤波模块324。运动和滤波模式估计模块322使用参考帧380来估计当前帧310和参考帧380之间的运动，并估计定义当前帧310和参考帧380之间的空间效果的滤波模式。运动补偿和滤波模块324分别根据估计出的运动矢量和滤波模式来补偿参考帧380的运动并对参考帧380进行滤波。将在随后对运动和滤波模式的估计进行更详细的描述。由比较器模块326将当前帧310与经过了运动补偿和滤波的参考帧进行比较，以便产生残差帧，该残差帧随后被发送到变换模块330。
变换模块330对残差帧执行空间变换，如MPEG-2或MPEG-4标准中广泛使用的离散余弦变换(DCT)或者已成为活跃的研究领域的小波变换，从而去除残差帧内存在的空间冗余。
量化模块340对经过了空间变换的帧实施量化，从而减小该帧中包含的数据量。然后，被量化的帧经过用于熵编码的熵编码模块(未示出)，由比特流产生器器(未示出)将编码的帧350与运动矢量、滤波信息和必要的头信息组合成比特流。
同时，闭环视频编码器使用通过对先前编码的帧350进行解码而重构的帧作为参考帧380。为此，逆量化模块360对编码的帧350进行逆量化。然后，由逆变换模块370对逆量化了的帧进行逆空间变换。由加法模块328将逆空间变换之后获得的帧(残差帧)加到经过运动补偿和滤波的参考帧，以便产生重构的帧。重构的帧可用作对其他帧进行编码的参考帧380。
另一方面，为了按帧内方式对帧进行编码，即在不参考任何其他帧的情况下独立地进行编码，帧被直接发送到变换模块330和量化模块340，而不经过运动预测和滤波模块320。经过逆量化模块360和逆变换模块370来实现对帧内编码的帧进行解码。
在图3中所示的实施例中，其中所使用的术语“模块”表示(但不限于)执行特定任务的软件或硬件组件，如现场可编程门阵列(FPGA)或专用集成电路(ASIC)。模块最好被配置为置于可寻址存储介质上，并被配置为执行一个或多个处理器。因此，模块可包括例如诸如软件组件、面向对象软件组件、类组件和任务组件的组件、过程、功能、属性、进程、子程序、程序代码段、驱动器、固件、微码、电路、数据、数据库、数据结构、表、数组和变量。这些组件或模块中设置的功能可被组合为较少的组件和模块，或者进一步分为另外的组件和模块。此外，所述组件和模块在通信系统中可以被实现为所述组件和模块执行一个或多个计算机。
图4是根据本发明另一实施例的视频编码器的方框图。
参照图4，该视频编码器是开环视频编码器。即，与图3中所示的第一实施例中的不同，参考原始帧来对当前帧进行编码。由于开环视频编码使用原始帧作为参考来进行编码，而在解码期间使用重构的帧作为参考，因此开环视频编码所提供的图像质量低于闭环视频编码。然而，基于运动补偿时域滤波(MCTF)的可扩展(scalable)视频编码方案采用开环结构，这是因为其包括更新低通子带的步骤。本实施例也可用于这种情况。
为了对当前帧410进行编码，该视频编码器包括运动预测和滤波模块420、变换模块430和量化模块440。
运动预测和滤波模块420包括运动和滤波模式估计模块422以及运动补偿和滤波模块424。运动和滤波模式估计模块422使用原始帧480作为参考帧来估计当前帧410和原始帧480之间的运动，并估计定义当前帧410和原始帧480之间的空间效果的滤波模式。运动补偿和滤波模块424分别根据估计出的运动矢量和滤波模式来补偿原始帧480的运动并对原始帧480进行滤波。将在随后对运动和滤波模式的估计进行更详细的描述。由比较器模块426将当前帧410与经过运动补偿和滤波的参考帧进行比较，以便产生残差帧，该残差帧随后被发送到变换模块430。
变换模块430使用MPEG-2或MPEG-4标准中广泛使用的离散余弦变换(DCT)或者已成为活跃的研究领域的小波变换来对残差帧执行空间变换，，从而去除残差帧内存在的空间冗余。
量化模块440对经过了空间变换的帧实施量化，从而减小该帧中包含的数据量。然后，被量化的帧经过用于熵编码的熵编码模块(未示出)，由比特流产生器(未示出)将编码的帧450与运动矢量、滤波信息和必要的头信息组合成比特流。
图5是示出根据本发明实施例的视频编码处理的流程图。
在步骤S510，视频序列中的帧被接收，以用于视频编码。当对接收到的帧进行帧间编码时，在步骤S520，估计接收到的帧中的每一块与参考帧中的参考块之间的运动，以获得运动矢量，并估计定义每一块与相应的参考块之间的空间效果的滤波模式。将在随后参照图6和图7对运动矢量和滤波模式的估计进行更详细的描述。将在随后参照图8至图15对空间效果进行更详细的描述。
在运动矢量和滤波模式的估计之后，在步骤S530对参考帧的运动进行补偿。即，根据估计出的滤波模式对参考帧进行滤波，然后将当前帧与滤波后的参考帧进行比较，以获得残差帧。
在步骤S540，在运动补偿和滤波之后获得的残差帧经过诸如DCT或小波变换的空间变换，以去除残差帧内的空间冗余。
在步骤S550，对经过了空间变换的帧进行量化，以减小该帧中包含的数据量。
在步骤S560，产生比特流，该比特流包含通过对帧执行视频编码而获得的图像数据(编码的图像数据)、通过步骤S520获得的运动矢量和滤波信息、以及适当的头。
尽管对来自所述比特流的原始视频序列进行重构的解码处理是编码处理的逆处理，但是该解码处理不包括运动矢量和滤波模式估计步骤。即，为了重构帧，解码处理包括解释比特流、逆量化、逆空间变换和运动补偿。
图6和图7分别是示出根据本发明第一实施例和第二实施例的估计运动矢量和滤波模式的方法的流程图。
图6中所示的根据第一实施例的运动矢量和滤波模式估计方法包括同时利用运动矢量和滤波模式来比较各种帧间编码情形的成本；确定具有最小成本的运动矢量和滤波模式。另一方面，图7中所示的根据第二实施例的方法包括利用运动矢量确定帧间编码中具有最小成本的运动矢量；然后为与确定的运动矢量相对应的参考帧中的块确定具有最小成本的滤波模式。
基于成本确定运动矢量和滤波模式是为了说明的目的。根据本发明的其他示例性实施例，可通过考虑操作量或者解码过程中的其他因素来确定运动矢量和滤波模式。
参照图6，根据本发明第一实施例的运动矢量和滤波模式的估计从步骤S610开始，在步骤S610中，执行搜索以寻找参考帧中的可能是参考块的候选块以及当前帧中正被编码的块(当前块)。即，执行在参考帧中寻找与当前块对应的块的步骤。然后，在步骤S620中，每一空间效果被应用到每一候选块，以获得滤波模式。例如，当在步骤S610中找到的候选块的数量为M，在本实施例中可用的滤波模式的数量为N，则可选择M×N个滤波的候选块。
在获得运动矢量和滤波模式之后，在步骤S630，利用每一候选块作为参考对当前块执行运动补偿，然后计算帧间编码的成本。在计算成本之后，在步骤S640，选择具有最小成本的用于帧间编码的候选块作为参考块，然后，选择当前块与该参考块之间的运动矢量和滤波模式。所述成本由等式(1)定义Cf＝E(k，-1)+λ1B(k，-1)+λ2F，Cb＝E(k，1)+λ1B(k，1)+λ2F，......(1)Cbi＝E(k，*)+λ1+B(k，*)+λ2F其中，Cf、Cb和Cbi分别表示前向、后向和双向预测模式的成本。E(k，-1)、E(k，1)和E(k，*)分别表示使用前向、后向和双向预测模式对材质(图像)进行编码所分配的比特，B(k，-1)、B(k，1)和B(k，*)分别表示对前向、后向和双向运动矢量进行编码所分配的比特。F表示根据滤波模式滤波信息所需的比特，λ1和λ2是用于控制为表示运动、材质(图像)和滤波信息所分配的比特之间的平衡的拉格朗日系数。由于视频编码器不能识别最终比特率，因此使用拉格朗日系数λ1和λ2来对视频序列的特性以及将主要用于目标应用程序的比特率进行优化。
在本实施例中，可根据帧的类型使用单个模式来预测正被帧间编码的帧中包含的所有块。这一处理用在传统的MPEG-2算法中。例如，可使用前向预测模式来对基于前向预测进行编码的P帧中的所有块进行编码，并且仅计算前向预测模式的成本Cf以用于比较。类似地，当基于后向预测模式对所有块进行编码时，仅计算成本Cb以用于比较。对于B帧，仅计算成本Cbi以用于比较。然后，为每一块确定具有最小成本的运动矢量和滤波模式。
然而，使用单个模式预测所有的块仅是一个例子。因此，可使用不同的预测模式对正被帧间编码的帧中的每一块进行编码。例如，可使用前向预测对帧中的一些块进行编码，可使用后向预测对帧中的另一些块进行编码，而使用双向预测来对剩余块进行编码。在这种情况下，通过比较由等式(1)定义的成本来选择具有最小成本的预测模式。
图6中所示的处理使运动矢量和滤波模式的估计能够具有高的精确性，但是需要大的计算量。例如，当使用单个预测模式来在M个候选运动矢量和N个滤波模式中为每一块确定运动矢量和滤波模式时，为了为每一块计算成本，应该执行总数为M×N的编码操作。同时，使用如等式(1)中所示的三个预测模式需要3×M×N次计算，从而与使用单个预测模式相比，计算次数增加了3倍。随着每一滤波模式的滤波的值的分辨率增加，计算次数也增加。此外，增加所使用的预测模式数量使计算量显著增加。
现在，将参照图7描述在估计运动矢量和滤波模式时减小计算量的方法。
参照图7，运动矢量和滤波模式估计(S520)从步骤S710开始，在步骤S710中，执行搜索以在参考帧中寻找与当前块相对应的候选块。在步骤S720中，使用等式(2)为每一候选块计算成本Cf＝E(k，-1)+λ1B(k，-1)，Cb＝E(k，1)+λ1B(k，1)， ......(2)Cbi＝E(k，*)+λ1+B(k，*)其中，Cf、Cb和Cbi分别表示前向、后向和双向预测模式的成本。E(k，-1)、E(k，1)和E(k，*)分别表示使用前向、后向和双向预测模式对材质(图像)进行编码所分配的比特，B(k，-1)、B(k，1)和B(k，*)分别表示对前向、后向和双向运动矢量进行编码所分配的比特。
λ1表示用于控制为表示运动和材质(图像)所分配的比特之间的平衡的拉格朗日系数。
在计算成本之后，在步骤S730，候选块之一被选择作为参考块，以确定当前块和该参考块之间的运动矢量。根据本发明的示例性实施例，使对当前块进行帧间编码的成本最小的候选块可被选择作为参考块。
在步骤S740，每一空间效果被应用到所选择的参考块，以执行对滤波模式的搜索。在执行所述搜索之后，在步骤S750，根据搜索到的滤波模式计算与当前块的帧间编码相关联的成本。等式(1)可用于步骤S750中的计算。
在步骤S760，在成本计算之后，具有最小成本的滤波模式被确定。
在本实施例中，由于步骤S720中计算的次数为M(等于候选块的数量)，滤波模式的数量为N，因此需要M+N次计算来获得对于每一块的成本。使用三个预测模式需要3×M+N次计算。
现在，将参照图8至图15描述根据本发明实施例的用于获得空间效果的滤波操作。尽管上面描述了用于空间效果的滤波被应用到参考帧，但是滤波也可被应用到当前帧或者当前帧和参考帧二者。例如，可将淡入/淡出应用到当前帧或参考帧，或者应用到当前帧和参考帧二者。
图8和图9示出使用放大(zoom in)时的空间效果。例如，当使用放大时，图像的大小随时间增加。在这种情况下，通过运动矢量选择的参考帧中的块的大小与当前帧中正被编码的块的大小相同，而参考帧中用于滤波的区域比当前块小，但是。因此，参考帧中被选择的块被上采样，以便以预定比例增加图像的大小，然后将用于滤波的区域与当前块进行比较。当如图8中所示先前的帧被用作参考帧，即使用前向预测时，所选择的块被上采样。另一方面，当使用后向预测时，所选择的块被下采样。
图9示出使用缩小(zoom out)时的空间效果。即，参考帧中用于滤波的区域大于与当前块相匹配的被选择的块。在这种情况下，用于滤波的区域被下采样，并被与当前块进行比较。当使用放大或缩小时，滤波信息包含指定放大/缩小的空间效果的滤波模式值(例如，1)以及放大/缩小比例。
图10和图11示出使用淡入和淡出时的空间效果。
与图8中的空间效果不同，用于滤波的区域的大小与运动估计期间所选择的块的大小相同。对于淡入或淡出，预定的值被加到参考帧中被选择的块。在前向预测模式中，对于淡入，所述预定的值为正，而对于淡出，所述值为负。相反，在后向预测模式中，对于淡入，所述预定的值为负，而对于淡出，所述值为正。
当使用淡入或淡出时，滤波信息包含指定诸如淡入或淡出的空间效果的滤波模式值(例如，2)以及被加值。为淡入和淡出加上DC值可补偿照度。
另一方面，对于闪烁图像(flickering image)，可将所选择的块乘以预定的比例，而不是将DC值加到所选择的块上。
图12示出应用模糊时的空间效果。
当在记录视频时图像的焦点瞬时移动或者图像脱离焦点时，图像可能显得模糊。将应用了滤波如低通滤波的参考帧与当前帧进行比较，所述滤波给图像提供模糊效果。
当使用图像模糊时，滤波信息包含指定空间模糊效果的滤波模式值(例如，3)和模糊量。
图13示出应用重叠时的空间效果。
当在记录视频时物体瞬时运动时，运动物体与背景重叠。在这种情况下，如图13中所示通过以预定的比例将从参考帧中选择出的两个块重叠而获得的块被与当前块进行比较。
当使用重叠时，滤波信息包含指定空间重叠效果的滤波模式值(例如，4)和值x，所述值x是用于对两个块进行重叠的所述预定的比例。
此外，图14示出应用扭曲时的空间效果，图15示出应用旋转时的空间效果。
例如，可在树被风吹时应用空间扭曲。空间旋转可应用于运动的车轮。
上面没有描述的其他空间效果的应用将被理解为包含在本发明中。当从空间效果的应用所获得的收益小于所承受的开销时，可不应用滤波模式。
图16示出根据本发明实施例的比特流的结构。
单个内容的比特流由至少一个视频序列组成。每一视频序列包括其后跟随至少一个GOP 1420的序列头1410。序列头1410包含诸如适当的序列的分辨率和帧率的信息。当使用多个视频编码方案时，序列头1410还包含指示所使用的视频编码方案的类型的信息。
GOP 1420包括GOP头1430，GOP头1430后跟随一个或多个帧1440。GOP头1430包含诸如GOP大小、帧率或分辨率的信息。
每一帧1440由帧头1450和至少一个块1460组成。帧间编码的帧包含运动矢量和滤波信息。尽管如图16所示运动矢量1470和滤波信息1480可被包含在每一块中，但是它们也可被集中在适当的帧的一部分中。后一情形中的每一块包含编码的图像数据，而在前一情形中，除了编码的图像数据之外，每一块还包含运动矢量1470和滤波信息1480。
除了滤波模式字段1484和滤波值字段1486之外，滤波信息1480还可包含滤波应用字段1482。例如，当8个滤波模式是可用的时，每一块需要3比特来识别这些模式。如果对于大多数块没有应用滤波，则每一块可能产生不必要的3比特的开销。在本发明中，1比特的滤波应用字段1482用于指定是否应用滤波。即，当没有应用滤波时，滤波应用字段1482(例如，“0”)指示没有应用滤波。因此，由于滤波信息1480不必要包括滤波模式字段1484和滤波值字段1486，所以与传统的结构相比，每一块仅增加1比特开销。另一方面，当应用了滤波时，滤波应用字段1482(例如，“1”)指示应用了滤波。滤波模式字段1484和滤波值字段1486分别指定所使用的滤波的类型和滤波值。
图17是根据本发明实施例的视频解码器的方框图。
该视频解码器接收比特流1510并从该比特流重构视频序列。为此，该视频解码器包括解释输入的比特流1510的比特流解释模块1520、逆量化模块1530、逆变换模块1540和运动补偿和滤波模块1550。
比特流解释模块1520解释输入的比特流1510，以获得编码的图像数据、运动矢量和滤波信息。编码的图像(帧)数据被发送到逆量化模块1530，而运动矢量和滤波信息被发送到运动补偿和滤波模块1550。
逆量化模块1530对编码的图像数据进行逆量化。根据本发明示例性实施例，用于量化的量化表可从比特流1510被发送，以用于逆量化。经过逆量化的图像数据被发送到逆变换模块1540。
逆变换模块1540对经过逆量化的图像进行逆变换。当使用DCT对图像进行编码时，对该图像进行逆DCT变换。当使用小波变换对图像进行编码时，对该图像进行逆小波变换。当不参考任何其他帧来对帧进行帧内编码时，该帧可在经过逆变换之后被重构。然而，当帧是帧间编码的帧时，该帧在重构之前被发送到运动补偿和滤波模块1550。
运动补偿和滤波模块1550使用重构的帧1560作为参考帧，以使用运动矢量和滤波信息来从经过逆变换的图像重构帧。即，运动补偿和滤波模块1550根据滤波信息对参考帧应用空间效果，并使用运动矢量补偿参考帧的运动，然后将经过运动补偿的参考帧加到经过逆变换的图像，以产生重构的帧1560。
产业上的可利用性如上所述，根据本发明的帧间预测方法可实现各种环境下的有效的视频编码。该方法还通过尽可能减少视频编码所需的开销来提供高的视频编码效率。
总之，本领域的技术人员应该理解，在基本不脱离本发明的原理的情况下，可对这些示例性实施例进行变化和修改。因此，所公开的本发明的示例性实施例仅用于一般的描述性的目的，而不是出于限定的目的。
权利要求
1.一种视频编码中的帧间预测方法，包括估计输入的帧中的当前块和参考帧中与该当前块相对应的参考块之间的运动矢量，并估计定义将被应用到当前块和参考块中的至少一个上的空间效果的滤波模式；根据估计出的运动矢量和估计出的滤波模式来对所述输入的帧进行帧间编码。
2.如权利要求1所述的方法，其中，所述参考帧是通过对先前编码的帧进行解码而重构的帧。
3.如权利要求1所述的方法，其中，在所述估计期间估计出的运动矢量和滤波模式使对当前块进行帧间编码的成本最小。
4.如权利要求1所述的方法，其中，所述估计运动矢量和滤波模式的步骤包括估计参考帧中的候选块与当前块之间的运动矢量；选择已估计出运动矢量的候选块之一作为参考块，并确定当前块与选择的参考块之间的运动矢量；估计将被应用到所选择的参考块和当前块中的至少一个上的滤波模式。
5.如权利要求1所述的方法，其中，所述估计运动矢量和滤波模式的步骤包括估计参考帧中的候选块与当前块之间的运动矢量；估计滤波模式，所述滤波模式的每一个将被应用到相应的候选块和当前块中的至少一个上；选择已估计出运动矢量和滤波模式的候选块之一作为参考块，并估计当前块与所选择的参考块之间的运动矢量和滤波模式。
6.如权利要求1所述的方法，其中，由滤波模式定义的所述空间效果包括放大、缩小、淡入、淡出、模糊、重叠、扭曲和旋转中的至少一个。
7.一种视频编码器，包括运动预测和滤波单元，估计输入的帧中的当前块和参考帧中与该当前块相对应的参考块之间的运动矢量，并估计定义将被应用到当前块和参考块中的至少一个上的空间效果的滤波模式，并且分别根据估计出的运动矢量和估计出的滤波模式来预测输入的帧的运动并对输入的帧进行滤波，以产生经过运动预测和滤波的帧；变换单元，对所述经过运动预测和滤波的帧进行空间变换，以产生经过空间变换的帧；量化器，对所述经过空间变换的帧进行量化，以产生量化的帧；比特流产生器，产生包括所述量化的帧的比特流。
8.如权利要求7所述的视频编码器，还包括逆量化器，用于对量化的帧进行逆量化，以产生逆量化的帧；逆变换单元，用于对逆量化的帧执行逆空间变换，其中，通过逆量化器和逆变换单元来重构所述参考帧。
9.如权利要求7所述的视频编码器，其中，所述运动预测和滤波单元估计使对当前块进行帧间编码的成本最小的运动矢量和滤波模式。
10.如权利要求7所述的视频编码器，其中，所述运动预测和滤波单元执行以下操作估计参考帧中的候选块与当前块之间的运动矢量；选择已估计出运动矢量的候选块之一作为参考块，以确定当前块与所选择的参考块之间的运动矢量；估计将被应用到所选择的参考块和当前块中的至少一个上的滤波模式；并根据估计出的运动矢量和估计出的滤波模式来预测输入的帧的运动并对输入的帧进行滤波。
11.如权利要求7所述的视频编码器，其中，所述运动预测和滤波单元执行以下操作估计参考帧中的候选块与当前块之间的运动矢量；估计滤波模式，所述滤波模式的每一个将被应用到相应的候选块和当前块中的至少一个上；选择已估计出运动矢量的候选块之一作为参考块，以估计当前块与所选择的参考块之间的运动矢量和滤波模式；并根据估计出的运动矢量和估计出的滤波模式来预测输入的帧的运动并对输入的帧进行滤波。
12.如权利要求7所述的视频编码器，其中，由滤波模式定义的所述空间效果包括放大、缩小、淡入、淡出、模糊、重叠、扭曲和旋转中的至少一个。
13.如权利要求7所述的视频编码器，其中，通过比特流产生器产生的所述比特流包括关于滤波模式的信息。
14.一种比特流结构，包括通过对帧执行视频编码而获得的编码的图像数据；在所述视频编码期间在运动估计之后获得的运动矢量；指示在所述视频编码期间是否应用了空间效果的滤波应用字段。
15.如权利要求14所述的结构，当所述滤波应用字段指示应用了空间效果时，所述结构还包括滤波模式字段，指定所应用的空间效果；和滤波值字段，指定所应用的空间效果的程度。
16.一种视频解码方法，包括解释输入的比特流，并获得编码的图像数据、运动矢量和滤波信息；对编码的图像数据进行逆量化，以产生逆量化的图像，然后对逆量化的图像执行逆变换；使用所述运动矢量和滤波信息来补偿经过逆变换的所述编码的图像数据，并重构视频序列。
17.如权利要求16所述的方法，其中，所述重构视频序列的步骤包括使用所述运动矢量在被通过执行逆变换而产生的逆变换的图像参考的参考帧中寻找块；根据所述滤波信息对找到的块应用空间效果；将应用了空间效果的块加到逆变换的图像上，以产生重构的视频序列。
18.如权利要求17所述的方法，其中，由滤波信息定义的所述空间效果包括放大、缩小、淡入、淡出、模糊、重叠、扭曲和旋转中的至少一个。
19.一种视频解码器，包括比特流解释器，解释输入的比特流，并获得编码的图像数据、运动矢量和滤波信息；逆量化器，对编码的图像数据进行逆量化，以产生逆量化的图像；逆变换单元，对逆量化的图像执行逆变换；运动补偿和滤波单元，使用所述运动矢量和滤波信息来补偿经过逆变换的所述编码的图像数据，并重构视频序列。
20.如权利要求19所述的视频解码器，其中，所述运动补偿和滤波单元执行以下操作使用所述运动矢量在被通过执行逆变换而产生的逆变换的图像参考的参考帧中寻找块；根据滤波信息对找到的块应用空间效果；将应用了空间效果的块加到逆变换的图像上，以产生重构的视频序列。
21.如权利要求19所述的视频解码器，其中，由滤波信息定义的所述空间效果包括放大、缩小、淡入、淡出、模糊、重叠、扭曲和旋转中的至少一个。
22.一种具有记录于其中的计算机可读程序的记录介质，所述程序用于执行如权利要求1所述的方法。
23.一种具有记录于其中的计算机可读程序的记录介质，所述程序用于执行如权利要求16所述的方法。
全文摘要
提供一种视频编码中的帧间预测方法、使用该方法的视频编码器、比特流结构、视频解码方法和视频解码器。所述视频编码中的帧间预测方法包括估计输入的帧中的当前块和参考帧中与该当前块相对应的参考块之间的运动矢量，并估计定义将被应用到当前块和参考块中的至少一个上的空间效果的滤波模式；根据估计出的运动矢量和滤波模式来对所述输入的帧进行帧间编码。
文档编号H04N7/12GK1943244SQ200580011041
公开日2007年4月4日 申请日期2005年3月28日 优先权日2004年4月14日
发明者车尚昌 申请人:三星电子株式会社