专利名称：运动信息编码和解码方法
技术领域：
本发明涉及对运动信息进行编码的方法，所说的运动信息与分成连续帧的视频序列有关，上述方法包括下列步骤--将当前帧细分成两维块；--就所述当前帧的每个当前块而言，用块匹配算法在前一个块中将变换块选择为对所说的当前块的预测，所述变换块与当前块之间的运动矢量是与上述当前块相关的被预测的矢量，并且，对构成与上述当前帧有关的运动矢量域的整个当前帧来说，以类似的方式预测所有的运动矢量；--就各个当前帧而言，用不同的编码技术进行编码对要加以编码的各个运动矢量来说均包括与之相关的预测值，所述运动信息由上述相关的运动矢量域构成。
本发明还涉及相应的编码设备、对按上述编码方法编码的运动信息进行解码以及相应的解码设备。在以后给出的本发明的一个实现形式的详细说明中，如在MPEG家族中所定义的那样，两维块例如是宏块。
为了最大限度地减少传输运动矢量所需的位速率，一般参照先前确定的运动矢量(或预测值)按不同的方式对这些矢量编码。更准确地说，根据先前传输的空间邻居用预测技术对描述从前一个块Br至当前块Bc的运动进行编码。就预测值而言所述运动矢量是不同的并且是用可变长代码来加以编码的。
为此，本发明涉及诸如在本说明书的导言部分中限定的编码方法，该方法的特征在于，就各个当前块而言，所述不同编码技术的减法操作中使用的预测值是空间-时间预测值P，它是用由下列关系限定的线性组合所获得的P＝α.S+β.T其中，S和T分别是空间和时间预测值，(α，β)分别是与上述空间和时间预测值相关的加权系数。
在本发明的最佳实现形式中，用于选择加权系数的标准在最少平均平方意义上是最大限度地减小要加以编码的运动矢量C与其预测值P之间的扭曲即最大限度地减小下列运算符F＝∑[C-(α.S+β.T)]2其中，对整个的运动矢量域即对当前帧的所有块求和。
最佳的是，通过对一组按当前块的邻居关系选定的运动矢量候选值作中值过滤可获得空间预测值，如果需要适合MPEG-4标准的空间预测，则所述一组运动矢量候选值包括三个运动矢量候选值。
时间预测值可通过下列方法来确定即重新使用已为当前块的指向先前传送的运动矢量域内的块的运动矢量所确定的空间预测值，或者，将在计算空间预测值时使用的空间预测值候选值保存在存储器内，从而，用来自当前图像中相应块的预测值候选值指向前一图像的块，所述前一图像块的运动矢量还可被看作是要加以确定的时间预测值的空间预测值，并且能实现对前一运动矢量域中的这些空间预测值的中值过滤，所获得的结果就是要加以确定的上述时间预测值。
本发明的另一个目的是提供一种对用上述编码方法编码的运动信息进行解码的方法。
为此，本发明涉及对与图像序列相对应的并且在传输和/或存储步骤之前业已用一种编码方法加以编码了的运动信息进行解码的方法，所述编码方法包括下列步骤--将当前图像细分成两维块；--就所述当前图像的每个当前块而言，用块匹配算法在前一个图像中将变换块选择为对所说的当前块时的预测，所述变换块与当前块之间的运动矢量是与上述当前块相关的被预测的矢量，并且，对构成与上述当前图像有关的运动矢量域的整个当前图像来说，以类似的方式预测所有的运动矢量；--就各个当前图像而言，对上述相关运动矢量域所构成的运动信息进行编码，用利用空间-时间预测值P来逼近各当前块的要加以编码的运动矢量，所述空间-时间预测值P是由下列关系式来限定的线性组合所获得的P＝α.S+β.T其中，S和T分别是空间和时间预测值，(α，β)分别是与上述空间和时间预测值相关的加权系数。所述解码方法的特征在于，该方法包括两种类型的解码步骤--就由上述序列构成的第一运动矢量域而言，第一类型的解码步骤仅以空间预测值为基础；--就其它运动矢量域而言，第二类型的解码步骤包括根据已经解码的前一运动矢量域的运动矢量、按要加以解码的当前运动矢量的邻居关系限定的空间预测值以及所传输的加权系数α和β来计算空间-时间预测值P。
图6说明了能实现本发明编码方法的编码器的实现形式；图7说明了能实现本发明解码方法的解码器的实现形式。
发明详述如以上参照
图1所述，所述运动估算是以搜索方案为基础的，所述搜索方案试图在前一帧中的有限的搜索区域SW内找到块的最佳匹配位置，就各个块(或者在MPEG标准的情况下用“宏块”)而言，可用在减少了预测值和可变长编码(VLC)之后从编码器传输至解码器的运动矢量来描述所述最佳匹配位置。
本发明的原理是在预测(假定在对与各当前运动矢量相对应的不同值作可变长编码(VLC)之前)中引入额外的操作，以便考虑在两个连续运动矢量域之间观察到的时间关系。例如业已在G.de Haan和a1的“用3D递归块匹配的实际运动估算”(载于IEEE Transaction onCircuits and System for Video Technology，1993年10月第3卷第5号，368-379页)中说明了使用时间预测值的基于块的运动估算。这种以3D递归搜索为基础的技术在图2所示的一种可能的实现形式中使用了在当前块Bc的相邻块中选出的三个空间预测值P1、P2、P3、一个是P1和先前处理的块的最佳候选值的线性组合的附加空间预测值以及时间预测值P4(“时间”是指相应的运动矢量居于前一运动矢量域)。
通常，先前的工作仅考虑空间预测值，以便以不同的方式对当前运动矢量进行编码。就16×16像素(用于包括四十块的宏块的一个运动矢量)的运动矢量而言，空间预测包括按当前宏块的邻居关系选择若干运动候选值(就MPEG-3而言为三个)，例如如图3所示，图3示出了这种候选值MV1、MV2和MV3的可能位置(然后，通过对这些运动矢量候选值进行中值过滤而获得用于当前运动矢量的空间预测值)。为了改进运动矢量的编码，现提出了利用沿运动轨道的运动矢量之间存在的相互关系，以便更好地预测要加以编码的当前宏块的运动矢量。
如图4所述，用于就当前运动矢量域CMVF而言确定时间预测值P的第一方案可以是重用已为当前宏块的运动矢量所确定的空间预测值，以指向先前传输的运动矢量域PMVF中的宏块。而且，为了减少低质量预测的影响，可再次对选定宏块周围的八个宏块的邻居进行中值过滤操作。
如图5所示，用于确定预测值P的第二方案是将在计算空间预测值期间使用的空间预测值候选值SPC保存在存储器内。这些运动矢量候选值从当前帧中的宏块指向前一帧的宏块，所述前一帧的运动矢量还可看作是用于必须要确定的时间预测值的空间预测值。上述用于当前运动矢量的时间预测值是对前一运动矢量域中的这些空间预测值进行中值过滤的结果。
无论是什么样的选定方案，可称为空间-时间的预测值P都是用以下类型的线性组合来获得的P＝α.S+β.T其中，S和T分别是如上所述那样确定的额外的空间预测值和时间预测值，(α，β)分别是与上述空间和时间预测值相关的加权系数。选择α和β的可能标准在最少平均平方意义上是最大限度地减小要加以编码的运动矢量C与其预测值P之间的扭曲即最大限度地减小运算符FF＝∑[C-(α.S+β.T)]2对整个的运动矢量域即通过包括当前帧的所有宏块来求和∑(加权系数α和β需要传给解码一侧，因为，解码装置不能执行对称操作以计算上述系数，所以，就全局传输成本而言，必须在时间预测值所带来的传输增益系数与用于各运动矢量域的两个值(α、β)的额外传输成本之间达到良好的折衷)。
一般用DPCM(差分脉码调制)技术对运动矢量进行编码，在DPCM技术中，量化并传输输入与以在本地解码的前一个输出为基础的预测之间的差值，随后是用VLC表的熵编码步骤并生成与运动矢量相对应的编码数据。在诸如上述编码方法业已在视频编码方案中使用时，必须对与运动矢量相对应的并且在解码侧接收到的编码数据进行专门的解码。然后，根据以下处理步骤进行运动矢量的重构--就第一运动矢量域(即不具有任何前身的域)而言，实现仅以空间预测值为基础的经典解码步骤；--就其它运动矢量域(即有时间前身的域)而言，以类似的方式实现编码器中提供的操作已知运动矢量时间预测值(这些预测值是业已解码了的前一运动矢量域的运动矢量)、空间预测值(＝要加以解码的当前运动矢量的邻居关系中的运动矢量)以及加权系数α和β(它们业已被传输)，则计算业已在编码器侧使用了的最终预测值P＝α.S+β.T，这就能用在编码器的VLC表中建立的对应关系来以不同的方式对当前运动矢量进行解码。
可在多种编码方案例如在MPEG-4视频编码器中实现上述编码技术。图6说明了这种编码器用分解电路61将输入的视频信息VIF分解成视频对象(VO)，编码控制电路62(例如根据用户要求或解码器的能力)确定传输哪个VO，在编码电路63a至63n中对选定的VO编码(各VO彼此相独立)，多路复用器64将这样获得(并表示不同VO)的n个位流合并进一单一的视频流。每个VO都是由其形状、纹理和运动分量限定的，各编码电路的编码装置必须进行形状、纹理和运动编码操作。如例如在T.Ebrahimi等人的“MPEG-4自然视频编码—概述”(载Signal ProcessingImage Communcation，2000年1月第15卷第4-5期第365-385页)所述那样进行形状和纹理操作。可依照本发明即通过实现上述运动信息编码方法而进行运动操作。
与此同类似，可在诸如本文件中所述之类的解码方案中实现上述并且与本发明编码方法相对应的解码方法。图7说明了一解码器，该解码器能接收并对诸如在进行上述编码方法时获得的编码位流进行解码首先在多路分解电路71中对输入的位流进行多路分解，分解这样生成的与不同VO相对应的经过多路分解的基本流并将它们传给适当的解码器(形状解码电路72、纹理解码电路73、运动解码电路74)，用解码数据连同场景描述信息重构包括VO在内的原始场景的重构电路75能最终获得被显示的视频图像。在电路74中执行本发明的运动信息解码方法。
为说明和描述的目的提供了对本发明的最佳实施例的上述说明。这不是要穷举或者将本发明精确地限于所说明的内容，很明显，依照上述内容，本技术的专家可以看出的并且包括在本发明的范围内的多种改进形式和变化形式是可能的。
例如，应该认识到，在不排除硬件或软件的单个一种可实现若干种功能或者硬件和软件的组合或者两者一起实现单个功能的情况下，可用硬件、软件或硬件和软件的组合来实现本文所述的设备。可用任何类型的计算机系统或适用于实现本文所述方法的其它设备来实现上述方法和设备。硬件和软件的一种典型组合可以是带有计算机程序的通用计算机系统，所述程序在加载和执行时能控制前述计算机系统，因此，所述系统可实现本文所述的方法。另外，也可以使用包含专用硬件以实现本发明的一种或多种功能任务的专用计算机。
本发明还可嵌在计算机程序产品内，所述计算机程序产品包括能实现本文所述方法和功能的所有特征，并且，所述计算机程序产品在被装载进计算机系统内时能实现这些方法和功能。在本文中，计算机程序、软件程序、程序、程序产品或软件是指用任何语言的由一组指令构成的表达式、代码或标记，它能使具有信息处理能力的系统直接或在以下活动之一或两者之后执行特定的功能(a)转换成其另一种语言、代码或标记；以及/或者(b)以不同材料形式进行再现。
权利要求
1.一种用于对运动矢量进行编码的方法，所说的运动信息与分成连续帧的视频序列有关，上述方法包括下列步骤--将当前帧分成两维块；--就所述当前帧的每个当前块，用块匹配算法在前一个块中将变换块选择为对所说的当前块的预测，所述变换块与当前块之间的运动矢量是与上述当前块相关的被预测的矢量，并且，对构成与上述当前帧有关的运动矢量域的整个当前帧，以类似的方式预测所有的运动矢量；--就各个当前帧，用不同的编码技术进行编码对要加以编码的各个运动矢量来说均包括与之相关的预测值，所述运动信息由上述相关的运动矢量域构成的；所述方法的特征在于，就各个当前块，所述不同编码技术的减法操作中使用的预测值是空间-时间预测值P，它是用由下列关系限定的线性组合所获得的P＝α.S+β.T其中，S和T分别是空间和时间预测值，(α，β)分别是与上述空间和时间预测值相关的加权系数。
2.如权利要求1的编码方法，其特征在于，用于选择加权系数的标准在最少平均平方意义上是最大限度地减小要加以编码的运动矢量C与其预测值P之间的扭曲即最大限度地减小下列运算符F＝∑[C-(α.S+β.T)]2其中，对整个的运动矢量域即对当前帧的所有块求和。
3.如权利要求2的编码方法，其特征在于，通过对一组按当前块的邻居关系选定的运动矢量候选值作中值过滤来获得上述空间预测值。
4.如权利要求3的编码方法，其特征在于，所述一组运动矢量候选值包括三个运动矢量候选值，以便使上述空间预测适合MPEG-4标准。
5.如权利要求2的编码方法，其特征在于，所述时间预测值是通过下列方法来确定的即重新使用已为当前块的指向先前传送的运动矢量域内的块的运动矢量所确定的空间预测值。
6.如权利要求2的编码方法，其特征在于，所述时间预测值是通过下列方法来确定的即将在计算空间预测值时使用的空间预测值候选值保存在存储器内，从而，用来自当前图像中相应块的预测值候选值指向前一图像的块，所述前一图像块的运动矢量还被看作是要加以确定的时间预测值的空间预测值，并且能实现对前一运动矢量域中的这些空间预测值的中值过滤，所获得的结果就是要加以确定的上述时间预测值。
7.一种对与图像序列相对应的并且在传输和/或存储步骤之前业已用一种编码方法加以编码了的运动信息进行解码的方法，所述编码方法包括下列步骤--将当前图像分成两维块；--就所述当前图像的每个当前块，用块匹配算法在前一个图像中将变换块选择为对所说的当前块时的预测，所述变换块与当前块之间的运动矢量是与上述当前块相关的被预测的矢量，并且，对构成与上述当前图像有关的运动矢量域的整个当前图像，以类似的方式预测所有的运动矢量；--就各个当前图像，对上述相关运动矢量域所构成的运动信息进行编码，用利用空间-时间预测值P来逼近各当前块的要加以编码的运动矢量，所述空间-时间预测值P是由下列关系式来限定的线性组合所获得的P＝α.S+β.T其中，S和T分别是空间和时间预测值，(α，β)分别是与上述空间和时间预测值相关的加权系数。所述解码方法的特征在于，该方法包括两种类型的解码步骤--就由上述序列构成的第一运动矢量域，第一类型的解码步骤仅以空间预测值为基础；--就其它运动矢量域，第二类型的解码步骤包括根据已经解码的前一运动矢量域的运动矢量、按要加以解码的当前运动矢量的邻居关系限定的空间预测值以及所传输的加权系数α和β来计算空间-时间预测值P。
全文摘要
本发明涉及对运动信息进行编码的方法，所说的运动信息与视频序列有关，上述方法包括下列步骤将当前图像分成块；以及，将块匹配算法应用于各个块，以便将变换块限定为对当前块的预测，所述变换块与当前块之间的运动矢量是与上述当前块相关的被预测的矢量，并且，对构成与上述当前图像有关的运动矢量域的整个当前图像来说，以类似的方式预测所有的运动矢量。就各个当前图像，最终对上述相关运动矢量域所构成的运动信息进行编码。依照本发明，用通过关系式P＝α.S+β.T限定的空间－时间预测值P来逼近要加以编码的运动矢量，其中，S和T分别是空间和时间预测值，(α，β)分别是与上述空间和时间预测值相关的加权系数。本发明还涉及相应的解码方法。
文档编号H04N7/36GK1457604SQ02800289
公开日2003年11月19日 申请日期2002年2月11日 优先权日2001年2月13日
发明者V·波特雷奥, B·佩斯奎特－波佩斯库 申请人:皇家菲利浦电子有限公司