视频编码方法和装置的制作方法

专利名称：视频编码方法和装置的制作方法
技术领域：
本发明涉及编码视频图象的方法，它包括下列步骤把视频图象的图象块变换成变换系数，对各经过转换的图象块的变换系数和通过将运动估计应用于以前编码的图象所得到的预测块的相应变换系数之差进行编码。本发明还涉及实施这种方法的装置。
发明的
背景技术：
根据诸如MPEG和H.261的国际编码标准运行的视频编码器是混合式编码器，其中结合了变换编码和预测编码。包括运动估计和补偿的预测编码通常是在象素域进行的，变换编码(DCT)则用于预测编码信号。在这些编码器中，在预测环中需要反DCT。
现在，正在研究开发在变换域进行预测编码。在混合式编码器的这个实施例中，首先变换图象，然后将预测编码应用于变换系数。现在可以省去反DCT。马里兰大学已经在互联网上(http//dspserv.eng.umd.edu80..\~koc/project/Video_Coding.html)公布了这种混合视频编码器的简化图。
先有技术的混合视频编码器的缺点在于变换域中的运动估计和补偿比象素域中更为复杂，这是因为计算预测块涉及大量的矩阵相乘。尤其是，运动估计是一个困难的问题。运动估计包括下列步骤计算多个候选预测块，将每个候选预测块与变换的图象块进行比较，以及选择其中一个候选预测块作为预测块。对于多个候选预测块的每一个，涉及大量的所述计算。
发明目的和技术方案本发明的目的是提供一种减轻上述缺点的视频编码的方法。
为了达到这些和其它目的，根据本发明的方法的特征在于下列步骤计算候选预测块，对于所述候选预测块和变换的图象块的变换系数的子集，将候选预测块与变换的图象块进行比较。
本发明基于这样的认识用于编码图象块的大多数比特通常用在几个变换系数，这有助于将对最相似的预测块的检索限于这些系数。从而使相乘的数量显著减少，尤其是在诸如运动补偿应用于包括四个8×8亮度块的16×16宏块的MPEG等的编码标准。要指出的是仍然全部计算运动补偿的最终选择的预测块。这样就不会影响图象的质量。
有利的是，变换系数的子集包括DC系数和预定数量的邻接的AC系数，例如构成在8×8块的左上角的2×2或3×3子矩阵的系数。子矩阵可以沿水平方向伸展(例如2×3和3×4)，这是由于在一般视频镜头中所看到的大多数运动都是水平的。当只计算单排或单列的系数时，相乘的数量甚至进一步减少。
在一个最佳实施例中，系数是根据候选预测块所表示的进行选择的，并且用其相关的候选运动向量予以表达。如果候选运动向量表示水平运动，则选择基本上沿水平方向的伸展的子矩阵。如果候选运动向量表示垂直运动，选择的子矩阵基本上沿垂直方向。
附图的简单描述

图1表示根据本发明在变换域中进行运动估计的混合式编码器。
图2表示运动物体在象素域中的两个阶段。
图3表示预测块相对于变换域中以前编码的块的相对位置的实例。
图4A-4C和5A-5D表示为进行运动估计所选的系数的子集的实例。
图6表示一个例示图1所示的运动估计和补充电路的操作的流程图。
图7表示预测宏块相对于变换域中以前编码的块的相对位置的实例。
关于实施例的描述图1表示根据本发明在变换域中进行运动估计的混合式编码器。编码器接收以8×8象素的图象块X形式的视频图象信号。各象素块通过离散余弦变换电路1变换成一种8×8DCT系数的块Y。在减法器2中，从块Y的相应系数中减去预测块

的系数，以获得一种8×8差系数块。差系数在量化器3中进行量化，然后用可变长度编码器4将量化的差系数编码成可变长度代码字。可变长度代码字构成混合式编码器的数字输出比特流。这种比特流加到传输通道或者存储在存储媒体(未示出)上。
在一个预测环中，量化的差系数在反量化器5中经受反量化，通过加法器6加到现时的预测块上，且写入帧存储器7，以更新其中所存储的以前编码的图象。存储在帧存储器7的图象块用Z表示。要指出的是它们存储在变换域中。运动估计和运动补偿电路8接收现时的图象块，并且在帧存储器7中搜索与所述图象块最相似的预测块Y。这样找到的预测块的位置用运动向量mv识别，运动向量mv限定预测块相对于现时块位置的位置。运动向量mv加到可变长度编码器4上，成为输出比特流的一部分。
过去，常常是在象素域中进行运动补偿的。这通过图2中所示的实例予以说明，图2中示出了运动物体10在象素域中的两个阶段。在这幅图中示出了图象部分11和对应的图象部分12，图象部分11包括所要编码图象的十二个8×8象素块，图象部分12则是存储在帧存储器中的以前编码的图象。标号13表示一个所要编码的8×8象素块X，标号14则表示帧存储器中最相似的预测块

还示出了与预测块X相关的运动向量mv。一旦通过运动估计找到了这个运动向量，通过从帧存储器读出预测块X的相关象素就能轻易地获得预测块。
相比之下，图1中所示的混合解码器存储在变换域中以前编码的图象。现在必须从存储在存储器中的系数块Z计算预测块

的系数。这通过图3中的实例予以说明，图3示出了要从四个基础系数块Zi、Z2、Z3、和Z4计算预测块

的系数。在数学表示中，预测块是从以下公式得出的Y^=Σi=14HiZiWi-----(1)]]>式中Hi和Wi是表示块

相对于基础块的相对位置的变换矩阵。Hi和Wi具有格式

和

的其中一个，式中I是单位矩阵，0是零的矩阵。除了其它情况之外，公式(1)的理论背景可以在美国专利US-A-5，408，274中找到。
预测块的系数的上述计算假设了有关矩阵H和W的知识，即运动向量mv的知识。运动估计器(包含在图1的电路8中)的用途是确定最相似于现时输入块的预测块的运动向量。甚至在象素域中，运动估计也是很复杂的过程，已经作了许多研究工作，寻找成本有效和性能良好的运动估计算法。其实，运动估计是一种将运动补偿应用于多个候选预测块以及从所述候选预测块中选择最佳预测块的重复过程。后文通过实例参考一种称为3维递归搜索(3DRS)块匹配算法的算法。除了其它情况之外，申请人的美国专利US-A-5,072,293中公开了这种算法。3DRS运动估计算法的有趣特性是只需要估算数量有限的候选运动向量。
鉴于认识到运动估计类似于将运动补偿重复应用于多个候选预测块，变换域中的运动补偿需要若干次计算公式(1)。这就需要大量的乘法运算。根据本发明，只对数量有限的系数按照公式(1)进行各候选预测块的计算。这就显著地减少了乘法运算的数量，使得在变换域中运行的单片MPEG2编码器成为可行。不消说，这在数字视频处理领域是一个巨大的跃进。
可以固定地选择用于运动估计目的的所要计算的系数。最好，它们包括表示较低空间频率的一些AC系数和DC系数。这是由于这些系数决定输出信号中的大多数比特，因此是最值得在差块(图1中的减法器2的输出)被减至最少的。图4A-4C示出了最佳选择的几个实例。在每个实例中，左上方系数是DC系数。在图4A中，这些系数构成一个3×3(或者任何其它规模)子矩阵。在图4B中，选择的系数是折线扫描序列的前几个系数。鉴于已经获得的用于折线扫描系数块的电路，这种选择是很有好处的。在图4C中，子矩阵沿水平方向伸展。根据在平面视频镜头中所看到的大多数运动都是水平运动的特性，后一种选择是有益的。
在本发明的最佳实施例中，根据正被估算的候选运动向量自适应地选择为了运动估计目的所要计算的系数。如果候选运动向量表示水平运动(如果以前已经发现基本水平运动，在3DRS算法中就会是这种情况)，就选择沿水平方向伸展的子矩阵。在图5A和5B中示出了它的实例。如果候选运动向量表示垂直运动，如图5C和5D所示，子矩阵沿垂直方向伸展。图5B和5D所示出的实例是特别有利的，这是由于计算单排或单列的系数对节省乘法运算的数量是非常有帮助的(构成单排的8个系数计算起来比构成2×4子矩阵的8个系数更经济)。还要指出的是所选择的AC系数与DC系数不一定要邻接。由于少量的运动在差块中表现为较高的空间频率(图1中的减法器2的输出)，估算表示少量运动的较高空间频率的AC系数的值也可以是有利的。
现在描述(图1)运动估计和运动补偿电路8的运行情况。由于必须连续地进行多个各自涉及若干计算的相同运算，这个电路最好作为微处理器控制的运算单元予以实施。这种单元的结构对于本领域的技术人员是熟知的，因此就不详细予以说明。为了公开本发明，图6表示由控制运算单元的微处理器执行的运算的流程图。假定采用3DRS运动估计算法，预先知道候选运动向量mvk(k＝1......K)。
在第一步20，处理器确定考虑DCT系数的哪个子集用于运动估计过程。如上文所已经讨论的，可以固定地选择(参阅图4A-4C)或者根据候选运动向量自适应地(参阅图5A-5D)选择这个集。在步20中，用表示它们在系数矩阵中的位置的指数(u＝0......7，v＝0......7)表示系数。
在步21中，微处理器选择候选运动向量mvk的其中之一。然后，在步22中，处理器从帧存储器中检索出四个作为与这个运动向量相关的候选预测块的基础的系数块。根据公式(1)，所述四个块表示为Z1......Z4。
在步23中，根据公式(1)计算候选预测块的相关系数。这些系数表示为

要指出的是只计算具有在考虑了在步20中所确定的指数(u，v )的系数

在步24中，微处理器将系数

的集与现时输入块的相应系数yu，v相比较。其结果作为现时候选运动向量mvk的相似物指示符Rk。在这个实例中，相似物指示符表示变换域中的输入块和候选预测块之间的平均绝对差RK=Σu,vWu,v|yu,v-y^u,v|]]>式中wu，v是表示各系数的相对相关性的加权因子。在诸如MPEG等的视频压缩方案中，量化器矩阵提供适当的加权因子。在一个简单的实施例中，所有加权因子wu，v可以设定为一。
在步25中，测试是否所有候选运动向量mvk(k＝1......K)都以这种方式予以处理。只要情况不是这样，对于其它的候选运动向量mvk重复步21-24。如果已经处理了所有的候选运动向量，运动估计过程进行步26，在步26中，确定在所存储的相似物指示符Rk(k＝1......K)中哪一个具有最小值。现在已经识别出候选预测块中最佳匹配的一个，运动估计过程就结束了。
运算单元现在进行运动补偿。为此，在步30中再次选择刚找到的最佳匹配预测块的运动向量mvk。在步31中，从帧存储器中重新读出四个基础块Z1......Z4。在步32中，根据公式(1)计算预测块

的所有系数。注意在这步32与在运动估计过程中宣称相似的步23的区别。在步32中，计算所有的系数，而步23只用于几个系数。块Y加到混合式编码器的减法器2(参阅图1)。
在上述实施例中，候选预测块与作为基础的以前编码的块具有相同的规模。诸如H.263的某些编码标准提供一种选择(“高级运动估计”)，以传输各8×8块的运动向量。上述实施例可以根据这个标准在混合式编码器中有利地予以实施。诸如MPEG的其它编码标准为每个包括四个8×8块的宏块传输一个运动向量。对于这些编码标准，运动根估计和补偿的过程稍微不同，现在参照图7予以说明。
图7表示一个包括四个8×8块

的(候选)预测宏块40。现在宏块覆盖九个以前编码的系数块Z1-Z9。为了算出宏块的系数，根据公式(1)从其四个基础块个别地计算每个8×8块。再如上所述参照图6进行运动估计和运动补偿过程。为了运动动偿的目的，(在步32中)计算所有的系数(总共4×64)。为了运动补偿的目的，只计算所选择的系数(步23)，从输入的宏块中取出相应的系数，用以确定相似物指示符(步25)。
总之，公开了一种在变换域中进行运动估计和运动补偿的(8)的的混合式编码器。在这种编码器中，从存储在变换域帧存储器7的以前编码的块(Z)计算预测块

需要大量的乘法运算。这特别应用于运动估计算法。根据本发明，只计算候选预测块的几个DCT系数，例如DC系数和一些AC系数。在最佳的实施例中，根据正被考虑的运动向量自适应地选择AC系数。然后比较候选预测块的计算的系数和现时输入的图象块(Y)的相应的系数，以识别最佳匹配的预测块。
权利要求
1.一种编码视频图象的方法，包括下列步骤将视频图象的图象块变换成变换系数(1)，以及将各经过变换的图象块(Y)的变换系数与通过把运动估计(8)应用于以前编码的图象所获得的预测块
的相应变换系数之差(2)进行编码(2-8)，该运动补偿包括下列步骤计算多个候选预测块(23)，将各候选预测块与经过变换的图象块进行比较(24)，以及选择其中一个候选预测块作为预测块(26)，其特征在于进行计算候选预测块的步骤(23)，以及对于所述候选预测块和变换的图象块的变换系数的子集，将各候选预测块与经过变换的图象块进行比较步骤(24)。
2.根据权利要求1的方法，其特征在于所述变换系数的子集包括DC系数和预定数量的AC系数。
3.根据权利要求1或2的方法，其特征在于根据与所述候选预测块相关的候选运动向量自适应地选择所述变换系数的子集。
4.根据权利要求3的方法，其特征在于所述变换系数的子集包括前M排候选预测块的前N个系数，M和N是分别根据所述候选运动向量的水平和垂直分量选出的。
5.根据权利要求4的方法，其特征在于对于具有基本上垂直的分量的候选运动向量，N＝1，而对于具有基本上水平的分量的候选运动向量，M＝1。
6.根据权利要求1的方法，其特征在于所述将各候选预测块与经过变换的图象块进行比较步骤(24)包括比较空间上相应的系数，预定的加权因子(wu，V)加到所述空间上相应的系数。
7.根据权利要求1的方法，其特征在于根据3维递归块匹配算法选择所述候选预测块。
8.一种以块为基础的混合式视频编码器，包括一个用以把视频图象的图象块变换成变换系数的变换编码电路(1)，以及一个用以将各经过变换的图象块(Y)与通过把运动估计(8)应用于以前编码的图象(Z)所获得的预测块
之差(2)进行编码的预测编码器(2-8)，该预测编码器包括一个运动估计器(8)，所述运动估计器(8)配置成计算多个候选预测块(23)，将各候选预测块与经过变换的图象块进行比较(24)，以及选择其中一个候选预测块作为预测块(26)，其特征在于所述运动估计器(8)配置成进行候选预测块的计算(23)，以及对于所述候选预测块和变换的图象块的变换系数的子集，将候选预测块与经过变换的图象块进行比较(24)。
全文摘要
一种混合式视频编码器在变换域中进行运动估计和补偿(8)。在这种编码器中,从存储在变换域帧存储器(7)中的以前编码的块(Z)计算预测块(Y)需要大量的乘法运算。这特别适用于运动估计算法。根据本发明,只计算候选预测块的几个DCT系数,例如DC系数和一些AC系数。在最佳实施例中,根据正被考虑的运动向量自适应地选择AC系数。然后比较候选预测块的计算出的系数和现时输入的图象块(Y)的相应系数,以识别最佳匹配的预测块。
文档编号H04N7/32GK1256049SQ99800128
公开日2000年6月7日 申请日期1999年1月28日 优先权日1998年2月13日
发明者R·P·克莱霍斯特, F·卡夫雷拉 申请人:皇家菲利浦电子有限公司