专利名称：基于空间预测的帧内编码的制作方法
技术领域：
本发明一般涉及图像编码，并且具体地涉及编码图像帧的块。
背景技术：
数字图像诸如视频图像、TV图像、静止图像或利用录像机或计算机产生的图像由水平行和垂直行中排列的像素组成。单个图像中像素的数量通常为数万。每一像素典型地包含亮度和色度信息。在没有压缩的情况下，从图像编码器传送到图像译码器的信息量如此巨大，以致于不能够进行实时图像传输。为了减少传送的信息量，已经研发了许多不同的压缩方法，诸如JPEG、MPEG以及H.263标准。在典型的视频编码器中，将原始视频序列的帧划分为矩形区域或块，以模内(Intra-mode)(I模式)或模间(Inter-mode)(P模式)形式对其进行编码。使用某种类型的变换编码诸如DCT编码来单独地编码这些块。然而，纯粹的基于块的编码只减少了特定块内像素间(inter-pixel)相关性，而没有考虑像素的块间相关性，并且还产生高比特率用于传输。当前的数字图像编码标准也利用某些减少块之间像素值的相关性的方法。
通常，根据一个先前编码和发送的帧来预测以P模式编码的块。块的预测信息利用二维(2D)运动矢量来表示。对于I模式编码的块来说，使用同一帧内已编码的邻近块的空间预测来形成预测块。预测误差即正被编码的块和预测的块之间的差值被表示为某一离散变换的一组加权的基函数。通常基于8×8或4×4块来执行变换。随后量化加权-变换系数。量化导致信息损失，并因此量化的系数具有比原始系数低的精度。
量化的变换系数以及运动矢量和一些控制信息一起形成一个完整的编码序列表示，并且被称为语法元素。在从编码器传输到译码器之前，对所有的语法元素进行熵编码，以便进一步减少其表示所需的比特数。
在译码器中，通过以与编码器中相同的形式首先构造其预测并且将压缩的预测误差添加到该预测，获得当前帧中的块。通过使用量化系数加权变换基函数，建立压缩的预测误差。重构的帧与原始帧之间的差称为重构误差。
压缩率即在L-块和P-块的情况中用于表示原始序列和压缩序列的比特数之比是通过调整用于量化变换系数的量化参数的值来控制的。该压缩率也取决于所采用的熵编码的方法。
如下描述在JVT编码器的Working Draft Number 2(WD2)中使用的空间预测的一个实例。为了执行空间预测，如图1所示，JVT编码器提供用于预测4×4块的9个模式，包括DC预测(模式0)和8个方向模式，标记为1-7。在图2中表示了预测处理。如图2所示，编码从a至p的像素，并且来自于已编码的邻近块的像素A-Q用于预测。例如，如果选择模式1，那么通过将像素a，e，i以及m设置为等于像素A来预测这些像素a，e，i以及m，并且通过将像素b，f， j以及n设置为等于B来预测像素b，f， j以及n，等等。同样，如果选择模式2，那么通过将像素a，b，c和d设置为等于像素I来预测像素a，b，c和d，并且通过将像素e，f，g和h设置为等于像素J来预测像素e，f，g和h，等等。所以，模式1是垂直方向中的预测器；并且模式2是水平方向中的预测器。这些模式描述在2001年9月由ITU-Telecommunication Standardization Sector of Video CodingExpert Group(VCEG)出版的文献VCEG-N54以及在2002年3月由Joint Video Teamof ISO/IEC MPEG和ITU-T VCEG出版的文献JVT-B118r2中。
模式0DC预测一般利用(A+B+C+D+I+J+K+L+4)＞＞3来预测所有的样本。如果四个样本在图画(picture)之外，那么剩余四个样本的平均值用于预测。如果所有8个样本处于图画之外，那么此块中所有样本的预测是128。因此，在该模式中总是可以预测一个块。
模式1垂直预测如果A，B，C，D处于图画之内，那么-利用A来预测a，e，i，m-利用B来预测b，f，j，n-利用C来预测c，g，k，o-利用D来预测d，h，l，p模式2水平预测如果E，E，G，H处于图画之内，那么-利用E来预测a，b，c，d
-利用F来预测e，f，g，h-利用G来预测i，j，k，l-利用H来预测m，n，o，p模式3对角向下/右预测(Diagonal Down/Right prediction)仅在所有的A，B，C D，I，J，K，L，Q都处于图画之内时才使用该模式。这是一个“对角”预测。
-利用(J+2K+L+2)＞＞2来预测m-利用(I+2J+K+2)＞＞2来预测i，n-利用(Q+2I+J+2)＞＞2来预测e，j，o-利用(A+2Q+I+2)＞＞2来预测a，f，k，p-利用(Q+2A+B+2)＞＞2来预测b，g，l-利用(A+2B+C+2)＞＞2来预测c，h-利用(B+2C+D+2)＞＞来预测d模式4对角向下/左预测仅在所有的A，B，C，D，I，J，K，L，Q都处于图画之内时才使用该模式。这是一个“对角”预测。
-利用(A+2B+C+I+2J+K+4)＞＞3来预测a-利用(B+2C+D+J+2K+L+4)＞＞3来预测b，e-利用(C+2D+E+K+2L+M+4)＞＞3来预测c，f，i-利用(D+2E+F+L+2M+N+4)＞＞3来预测d，g，j，m-利用(E+2F+G+M+2N+O+4)＞＞3来预测h，k，n-利用(F+2G+H+N+2O+P+4)＞＞3来预测l，o-利用(C+H+O+P+2)＞＞3来预测p模式5垂直-向左预测仅在所有的A，B，C，D，I，J，K，L，Q都处于图画之内时才使用该模式。这是一个“对角”预测。
-利用(Q+A+1)＞＞1来预测a，l-利用(A+B+1)＞＞1来预测b，k-利用(B+C+1)＞＞1来预测c，l-利用(C+D+1)＞＞1来预测d
-利用(I+2Q+A+2)＞＞2来预测e，n-利用(Q+2A+B+2)＞＞2来预测f，o-利用(A+2B+C+2)＞＞2来预测g，P-利用(B+2C+D+2)＞＞2来预测h-利用(Q+2I+J+2)＞＞2来预测i-利用(I+2J+K+2)＞＞来预测m模式6垂直-向右预测仅在所有的A，B，C，D，I，J，K，L，Q都处于图画之内时才使用该模式。这是一个“对角”预测。
-利用(2A+2B+J+2K+L+4)＞＞3来预测a-利用(B+C+1)＞＞1来预测b，j-利用(C+D+1)＞＞1来预测c，j-利用(D+E+1)＞＞1来预测d，k-利用(E+F+1)＞＞1来预测1-利用(A+2B+C+K+2L+M+4)＞＞3来预测e-利用(B+2C+D+2)＞＞2来预测f，m-利用(C+2D+E+2)＞＞2来预测g，n-利用(D+2E+F+2)＞＞2来预测h，o-利用(E+2F+G+2)＞＞2来预测p模式7水平-向上预测仅在所有的A，B，C，D，I，J，K，L，Q都处于图画之内时才使用该模式。这是一个“对角”预测。
-利用(B+2C+D+2I+2J+4)＞＞3来预测a-利用(C+2D+E+I+2J+K+4)＞＞3来预测b-利用(D+2E F+2J+2K+4)＞＞3来预测c，e-利用(E+2F+G+J+2K+L+4)＞＞3来预测d，f-利用(F+2G+H+2K+2L+4)＞＞3来预测g，i-利用(G+3H+K+3L+4)＞＞3来预测h，j-利用(L+2M+N+2)＞＞3来预测l，n-利用(G+H+L+M+2)＞＞2来预测k，m
-利用(M+N+1)＞＞1来预测o-利用(M+2N+O+2)＞＞2来预测p模式8水平-向下预测仅在所有的A，B，C，D，I，J，K，L，Q都处于图画之内时才使用该模式。这是一个“对角”预测。
-利用(Q+I+1)＞＞1来预测a，g-利用(I+2Q+A+2)＞＞2来预测b，h-利用(Q+2A+B+2)＞＞2来预测c-利用(A+2B+C+2)＞＞2来预测d-利用(I+J+1)＞＞1来预测e，k-利用(Q+2+J+2)＞＞2来预测f，l-利用(J+K+1)＞＞1来预测i，o-利用(I+2J+K+2)＞＞2来预测j，p-利用(K+L+1)＞＞1来预测m-利用(J+2K+L+2)＞＞2来预测n由于每一块必须具有被分配并被传输到译码器的预测模式，所以在直接编码的情况中将需要相当大量的比特。为了减少传输的信息量，能够使用邻近块的预测模式的相关性。例如，Vahteri等人(WO01/54416 A1，“A Method for EncodingImages and An Image Coder”，在下文中称为Vahteri)公开了一种基于块的编码方法，其中块内图像的方向性信息用于对多个空间预测模式进行分类。一个块的空间预测模式是利用至少一个邻近块的方向性信息来确定的。
在JVT编码器中，当已知邻近的已经被编码的块U和L的预测模式时，给出块C的最大可能的预测模式、下一最大可能的预测模式等等的排序(图3)。对于U和L的预测模式的每一种组合，指定模式的排序。该排序能够被规定为从最大可能到最小可能的模式来排序的块C的预测模式列表。以下给出如VCEGN54中所公开的用于JVT编码器的WD2中的排序列表
L/Uoutside0 1 2 3outside-------0-------- 01------- 10------- ---------002-------021648573 125630487 021876543 0213586471---------102654387 162530487 120657483 102536487220-------280174365 217683504 287106435 2810357643---------201385476 125368470 208137546 3258146704---------201467835 162045873 204178635 4206158375---------015263847 152638407 201584673 5312864076---------016247583 160245738 206147853 1602458377---------270148635 217608543 278105463 2701548638---------280173456 127834560 287104365 283510764L/U 45 6 7 8outside ------ --------- --------- --------- ---------0 206147583 512368047 162054378 204761853 2081346571 162045378 156320487 165423078 612047583 1206857342 287640153 215368740 216748530 278016435 2871036543 421068357 531268470 216584307 240831765 8325104764 426015783 162458037 641205783 427061853 2048517635 125063478 513620847 165230487 210856743 2108536476 640127538 165204378 614027538 264170583 2160845737 274601853 271650834 274615083 274086153 2784061538 287461350 251368407 216847350 287410365 283074165表格I为比特流中传送的排序的函数的预测模式在此，当U和L的预测模式是2时，如在JVT编码器的WD2中所规定的那样，给出块C的预测模式的一个实例。字符串(2，8，7，1，0，6，4，3，5)表示对于块C来说，模式2也是最大可能的模式。模式8是下一最大可能模式，等等。表明第n个最大可能的模式将用于块C的信息将被传输到译码器。用于块C的模式的排序也能够通过列出每一模式的等级来规定等级越高，预测方法越不可能。对于上述实例来说，等级列表是(5，4，1，8，7，9，6，3，2)。当模式(0，1，2，3，4，5，6，7，8)与等级列表(5，4，1，8，7，9，6，3，2)相关联时，我们能够知道模式0具有等级5，模式1具有等级4，等等。
为了更加有效的编码，能够以一个代码字来编码关于两个4×4块的帧内预测(intra prediction)的信息。
上述方法具有一个主要缺陷—需要存储器来保持在给定块U和L的预测模式的情况中用于块C的预测模式的排序。在JVT编码器的WD2中，因为9个模式用于预测，所以对于块U和L来说，存在9×9个可能的模式组合。对于每一组合，不得不规定9个可能模式的排序。这意味着需要9×9×9个字节(在这里假设一个数字需要一个字节)来规定预测模式的排序。另外，需要更多的存储器来规定特殊的情况—例如，如果块U和L之中的一个或两个都不可利用。
因而，有益的和希望的是提供一种方法和设备，用于编码数字图像，其中存储器需求减少，同时编码效率的损失是最小的。
发明内容
提供用于使用模内块预测来编码数字图像的方法和设备。用于邻近块(U，L)的每一种预测模式组合的预测模式的列表被获得。分配给每一预测模式组合的模式可以分成两组。第一组包括m(m小于可用模式的总数n)个最大可能的预测模式，并且第二组包括剩余模式。第一组中的模式根据其概率被排序。该排序可以被规定为从最大可能的模式到最小可能的模式进行排序的模式列表。属于第二组的模式可以以某一预定方式进行排序，这可以根据已可用于译码器的信息来指定。关于为给定块选择的模式是属于第一组还是属于第二组的信息被发送到译码器。如果属于第一组，那么指示第i个最大可能的模式在给定块U和L的模式组合的情况中应用于块C的信息被发送。如果此模式属于第二组，那么指示应使用该组的第j个模式的信息被发送。
一旦阅读了结合图4a-8进行的描述，本发明将变得清楚。
图1是说明用作空间预测模式的8个方向模式的示意性表示。
图2是说明用于当前4×4像素块的预测的像素的示意性表示。
图3是说明用于预测当前块的两个邻近块的示意性表示。
图4a是说明用于预测当前块的两个邻近块的空间预测模式的示意性表示。
图4b是说明与图4a具有镜像关系的两个邻近块的空间预测模式的示意性表示。
图5a是说明另一空间预测模式对的示意性表示。
图5b是说明镜像模式对的示意性表示。
图6是说明空间预测的方法的流程图。
图7是说明用于实施根据本发明实施例的方法的数字图像块传送系统的方框图。
图8是说明实施根据本发明实施例的方法的便携式视频电信设备的方框图。
具体实施例方式
本发明的一个实施例利用以下特性即，有可能获得用于邻近块的预测模式的一个组合的预测模式的排序表，作为另一组合的预测模式的函数。为了说明目的，如图3所示，两个邻近块U和L的预测模式用于推断当前块C的预测。注意，如图4b所示那样，通过对角翻转(flip)预测模式，能够获得图4a中预测模式的组合。因此，当使用图4a中的模式组合时，用于块C的第n个最大可能的预测模式应与图4b中模式组合的“对角翻转的”、第n个最大可能的预测模式相同。因而，如果所述邻近块U和L具有模式“垂直的”和“垂直的”，那么当前块C的预测模式最大可能是“垂直的”(图4b)。因此，当这些块相对于对角线(“下/右”)被翻转或镜像时，根据“水平的”和“水平的”，我们知道对于当前块C应得到“水平的”。类似地，如图5a所示那样，如果这些邻近块U和L具有模式2和3，那么如图5b所示那样，被翻转的块U和L将具有模式3和1。
为了进一步说明该实例，我们如下定义将预测方向i映射到j的函数f，即j＝f(i)。给每一预测模式i分配通过围绕从块的左上角到块的右下角延伸的对角线进行镜像而获得的一个预测模式j。对于图1中的预测模式，在表格II中概括所得到的分配。
权利要求
1.一种使用模内块预测的多个空间预测模式将包括多个图像块的图像信息编码为比特流的方法，其中基于多个导出的预测模式来确定当前块(C)的空间预测模式，其中多个导出的预测模式是基于当前块(C)的多个邻近块(U，L)的空间预测模式导出的，所述方法的特征在于将所述多个导出的预测模式分组为第一组和第二组，第一组具有第一数量的第一预测模式，而第二组具有第二数量的第二预测模式，其中第一数量小于导出的预测模式的数量，并且其中第一预测模式具有比第二预测模式更高的出现概率，以及将指示当前块(C)的空间预测模式是属于第一组还是属于第二组的信息编码为比特流。
2.如权利要求1的方法，其特征进一步在于根据第一预测模式之中的出现概率，排序第一预测模式。
3.如权利要求1的方法，其特征进一步在于以译码设备已知的预定方式，排列第二预测模式。
4.如权利要求1的方法，其特征进一步在于当选择具有最高出现概率的导出的预测模式用于编码当前块(C)时，将指示哪一个第一预测模式具有最高出现概率的信息编码为比特流。
5.如权利要求1的方法，其特征进一步在于译码设备已知预测模式的排序集合，以致于该译码设备基于排序集合来确定第二预测模式的排序。
6.如权利要求5的方法，其特征进一步在于该排序集合与当前块(C)的多个邻近块(U，L)的一组以上的空间预测模式相关联。
7.如权利要求1的方法，其特征进一步在于可利用多个不同的整数来表示导出的预测模式，并且根据译码设备已知的整数顺序来排序第二预测模式。
8.如权利要求1的方法，其中可利用多个不同的整数来表示导出的预测模式，每一整数对应于导出的预测模式，并且其中以整数的升序来排列所述整数，以提供一个排序集合，所述方法的特征进一步在于从排序集合中去除对应于第一预测模式的整数，以提供修改的排序集合，从而允许译码设备基于修改的排序集合来确定第二组的排序。
9.如权利要求1的方法，其中选择所述多个导出的预测模式之一用于编码当前块(C)，所述方法的特征进一步在于如果选择的一个组合预测模式在第二组中，那么将指示第二预测模式之中第i个模式的信息提供给译码设备。
10.如权利要求1的方法，其特征进一步在于在需要时，映射邻近块的空间预测模式，以提供邻近块的互补预测模式，基于邻近块的互补预测模式来确定当前块(C)的互补预测模式，以及映射当前块(C)的互补预测模式，以获得当前块(C)的空间预测模式。
11.如权利要求10的方法，其特征在于利用镜像第一和第二块的镜像函数来执行块(C)的互补预测模式的映射。
12.一种编码设备，用于使用模内块预测的多个空间预测模式来编码包括多个图像块的图像，其中基于多个导出的预测模式来确定当前块(C)的空间预测模式，其中多个导出的预测模式是基于当前块(C)的多个邻近块(U，L)的空间预测模式导出的，所述编码设备的特征在于用于将所述多个导出的预测模式分组为第一组和第二组的装置，第一组具有第一数量的第一预测模式，而第二组具有第二数量的第二预测模式，其中第一数量小于导出的预测模式的数量，并且其中第一预测模式具有比第二预测模式更高的出现概率，而且以译码设备已知的预定方式来排序第二预测模式，以及用于将指示当前块(C)的空间预测模式是属于第一组还是属于第二组的信息编码为比特流的装置。
13.如权利要求12的编码设备，其特征进一步在于响应于第一组而用于根据第一预测模式之中的出现概率来排序第一预测模式以提供排序集合的装置。
14.如权利要求12的编码设备，其特征进一步在于用于将指示具有最高出现概率的排序集合中的预测模式的信息提供给译码设备的装置。
15.如权利要求12的编码设备，其特征进一步在于能够在需要时基于邻近块的空间预测模式提供邻近块的互补预测模式的装置，以便能够基于邻近块的互补预测模式来确定当前块的互补预测模式，以及响应于当前模式的互补预测模式而用于基于当前模式的互补预测模式的映射来提供当前块(C)的空间预测模式的装置。
16.一种用于使用模内块预测的多个空间预测模式根据比特流来译码包括多个图像块的图像信息的方法，其中基于多个导出的预测模式来确定当前块(C)的空间预测模式，其中多个导出的预测模式是基于当前块(C)的多个邻近块(U，L)的空间预测模式导出的，所述方法的特征在于将所述多个导出的预测模式分组为第一组和第二组，第一组具有第一数量的第一预测模式，而第二组具有第二数量的第二预测模式，其中第一数量小于导出的预测模式的数量，并且其中第一预测模式具有比第二预测模式更高的出现概率，所述方法的特征在于根据比特流来译码指示当前块(C)的空间预测模式是属于第一组还是属于第二组的信息，从而允许译码设备基于译码信息来确定当前块(C)的空间预测模式。
17.如权利要求16的方法，其特征进一步在于根据第一预测模式之中的出现概率，排序第一预测模式。
18.如权利要求16的方法，其特征进一步在于以译码设备已知的预定方式，排列第二预测模式。
19.如权利要求16的方法，其特征进一步在于当选择具有最高出现概率的组合预测模式用于编码和译码当前块(C)时，译码信息也指示哪一个第一预测模式具有最高出现概率。
20.如权利要求16的方法，其特征进一步在于将排序集合提供给译码设备，以允许译码设备基于该排序集合来确定第二预测模式的排序。
21.一种译码器，能够使用模内块预测的多个空间预测模式根据比特流来译码包括多个图像块的图像信息，其中基于多个导出的预测模式来确定当前块(C)的空间预测模式，其中多个导出的预测模式是基于当前块(C)的多个邻近块(U，L)的空间预测模式导出的，其特征在于将所述多个导出的预测模式分组为第一组和第二组，第一组具有第一数量的第一预测模式，而第二组具有第二数量的第二预测模式，其中第一数量小于导出的预测模式的数量，并且其中第一预测模式具有比第二预测模式更高的出现概率，所述译码器的特征在于响应于译码信息而用于确定当前块(C)的空间预测模式是属于第一组还是属于第二组的信息的装置，以及用于基于所述确定来选择空间预测模式的装置。
22.如权利要求21的译码器，其特征进一步在于根据第一预测模式之中的出现概率，排序第一预测模式。
23.如权利要求21的译码器，其特征进一步在于以预定方式排列第二预测模式，所述译码器的特征进一步在于用于存储指示所述预定方式的信息的装置。
24.如权利要求21的译码器，当选择具有最高出现模式的导出的预测模式用于译码当前块(C)时，所述确定装置也能够基于译码信息来确定哪一个第一预测模式具有最高出现概率。
25.一种图像编码系统，用于使用模内块预测的多个空间预测模式对包括多个图像块的图像进行编码和译码，其中基于多个导出的预测模式来确定当前块(C)的空间预测模式，其中多个导出的预测模式是基于当前块(C)的多个邻近块(U，L)的空间预测模式导出的，所述编码系统的特征在于用于将所述多个导出的预测模式分组为第一组和第二组的装置，第一组具有第一数量的第一预测模式，而第二组具有第二数量的第二预测模式，其中第一数量小于导出的预测模式的数量，并且第一预测模式具有比第二预测模式更高的出现概率，用于将指示当前块(C)的空间预测模式是属于第一组还是属于第二组的组信息编码为比特流的装置，以及用于根据比特流来译码所述组信息以允许译码设备基于所述译码信息来确定当前块(C)的空间预测模式的装置。
26.如权利要求25的图像编码系统，其特征进一步在于响应第一组而用于根据第一预测模式之中的出现概率来排序第一预测模式的装置。
27.如权利要求25的图像编码系统，其特征进一步在于响应第二组而用于以译码设备已知的预定方式来排列第二预测模式的装置。
28.一种计算机程序，用于图像编码系统中，用于使用模内块预测的多个空间预测模式来将包括多个图像块的图像信息编码为比特流，其中基于多个导出的预测模式来确定当前块(C)的空间预测模式，其中多个导出的预测模式是基于当前块(C)的多个邻近块(U，L)的预测模式导出的，所述计算机程序的特征在于用于将所述多个导出的预测模式分组为第一组和第二组的伪代码，第一组具有第一数量的第一预测模式，而第二组具有第二数量的第二预测模式，其中第一数量小于导出的预测模式的数量，并且第一预测模式具有比第二预测模式更高的出现概率，以及用于根据第一预测模式之中的出现概率来排序第一预测模式的伪代码。
29.如权利要求28的计算机程序，其特征进一步在于用于以译码设备已知的预定方式来排列第二预测模式的伪代码。
全文摘要
一种用于使用模内块预测来编码数字图像的方法(100)和设备(90)，其中用于邻近块(U，L)的每一预测模式组合的预测模式列表被获得。分配给每一预测模式组合的模式可以被分成两组。第一组包括n(n小于可用模式的总数)最大可能的预测模式，并且第二组包括剩余模式。第一组中的模式根据其概率被排序。该排序可以被规定为从最大可能的模式到最小可能的模式进行排序的模式列表。属于第二组的模式可以某一预定方式来排序，这可以根据已可用于译码器(60)的信息来指定。
文档编号H03M7/36GK1659580SQ03813415
公开日2005年8月24日 申请日期2003年6月10日 优先权日2002年6月11日
发明者M·卡策维茨 申请人:诺基亚有限公司