本申请是2013年5月24日提交的国际申请日为2011年11月23日的申请号为201180056699.8(国际申请号pct/kr2011/008949)的，发明名称为“使用信号通知图像信息的方法和使用该方法来解码图像信息的方法”专利申请的分案申请。
本发明涉及图像信息压缩技术，并且更具体地，涉及使用信号通知(signaling)关于预测模式的信息的方法和使用该方法来解码图像信息的方法。
背景技术：
对于具有高分辨率和高质量的图像的需求近来已经在各个领域中增加。然而，随着图像的分辨率和质量的改善，图像中的数据量也同样增大。因此，如果使用诸如现有的有线/无线宽带线路的介质来发送图像数据，或者使用现有的存储介质来存储图像数据，则也增大发送和存储数据的成本。为了有效地发送、存储和播放在具有高分辨率和高质量的图像内的信息，可以使用利用高效率的图像压缩技术。
为了改善图像压缩效率，可以使用帧间预测和帧内预测。在帧间预测方法中，使用在其他画面中找到的信息作为参考而预测在当前画面内的像素值。在帧内预测方法中，使用在同一画面内的像素之间的相关性而预测当前画面的像素值。
同时，作为熵编码方法，存在使用基于上下文的(context-based)自适应二进制算术编码(cabac)的方法和使用基于上下文的自适应可变长度编码(cavlc)的方法。
在cabac方法中，根据上下文来选择用于每一个句法元素(syntaxelement)的概率模型，通过内部统计来改变概率模型的概率值，并且使用算术编码来执行压缩。替代地，如果将cavlc用作熵编码模型，则使用可变长度编码(vlc)表来对每一个句法元素执行编码。
技术实现要素：
【技术问题】
本发明提供了一种能够减小传输开销的使用信号通知的方法和设备。
本发明也提供了一种用于使用信号通知通过联合编码的与被应用到当前块的预测类型有关的信息的方法和设备。
本发明也提供了一种用于通过考虑每种预测类型的出现频率来确定使用信号通知的顺序的方法和设备。
本发明也提供了一种用于通过考虑每种预测类型的出现频率来对于预测类型分配码字的方法和设备。
本发明也提供了一种用于考虑每种预测类型的出现频率而将码字适用于预测类型的方法和设备。
本发明也提供了一种用于有效地选择最可能模式(mostprobablemode)(mpm)以便增大压缩效率和预测效果的方法和设备。
【技术方案】
(1)本发明的一个实施例涉及一种使用信号通知视频信息的方法，包括：对当前块执行预测，并且使用信号通知与被应用到所述当前块的预测类型有关的信息，其中，使用信号通知与预测类型有关的信息可以包括：联合编码形成与预测类型有关的信息的信息元素，并且，使用信号通知被联合编码的信息元素。
(2)在(1)中，所述信息元素可以包括关于预测模式的信息和关于分区大小的信息。
(3)在(2)中，所述信息元素可以包括关于是否已经将块分区的信息和关于条带类型的信息中的至少一个。
(4)在(1)中，可以通过联合编码向具有高选择比的预测类型分配短码字。
(5)在(1)中，可以使用标记来单独地使用信号通知在适用于当前块的多个预测类型中的特定预测类型是否被应用。
(6)在(5)中，所述特定预测类型可以是跳过模式。
(7)在(5)中，所述特定预测类型可以包括跳过模式与合并模式，其中，可以优先地使用信号通知是否向所述当前块应用跳过模式，并且，如果使用信号通知向当前块应用帧间预测模式，则可以使用信号通知是否向所述当前块应用合并模式。
(8)在(5)中，可以通过联合编码向具有高选择比的预测类型分配短码字。
(9)本发明的另一个实施例涉及一种解码视频信息的方法，包括：接收信息；基于接收到的信息来对当前块执行预测；并且基于预测来重建当前块，其中，接收到的信息包括被联合编码的信息元素，并且信息元素形成被应用到当前块的预测类型。
(10)在(9)中，信息元素可以包括关于预测模式的信息和关于分区大小的信息。
(11)在(10)中，信息元素可以包括关于是否已经将块分区的信息和关于条带类型的信息中的至少一个。
(12)在(9)中，通过联合编码可以向来自多个预测类型中的具有高出现频率的预测类型分配短码字。
(13)在(9)中，使用标记，作为单独的信息来接收来自适用于当前块的多个预测类型中的特定预测类型是否被应用。
(14)在(13)中，特定预测类型可以包括跳过模式与合并模式，可以优先地接收是否向当前块应用跳过模式，并且，如果使用信号通知向当前块应用帧间预测模式，则可以接收关于是否向当前块应用合并模式的信息。
【有益效果】
根据本发明，可以当使用信号通知关于预测的信息时减小开销。
根据本发明，可以通过对与被应用到当前块的预测类型有关的信息执行联合编码来减小信令开销。
根据本发明，可以通过考虑到每一个预测类型的出现频率而确定使用信号通知的顺序或分配码字来改善发送效率。
根据本发明，可以通过考虑到每一个预测类型的出现频率而将码字适用于预测类型来减小发送开销和所发送的比特的数量。
根据本发明，可以通过有效地选择最可能模式(mpm)来改善压缩效率和预测效果。
附图说明
图1是示意地示出根据本发明的一个实施例的视频编码设备(或编码器)的框图。
图2是示意地示出根据本发明的一个实施例的视频解码器的框图。
图3示意地示出当在cu单元中执行合并模式时使用信号通知用于预测的信息的方法的示例。
图4是示意地示出每种预测类型的出现频率的图。
图5是示意地示出编码器在本发明适用的系统中执行使用信号通知的方法的示例的图。
图6是示意地示出编码器在本发明适用的系统中执行使用信号通知的方法的另一个示例的图。
图7和8是示意地示出编码器在本发明适用的系统中执行使用信号通知的方法的其他示例的图。
图9示意地示出当在pu单元中执行合并模式时使用信号通知关于预测的信息的示例。
图10示意地示出当在pu单元中应用合并模式时的每个预测类型的出现频率的图。
图11是示意地示出编码器在本发明适用的系统中执行使用信号通知的方法的示例的图。
图12是示意地示出编码器在本发明适用的系统中执行使用信号通知的方法的另一个示例的图。
图13是示意地示出编码器在本发明适用的系统中执行使用信号通知的方法的又一个示例的图。
图14示意地示出解码处理的示例。
图15是图示在解码处理中的预测模式解码处理的图。
图16是示意地图示使用信号通知通过联合编码的预测模式和分区信息的方法的示例的图。
图17是示意地图示由于向分区模式(partitionmode)分配的码字被延长而导致比特浪费的情况的示例的图。
图18是示意地图示在本发明所适用的系统中的适配重置(adaptationreset)的示例的图，其中，分区模式是重置的目标，并且最大编码单元(lcu)是重置单元。
图19是示意地图示码字适配方法的图。
图20是示意地图示在本发明所适用的系统中用于适配的相邻参考块的示例的图。
图21是示意地图示在本发明所适用的系统中改变适配的方法的实施例的图。
图22是示意地图示用于当前块的帧内预测方法的示例的图。
图23是用于当在本发明所适用的系统中一些mpm候选有效时确定最可能模式(mpm)的方法的示例的图。
图24是示意地图示在本发明所适用的系统中的mpm候选的扩展的图。
图25是示意地图示在本发明所适用的系统中的编码器的操作的流程图。
图26是示意地图示在本发明所适用的系统中的解码器的操作的图。
具体实施方式
可以以各种方式修改本发明，并且，本发明可以具有几个实施例。在附图中图示并且详细描述了本发明的特定实施例。然而，本发明不仅仅限于所给出的特定实施例。在本说明书中使用的术语仅用于描述该特定实施例，并且不意欲限制本发明的技术范围。引用单数值的表达另外地指示复数的对应表达，除非上下文另外明确地限制。在本说明书中，诸如“包括”或“具有”的术语意欲指定存在的在说明书中描述的特性、数字、步骤、操作、元件或部分或者它们的组合，并且应当明白，它们不排除一个或多个另外的特性、数字、步骤、操作、元件或部分或者其组合的存在或可能增加的可能性。
同时，为了关于视频编码和解码设备的不同特性和功能的描述的方便，独立地图示了在本发明中描述的附图中的元件，但是这不指示使用单独的硬件或单独的软件来实现每一个元件。例如，可以将两个或更多个元件组合以形成一个元件，并且，可以将一个元件划分为多个元件。应当注意，在本发明的范围中包括将一些元件集成到一个组合元件内并且/或者将一个元件分离为多个单独的元件的实施例，只要它们不偏离本发明的本质。
以下，参考附图详细描述本发明的一些示例性实施例。以下，相同的附图标记贯穿附图指示相同的元件，并且省略相同元件的冗余说明。
图1是示意地示出根据本发明的一个实施例的视频编码设备(或编码器)的框图。参见图1，视频编码设备100包括画面分区模块105、预测模块110、变换模块115、量化模块120、重新排序模块(reorderingmodule)125、熵编码模块130、逆量化模块135、逆变换模块140、滤波器模块145和存储器150。
画面分区模块105可以将输入画面分区为一个或多个处理单元。该处理单元可以是预测单元(以下称为“pu”)、变换单元(以下称为“tu”)或编码单元(以下称为“cu”)。
预测模块110包括用于执行帧间预测的帧间预测模块和用于执行帧内预测的帧内预测模块，如下所述。预测模块110通过对于从画面分区模块105输出的画面的处理单元执行预测来产生预测块。在预测模块110中的画面处理单元可以是cu、tu或pu。而且，预测模块110可以确定对于对应的处理单元执行的预测是否是帧间预测或帧内预测，并且确定每种预测方法的详细内容(例如，预测模式)。在此，对其执行预测的处理单元和对其确定预测方法和详细内容的处理单元可以是不同类型的单元。例如，可以在pu单元中确定预测模式，并且可以在tu单元中执行预测。
通过帧间预测通过基于与在当前画面之前的画面和/或在当前画面之后的画面中的至少一个有关的信息来执行预测，可以产生预测块。而且，通过帧内预测通过基于与在当前画面内的像素有关的信息来执行预测，可以产生预测块。
在帧间预测中，可以选择用于pu的参考画面，并且在整数像素采样单元中可以将具有与pu相同大小的块选择为参考块。接下来，关于当前pu，产生具有最小残余信号和具有最小运动矢量大小的预测块。跳过模式(skipmode)、合并模式(mergemode)或运动矢量预测(mvp)可以用于帧间预测方法。可以以诸如1/2像素单位和1/4像素单位的比整数小的采样单位来产生预测块。在此，可以以比整数像素小的单位来表示运动矢量。例如，可以以1/4像素单位来表示亮度像素，并且可以以1/8像素单位来表示色度。
与参考画面的索引、运动矢量(例如，运动矢量预测器)和通过帧间预测选择的残余信号有关的多个信息被熵编码，并且使用信号通知到解码器。
如果执行帧内预测，则可以在pu单元中确定预测模式，并且可以在pu单元中执行预测。而且，可以在pu单元中确定预测模式，并且可以在tu单元中执行帧内预测。
在帧内预测中，预测模式可以是33个定向预测模式以及两个或更多非定向模式之一。非定向模式可以包括dc预测模式和平面模式。
在帧内预测中，可以在被应用到参考像素的自适应帧内平滑(ais)滤波后根据预测模式来产生预测块。被应用到参考像素的ais滤波的类型可以是不同的。而且，在帧内预测中，可以根据以1/8像素单位来内插参考像素的当前块的预测模式来执行预测。
pu可以具有各种大小和形式。例如，在帧间预测的情况下，pu可以具有诸如2n×2n、2n×n、n×2n或n×n的大小。在帧内预测的情况下，pu可以具有诸如2n×2n或n×n的大小(在上面两个示例中，n是整数)。在此，具有n×n大小的pu可以被设置为仅被应用到指定情况。例如，具有任何给定nxn大小的pu可以仅用于最小大小的编码单元，或者可以仅用在帧内预测的情况下。除了具有上述大小的pu之外，可以进一步限定和使用具有诸如n×mn、mn×n、2n×mn或mn×2n(m<1)的大小的pu。
在所产生的预测块和原始块之间的残余值(或残余块或残余信号)被输入到变换模块115。而且，用于预测的关于预测模式的信息、关于运动矢量的信息等与残余值一起在熵编码模块130中被编码，并且被使用信号通知到解码器。
变换模块115可以在变换单元中对于残余块执行变换，并且产生变换系数。在变换模块115中的变换的单元可以是tu，并且，变换单元可以具有四叉树结构(quadtreestructure)。在此，可以在具有最大和最小值的预定范围内确定变换单元的大小。变换模块115可以使用离散余弦变换(dct)和/或离散正弦变换(dst)来变换残余块。
量化模块120可以通过量化由变换模块115变换的残余值来产生量化系数。由量化模块120产生的量化系数被提供到逆量化模块135和重新排序模块125。
重新排序模块125重新排序由量化模块120提供的量化系数。通过重新排序量化系数，可以改善在熵编码模块130中的编码效率。重新排序模块125可以使用系数扫描将二维块形式的量化系数重新排序为一维向量形式的量化系数。
重新排序模块125可以基于由量化模块120发送的量化系数的概率统计而改变系数扫描的顺序，使得可以改善在熵编码模块130中的熵编码效率。
熵编码模块130可以对于由重新排序模块125重新排序的量化系数执行熵编码。可以在熵编码中使用熵编码方法，诸如指数哥伦布(exponentialgolomb)、上下文自适应可变长度编码(cavlc)或上下文自适应二进制算术编码(cabac)。熵编码模块130可以编码从重新排序模块125和预测模块110接收的各个信息，诸如关于cu的量化系数和块类型的信息、关于预测模式的信息、关于分区单元的信息、关于pu的信息、关于信令单元的信息、关于运动矢量的信息、关于参考画面的信息、关于块的内插的信息和关于滤波的信息。
而且，熵编码模块130可以根据需要向接收到的参数集或句法应用特定改变。
逆量化模块135对于由量化模块120量化的值执行逆量化，并且逆变换模块140对于由逆量化模块135逆量化的值执行逆变换。从逆量化模块135和逆变换模块140产生的残余值可以被加到由预测模块110预测的预测块，由此能够产生重建块。
滤波器模块145可以向重建的画面应用去块滤波器(deblockingfilter)、自适应回路滤波器(alf)或采样自适应偏移(sao)。
去块滤波器可以去除在重建的画面中在块的边界处出现的块失真。alf可以基于在通过去块滤波器对块进行滤波后的重建图像与原始图像的比较而执行滤波。仅可以在高效率的情况下利用alf。sao可以以像素为单位恢复在对其已经应用了去块滤波器的残余块和原始画面之间的偏移(差)，并且可以以频带偏移或边缘偏移的形式来应用sao。
同时，滤波器模块145可以不向在帧间预测中使用的重建块上应用滤波。
存储器150可以存储从滤波器模块145输出的重建块或画面。在存储器150中的重建块或画面可以被提供到预测模块110以用于执行帧间预测。
图2是示意地示出根据本发明的一个实施例的视频解码器的框图。参见图2，视频解码器200可以包括熵解码模块210、重新排序模块215、逆量化模块220、逆变换模块225、预测模块230、滤波器模块235和存储器240。
当从编码器接收到图像比特流时，可以根据编码器处理视频信息的过程来解码输入比特流。
例如，如果已经使用诸如cavlc的可变长度编码(以下称为“vlc”)以便编码器执行熵编码，则熵解码模块210可以通过实现与在编码器中使用的相同的vlc表来执行熵解码。而且，如果编码器已经使用cablc以便执行熵编码，则熵解码模块210可以使用cabac来执行熵解码。
可以向预测模块230提供来自由熵解码模块210解码的多个信息之中的用于产生预测块的信息。可以向重新排序模块215输入已经被熵解码模块执行熵解码的残余值。
重新排序模块215可以基于在编码器中使用的重新排序方法来重新排序已经被熵解码模块210执行熵解码的比特流。重新排序模块215可以通过下述方式来重新排序以一维向量形式表示的系数：将该系数重建为二维块形式的系数。重新排序模块215可以接收与由编码器执行的系数扫描相关的信息，并且使用基于由对应编码单元执行的扫描顺序的逆扫描方法来执行重新排序。
逆量化模块220可以基于由编码器提供的块的量化参数和系数值来执行逆量化。
关于由编码器的变换模块执行的dct和dst，逆变换模块225可以对于由编码器执行的量化结果执行逆dct和/或逆dst。可以在由编码器确定的画面的发送单元或分区单元中执行逆变换。在编码器的变换模块中，可以基于诸如预测方法、当前块的大小和预测方向的多个因素来选择性地执行dct和/或dst。视频解码器的逆变换模块225可以基于用于在编码器中的变换模块的变换的变换信息来执行逆变换。
预测模块230可以基于与由熵解码模块210提供的预测块的产生相关的信息和与由存储器240提供的预先解码的块和/或画面有关的信息来产生预测块。可以使用由预测模块230产生的预测块和由逆变换模块225提供的残余块来产生重建块。如果用于当前pu的预测模式是帧内预测模式，则可以基于与在当前画面内的像素有关的信息来执行用于产生预测块的帧内预测。
如果用于当前pu的预测模式是帧间预测模式，则可以基于与在当前画面之前的画面和在当前画面之后的画面中的至少一个有关的信息来执行用于当前pu的帧间预测。在此，在查看跳过标记或合并标记后对应于诸如从编码器使用信号通知的跳过标记或合并标记的信息可以得出由编码器提供的用于当前pu的帧间预测所需的运动信息，诸如，关于运动矢量和参考画面索引等的信息。
可以向滤波器模块235提供重建块和/或画面。滤波器模块235可以向重建块和/或画面应用去块滤波、采样自适应偏移(sao)和/或自适应回路滤波。
存储器240可以存储重建画面或块，使得该重建画面或块可以被用作参考画面或参考块，并且也可以向输出单元供应重建的画面。
同时，当通过编码器执行预测时，向解码器使用信号通知关于预测的信息，例如，关于预测模式和分区的信息。可以通过各种方法来执行使用信号通知与预测相关的信息。例如，当使用信号通知与预测相关的信息时，可以在与对于当前块的预测有关的其他信息之前使用信号通知关于下述模式的信息，通过该模式，与当前块相邻的相邻块(为了说明方便，“与当前块相邻的相邻块”以下被称为“相邻块”)的运动信息被用作用于当前块的运动信息。
使用关于相邻块的运动信息作为关于当前块的运动信息的方法包括使用跳过模式、直接模式或合并模式的方法。因为在所有三种模式中，相邻块的运动信息被用作用于当前块的运动信息，所以不直接发送运动信息。然而，在跳过模式中不发送残余信息，而可以在直接模式和合并模式中发送残余信息。然而，在跳过模式和合并模式中，可以发送用于指示关于该相邻块的运动信息将被用作用于当前块的运动信息的信息。
使用(合并)跳过模式或合并模式的方法可以被当作使用相邻块的信息来用于当前块的预测的另一种方法。在(合并)跳过模式中，选择与当前块相邻的候选块之一，并且所选择的块的运动信息可以被用作用于当前块的运动信息，但是不发送残余信号。象在(合并)跳过模式中那样，在合并模式中，选择与当前块相邻的候选块之一，并且，所选择的块的运动信息可以被用作用于当前块的运动信息，但是在该情况下发送残余信息。在此，残余信息可以是关于在当前块的像素值和预测块的像素值之间的差的信息，基于由所选择的块的运动信息所指示的参考块来产生所述预测块。如果利用(合并)跳过模式或合并模式，则可以发送用于指示当前块使用哪个候选块的运动信息的信息。
虽然相邻块的运动信息不被用作用于当前块的运动信息，但是可以使用来自相邻块的运动信息来预测当前块的运动信息。例如，编码器可以向解码器使用信号通知用于指示在当前块的运动矢量和相邻块的运动矢量之间的差的运动矢量差的信息，并且解码器可以基于来自相邻块的运动信息和由编码器提供的关于运动矢量差的信息而预测当前块的运动信息。
如果当所述三种模式可用时模式不对应于跳过模式、直接模式或合并模式，则编码器向解码器通知用于当前块的预测模式和分区信息。如果在cu单元中执行合并模式，则编码器可以不向解码器使用信号通知用于当前块的预测模式和分区信息。如果在pu单元中执行合并模式，则编码器可以向解码器使用信号通知用于当前块的预测模式和分区信息。
即使当执行(合并)跳过模式或合并模式时，可以执行与在跳过模式、直接模式或合并模式中的处理相同的处理。例如，如果模式不对应于(合并)跳过模式或合并模式，则编码器可以向解码器使用信号通知用于当前块的预测模式和分区信息。如果在cu单元中执行合并模式，则编码器可以不向解码器使用信号通知用于当前块的预测模式和分区信息。然而，如果在pu单元中执行合并模式，则编码器可以向解码器使用信号通知当前块的预测模式和分区信息。
因此，编码器可以向解码器使用信号通知用于当前块的预测模式和分区信息，除了在cu单元中关于相邻块的运动信息不被用作关于当前块的运动信息的情况之外。
图3示意地示出当在cu单元中执行合并模式时使用信号通知关于预测的信息的方法的示例。图3图示将{跳过模式、直接模式、合并模式}用作来自相邻块的运动信息被用作用于当前块的运动信息的模式的示例。
参见图3，可以通过跳过标记skip_flag来指示是否向当前块应用跳过模式，并且，可以通过合并标记merge_flag来指示是否向当前块应用合并模式。而且，可以通过诸如direct_mode_signaling的使用信号通知的信息来指示是否向当前块应用直接模式。如果应用除了跳过模式、合并模式和直接模式之外的预测模式，则可以通过诸如pred_mode_partition_signaling的信息来指示预测模式和分区信息。
在图3的示例中，首先，可以通过跳过标记skip_flag来确定当前块的预测模式是否是跳过模式。例如，如果skip_flag的值是1，则可以确定向当前块应用跳过模式。如果skip_flag的值是0，则可以通过合并标记merge_flag来确定当前块的预测模式是否是合并模式。例如，如果merge_flag的值是1，则可以确定合并模式被应用到当前块。如果merge_flag的值是0，则可以通过用于指示当前块的预测模式是否是直接模式的信号direct_mode_signaling来确定当前块的预测模式是否是直接模式。例如，如果信号direct_mode_signaling的值是1，则可以确定向当前块应用直接模式。如果信号direct_mode_signaling的值是0，则可以通过由pred_mode_partition_signaling公开的信息来确定用于当前块的预测模式和分区信息，pred_mode_partition_signaling指示用于当前块的预测模式和分区信息。在此，用于当前块的预测模式和分区信息(例如，分区大小)可以在某个时间进行联合编码，并且随后被使用信号通知。
诸如预测模式和分区大小(即，预测类型)的关于预测的信息可以被进行联合编码，并且如上所述被使用信号通知。预测模式可以包括帧内模式和帧间模式。分区大小可以包括关于帧内预测模式的2nx2n和nxn(n是采样的数量)，并且可以包括关于帧间预测模式的2nx2n、2nxn、nx2n、nxn、2nxnu、2nxnd、nlx2n和nrx2n(其中，0<n<1，并且，u、d、l和r的每一个是用于指示采样的数量的整数)。
因此，可以通过信息pred_mode_partition_signaling指示的预测类型可以是有具有帧内预测模式的分区{2nx2n、nxn}的任何一个的预测类型或者有具有帧间预测模式的分区{2nx2n、2nxn、nx2n、nxn、2nxnu、2nxnd、nlx2n、nrx2n}的任何一个的预测类型。
同时，包括关于预测模式和分区的信息的、关于预测类型的信息可以在使用信号通知其他信息之前和之后被发送。
例如，可以在使用信号通知当前块的条带类型slice_type后使用信号通知关于预测类型的信息。如果当前块的预测模式是帧内模式，则关于条带类型的信息可以指示i条带。如果当前块的预测模式是帧间模式，则关于条带类型的信息可以指示b或p条带。i条带指示仅使用帧内预测而解码的条带，并且b条带指示使用利用最多两个运动矢量和参考索引的帧内预测或帧间预测而解码的条带。p条带指示使用利用最多一个运动矢量和参考索引的帧内预测或帧间预测而解码的条带。
而且，可以在使用信号通知当前块是否已经被分割(split)(intrasplitflag)后使用信号通知关于预测类型的信息。例如，如果将关于预测类型的信息作为关于cu的参数来发送，则发送用于指示当前块还没有被分割(intrasplitflag＝0)的信息或用于指示当前块已经被分割的信息(intrasplitflag＝1)，并且可以然后发送关于预测类型的信息。
因此，虽然向预测模式和分区大小中的至少一个相同的预测类型分配了相同的索引或相同的码字，但是可以基于先前发送的条带类型和/或分区的信息来指定要指示的预测类型。例如，虽然向2nx2n帧内预测模式和2nx2n帧间预测模式分配了相同的索引或相同的码字，但是解码器可以确定是已经指示了2nx2n帧内预测模式还是已经指示了2nx2n帧间预测模式，因为已经预先使用信号通知了条带类型在帧内模式的情况下是i条带，并且预先使用信号通知了条带类型在帧间模式的情况下是p或b条带。
同时，如上所述与相邻块的运动信息被用作用于当前块的运动信息的预测模式(诸如{跳过模式、直接模式、合并模式}或{(合并)跳过模式、合并模式})有关的信息可以被单独地使用信号通知，而不与关于另一种预测类型的信息一起进行联合编码。
而且，在相邻块的运动信息被用作用于当前块的运动信息的模式中的合并模式的情况下，通过考虑出现频率，对于具有高的出现频率的合并，关于是否合并的信息可以与其他信息一起被联合解码，并且，对于具有低出现频率的合并，可以单独地使用信号通知关于是否合并的信息，而不与其他信息一起联合编码。例如，仅在cu单元中的合并(即，cu合并)的情况下，可以将合并的信息与关于是否应用帧内/帧间预测的信息和分区信息等一起联合编码，并且随后使用信号通知。在pu单元中的合并(即，pu合并)的情况下，可以单独地发送关于是否合并的信息，而不与关于帧内/帧间预测的信息和分区信息等一起联合编码。下面分别描述在cu单元中执行合并的情况和在pu单元中执行合并的情况。
表1示出根据在图3中所示的示例来联合编码用于当前块的预测模式和分区信息的示例。为了说明方便，表1图示帧间预测模式具有分区{2nx2n、2nxn、nx2n、nxn}之一的预测类型的情况。
<表1>
参见表1，编码器可以通过根据联合编码的码字来指示向当前块应用哪种预测模式和当前块具有哪个分区大小。
同时，如果象在图3和表1中那样首先使用信号通知关于特定模式的信息并且然后使用信号通知关于预测模式和分区大小的信息，则可以通过考虑每一个预测类型的出现频率来分配码字。
图4是示意地示出了每一个预测类型的出现频率的图。图4示出在环境中的跳过模式、合并模式、直接模式、帧内模式的分区大小和帧间模式的分区大小的分布，即，随机访问高效率(rahe)、低延迟高效率(ldhe)、随机访问低复杂度(ralc)和低延迟低复杂度(ldlc)。
参见图4，可以看出，跳过模式和合并模式具有出现频率的显著分布，并且直接模式具有比2nx2n帧间预测模式小的出现频率。在该情况下，以图3中所示的使用信号通知的顺序，可以更有效地在使用信号通知关于是否应用直接模式的信息之前使用信号通知关于是否应用2nx2n帧间预测模式的信息。
在图4的示例中，将{跳过模式、直接模式、合并模式}用作预测模式，其中，将相邻块的运动信息用作用于当前块的运动信息，并且，测量分区2nx2n、2nxn、nx2n和nxn中的每一个的出现频率。象在使用{(合并)跳过模式、合并模式}并且/或者使用所有的分区大小的情况中那样，可以考虑预测模式和出现频率中的每一个，并且，可以基于该考虑来调整使用信号通知的顺序。
图5是示意地图示编码器在本发明所适用的系统中执行使用信号通知的方法的示例的图。图5图示一个示例，其中，将{跳过模式、直接模式、合并模式}用作预测模式，在该预测模式中，关于相邻块的运动信息被用作关于当前块的运动信息，并且如在图3中那样在cu单元中应用合并模式。因此，对于比编码单元(cu)小的每一个分区大小，不使用信号通知关于是否应用合并模式的信息。
参见图4，可以存在具有比直接模式高的选择比(selectionratio)(即，出现频率)的预测模式/分区大小。因此，当考虑传输开销时，有益的是提供信令信息，使得可以首先确定是否应用具有较高的选择比的另一预测模式(即，预测模式/分区大小)。
例如，假定具有比直接模式高的出现频率的预测模式/分区大小是模式a，则可以在关于是否应用直接模式的信息之前发送关于是否应用模式a的信息。
在图5的示例中，编码器在关于是否应用直接模式的信息之前使用信号通知关于是否应用模式a的信息。具体地说，编码器首先使用信号通知跳过标记skip_flag，该跳过标记skip_flag指示是否向当前块应用跳过模式。编码器可以使用信号通知用于指示在不应用跳过模式的情况下是否应用合并模式的合并标记merge_flag，并且使用信号通知用于指示在不应用合并模式的情况下是否应用模式a的信息modea_flag。
如果不应用模式a，则编码器使用信号通知用于指示是否向当前块应用剩余的预测模式/分区大小和直接模式中的哪一个的信息。即，编码器使用信号通知信息pred_mode_partition_signaling，该信息指示除了跳过模式、合并模式和模式a之外还向当前块应用什么预测类型。
表2示出联合编码表的示例，其中，根据图5的示例向关于预测类型的信息分配码字。表2图示预测类型的示例，其中，为了说明方便，可以使用分区{2nx2n、2nxn、nx2n、nxn}之一来应用帧间预测模式，并且在cu单元中应用合并模式。
<表2>
在表2的示例中，为了说明方便，假定模式a是2nx2n帧间模式。因此，首先使用信号通知关于2nx2n帧间预测模式的信息，而不使用联合编码表，并且，使用联合编码表与其他预测类型一起来使用信号通知用于指示是否应用直接模式的信息。
除了象在图5的示例中那样通过考虑预测类型的出现频率而改变发送顺序之外，也可以通过考虑每一个预测类型的出现频率而向预测类型分配码字。
表3示出联合编码表的示例，其中，通过考虑每一个预测类型的出现频率来分配码字。表3图示预测类型的示例，其中，为了说明方便，可以使用分区{2nx2n、2nxn、nx2n、nxn}之一来应用帧间预测模式，并且，在cu单元中应用合并模式。
<表3>
在表3的示例中，为了说明方便，假定2nxn帧间预测模式具有比nx2n帧间预测模式高的出现频率。与表1的情况作比较，在表3中，通过考虑预测类型的出现频率来改变向2nxn帧间预测模式和nx2n帧间预测模式分配的码字。特别地，假定2nxn帧间预测模式具有比nx2n帧间预测模式低的出现频率，则向具有较高的出现频率的nx2n帧间预测模式分配较短的码字01，并且，向具有较低的出现频率的2nxn帧间预测模式分配较长的码字001。
在此，预测类型的出现频率可以被结合进使用信号通知的顺序和码字的分配内。
表4示出在通过考虑预测类型的出现频率而调整使用信号通知的顺序和分配码字的情况下的联合编码表的示例。表4图示预测类型的示例，其中，为了说明方便，可以使用分区{2nx2n、2nxn、nx2n、nxn}之一来应用帧间预测模式，并且，在cu单元中应用合并模式。
<表4>
在表4的示例中，为了说明方便，假定2nx2n帧间预测模式具有比直接模式高的出现频率，并且nx2n帧间预测模式具有比2nxn帧间预测模式高的出现频率。因此，在用于指示是否应用直接模式的信息之前，使用信号通知用于指示是否应用2nx2n帧间预测模式的信息。使用表4的联合编码表，与其他预测类型一起使用信号通知用于指示是否应用直接模式的信息。在此，向nx2n帧间预测模式分配比2nxn帧间预测模式的码字001小的码字01，nx2n帧间预测模式具有比2nxn帧间预测模式高的出现频率。
同时，对于将相邻块的运动信息用作用于当前块的运动信息的预测模式中的特定预测模式，可以单独地使用信号通知关于是否应用该特定预测模式的信息，并且，可以通过联合编码来使用信号通知是否应用其他预测类型的信息。因此，可以单独地使用信号通知是否应用跳过模式，并且可以通过联合编码与关于是否应用其他预测类型的信息一起使用信号通知是否应用合并模式和是否应用直接模式。在一些实施例中，可以单独地使用信号通知合并模式，并且可以通过联合编码与关于是否应用其他预测类型的信息一起使用信号通知是否应用跳过模式和是否应用直接模式。同样，可以单独地使用信号通知是否应用直接模式，并且通过联合编码与是否应用其他预测类型一起使用信号通知是否应用跳过模式和是否应用直接模式。
而且，可以单独地使用信号通知是否应用跳过模式和是否应用合并模式，并且可以通过联合编码与是否应用其他预测类型一起使用信号通知是否应用直接模式。可以单独地使用信号通知是否应用跳过模式和是否应用直接模式，并且可以通过联合编码与是否应用其他预测类型一起使用信号通知是否应用合并模式。在一些实施例中，可以单独地使用信号通知是否应用合并模式和是否应用直接模式，并且可以通过联合编码与是否应用其他预测类型一起使用信号通知是否应用跳过模式。
即使在取代{跳过模式、直接模式、合并模式}而使用{合并跳过模式、合并模式}的情况下，可以单独地使用信号通知是否应用跳过合并模式，并且可以通过联合编码与是否应用其他预测类型一起使用信号通知是否应用合并模式。在一些实施例中，可以单独地使用信号通知是否应用合并模式，并且，可以通过联合编码与是否应用其他预测类型一起使用信号通知是否应用(合并)跳过模式。
表5示出联合编码表的示例，该联合编码表用于使用信号通知是否应用将关于相邻块的运动信息用作关于当前块的运动信息的预测模式中的特定预测模式，以及是否应用其他预测类型。表5图示下述示例，其中，在使用{跳过模式、直接模式、合并模式}的情况下，通过联合编码与是否应用其他预测类型一起使用信号通知是否应用直接模式。表5图示预测类型的示例，其中，为了描述方便，可以使用分区{2nx2n、2nxn、nx2n、nxn}来应用帧间预测模式，并且在cu单元中应用合并模式。
<表5>
参见表5，编码器可以通过发送与被应用到当前块的预测类型对应的码字来指示用于当前块的预测类型。
此时，编码器可以根据每一个预测类型的出现频率而分配码字。
表6示出联合编码表的示例，其中，假定2nx2n帧间预测模式具有比直接模式高的出现频率，通过考虑出现频率而分配码字。
<表6>
参见表6，比直接模式的码字01小的码字1被分配到具有较高的出现频率的2nx2n帧间预测模式。
表7示出一个示例，其中，假定在其他帧间预测模式中的2nxn帧间预测模式具有比nx2n帧间预测模式低的出现频率，通过考虑出现频率而分配码字。
<表7>
参见表7，向具有较高的出现频率的2nx2n帧间预测模式分配小于向直接模式分配的码字01的码字1，并且，向nx2n帧间预测模式分配比向2nxn帧间预测模式分配的码字0001小的码字001。
图6是示意地图示编码器在本发明所适用的系统中执行使用信号通知的方法的另一个示例的图。图6图示一个示例，其中，不将直接模式应用为将相邻块的运动信息用作用于当前块的运动信息的预测模式，即，使用{(合并)跳过模式、合并模式}，并且在cu单元中应用合并模式。因此，不按小于cu的每一个分区大小而使用信号通知是否应用合并模式。
当将图6的实施例与图3或5的实施例作比较时，将与是否应用将相邻块的运动信息用作用于当前块的运动信息的预测模式有关的信息的数量减小1。即，可以说，图3或5的实施例对应于没有直接模式的情况。如果在图3或5的实施例中排除直接模式，则可以说，减少了用于随后的有关帧间/帧内预测模式的信令的信令开销。因此，如果象在图6的情况下那样使用(合并)跳过模式和合并模式，则与图3或5阐述的情况作比较，可以降低信令开销。
即使当使用{(合并)跳过模式、合并模式}时，可以与使用{跳过模式、直接模式、合并模式}的情况相同地使用信号通知预测类型。例如，即使在图6的情况下，假定具有高选择比(或出现频率)的预测模式或预测类型是模式a，如在除了(合并)跳过模式和合并模式之外的预测类型中所示，可以在使用信号通知关于是否应用诸如2nx2n帧间预测模式、…、nxn帧内预测模式的其他预测类型的信息之前，使用信号通知关于是否应用模式a的信息modea_flag。而且，如果未应用模式a，则可以通过联合编码来使用信号通知是否应用诸如2nx2n帧间预测模式、…、nxn帧内预测模式的其他预测类型。
表8示出基于图6的示例来向关于预测类型的信息分配码字的联合编码表的示例。表8图示一个示例，其中，为了说明方便，可以使用分区{2nx2n、2nxn、nx2n、nxn}之一来应用帧间预测模式，并且在cu单元中应用合并模式。
<表8>
在表8的示例中，为了说明方便，假定在具有2nx2n、2nxn、nx2n和nxn分区之一的帧间预测模式中的具有最高出现频率的预测类型，即，模式a，是2nx2n帧间预测模式。因此，通过单独的信令来预先发送是否应用2nx2n帧间预测模式。
除了其中象在图6的示例中那样通过考虑预测类型的出现频率而确定发送顺序的情况之外，也可以通过考虑出现频率(或选择比)而向预测类型分配码字。
表9示出在使用{(合并)跳过模式、合并模式}的情况下通过考虑预测类型的出现频率而分配码字的联合编码表的示例。表9图示一个示例，其中，为了说明方便，可以使用分区{2nx2n、2nxn、nx2n、nxn}之一来应用帧间预测模式，并且在cu单元中应用合并模式。
<表9>
参见表9，假定nx2n帧间预测模式具有比2nxn帧间预测模式高的出现频率，向nx2n帧间预测模式分配短码字。
而且，即使当使用{(合并)跳过模式、合并模式}时，可以将预测类型的出现频率结合进使用信号通知的顺序和码字的分配两者内。
表10示出联合编码表的示例，其中，象在使用{(合并)跳过模式、合并模式}的情况下那样，通过考虑预测类型的出现频率来调整使用信号通知的顺序并且分配码字。表10图示预测类型的示例，其中，为了说明方便，可以使用分区{2nx2n、2nxn、nx2n、nxn}之一来应用帧间预测模式，并且，在cu单元中应用合并模式。
<表10>
在表10的示例中，为了说明的方便，假定在2nx2n、2nxn、nx2n、nxn帧间预测模式中的2nx2n帧间预测模式具有最高的出现频率，并且2nxn帧间预测模式具有比nx2n帧间预测模式高的出现频率。因此，首先，通过单独的信令来使用信号通知是否应用(合并)跳过模式、是否应用合并模式和是否应用2nx2n帧间预测模式，并且，使用表10的联合编码表来使用信号通知是否应用其他预测类型。在此，向具有比2nxn帧间预测模式高的出现频率的nx2n帧间预测模式分配比2nxn帧间预测模式的码字01小的码字1。
同时，如果将{跳过模式、直接模式、合并模式}用作将相邻块的运动信息用作用于当前块的运动信息的预测模式，则可以整合和使用直接模式和合并模式。直接模式和合并模式在下述方面彼此类似：从相邻块得出运动信息，以及不像跳过模式那样，发送残余信息。如果整合直接模式和合并模式，则可以降低用于使用信号通知关于是否应用帧间/帧内预测模式的信息的信令开销，在使用信号通知关于是否应用整合了直接模式和合并模式的模式(以下，为了说明方便，被称为“整合模式”)的信息之后，使用信号通知所述关于是否应用帧间/帧内预测模式的信息。即使当应用该整合模式时，也可以调整使用信号通知的顺序以及可以调整码字的分配。
图7和8是示意地图示编码器在本发明所适用的系统中执行使用信号通知的方法的其他示例的图。图7和8图示使用整合模式但是在cu单元中应用合并模式的示例。因此，不按每一个小于cu的分区大小使用信号通知是否应用合并模式。
在图7的示例中，如果在使用信号通知是否应用跳过模式之后不应用跳过模式，则可以优选地使用信号通知关于是否应用在剩余的预测类型中的具有最高出现频率的预测类型的信息。
在图7中，假定模式a是除了跳过模式的、在剩余的预测类型中具有最高出现频率的预测类型。因此，如果不应用跳过模式则编码器使用信号通知是否应用模式a，并且如果不应用模式a，则编码器通过诸如pred_mode_partition_signaling的联合编码来使用信号通知将应用剩余的预测类型(包括预测模式/分区大小)中的哪种。
表11示出根据图7的示例的联合编码表。
<表11>
在图7和表11的示例中，如果在使用信号通知是否应用跳过模式之后未应用跳过模式，则可以使用信号通知是否应用整合模式作为具有最高出现频率的预测类型。如果未应用整合模式，则可以使用下述结果来使用信号通知应用哪种预测类型，在该结果中，关于剩余的预测类型的分区和预测模式的多个信息被联合编码，如在表11中那样。同时，图7和表11图示具有最高出现频率的预测类型是除了跳过模式之外的整合模式，但是这仅是为了说明方便的示例。本发明不限于上面的示例。例如，如果2nx2n帧间预测模式具有比整合模式高的出现频率，则可以将2nx2n帧间预测模式确定为模式a。在该情况下，在使用信号通知是否应用2nx2n帧间预测模式后，可以通过联合编码与其他预测类型一起使用信号通知是否应用整合模式。
不像图7那样，图8图示下述方法，该方法如果未应用跳过模式则预先单独地使用信号通知是否应用整合模式(merge_direct_mode)，并且如果未应用整合模式则预先单独地使用信号通知是否应用来自其他预测类型中的具有最高出现频率的预测类型(即，模式a)(modea_flag)。如果未应用模式a，则象在图7中那样，通过联合编码(pred_mode_partition_signaling)来使用信号通知应用其他预测模式中的哪种。
表12示出根据图8的示例的联合编码表。
<表12>
在表12的示例中，为了说明方便，假定2nx2n帧间预测模式是模式a。因此，可以预先单独地使用信号通知是否应用2nx2n帧间预测模式。
同时，如果与如上所述的调整使用信号通知的顺序独立地执行联合编码，则可以通过考虑每种预测类型的出现频率(或选择比)而应用码字。
表13示出在使用整合模式的情况下通过考虑预测类型的出现频率而分配码字的联合编码表的示例。表13图示预测类型的示例，其中，为了说明方便，可以使用分区{2nx2n、2nxn、nx2n、nxn}之一来应用帧间预测模式，并且在cu单元中应用合并模式。
<表13>
表13图示nx2n帧间预测模式具有比2nxn帧间预测模式高的出现频率的示例。因此，在表13的示例中，向nx2n帧间预测模式分配比向2nxn帧间预测模式分配的码字001短的码字01。
而且，通过考虑每一个预测类型的出现频率，可以象在图8中那样调整使用信号通知的顺序，并且可以象在表13中那样分配码字。
表14示出联合编码表的示例，其中，在使用整合模式的情况下，通过考虑预测类型的出现频率而调整使用信号通知的顺序以及分配码字。表14图示预测类型的示例，其中，为了说明方便，可以使用分区{2nx2n、2nxn、nx2n、nxn}之一来应用帧间预测模式，并且在cu单元中应用合并模式。
<表14>
在表14的示例中，为了说明方便，假定与图8的模式a对应的预测模式是2nx2n帧间预测模式，并且nx2n帧间预测模式具有比2nxn帧间预测模式高的出现频率。因此，如果在使用信号通知是否应用整合模式后未应用整合模式，则通过单独的信令来使用信号通知是否应用2nx2n帧间模式。而且，向nx2n帧间预测模式分配比向2nxn帧间预测模式分配的码字01短的码字1。
而且，即使当使用整合模式时，可以通过联合编码(pred_mode_partition_signaling)来同时使用信号通知在除了跳过模式之外的预测类型中的哪种预测类型被应用。即，可以向包括整合模式的预测类型中的每一个分配码字，并且可以使用信号通知与所应用的预测类型对应的码字。
表15示意地示出了联合编码表的示例，该联合编码表用于在使用整合模式的情况下，通过向除了跳过模式之外的预测类型的每一个分配码字而发送与被应用到当前块的预测类型(例如，预测模式和分区大小)有关的信息。
<表15>
表15图示一个示例，其中，为了说明方便，可以使用分区{2nx2n、2nxn、nx2n、nxn}之一来应用帧间预测模式，并且在cu单元中应用合并模式。参考表15，编码器可以向预测模式中的每一个分配码字，该预测模式即整合模式(即，合并/直接模式)、2nx2n和nxn帧内预测模式、2nx2n、2nxn、nx2n和nxn帧间预测模式，并且编码器发送被应用到当前块的预测类型的码字。
在此，编码器可以通过考虑每一个预测类型的出现频率(或选择比)而分配码字。
表16示出一个示例，其中，在表15的示例中通过考虑每个预测类型的出现频率而分配码字。
<表16>
在表16的示例中，为了说明方便，假定nx2n帧间预测模式具有比2nxn帧间预测模式高的出现频率。因此，不像在表15的示例中那样，在表16的示例中，向nx2n帧间预测模式分配比向2nxn帧间预测模式分配的码字0001短的码字001。
为了方便，已经在上述示例中仅描述了向帧间模式应用分区{2nx2n、2nxn、nx2n、nxn}的情况，但是，可以通过考虑用于帧间模式的所有分区来使用信号通知用于当前块的预测类型。
表17示出联合编码表的示例，该联合编码表可以用于在考虑所有分区2nx2n、2nxn、nx2n、nxn、2nxnu、2nxnd、nlx2n和nrx2n的情况下使用信号通知用于当前块的预测块。
<表17>
参见表17，可以通过预测类型来指示帧内预测模式的每一个分区大小和帧间预测模式的每一个分区大小。因此，可以联合编码预测模式和分区大小，并且，可以立即使用信号通知用于当前块的预测类型。在此，可以通过如上所述对于每一个预测类型考虑出现频率而分配码字。
同时，在表17的示例中，在将相邻块的运动信息无改变地用作用于当前块的运动信息的预测模式的情况下，例如，在{跳过模式、直接模式、合并模式}或{(合并)跳过模式、合并模式}的情况下，可以基于其他条件来推断应用哪种模式，或者通过单独的信令预先已经发送了应用哪种模式。另外，在表17的示例中，假定象在上述示例中那样在cu单元中应用合并模式，并且，对于每一个分区不再次使用信号通知是否应用合并模式。
而且，在使用信号通知每一个预测类型之前，可以使用信号通知如上所述的多个另外的信息，诸如关于条带类型或分区的信息。在该情况下，可以基于该多个另外的信息而彼此区分预测类型。例如，在i条带的情况下，如果预测类型的值是0，则可以指示2nx2n帧内预测模式。在b或p条带的情况下，如果预测类型的值是0，则可以指示2nx2n帧间预测模式。
而且，可以通过向具有不同的预测模式/分区的预测类型分配不同的码字来彼此区分预测类型。
同时，已经迄今描述了在cu单元中应用合并模式的情况，但是，可以在pu单元中应用合并模式。例如，在迄今描述的示例的每一个中，通过使用信号通知是否向帧间预测模式的每一个分区应用合并模式，在上面的示例中描述的本发明的特征可以无改变地被应用到在pu单元中执行合并模式的情况。
下面详细描述当在pu单元中执行合并模式时应用本发明的方法。
图9示意地示出当在pu单元中执行合并时使用信号通知关于预测的信息的方法的示例。图9图示一个示例，其中，将{跳过模式、直接模式、合并模式}用作预测模式，在该预测模式中，将相邻块的运动信息用作用于当前块的运动信息。
在图9的示例中，不像在图3的示例中那样，如果不应用跳过模式和直接模式，则指示向当前块应用哪种帧间预测模式和分区，并且使用信号通知是否合并分区。预先单独地使用信号通知是否应用跳过模式和直接模式，并且，通过联合编码预测模式的指示和关于分区大小的信息，使用信号通知如果不应用跳过模式和直接模式则要应用哪种预测模式/分区。通过合并模式来指示是否向具有帧间预测的每一个分区应用合并模式。在此，为了说明方便，当未应用合并模式时执行的帧间预测模式被称为正常的帧间模式。
表18示出一个示例，其中，根据图9的示例来联合编码用于当前块的预测模式信息和分区信息。表18图示一个示例，其中，为了说明方便，可以使用分区{2nx2n、2nxn、nx2n、nxn}之一来应用帧间预测模式。
<表18>
参见表18，编码器可以通过使用信号通知码字来向解码器通知向当前块应用的预测类型。
同时，如果如在图9和表18中那样首先使用信号通知关于特定模式的信息并且然后使用信号通知关于预测模式和分区大小的信息，则可以通过考虑每一个预测类型的出现频率而分配码字。
图10是示意地示出当在pu单元中应用合并模式时的每一个预测类型的出现频率的图。图10示出在rahe、ldhe、ralc和ldlc的情况下跳过模式、合并模式、直接模式、以及帧内预测模式的分区大小和帧间预测模式的分区大小的分布。
参见图10，跳过模式具有显著的频率分布，并且直接模式具有比2nx2n帧间预测模式低的出现频率。在该情况下，根据在图9中所示的使用信号通知的顺序，使用信号通知用于指示是否应用2nx2n帧间预测模式的信息比使用信号通知用于指示是否应用直接模式的信息更有效。
在图10的示例中，使用{跳过模式、直接模式、合并模式}，并且测量在分区大小中的2nx2n、2nxn、nx2n、nxn的出现频率。然而，即使当使用{(合并)跳过模式、合并模式}并且/或者使用所有的分区大小时，可以考虑每一个预测模式的分区大小的出现频率，并且可以基于该考虑来调整使用信号通知的顺序。
图11是示意地示出编码器在本发明所适用的系统中执行使用信号通知的方法的示例的图。在图11中，{跳过模式、直接模式、合并模式}被用作预测模式，在该预测模式中，将相邻块的运动信息用作用于当前块的运动信息。
参见图10，可以存在比直接模式具有更高的选择比(或出现频率)的预测模式/分区大小。因此，当考虑传输开销时，有益的是提供信令信息，使得可以首先确定是否应用具有较高选择比的其他预测模式(即，预测模式/分区大小)。
例如，假定比直接模式具有更高出现频率的预测模式/分区大小是模式a，则可以在关于是否应用直接模式的信息之前发送关于是否应用模式a的信息。
为此，在图11的示例中，编码器在关于是否应用直接模式的信息之前使用信号通知关于是否应用模式a的信息。具体地说，编码器首先使用信号通知用于指示是否向当前块应用跳过模式的信息skip_flag，并且然后如果未应用跳过模式则使用信号通知用于指示是否应用模式a的信息modea_flag。
如果未应用模式a，则编码器使用信号通知信息pred_mode_partition_signaling，其指示要与直接模式一起向当前块应用剩余的预测模式/分区大小中的哪个。
表19示出根据图11的示例向关于预测类型的信息应用码字的联合编码表的示例。表19图示一个示例，其中，为了说明方便，可以使用分区{2nx2n、2nxn、nx2n、nxn}之一来应用帧间预测模式。
<表19>
在表19的示例中，为了说明方便，假定模式a是2nx2n帧间预测模式。因此，在不使用联合编码表的情况下首先使用信号通知2nx2n帧间预测模式，并且使用联合编码表与其他预测类型一起使用信号通知是否应用直接模式。
同时，不像在象在图11的示例中那样通过考虑预测模式的出现频率而改变发送顺序的情况，可以通过考虑预测类型的出现频率而向预测类型分配码字。
表20示出联合编码表，其中，通过考虑每一个预测类型的出现频率来分配码字。表20图示一个示例，其中，为了说明的方便，可以使用分区{2nx2n、2nxn、nx2n、nxn}之一来应用帧间预测模式。
<表20>
在表20的示例中，为了说明方便，假定nx2n帧间预测模式具有比2nxn帧间预测模式高的出现频率。在表20的情况下，通过考虑预测类型的出现频率来改变向2nxn帧间预测模式和nx2n帧间预测模式分配的码字。具体地说，假定2nxn帧间预测模式具有比nx2n帧间预测模式低的出现频率，则可以向具有较高出现频率的nx2n帧间预测模式分配较短的码字01，并且可以向具有较低出现频率的2nxn帧间预测模式分配较长的码字001。
在此，可以将预测类型的出现频率结合进使用信号通知的顺序和码字的分配内。
表21示出联合编码表的示例，其中，通过考虑预测类型的出现频率而调整使用信号通知的顺序并且分配码字。表21图示一个示例，其中，为了说明方便，可以使用分区{2nx2n、2nxn、nx2n、nxn}之一来应用帧间预测模式。
<表21>
在表21的示例中，为了说明方便，假定2nx2n帧间预测模式具有比直接模式高的出现频率，并且nx2n帧间预测模式具有比2nxn帧间预测模式高的出现频率。因此，可以在是否应用直接模式之前通过单独的信令来传送是否应用2nx2n帧间预测模式。可以使用表21的联合编码表与其他预测类型一起使用信号通知是否应用直接模式。在此，向比2nxn帧间预测模式具有更高出现频率的nx2n帧间预测模式分配码字01，码字01小于向2nxn帧间预测模式分配的码字001。
同时，即使当如上所述在pu单元中执行合并模式时，可以首先单独地使用信号通知与是否应用将关于相邻块的运动信息用作关于当前块的运动信息的预测模式中的特定预测模式有关的信息，并且可以通过联合编码来使用信号通知关于是否应用其他预测类型的信息。例如，可以预先单独地使用信号通知是否应用在{跳过模式、直接模式、合并模式}或{(合并)直接模式、合并模式}中的直接模式，并且，可以通过联合编码与是否应用剩余的预测类型一起使用信号通知是否应用直接模式或合并模式。
表22示出一个示例，其中，在使用{跳过模式、直接模式、合并模式}的情况下，通过联合编码与是否应用其他预测类型一起使用信号通知是否应用直接模式。具体地说，不通过标记来使用信号通知是否应用用于直接模式和帧间预测模式/帧内预测模式的任何一个预测类型，而是通过分配给包括直接模式的预测类型的码字来同时单独地使用信号通知是否应用用于直接模式和帧间预测模式/帧内预测模式的预测类型。表22图示一个示例，其中，为了说明方便，可以使用分区{2nx2n、2nxn、nx2n、nxn}之一来应用帧间预测模式。
<表22>
参见表22，编码器可以通过发送与被应用到当前块的预测类型对应的码字来指示用于当前块的预测类型。
在此，编码器可以根据每一个预测类型的出现频率来分配码字。
表23示出联合编码表的一个示例，其中，假定2nx2n帧间预测模式具有比直接模式高的出现频率，通过考虑出现频率来分配码字。
<表23>
参见表23，向比直接模式具有更高出现频率的2nx2n帧间预测模式分配比向直接模式分配的码字01小的码字1。
而且，表24示出一个示例，其中，假定2nx2n帧间预测模式具有比nx2n帧间预测模式低的出现频率，通过考虑出现频率而分配码字。
<表24>
参见表24，向具有较高出现频率的2nx2n帧间预测模式分配比向直接模式分配的码字01小的码字1，并且向nx2n帧间预测模式分配比向2nxn帧间预测模式分配的码字0001小的码字001。
在图11和表19至24的示例中，因为可以在pu单元中应用合并模式，所以可以执行使用信号通知，以用于指示模式a被应用，然后，可以使用信号通知是否向当前块应用合并模式(merge_flag)。即使当不是直接模式时也可以使用信号通知是否向当前块应用合并模式，但是，通过表19至24来指示帧间预测模式。而且，当特定合并模式具有高的选择比时，模式a本身可以被设置为合并模式。
图12是示意地图示编码器在本发明所适用的系统中执行使用信号通知的方法的另一个示例的图。图12图示一个示例，其中，不将直接模式应用为将相邻块的运动信息用作用于当前块的运动信息的预测模式，即，使用{(合并)跳过模式、合并模式}，并且在pu单元中应用合并模式。
当将图12的实施例与图9或11的实施例作比较时，与是否应用将相邻块的运动信息用作用于当前块的运动信息的预测模式有关的信息的数量减小1。如果在图9或10的情况中排除了直接模式，则可以随后减小当使用信号通知关于帧间/帧内预测模式的信息时的开销。
如在使用{跳过模式、直接模式、合并模式}的情况中那样，即使当使用{(合并)直接模式、合并模式}时也可以使用信号通知预测类型。例如，在图12的示例中，假定在除了(合并)跳过模式之外的预测类型中具有高选择比(出现频率)的预测模式或预测类型是模式a，则可以在关于是否应用诸如2nx2n帧间预测模式、…、nxn帧内预测模式的其他预测类型的信息之前使用信号通知关于是否应用模式a的信息(modea_flag)。另外，如果未应用模式a，则可以通过联合编码使用信号通知是否应用其他预测类型，诸如2nx2n帧间预测模式、…、nxn帧内预测模式。
表25示出联合编码表的示例，其中，根据图12的示例，向关于预测类型的信息分配码字。表25图示一个示例，其中，为了说明方便，可以使用分区{2nx2n、2nxn、nx2n、nxn}之一来应用帧间预测模式。
<表25>
在表25的示例中，为了说明方便，假定在具有分区2nx2n、2nxn、nx2n和nxn的帧间预测模式中具有最高出现频率的预测类型，即，模式a，是2nx2n帧间预测模式。因此，预先通过单独的信令使用信号通知是否应用2nx2n帧间预测模式。
除了象在图12的示例中那样通过考虑预测类型的出现频率而确定发送顺序的情况之外，可以通过考虑出现频率(或选择比)来向预测类型分配码字。
表26示出联合编码表的示例，其中，在使用{(合并)跳过模式、合并模式}的情况下，通过考虑预测类型的出现频率来分配码字。表26图示一个示例，其中，为了说明方便，可以使用分区{2nx2n、2nxn、nx2n、nxn}之一来应用帧间预测模式。
<表26>
在表26的示例中，假定nx2n帧间预测模式具有比2nxn帧间预测模式高的出现频率。因此，向nx2n帧间预测模式分配比向2nxn帧间预测模式分配的码字001短的码字01。
而且，即使当使用{(合并)跳过模式、合并模式}时，也可以将预测类型的出现频率结合进使用信号通知的顺序和码字的分配内。
表27示出联合编码表的示例，其中，在使用{(合并)跳过模式、合并模式}的情况下，通过考虑预测类型的出现频率来调整使用信号通知的顺序并且分配码字。表27图示一个示例，其中，为了说明方便，可以使用分区{2nx2n、2nxn、nx2n、nxn}之一来应用帧间预测模式。
<表27>
在表27的示例中，为了说明方便，假定来自2nx2n、2nxn、nx2n和nxn帧间预测模式之中的2nx2n帧间预测模式具有最高的出现频率，并且，2nxn帧间预测模式具有比nx2n帧间预测模式高的出现频率。因此，可以通过另外的信令来发送是否应用(合并)跳过模式、是否应用合并模式和是否应用2nx2n帧间预测模式。使用表27的联合编码表来使用信号通知是否应用其他预测类型。在此，向nx2n帧间预测模式分配比向2nxn帧间预测模式分配的码字01小的码字1，nx2n帧间预测模式具有比2nxn帧间预测模式高的出现频率。
在图12和表25至27的示例中，可以单独地使用信号通知是否向当前块应用合并模式(merge_flag)，因为可以在pu单元中应用合并模式。例如，在通过表25至27使用信号通知向当前块应用哪种帧间预测模式/分区后，可以使用信号通知是否向当前块应用合并模式。而且，当特定合并模式具有高选择比时，模式a本身可以被设置为合并模式。
同时，即使当在pu单元中应用合并模式时，如果使用{跳过模式、直接模式、合并模式}，则直接模式和合并模式可以整合，并且被用作如上所述的整合模式。直接模式和合并模式在下述方面彼此类似：从相邻块得出运动信息，并且不像跳过模式那样，然后发送残余信息。如果使用整合模式，则可以降低用于与是否应用除了跳过模式和整合模式之外的帧间/帧内预测模式有关的信息的信令开销。即使当应用整合模式时，可以如上所述调整使用信号通知的顺序和码字的分配。
图13是示意地图示编码器在本发明所适用的系统中执行使用信号通知的方法的又一个示例的图。图13图示使用整合模式但是在pu单元中应用合并模式的示例。
在图13的示例中，如果在使用信号通知是否应用跳过模式后未应用跳过模式，则优选地使用信号通知是否应用在剩余的预测类型中具有最高出现频率的预测类型。即，在图13中，假定模式a是在除了跳过模式之外剩余的预测类型中具有最高出现频率的预测类型。在此，模式a可以是整合模式。
为此，编码器可以当未应用跳过模式时使用信号通知是否应用模式a，并且可以当未应用模式a时使用联合编码(pred_mode_partition_signaling)来使用信号通知将应用剩余的预测类型中的哪种。
表28示出根据图13的示例的联合编码表。
<表28>
在图7和表11的示例中，将除了跳过模式之外的具有最高出现频率的预测类型图示为是整合模式，但是这仅是为了说明方便的示例。本发明不限于上面的示例。例如，如果2nx2n帧间预测模式具有比整合模式高的出现频率，则可以将2nx2n帧间预测模式确定为模式a，可以预先单独地使用信号通知是否应用2nx2n帧间预测模式，并且然后，可以使用联合编码与其他预测类型一起使用信号通知是否应用整合模式。
同时，即使当使用整合模式时，除了调整使用信号通知的顺序，还可以通过考虑每一个预测类型的出现频率(或选择比)来分配码字。
表29示出联合编码表的示例，其中，在使用整合模式的情况下通过考虑预测类型的出现频率来分配码字。表29图示一个示例，其中，为了说明方便，可以使用分区{2nx2n、2nxn、nx2n、nxn}之一来应用帧间预测模式。
<表29>
表29图示一个示例，其中，nx2n帧间预测模式具有比2nxn帧间预测模式高的出现频率。因此，在表29的示例中，向nx2n帧间预测模式分配比向2nxn帧间预测模式分配的码字001短的码字01。
即使当应用整合模式时，可以向包括整合模式的预测类型中的每一个分配码字，并且，可以使用信号通知与所应用的预测类型对应的码字。
表30示意地示出联合编码表的一个示例，该联合编码表用于在使用整合模式的情况下，通过向除了跳过模式之外的预测类型中的每一个分配码字来发送与被应用到当前块的预测类型(例如，预测模式和分区大小)有关的信息。
<表30>
表30图示一个示例，其中，为了说明方便，可以使用分区{2nx2n、2nxn、nx2n、nxn}之一来应用帧间预测模式。参见表30，编码器可以向预测模式的每一个分配码字，该预测模式即整合模式(合并/直接模式)、2nx2n和nxn帧内预测模式、以及2nx2n、2nxn、nx2n和nxn帧间预测模式，并且编码器发送向当前块应用的预测类型的码字。
在此，编码器可以通过考虑每一个预测类型的出现频率(选择比)来分配码字。表31示出一个示例，其中，通过在表30的示例中考虑每一个预测类型的出现频率来分配码字。
<表31>
在表31的示例中，为了说明方便，假定nx2n帧间预测模式具有比2nxn帧间预测模式高的出现频率。在表31的示例中，与表30的示例作比较，向nx2n帧间预测模式分配比向2nxn帧间预测模式分配的码字0001短的码字001。
同时，在表28至31中，在pu单元中应用合并模式。因此，在调整使用信号通知的顺序的情况(即，表28、表31的情况)下或在与其他预测类型等同地考虑包括合并模式的整合模式的情况(即，表30的情况)下，如果除了跳过模式和整合模式之外的帧间预测模式/分区大小被应用到当前块，则不必单独地使用信号通知是否应用合并模式。相反，如果通过表29使用信号通知关于预测类型的信息，即，在不调整使用信号通知的顺序的情况下通过考虑出现频率而分配码字的情况，则可以使用信号通知帧间预测模式和分区大小中的任何一个以应用到当前块，并且然后，可以使用信号通知关于是否向当前块应用合并模式的信息merge_flag。
为了说明方便，已经迄今描述了仅将分区{2nx2n、2nxn、nx2n、nxn}应用到帧间预测模式的情况，但是可以通过考虑用于帧间模式的所有分区来使用信号通知用于当前块的预测类型。
表32示出联合编码表的示例，该联合编码表可以用于在考虑所有分区2nx2n、2nxn、nx2n、nxn、2nxnu、2nxnd、nlx2n和nrx2n的情况下使用信号通知用于当前块的预测块。
<表32>
参见表32，可以使用预测类型来使用信号通知帧内预测模式的每一个分区大小和帧间预测模式的每一个分区大小。因此，可以通过联合编码预测模式和分区大小来立即使用信号通知用于当前块的预测类型。在此，如上所述，可以通过对于每一个预测类型考虑出现频率来分配码字。
在表32的示例中，在将相邻块的运动信息无改变地用作用于当前块的运动信息的预测模式的情况下，例如，在{跳过模式、直接模式、合并模式}或{(合并)跳过模式、合并模式}的情况下，可以基于其他条件来推断应用哪种模式，或者可以通过单独的信令预先发送应用哪种模式。另外，假定象在表32的其他示例中那样在pu单元中应用合并模式，并且可以按分区使用信号通知是否应用合并模式。
因此，可以象在表17和32的情况下那样通过单独的信令来传送是否在cu单元中应用合并模式。如果不在cu单元中应用合并模式，则可以在如在表32中那样使用信号通知用于当前块的预测类型的同时或在使用信号通知用于当前块的预测类型之后按每个分区(即，pu)使用信号通知是否应用合并模式(merge_flag)。
在使用信号通知每一个预测类型之前，可以使用信号通知上述的多个另外的信息，诸如条带类型或关于分区的信息。在该情况下，可以基于多个另外的信息来彼此区分预测类型。例如，在i条带的情况下，如果预测类型的值是0，则可以指示2nx2n帧内预测模式，并且在b或p条带的情况下，如果预测类型的值是0，则可以指示2nx2n帧间预测模式。
而且，可以通过向具有不同预测模式/分区的预测类型分配不同的码字来彼此区分预测类型。
可以通过修改如上所述的在帧间条带(interslice)中用于预测模式的使用信号通知方案来改善发送效率。例如，可以将用于帧间条带的预测模式和分区类型联合编码为一元类型(unary-type)的码字。在此，如上所述，诸如预测模式和分区(大小)的关于预测的信息可以被称为预测类型。除了预测模式和分区(大小)之外，预测类型可以进一步包括关于是否执行分区的信息和关于条带类型的信息等。
可以根据每一个预测模式的一部分，即出现频率(选择频率)，来重新布置用于指示预测类型的码字。
可以通过特定句法元素来发送预测模式和分区类型(或分区大小)。例如，可以通过如上所述的跳过标记skip_flag来使用信号通知是否应用跳过模式。而且，可以通过合并标记merge_flag来使用信号通知是否应用合并模式，可以通过直接模式标记direct_flag来使用信号通知是否应用直接模式，并且，通过整合模式标记merge_direct_flag来使用信号通知是否应用直接模式和合并模式的整合模式。
同时，如果不向当前块应用通过特定标记使用信号通知的预测模式，则可以分别使用信号通知用于当前块的预测模式和分区大小。
表33示意地示出了一个示例，其中，在cu级(或cu参数集)中使用信号通知预测模式和分区类型(或分区大小)。
<表33>
在表33的示例中，可以以下述方式来执行使用信号通知：联合编码预测模式和分区信息，并且发送对应的码字。在此，如在表33的示例中那样，可以使用单独的句法元素来使用信号通知预测模式和分区类型(或分区大小)。在表33中，可以通过pred_mode来指示预测模式，并且，可以通过inter_partitioning_idc来指示帧间预测模式的分区大小。
同时，如上所述，被使用信号通知的句法元素可以被称为pred_mode_partition_signaling，因为该句法元素包括关于预测模式和分区的信息，并且，也可以将被使用信号通知的句法元素简称为pred_type，因为包括关于预测模式和分区模式的信息等的信息被称为预测类型。在pred_mode_partition_signaling或pred_type的情况下，可以通过联合编码来以一个码字的形式指定多个相关信息(例如，预测模式和分区大小)，并且使用信号通知其。
表34示意地示出了如上所述的码字的示例。
<表34>
如果在图3中所示的使用信号通知的顺序被用作用于每一个预测模式的使用信号通知方法，则可以如上所述依序使用信号通知是否应用跳过模式、是否应用合并模式和是否应用直接模式。如果不应用跳过模式、合并模式和直接模式，则使用联合编码来使用信号通知应用剩余的预测类型中的哪种。已经参考图3描述了这一点。
同时，当考虑表34时，用于每一个预测类型的码字具有不同的长度。根据源编码理论，每一个码字的长度大体与出现概率的对数值的绝对值成比例。因此，为了改善编码效率，使用最短码字来用于最频繁的符号更好。
为此，通过对于每一个预测类型考虑出现频率，可以重新布置表34的码字而不增大编码/解码的复杂度，以便改善编码效率。
作为测量用于每一个预测类型(或预测模式)的出现概率的示例，以上描述了图4的示例。在图4的示例中，如上所述，对于在所有的预测类型中的出现次数，2nx2n帧间预测模式具有比直接模式更大的部分，并且nx2n帧间预测模式具有比2nxn帧间预测模式更大的部分。因此，根据出现频率，即在所有的预测类型中在出现次数方面的它们的部分，可以交换(switch)用于2nx2n帧间预测模式和直接模式的码字，并且可以交换用于nx2n帧间预测模式和2nxn帧间预测模式的码字。
表35示出一个示例，其中，已经在上述表34中重新布置了用于每一个预测类型的码字。
<表35>
在表34和35中，首先通过向预测类型分配码字0来检测要单独地使用信号通知的预测类型。接下来，通过向剩余的预测类型分配码字来立即指示应用什么预测类型。这类似于参考图5至8描述的特征。
图3的示例对应于如上所述在cu单元中应用合并模式的示例。在pu单元中应用合并模式的示例包括图9的示例。在图9的示例中，可以如上所述对于帧间预测模式的每一个分区使用信号通知是否应用合并模式。
图10示出当在pu单元中应用合并模式时的每一个预测类型的部分(即，出现频率)。即使当如上所述在pu单元中应用合并模式时，通过考虑出现频率，可以调整使用信号通知的顺序或者可以对于每一个预测类型分配码字。已经参考图11至13描述了这一点。
同时，图14示意地示出了解码处理的示例。参见图14，预测数据可以经历预测模式解码处理和产生运动补偿(mc)预测器(predictor)的处理。系数数据可以经历解码系数数据的处理和产生残余数据的处理。接下来，可以最后产生解码的图像。
图15是图示在图14中所示的预测模式解码处理的图。图15图示一个示例，其中，将{(合并)跳过模式、合并模式}用作预测模式，在该预测模式中，将相邻块的运动信息用作用于当前块的运动信息。
对于帧间条带，要与预测相关地使用信号通知的信息可以包括关于分区的信息、关于是否应用跳过模式的信息、关于是否应用合并模式的信息和关于应用帧间预测模式和帧内预测模式的预测类型中的哪种的信息等。关于应用帧间预测模式和帧内预测模式的预测类型中的哪种的信息可以在帧间预测模式的情况下根据分区大小被分类为四种类型2nx2n、nxn、2nxn和nx2n，并且可以在帧内预测模式的情况下根据分区大小被分类为两种类型2nx2n和nxn。在帧间预测模式的情况下，可以进一步分类关于应用帧间预测模式和帧内预测模式的预测类型中的哪种的信息，因为如上所述可以另外使用分区大小2nxnu、2nxnd、nlx2n和nrx2n。
在预测模式解码处理中，解码器根据分割标记partition_flag来分割cu，并且然后根据跳过标记来应用跳过模式。如果未应用跳过模式，则解码器基于指示预测类型的信息(例如，mode_and_partition)来确定要向当前块应用的预测类型。在此，如果应用帧间预测模式，则解码器可以通过合并标记来确定是否在pu单元中应用合并模式。而且，仅当当前cu的大小是最小，且不管分区大小nxn是帧间预测模式还是帧内预测模式时，可以使用分区大小nxn。
在此，为了改善压缩效率，可以使用联合编码来使用信号通知包括预测模式和分区信息的所有预测类型。
图16是示意地图示通过联合编码来使用信号通知预测模式和分区信息的方法的示例的图。参见图16，表36示出根据图16的示例的联合编码表的示例，并且示出当执行联合编码时分配的初始码字。
<表36>
使用表35作为初始状态，按每次使用信号通知，与在所选择的模式正上方的模式交换(或适配)被选择要应用到当前块的模式。因此，如果增大用于特定模式(即，预测类型)的选择比，则可以向已经增大了其选择比的特定模式分配较短的码字。当向频繁选择的模式分配短的码字时，可以改善压缩效率。
可以在每一个块的深度中独立地执行该适配。换句话说，可以使用根据cu大小的特定适配来独立地执行适配。
在此，可以通过改变联合编码范围来进一步增大压缩效果。在上面的说明中，联合编码的目的可以包括是否将执行分区，是否应用跳过模式、是否应用2nx2n合并模式、是否应用2nx2n帧间预测模式、是否应用2nxn帧间预测模式、是否应用nx2n帧间预测模式、是否应用nxn帧间预测模式、是否应用2nx2n帧内预测模式和是否应用nxn帧内预测模式。另外，联合编码表的目的可以进一步包括是否应用2nxn合并模式、是否应用nx2n合并模式和是否应用nxn合并模式。
在图16的使用信号通知方法中，在联合编码后通过码字适配(或交换)来改善压缩效率。然而，可能需要发送更大数量的信息，因为对于当未执行联合编码时使用固定小量信息而使用信号通知的元素来说，在适配处理中交换了码字。例如，可以使用信息量1比特来处理关于是否执行分区的信息partition_flag，因为在前面当未执行联合编码时执行了使用信号通知partition_flag。即使当执行联合编码时，最小量的信息(即，最短码字)可以被用作象在表36中那样的初始值。如果在编码处理中连续地选择许多跳过模式或2nx2n合并模式，则关于是否执行分区的信息(以下为了说明方便，称为用于指示分区模式的信息)的位置被推回(pushback)，并且因此被布置在分配了较长码字的位置处。结果，当在处理中以后选择分区模式时，会浪费比特。
图17是示意地图示因为延长向分区模式分配的码字而浪费比特的情况的示例的图。参见图17，在较早的阶段，向分区模式分配码字1。然而，当选择跳过模式时，跳过模式的位置和分区模式的位置被交换。当选择2nx2n合并模式时，分区模式的位置和2nx2n合并模式的位置被交换。在此，当关于当前块选择分区模式时，使用3比特的大小来使用信号通知用于指示是否应用分区模式的分区标记partition_flag，因为向分区模式的位置分配的码字是“001”。
为此，可以考虑通过修改应用联合编码的模式的范围而改善压缩效率的方法。
联合编码范围的改变
可以考虑下面的方法作为改变联合编码范围的各种方法。
(1)使用标记来使用信号通知是否执行分区，并且，可以如上所述向剩余的模式应用联合编码。
(2)使用标记来使用信号通知是否执行分区，并且，可以通过向剩余的模式添加信息或模式而向剩余的模式应用联合编码。
(3)向分区模式和跳过模式应用联合编码，并且，可以向剩余的模式应用单独的联合编码。
(4)向分区模式、跳过模式和合并模式应用联合编码，并且，可以向剩余的模式应用单独的联合编码。在此，被联合编码的合并模式可以是合并标记merge_flag，或者可以是诸如2nx2n合并模式的特定模式。另外，如果合并标记是联合编码的目标，则当以后选择帧间预测模式时，可以使用合并标记来确定是否应用合并模式，并且当以后选择帧内预测模式时，最可能模式(mpm)标记mpm_flag可以被从合并标记得出或推断，并且其可以用于确定是否应用mpm值。
同时，可以自适应地应用联合编码范围的改变。例如，通过改变目标范围而应用联合编码表的方法可以自适应地被应用到诸如深度/块/条带/帧/画面组(gop)的单元。可以考虑下面的方法作为自适应地应用联合编码范围的改变的方法的示例。
(1)可以向联合编码的每一个应用单元使用信号通知另外的信息。
(2)可以基于相邻的信息来确定是否应用联合编码表范围的改变。
(3)可以基于统计值来确定是否应用联合编码范围的改变。例如，可以向当前条带/帧应用关于前一个条带/帧的信息。在另一个示例中，可以向当前条带/帧应用关于多个先前的条带/帧的累积统计信息，或者可以向当前条带/帧应用关于在同一条带/帧中的当前块之前解码的一些块或全部块的累积统计信息。
(4)可以向cu大小是最小的情况或cu大小不是最小的情况应用不同的联合编码范围。
另外，可以按每一个联合编码改变码字。例如，用于联合编码的主体的码字可以被自适应地应用到诸如深度/块/条带/帧/gop的单元。而且，对于自适应应用，可以使用以下方法：按每一个应用单元使用信号通知另外的信息的方法、基于邻居的信息来确定是否应用联合编码范围的改变的方法、或基于统计值来确定是否应用联合编码范围的改变的方法。
向当前条带/帧应用关于前一个条带/帧的信息的方法、向当前条带/帧应用关于多个先前的条带/帧的累积统计信息的方、或向当前条带/帧应用关于在同一条带/帧中的当前块之前解码的一些块或全部块的累积统计信息的方法可以被用作为如上所述的基于统计值来确定是否应用联合编码范围的改变的方法。
而且，即使当对于每一个联合编码改变码字时，可以向cu大小是最小的情况和cu大小不是最小的情况不同地应用适配。
用于联合编码的对象的适配的重置
作为对于改变联合编码范围的方法的替代，可以考虑下述方法：执行对于对象的联合编码和适配，并且然后，按特定单元停止适配，并且然后执行初始化(重置)。
在此，联合编码的任何一个元素可以是重置的对象，联合编码的所有元素可以是重置的对象，或者，仅联合编码的多个元素中的一些可以是重置的对象。
而且，重置单元可以是cu或最大编码单元(lcu)。而且，条带、帧或gop可以被用作重置单元。
作为适配重置的示例，可以考虑联合编码表的元素(其是重置的对象)是分区模式并且重置单元是lcu的情况。
lcu是在cu中具有最大大小的cu，并且，lcu的深度可以被设置为0。每当将lcu划分为四个相等部分时，深度增大。lcu可以以下述方式被划分为特定深度：将lcu递归地划分为在lcu内的几个子cu，即，再次将单独的子cu划分为几个子cu。
图18是示意地图示适配重置的示例的图，其中，分区模式是重置的对象，并且lcu是在本发明所适用的系统中的重置单元。参见图18，继续在早期状态中执行适配。例如，当关于第一目标块选择跳过模式时，可以交换分区模式和跳过模式。接下来，当关于下一个目标块选择2nx2n合并模式时，可以交换分区模式和2nx2n合并模式。接下来，当关于下一个目标块选择2nx2n帧间预测模式时，可以交换分区模式和2nx2n帧间预测模式。在沿着以上面的方式选择预测模式的块移动的同时，当通过lcu的边界时分区模式被重置。因此，分区模式的位置移动到与码字“1”对应的位置，即，第一位置，并且，将剩余的模式中的每一个的位置向下调整一个等级(rank)。
适配方法的改变
根据光栅扫描顺序对于预测模式的每一个使用信号通知当前适配了码字。可以修改该方法以便改善压缩效果。
图19是示意地图示码字适配方法的图。图19(a)示意地示出了象在现有的适配方法中那样根据光栅扫描顺序来适配码字的方法。在图19(a)的示例中，累积适配结果，因此影响下一个块的编码。
可以通过下述方式来进一步改善当前块的编码性能：参考相邻块的趋势，而不是参考与根据环境而累积的适配结果相对应的趋势。对于本发明所适用的系统，象在图19(b)中那样在块d的编码中，可以参考块a和块c的趋势，即，相邻块的趋势，而不是累积到块c的适配结果的趋势。这是因为存在下述高概率：块d的特性类似于块a或块c，即相邻块的特性。
因此，可以将现有的适配方法改变如下。
(1)累积适配结果，但是，可以参考相邻块来确定是否执行适配和适配方法。
(2)不累积适配结果，并且，可以参考相邻块来确定是否执行适配和适配方法。
(3)可以根据模式使用不同标准来执行适配。例如，关于分区模式，可以在累积适配结果的同时执行适配。关于其他模式，可以参考相邻块来执行适配。
(4)可以根据用于相邻块和当前块的大小以及模式类型的相同标准来执行适配。在此，可以根据具有相同模式类型的相邻块的数量来改变适配程度。
图20是示意地图示在本发明所适用的系统中用于适配的相邻参考块的示例的图。可以如在图20的示例中那样设置被参考以用于适配的相邻块。
例如，可以如在图20(a)中那样选择性地参考在lcu单元中的相邻块。又如，可以如在图20(b)中那样选择性地参考在cu单元中的相邻块。在此，相邻块可以不仅包括空间相邻块a、b、c和d，而且包括时间相邻块collcu和colcu。
又如，可以参考在cu中进一步分割的分区单元中的相邻分区。
lcu或cu可以包括不同类型的分区。因此，当参考相邻块时，可以仅参考具有相同类型的cu大小或分区的相邻块，或者替代地，可以进行参考而不管相邻块是否具有相同类型的cu大小或分区。
而且，当参考相邻块时，可以根据参考块的位置向相邻块指配优先顺序或等级加权。例如，在图20中，关于当前lcu或当前cu，可以以下述的方式来参考相邻块：首先参考块a，如果块a不可用则参考块b。
图21是示意地图示在本发明所适用的系统中改变适配的方法的实施例的图。
图21(a)示意地示出在lcu单元中应用适配的实施例。因此，在图21(a)的示例中，可以将初始码字适配到属于lcua和b的预测分区中的每一个。在此，适配的码字映射表(或联合编码表)可以用于编码属于当前lcu的每一个预测分区。
图21(b)也示意地示出在lcu单元中应用适配的实施例。因此，在图21(b)的示例中，可以将初始码字适配到属于lcua和b的预测分区的每一个，但是，根据cu大小来独立地执行适配。因此，根据cu大小来使用多个码字映射表。
在图21(b)的示例中，使用适配的码字来编码属于当前lcu的每一个预测分区，但是，根据将对其执行适配的特定cu大小来使用多个独立地产生的码字映射表。因此，当使用码字映射表来编码属于当前lcu的cu时，可以使用对于每一个cu大小确定的码字映射表。例如，在图21(b)的示例中，被适配到区域“c”的码字映射表用于具有与区域“c”相同大小的区域“a”，并且，被适配到区域“d”的码字映射表用于具有与区域“d”相同大小的区域“b”。
同时，虽然已经迄今基于帧间预测模式而描述了使用信号通知方法，但是如果执行预测，则也可以对于帧内预测模式执行使用信号通知，如可以从上述联合编码表中看出的。
图22是示意地图示用于当前块的帧内预测方法的示例的图。参见图22，关于当前块2210的帧内预测，可以查看左面块2220和上面块2230的帧内预测模式。在此，可以将当前块2210的最可能模式(mpm)确定为用于左面块2220的模式和用于上面块2230的模式中的较小模式(mpm＝min(上面帧内预测模式、左面帧内预测模式))。
接下来，编码器可以使用信号通知标记，该标记指示用于当前块2210的帧内预测模式是否是mpm。如果设置了标记，则用于当前块的帧内预测模式变为mpm。如果用于当前块2210的帧内预测模式不是mpm，则编码器使用信号通知关于模式b的信息，模式b用于指示用于当前块2210的帧内预测模式。
如果模式b<mpm，则将模式b无改变地用作用于当前块2210的帧内预测模式。如果模式b≥mpm，则将模式b+1用作用于当前块2210的帧内预测模式。这是因为不必考虑用于当前块2210的帧内预测模式是mpm的情况，因为已经使用信号通知了该情况。
如果在mpm候选中包括无效候选，则mpm可以被推断为在对应的情况下的dc预测模式。在这个情况下，可以考虑用于确定mpm而不简单地将mpm推断为dc预测模式的方法，以便改善压缩效率。
对于一些mpm候选有效的情况确定mpm
在现有技术中，如果在mpm候选中包括无效候选(例如，上面块和左面块等)，则将mpm确定为如上所述的dc预测模式。然而，如果mpm候选中的一些有效，则可以根据情况将用于有效候选的帧内预测模式用作当前块的mpm。
图23是示意地图示当在本发明所适用的系统中mpm候选中的一些有效时确定mpm的方法的示例的图。在图23的示例中，描述将当前块布置在帧2310的边界处的情况。
在图23的示例中，假定当前块是a2320，当前块2320的上面块2330无效，但是当前块2320的左面块2340是有效的。因此，可以将当前块2320的mpm设置为用于左面块2340的模式。
此外，假定当前块是b2350，当前块2350的左面块2370无效，但是当前块2350的上面块2360是有效的。因此，可以将当前块2350的mpm设置为用于上面块2360的模式。
确定mpm的方法的改变
在现有技术中，如上所述，mpm＝min(用于左面块的帧内预测模式，用于上面块的帧内预测模式)。将在候选中的最小模式设置为mpm的方法在信令开销方面有效果，但是难以精确地将用于当前块的帧内预测模式结合到该方法中。
为了解决该问题，可以考虑将当前块的mpm设置为用于上面块的帧内预测模式和用于左面块的帧内预测模式的平均的方法。因为mpm必须被得出为整数值并且所得出的整数值必须对应于帧内预测模式，所以如果用于上面块的帧内预测模式和用于左面块的帧内预测模式的平均不是整数，则可以应用四舍五入，以便舍弃或省略在小数点之后的值。
例如，假定用于上面块的帧内预测模式是4并且用于左面块的帧内预测模式是8，当前块的mpm是(4+8)/2，即，模式6。
而且，假定用于上面块的帧内预测模式是3并且用于左面块的帧内预测模式是6，则当前块的mpm是(3+6)/2，即4.5，通过进行上舍入，当前块的mpm可以是模式5，并且通过进行舍弃，当前块的mpm可以是模式4。
确定mpm的方法的改变也可以被自适应地应用到每一个块、条带或帧。
mpm候选的扩展
如上所述，用于上面块的帧内预测模式和用于左面块的帧内预测模式在现有技术中被用作为mpm候选。可以通过进一步扩展mpm候选来增大预测精度。
图24是示意地图示在本发明所适用的系统中mpm候选的扩展的图。参见图24，用于当前块2400的mpm候选可以被扩展到用于左上块的帧内预测模式、用于右上块的帧内预测模式、用于左下块的帧内预测模式、用于上面块的帧内预测模式、用于左面块的帧内预测模式和用于时间相邻块(col块)的帧内预测模式。
时间相邻块可以指示在时间上在当前帧或条带之前已经被编码的帧或条带中布置在与当前块相同的位置处的块。
mpm候选块的扩展可以被自适应地应用到每一个块、条带或帧。
mpm候选的扩展和用于确定mpm的方法的改变
当如上所述扩展mpm候选时，可以将确定mpm的方法扩展以便以各种方式来确定mpm。例如，可以将下面方法中的至少一个的使用考虑作为确定mpm的方法。
(1)mpm＝min(mpm候选)。根据该方法，可以将在mpm候选中的最小模式选择为当前块的mpm。
(2)mpm＝average(mpm候选)。根据该方法，可以将mpm候选的平均值选择为当前块的mpm。在该情况下，如果mpm候选的平均值不是整数，则可以如上所述应用四舍五入。
(3)mpm＝median(mpm候选)。根据该方法，mpm候选的中值可以被选择为当前块的mpm。
(4)mpm＝mostfrequentvalue(mpm候选)。根据该方法，在mpm候选中被最频繁地选择或产生的mpm候选可以被选择为当前块的mpm。
基于扩展的mpm候选来确定mpm的方法的改变可以被自适应地应用到每一个块、条带或帧。
图25是示意地图示在本发明所适用的系统中的编码器的操作的流程图。
参见图25，编码器在步骤s2510中对于当前块执行预测。编码器可以向当前块应用帧内预测或帧间预测。可以通过考虑分区大小和当前块的条带类型等来执行预测。
编码器在步骤s2520中对于当前块的预测结果执行熵编码。可以在如上所述的熵编码中使用诸如cabac或cavlc的方法，并且可以通过考虑每一个预测模式或预测类型的出现频率来分配码字。
编码器在步骤s2530中使用信号通知熵编码的信息。可以通过另外的信息来利用使用信号通知是否应用特定预测模式/预测类型的方法，例如，可以将标记用作使用信号通知关于预测模式的信息的方法。同时地联合编码在预测类型中包括的元素并且使用信号通知哪种预测模式被应用的方法也可以被用作使用信号通知关于预测模式的信息的方法。
已经上述了通过考虑预测类型/预测模式的出现频率而分配码字的方法和使用信号通知关于预测的信息的方法的详细内容。
图26是示意地图示在本发明所应用的系统中的解码器的操作的图。
参见图26，解码器在步骤s2610中从编码器接收信息。从编码器接收的信息可以通过被包括在比特流中而被发送。该信息包括关于当前块的预测的信息。
解码器可以在步骤s2620中通过对接收的信息执行熵解码而提取必要信息。解码器可以基于所提取的码字来确定已经向当前块应用了什么预测类型/预测模式。可能已经如上所述通过考虑预测类型/预测模式的出现频率而分配了所提取的码字。也可能已经通过考虑预测模式/预测类型的出现频率而确定了所接收的信息的使用信号通知的顺序。而且，在所接收的关于预测模式/预测类型的信息中包括的码字可以是在码字中通过联合编码元素而分配的码字，该元素形成关于预测模式/预测类型的信息，并且对应于被应用到当前块的预测模式/预测类型。以上已经描述了关于预测模式/预测类型的信息的详细内容。
解码器可以在步骤s2630中对当前块执行预测。解码器可以基于在先前步骤中已经被确定为应用到当前块的预测模式/预测类型的预测模式/预测类型而执行预测。
解码器可以在步骤s2640中基于预测结果来重建当前块的画面。
在上面的示例性系统中，虽然已经以一系列步骤或块的形式描述了方法，但是本发明不限于步骤的顺序，并且一些步骤可以以与其他不同的顺序来执行或者可以与其他步骤同时地执行。而且，上述实施例包括各种形式的示例。因此，本发明应当被解释为包括落在权利要求的范围内的所有其他替代、修改和改变。
在与本发明相关的上面的说明中，当参考被描述为“连接到”另一个元件或与另一个元件“耦合”的一个元件时，该一个元件可以直接地连接到另一个元件或者可以与另一个元件耦合，但是应当明白，可以在该两个元件之间布置第三元件。相反，当说一个元件被描述为“直接连接到”另一个元件或与另一个元件“直接耦合”时，应当明白，未在该两个元件之间布置第三元件。