专利名称：用于视频编码的方法和设备的制作方法
技术领域：
本申请总体涉及用于对与视频编码有关的信息进行编码的方法和设备。
背景技术：
视频编码可以以帧内模式和/或帧间模式执行。帧内模式利用视频帧内的冗余，帧间模式利用视频帧之间的冗余。在帧间模式下，根据被称为参考图像的已编码/解码图像来获得像素亮度/色度预测。根据用于预测的参考图像的数目，将帧间模式分类为单向预测模式(或单向模式)、双向预测模式(B模式)、以及可能的三向预测模式等等，其中分别使用I个、2个和3个参考图像。在本文中，将这些不同模式(即，单向预测、双向预测等等)称为“参考模式”。高级视频编码(AVC)(也称为H. 264和MPEG-4第10部分)是来自ITU-T (国际电 信联盟-电信标准组织)和MPEG(运动图像专家组)的用于2D视频编码的现有标准。AVC编解码器是一种混合编解码器，利用了消除帧之间以及一个帧内的冗余。在AVC中，相关参考图像的标识符按顺序排列为两个参考列表。指示符用参考索弓丨表不，并且从0到N编号,例如(0,1,…，N)。第一列表(List O(LO))主要管理过去参考图像(即，在时间上处于当前图像之前的参考图像)，第二列表(List I(Ll))通常管理未来参考图像(即，在时间上处于当前图像之后的参考图像)。对于低延迟视频编码，LI也可以管理过去参考图像。每一个列表可以保持多达15个参考图像的索引，S卩，N= 14。此外，在AVC中，在宏块(MB)模式/子-MB模式中，利用分区结构将指定对参考图像列表之一的选择(例如，用于单向预测)或对两个参考图像列表的选择(例如，用于双向预测)的指示符或参考模式索引编码在一起，而将指定各个列表中的所选参考图像的指示符或参考图像索引编码为分离的语法元素。“分区结构”指的是诸如16X16MB的16X16、16X8或8X16之类的分区。诸如16X16的分区在使用单向预测时通常与一个运动向量(MV)和一个参考索引相关联，而在使用双向预测时通常与两个MV和两个参考索引相关联。MV具有水平分量MVx和垂直分量MVy，描述如何从相应的参考图像中产生当前分区的像素，例如 Ipred (x, y) = Iref (x~MVx, y-MVy)。与图像或分区相关联的参考图像的数目取决于与同一个分区相关联的参考模式，即，参考模式是单向预测或双向预测等等。当在解码器中解码参考信息时，为了解码器能够正确地解码出图像或分区，必须正确地解码与图像或分区相关联的参考模式索引和一个或多个参考图像索引。参考模式索引和一个或多个参考图像索引之中的任何一个的不正确解码可能导致参考信息的错误解译。当前的参考信息编码方法(例如以上所描述的AVC的方法)需要相对大量的比特，用以表达与每一个块相关联的参考信息。在编码效率方面，这被认为是低效率的。
发明内容
希望针对参考信息(即，识别用于预测当前帧的一个或多个参考图像的信息)实现改进的编码效率。本发明的目的是实现针对参考信息的改进的编码效率。此外，本发明的目的是提供一种用于实现针对参考信息的改进编码的方法和设备。这些目的可以通过根据所附独立权利要求所述的方法和设备来实现。从属权利要求限定了可选实施例。以下描述的预测、编码和解码可以在相同的实体或节点内执行，或者可以在不同的实体或节点内执行。根据第一方面，提供了一种视频解码实体中的方法。该方法包括获得与编码块相关联的单个语法元素。该方法还包括基于所获得的语法元素来识别参考模式和一个或多个参考图像，以及基于所识别的参考模式和一个或多个参考图像，对块进行解码，由此提供解码的像素块B。根据第二方面，提供了一种视频解码实体中的设备。该设备包括一功能单元，适配为获得与编码块B6相关联的单个语法元 素。该设备还包括一功能单元，适配为基于所获得的语法元素来识别参考模式和一个或多个参考图像。该设备还包括一功能单元，适配为基于所识别的参考模式和一个或多个参考图像，对块进行解码，由此提供解码的像素块B。根据第三方面，提供了视频编码实体中的方法。该方法包括使用参考模式和一个或多个参考图像对像素块B进行编码，由此提供编码块Be。该方法还包括导出识别所述参考模式和一个或多个参考图像的单个语法元素，以及将所述单个语法元素提供给块的解码器。根据第四方面，提供了一种视频编码实体中的设备。该设备包括一功能单元，适配为使用参考模式和一个或多个参考图像对像素块B进行编码，由此提供编码块该设备还包括一功能单元，适配为导出识别所述参考模式和一个或多个参考图像的单个语法元素。该设备还包括一功能单元，适配为将所述单个语法元素提供给块B6的解码器。上述方法和设备可以用于改进编码效率。由于能够使用较少的比特来识别用于预测当前帧的一个或多个参考图像，因而可以改进编码效率。上述方法和设备还可以实现改进的容错性能。此外，通过捆绑参考信息以形成单个语法元素，可以简单地处理参考索引编号。此外，如上所述的语法元素的使用将使得能够利用参考索引和参考模式的一些组合比其他组合更为可能(通过实现对这些组合的有效编码)。例如，可以给参考索引和参考模式的更为可能的组合分配较短的码字。上述方法和设备可以在不同实施例中实现。在一些实施例中对参考模式和一个或多个参考图像的识别基于所获得的语法元素与参考模式和一个或多个特定参考图像之间的预定映射。在一些实施例中，单个语法元素表示第一预定参考列表中的条目，所述第一预定参考列表可以包括一个或多个条目。条目可以识别多个参考图像或单个参考图像，并且还可以进一步识别参考模式。单个语法元素还可以表示参考模式和第二预定参考列表中的条目，第二列表可以包括分别识别单个参考图像的一个或多个条目。可以由列表索引来识别列表中的条目。此外，表示所获得的语法元素的比特数目可以与所述语法元素的特定值的可能性有关。在一些实施例中，可以基于与Be (或B)的相邻块相关联的单个语法元素来执行针对Be (在编码实体中为B)的参考信息预测。此外，在一些实施例中，可以识别与多向预测相关联的某一块的子区域，对于所述子区域，多向预测参考块中的各个相应区域之间具有较对低的相关，以及针对所识别的子区域，使用备选预测代替所述多向预测。以上实施例主要是就方法进行描述的。然而，以上描述也旨在包括设备的实施例，该设备适于执行以上描述的特征。上述示例实施例的不同特征可以根据需要、需求或偏好以不同方式合并。根据另一方面，提供了一种计算机程序，包括计算机可读代码装置，所述计算机可读代码装置在一个或多个处理单元上执行时，使得以上描述的任意设备执行根据以上描述的任意方法所述的相应过程。根据另一方面，提供了一种计算机程序产品，包括上述计算机程序。
现在将借助于示例实施例并参照附图来更加详细地描述本发明，在附图中图I是示意了从根据现有技术的参考信息表示到根据示例实施例的参考信息表示的转化的示意图。图2是示出了 AVC参考索引表示与根据示例实施例的参考索引表示之间的区别的表。图3是示意了根据示例实施例的对参考信息指示符的分配的示意图。图4是示意了根据示例实施例的视频解码实体中的用于对与参考模式和一个或多个参考图像有关的联合编码的信息进行解码的过程的示意图。图5是示意了根据示例实施例的视频解码实体中的适配为对与参考模式和一个 或多个参考图像有关的联合编码的信息进行解码的设备的框图。图6是示意了根据示例实施例的视频编码实体中的用于对与参考模式和一个或多个参考图像有关的信息进行联合编码的过程的流程图。图7是示意了根据示例实施例的视频编码实体中的适配为对与参考模式和一个或多个参考图像有关的信息进行联合编码的设备的框图。图8是示意了根据示例实施例的视频编码/解码实体中的设备的示意图。图9和10是示意了根据示例实施例的确定与当前块的相邻块相关联的参考模式和一个或多个参考图像的不同组合的出现频率的示意图。图11是示意了根据现有技术将指示符(码字)分配给不同索引符号的示意图。图12是示意了根据示例实施例的对指示符(码字)的分配的示意图。图13是示意了根据示例实施例的基于隐式信息的分区的示意。
具体实施例方式简单地说，提供了一种用于表示和传达参考信息(即，参考模式和参考图像)的新过程，用于帧间预测编码和解码。该过程可以称为参考索引信令或参考信息指示符信令(RIS)。在本文中，使用术语“块X的相邻块”来指代块X的相邻块(即，位于与块X相邻的位置或邻近块X的位置的块)。此外，在本文中，使用术语“块”来指代像素单元。使用术语“参考图像”或“参考块”来指代先前编码/解码的图像、块、图像中的区域(region)或区块(area)，其中该图像、块、区域等用作预测的参考。
当使用RIS时，将参考模式的指示符以及与编码块相关联的参考图像的指示符“一起捆绑在一个位置”(即，联合编码)，而不是例如象在AVC中那样地，独立地例如对与分区结构的指示符密切关联的参考模式的指示符进行编码以及对参考图像的指示符进行编码。对参考模式和参考图像的指示符(即，参考信息)的联合编码导致单个语法元素或指示符表示关于所需的参考模式和参考图像的所有信息，以便以符合要求的方式对编码块进行解码。也就是说，一旦针对编码块给出了单个语法元素，则解码器应当能够识别解码块所需要的参考图像。“语法元素”也可以表示为例如“语法单元”、“联合指示单元”或“联合识别单元”。描述RIS的一种方式是描述从传统表不(例如，使用两个分离列表的参考信息的AVC表示)到根据RIS的参考信息的示意表示的“转换”或映射。到RIS表示的这种转换基本上可以按照如图I所示意的3个步骤来进行。第一步骤102可以是由多个索引列表构成单个参考索引列表。例如，代替如在AVC中那样地管理两个参考索引列表，可以按照特定顺序将所有参考图像索引整理到单个联合列表中，作为对AVC的两个列表的备选或补充。这在图I中示意，在图I中，图像参考索引列表LO和LI以交叉的方式合并或复用到新的列表Lkis中。进一步地，在第二步骤104中，可以相应地重新分配索引编号，以遵循连续顺序，即新列表Lkis中的0-5。步骤104之后的列表Lkis中的索引编号或条目表示与参考模式(后向或前向的单向预测)和参考图像二者有关的信息。Lkis中的条目的索引可以表示为例如“RIS索弓丨”或“索引参数”。在本示例中的步骤104之后，Lkis中的RIS索引编号0-5表示根据四个过去图像(最初在LO = (0,1,2,3))和两个未来图像(最初在LI = (0,1))的单向预测。进一步地，可以例如通过插入或附加来向Lkis添加表示双向预测的一个或多个列表条目。因此，指示表示双向预测的条目的RIS索引不是指向单个参考图像，而是指向两个参考图像。因此，RIS索引可以识别参考模式和一个或多个参考图像的组合。因此，在最后步骤106中，可以将与双向预测模式(其中，使用两个参考图像进行预测)有关的条目连续地添加到Lkis，并且可以由RIS索引来指示或表示。例如，可以将RIS索引编号为7的条目设置用于发信号通知或暗示当前图像正在使用0号图像和I号图像作为双向预测参考。因此，该信息是RIS索引7中固有的。可以以类似的方式将8号索引设置用于暗示当前图像正在使用0号图像和2号图像作为双向预测参考。类似地，列表Lkis还 可以利用表示三向预测、识别三个参考图像等的条目来扩展。备选地，步骤104和106可以按照反向顺序执行，以便首先添加(即，插入或附加)与双向预测模式有关的条目，然后相应地重新分配索引编号。如先前所描述的，作为步骤104的补充或备选，还可以例如在与单向预测有关的条目之间插入与双向预测模式有关的条目，这可能需要在插入之后执行对索引编号的重新分配。在本示例中，映射由单个参考列表表不，在该参考列表中，不同条目的索引表不参考模式和一个或多个参考图像。应注意，这只是一个可选的示例，映射可以涉及若干个步骤，并且不需要示例类型的显式列表或记录来执行映射。在图2的表中示出了 AVC参考索引表示与根据示例实施例的RIS索引表示之间的差别的示例。在本示例中，假设有4个参考图像可用于对当前图像进行编码，其中两个参考图像是过去参考图像，两个参考图像是未来的参考图像。在本示例的RIS表示中，索弓I 0、1、3和4被设置为指示根据4个参考图像中的相应一个的单向预测。索引2和5被设置为指示根据4个参考图像中的相应两个参考图像的双向预测。应注意，参考索引的AVC信令还可以包括与分区相关的信息，这是因为该信息是与参考模式索引一同编码的，例如“INTER_16xl6_L0”。然而，这没有在图2中示出。在图2的表中所示的示例中，指示或表示双向预测的一些RIS索引紧跟在“最近的”单向预测RIS索引之后，即，与表示单向预测的索引交叉。该RIS索引表示在图3中进一步示意，图3示出了所谓的7B分层的图像组(BG0P)。在该图中，所谓的“当前帧”(即，待编码的帧)是7B 60P中的帧3。图3中所示的RIS索引对应于图2的表中的RIS索引0-7。如图I所示意的示例中的那样，备 选RIS表示可以是使得RIS索引0-3指示单向预测，并且接着的RIS索引指示双向预测。定义RIS索引或RIS参数的含义的方式不局限于本文中所给出的示例。例如，可以定义数学公式来解译RIS索引的含义，例如具有2个变量的函数f (RIS_indeX，Current_frame_num),其返回针对双向预测RIS索引的2个参考图像索引的标识,并识别针对单向RIS索引的一个参考图像索引，等等。在一个示例中，0111^6]11:_;1^^1]16_11111]1对应于713图像的BGOP内的巾贞号,其中0是按照显不顺序的第一个巾贞,8是BGOP中的最后一个巾贞。在另一不例中，始终利用以下公式来分配RIS索引转发refidx0范围
后向L0_len+refidxl范围[L0_len L0_len+Ll_len_l]双向(L0_len+Ll_len)+refidxO*Ll_len+refidxl范围[L0_len+Ll_len L0_len+Ll_len+L0_len*Ll_len_l]其中refidxO和refidxl分别是参考列表LO和LI的索引。L0_len和Ll_len分别是列表LO和LI的长度。备选地，在双向预测的情况下，表可以用于将RIS索引与两个相应的单向索引相匹配，以及在单向预测的情况下，表可以用于将RIS索引与一个单向索引相匹配。选择哪种方法取决于例如硬件/软件约束。然而，不管使用哪种方法来导出语法元素，编码器和解码器均应当知道该方法，因此使得编码器能够导出并提供正确的语法元素，以及使得解码器能够正确地解译语法元素，并由此识别出对所考虑的编码块或帧进行解码所需的参考信息。RIS索引可以应用于不同等级的视频编码,例如巾贞级、大MB级、MB级或子MB级。示例过稈，图4,解码现在将参照图4来描述传达参考信息的过程中的解码部分的实施例。该过程可以在视频解码实体中执行，该视频解码实体可以是视频解码器，或者可以是除了视频解码器之外还包括其他功能单元的实体。开始，在动作402中获得与编码块相关联的单个语法元素。所述单个语法元素可以是“比特流”(即，例如视频序列的编码表示)中的一个单元，例如符号，或者可以是从比特流中解码出的单元。语法元素是表示与参考信息相对应的编号(例如，RIS索引)的一个或多个比特。通常，与用于表示较不常见的RIS索引的比特数目相比，用于表示相对常见的RIS索引的比特数目较小。从比特流中解码出语法元素，以获得语法元素所表示的编号，例如RIS索引。可以根据VLC (变长编码)或算术编码(例如CABAC (上下文自适应二进制算术编码))来进行解码。然后，在动作404中，基于所获得的语法元素来识别要在对块Be进行解码时使用的参考模式和一个或多个参考图像。所识别的参考模式和一个或多个参考图像对应于在编码器中对该块进行编码时使用的模式和参考图像。在给定某一语法元素的情况下，该识别可以包括例如使用映射表、参考列表或其他预定信息或函数来对语法元素进行去映射、破译或“解码”，使用映射表、参考列表或其他预定信息或函数可以识别参考模式和一个或多个参考图像。此外，当已经识别出所需要的参考模式和一个或多个参考图像时，在动作406中对编码块(假设编码块是使用传统方法获得的)进行解码。语法元素可以是参考列表中的某一条目的指示符或索引，例如表示为RIS索引，参考列表可以包括多个条目，每一个条目表示或识别一个或多个参考模式和一个或多个参考图像。备选地，语法元素是对应于查找表中的条目的码字。查找表可以将码字链接到例如一个或多个参考列表(例如，AVC中的LO和LI)中的参考模式和一个或多个参考条目。参考模式可以定义在对块进行解码时所应当使用的单个参考列表或多个参考列表。 示例设各，图5,解码下面，将参照图5来描述示例设备500，设备500适配为能够执行上述解码过程。该设备被示意为位于视频解码实体501中，视频解码实体501可以是视频解码器，或者可以是除了视频解码器之外还包括其他功能单元的实体(例如，计算机、移动终端或视频专用设备)。设备500还被示意为经由通信单元502与其他实体通信，通信单元502可以被认为包括用于任意类型的有线或无线通信的传统装置。假设由获得单元504从通信单元502或存储器中获得待解码的编码视频，并且假设在解码单元508中对该编码块进行解码，其中功能单元508使用传统的解码方法。获得单元504适配为获得与编码块Be相关联的单个语法元素。设备500还包括识别单元506，适配为基于所获得的语法元素来识别要在对块B6进行解码时使用的参考模式和一个或多个参考图像。如先前所描述的，设备500还包括解码单元508，适配为基于所确定的参考模式和参考图像，对块进行解码，由此提供解码的像素块B。在该设备中，语法元素可以是参考列表中的条目的指示符或索引，参考列表可以包括多个条目，每一个条目表示或识别一个或多个参考模式和一个或多个参考图像。备选地，该设备可以适配于另一种情况，其中语法元素是对应于查找表中的条目的码字。查找表可以将码字链接到例如一个或多个参考列表(例如，AVC中的LO和LI)中的参考模式和一个或多个条目。视频解码实体501还可以包括例如显示单元510，适配为对解码视频进行显示。不例过程，图6,编码现在将参照图6来描述传达参考信息的过程中的编码部分的实施例。该过程可以在视频编码实体中执行，该视频编码实体可以是视频编码器，或者可以是除了视频解码器之外还包括其他功能单元的实体。开始，在动作602中使用参考模式和一个或多个参考图像对像素块B进行编码，由此提供编码块然后，在动作604中基于用于编码的参考模式和一个或多个参考图像来导出单个语法元素，该语法元素由此直接或间接地识别用于对块B进行编码的参考模式和一个或多个参考图像。语法元素可以例如通过在预定参考列表中定位与所使用的参考模式和参考图像相对应的表条目、然后将所述条目的索引编码设置为构成该语法元素来导出。备选地，预定映射表或查找表可以提供参考模式和参考图像的不同组合与不同语法元素之间的映射。语法元素还可以是预定函数的自变量，该函数返回参考模式指示符和一个或多个参考图像指示符。这种“自变量”语法元素可以例如通过预定“逆函数”来导出，其中将参考模式指示符和一个或多个参考图像指示符视为自变量，并返回单个语法元素。进一步地，在动作606中将所导出的语法元素提供给与块相关联的块的解码器。因此，可以以紧凑且容错的方式来向解码器传达参考信息，即，与在对块B进行编码时使用(也将在对编码块进行解码时使用)的参考模式和一个或多个参考图像有关的信息。例如，可以通过无线信道将语法元素传送至包括解码器的实体或节点，来提供语法元素。此外，语法元素可以例如与关联的编码视频一起存储在存储器中，并由解码实体在另一时间点进行存取。TK例设备，图7,编码 下面，将参照图I来描述示例设备700，设备700适配为能够执行与编码有关的上述过程。该设备被示意为位于视频编码实体701中，视频编码实体701可以是视频编码器，或者可以是除了视频编码器之外还包括其他功能单元的实体(例如，计算机、移动终端或视频专用设备)。设备700可以经由通信单元(未示出)与其他实体通信，通信单元可以被认为包括用于任意类型的有线或无线通信的传统装置。假设例如从通信单元或存储器中获得待编码的未编码视频。设备700包括编码单元702，适配为使用参考模式和一个或多个参考图像对像素块B进行编码，由此提供编码块B6。设备700还包括导出单元704，适配为导出直接或间接识别在对块B进行编码时使用的参考模式和一个或多个参考图像的单个语法元素。如先前所描述的，该语法元素可以采取不同方式导出，并且可以是例如指示符，例如，索引、码字
坐寸o设备700还包括提供单元706，适配为可能经由通信单元将单个语法元素提供给块B6的解码器。例如，可以通过无线信道将单个语法元素传送至包括解码器的实体或节点，来提供语法元素。示例设备，图8图8示意性地示出了视频解码实体中的设备800的实施例，这也可以是公开图5所示意的视频解码实体中的用于解码的设备的实施例的备选方式。这里，设备800包括处理单元806，例如具有DSP (数字信号处理器)。处理单元806可以是执行这里所描述的过程中的不同动作的单个单元或多个单元。设备800还可以包括输入单元802，用于接收来自其他实体的信号；以及输出单元804，用于将信号提供给其他实体。输入单元802和输出单元804可以被布置为一个集成的实体。此外，设备800包括至少一个计算机程序产品808，采取非易失性存储器的形式，例如EEPR0M(电可擦除只读存储器)、闪存以及硬盘驱动器。计算机程序产品808包括计算机程序810，计算机程序810包括代码装置，代码装置在设备800的处理单元806中执行时使得该设备和/或视频解码实体执行早先结合图4所描述的过程中的动作。计算机程序810可以被配置为以计算机程序模块构造的计算机程序代码。因此，在所描述的示例实施例中，设备800的计算机程序810中的代码装置包括获得模块810a，用于获得与编码视频单元/块相关联的单个语法元素(例如，通过从源自数据发送实体或存储设备(例如存储器)的比特流中解码出语法元素)。计算机程序还包括识别模块810b，用于基于所获得的语法元素来识别参考模式和一个或多个参考图像。计算机程序810还包括解码模块810c，用于对编码块进行解码。
模块SlOa-C本质上可以执行图4所示意的流程中的动作，以模拟图5所示意的视频解码实体中的设备。换言之，当不同的模块810a-c在处理单元806中执行时，它们对应于图5中的单元502-506。类似地，对于图7所示意的设备的相应备选也是可能的。尽管以上结合图8所描述的实施例中的代码装置被实现为计算机程序模块，该计算机程序模块在处理单元中执行时使得该设备和/或视频处理/呈现实体执行结合上述附图所描述的动作，然而在备选实施例中，代码装置中的至少一个可以至少部分地实现为硬件电路。处理器可以是单个CPU (中央处理单元)，但也可以包括两个或多个处理单元。例如，处理器可以包括通用微处理器、指令集处理器和/或相关芯片集和/或专用微处理器(例如，ASIC(专用集成电路))。处理器还可以包括在板存储器，用于高速缓存目的。计算机程序可以由与处理器相连的计算机程序产品来承载。计算机程序产品包括其上存储有计算机程序的计算机可读介质。例如，计算机程序产品可以是闪存、RAM(随机存取存储器)、ROM(只读存储器)或EEPR0M，以及在备选实施例中，可以将以上所描述的计算机程序模块分布在数据接收实体内的采取存储器形式的不同的计算机程序产品上。此外，已经认识到，现有视频编码技术的一个问题在于没有定义或应用令人满意的参考模式和/或参考图像预测方案。下面将描述这种预测方案。已经认识到，在例如镜头切换/淡入/闪光场景中，使用相同的例如参考模式和参考图像的组合来预测相邻或邻近的MB是极其常见的。此外，认识到，当前的编码方法没有利用用于相邻MB的参考模式/参考图像之间的相关。在先前方案中，分别对识别MB参考信息的单独分量进行编码，并将其传送至视频解码器。下面可以描述对于MB级的示例预测方案。该示例预测方案应用于编码器和解码器二者，并且可以应用于任何块大小。与对当前MB的编码/解码相关联地，编码器/解码器被布置用于对周围的编码MB(也称为MB的“上下文”)的参考指示符进行分析。这些周围块也可以称为当前块的“相邻块”。编码器/解码器对候选指示符或索引的集合中的每一个在相邻块之中出现的次数进行计数，并例如根据预定方案选择具有最高计数的那一个作为预测或估计。所选参考指示符应当与帧间预测相关。将所选参考指示符设置为适于在对当前MB进行编码/解码时使用的参考图像(以及参考模式)的预测或估计。该预测是通过对与MB的编码/解码相邻块相关的信息进行分析(而不是对当前MB自身进行分析)而导出的。在编码器中，由于在本示例中，预测不是要用于选择要在对当前MB进行编码时使用的参考图像(以及参考模式)，因此在预测的选择期间，MB可以是编码的，也可以是未编码的。在解码器中，当前MB在预测期间是已编码的。图9示意了示例相邻块参考指示符分析和对估计的选择。在图9所示意的示例中，考虑了当前块的4个相邻块。然而，该方法也可以应用于所考虑的相邻块的其他集合或子集。一个示例集合或相邻块可以由关于当前块的左块、左上方块和正上方块构成。另一示例集合可以只包括左块和正上方块。在图9中，当前块的相邻块与各个参考指示符或索引(1、1、2以及0)相关联。因此，参考指示符“I”由于在相邻块之中出现两次而具有最高计数，即最高出现频率。因此，选择参考指示符“I”来表示对在编码当前块时所使用(或要使用)的参考图像(以及模式)的预测或估计，或者在该预测发生在解码器中时，表示对要在解码当前块时使用的参考图像(以及模式)的预测。当对特定参考指示符在相邻块之中的出现次数进行计数时，不止一个候选可能具有相同的最高计数数目。这在图10中示出，其中参考指示符“I”和“2”均出现4次。这可
以例如通过根据预定排序方案选择参考指示符来解决。例如，当参考指示符由编号0 2来表示时，如图9和10所示，可以选择由最高或最低编号所表示的参考指示符作为预测。通过变换编码(例如，DCT (离散余弦变换))来对预测像素值的块与原始像素值(即，被编码之前的源)的块之间的差值进行编码。变换的输出包括变换系数，然后变换系数被量化。针对给定量化，与某一个块相关联的变换系数的数目反映预测块和原始块之间的匹配程度。相对少的变换系数指示匹配良好。因此，可以认为与具有较少变换系数的块相关联的参考指示符更加可靠。因此，也可以根据例如与参考块相关联的编码变换系数来对出现计数进行加权。如以上所述，与具有较少编码变换系数的相邻块相关联的参考索引可以被认为比与具有很多变换系数的相邻块相关联的参考索引更加可靠，并且因而可以被分配有较大权重以用于参考索引预测。在另一示例中，具有编码系数的块的权重可以比不具有编码系数的块(即被跳过的块)的权重更大。在另一示例中，与具有较大MV分区的相邻块(例如较大的MB)相关联的参考索引可以被认为比具有较小MV分区的相邻块更加可靠，并且因此可以被分配有较大权重以用于参考索引预测。使用2的倍数的权重在复杂度方面是有益的。加权的计数也可以通过使用查找表来实现。与其他参考标识符相比，一些参考标识符可以更好地彼此相关。例如，当使用联合编码的参考信息时，与例如表示使用参考帧ref2的单向预测的参考指示符相比，表示使用参考帧refO和ref I的双向预测的参考指示符将与表示使用refO和ref I之一的单向预测的参考指示符更为相关。因此，在对双向预测指示符进行计数时，可以利用一些较小计数值(即，小于针对“完全匹配”的计数值)来对表示使用相同参考帧的单向预测的相应指示符进行更新。类似地，与其他双向预测参考指示符相比，表示使用例如refO和refl的单向预测的参考指示符与表示使用refO和refl的双向预测的相应参考指示符更加相关。因此，在对单向参考指示符进行计数时，也可以使用某个较小的值来对与使用所考虑的参考帧的多向预测相对应的参考指示符的计数进行更新。图10示意了通过对与当前块的相邻块相关联的参考指示符进行计数来确定当前块的特定参考指示符的出现频率的另一示例实施例。这里，当前块是较大的MB，以及相邻块在大小上比当前块要小。在一些情况下，可能对在上下文中具有相同数目的相邻块而无论所考虑的块的块大小的情况感兴趣。引入参考指示符预测或参考索引预测的一个好处是允许VLC表的更有效的映射。通过将预测和VIC表一起考虑，可以获得更大程度的压缩。例如，当假设在不使用预测的情况下对3个索引(例如0、1、2)进行编码时，可以如图11所示意的来分配固定的VLC表。假设索引符号“2”出现得最为频繁，则图11所示的表具有次优的设计，这是因为“2”是使用具有2个比特(即，“11”)的码字来编码的，而较不频繁的“0”是使用I个比特(即，“0”)来编码的。在添加了预测的情况下，能够实现更好的VLC表设计。图12示意了这种改进的VLC表设计的示例。在这种改进的VLC设计中，用于对参考指示符或索引符号进行编码所花费的比特可以基于该预测(并因此基于当前块的上下文)来适配。在图12所示的表中，当前块的上下文中的最频繁出现的参考指示符使用单个比特的码字(在本示例中为“0”)来编码。可以将包括2个比特的码字“10”和“11”定义为分别识别例如具有次高出现频率的参考指示符和具有第三高出现频率的参考指示符。参考指示符的编码器和解码器都应当知道并且同意如何执行预测以及如何解译码字。以上所述的示例仅仅是一个简单的示例，并且应当注意，可能的设计不局限于此。 存在各种方式来给参考指示符或索引符号分配不同的VLC表，例如当包括更多参考指示符或索引符号时。一个示例方法可以是随索引的出现概率而改变索引编制，以便给频繁出现的参考指示符分配较低的索引编号，反之亦然，以及使得较低的索引编号比较高索引编号花费更少的比特来进行编码。基于上下文的自适应二进制算术编码(CABAC)可以用于实现改变的比特代价，以用于根据参考指示符或索引的概率来表示参考指示符或索引。例如，不同上下文的一些示例是如上所述的与相邻块相关联的参考指示符、参考指示符的计数数目、或参考指示符的加权的计数数目。在例如使用H. 264的现有技术中，使用两个MV/参考图像、块或区块产生双向预测块包括在两个参考区块上求平均。当MV指向参考区块中的子像素位置时，在求平均之前需要先产生子像素位置像素值。子像素位置像素值的产生称为“空间滤波”，即，该产生过程包括对各个参考区块进行空间滤波。因此，现有技术中使用两个参考区块来产生双向预测块的过程包括对第一区块进行空间滤波；对第二区块进行空间滤波；以及最后在经滤波的区块上求平均。空间滤波在计算复杂度方面的要求相对较高。发明人认识到该计算复杂度可以降低，下面将对此进行描述。为了降低复杂度，可以首先基于整体化动作，例如通过将两个参考块(在不执行空间滤波的情况下)相加，来构建块。相加是在计算复杂度方面代价相对较低的操作。然后，可以对所产生的块进行滤波，例如内插，以便获得例如一半或四分之一的像素分辨率。子像素调整可以根据MV之一或基于例如单独编码/解码的附加信息来执行。当某一个块与多于一个MV和参考索引相关联时(这里称为“多向预测”)，可以确定多向预测的各个单向预测分量。单向预测可以称为“单一预测”，也可以称为例如帧内预测。认识到可以基于这些单向预测之间的绝对差值来导出分区信息。为了避免在传达细粒度的分区信息时的开销，在编码器和解码器中均可以导出分区信息。在单向预测之间的绝对差值相对较大的区域中，可以使用单个单向预测或特定双向预测。可以根据针对双向预测(或多向预测)的单向预测分量之一的比特流中所指示的参考索引和MV来进行单个单向预测。在块中的其他区域中(其中单向预测之间的绝对差值相对较小)，可以如针对该块的比特流中所指示地使用双向预测。关于针对某一区域使用单个双向预测/特定双向预测还是使用比特流中指示的双向预测的判定可以基于例如与该区域相关联的单向预测之间的绝对差值与预定阈值的比较。假设与2个MV和2个参考区域相关联的双向预测块。在这一阶段，该块通常不会进一步划分，而是依现状加以编码。然而，应当认识到，在编码器和解码器中均可以使用根据分析绝对差值或“差值图”所获得的“隐式”信息来将该块划分为进一步的分区。在计算2个参考区块或预测的绝对差值时，在差值图中有一些区域的绝对值较高，而有一些的绝对值较低。区域中的绝对差值的较低值通常表示在两个参考区块中在该区域中描绘相同的对象。如果在各个参考区块中在该区域中描绘不同的对象，则绝对差值可能较大。如果在各个参考领域中的相应区域中描绘相同对象，则对该区域进行平均是适当的。如果相应的区域描绘不同的对象，则对其进行平均没有意义。例如，可以定义阈值，其中高于阈值的差值表示“不同的对象区域”，以及低于阈值的差值表示“相同的对象区域”。可以根据预定方案，依照这些区域来对块进行分区。如先前所阐述的，分区可以基于隐式信息(即，不具有描述分区的显式信令)来执行。这样做的另一个好处在于可以支持“非方形分区”。例如，当在一个块中描绘球的一半时，对该块的分 区可以非常精确地在球的边缘周围。编码器可以发信号通知解码器是否应当使用以上所描述的分区方案。在已经发信号通知了应当使用分区方案时，针对具有相对高的绝对差值的区域，编码器可以可选地发信号通知使用哪一种单向预测或使用哪一种特定的双向预测。例如，可以使用加权的双向预测(而不是平均的，且可能具有DC偏移)。在一些情况下，可能需要对某些附加信息进行编码/解码，以确定能够产生特定的双向预测的局部参数。所获得的分区信息还可以用于预测分区信息，以及编码器可以对与要由解码器解码并使用的经预测的分区相比的改变进行编码。基于参考区块之间的差异来导出分区信息可以提供对于应当如何进行分区的大致指示。还可以通过发送经预测的分区信息的细化来实现进一步的细化。获得分区信息的一个示例是将块划分为4个同样大小的子块。如果子块的归一化SAD(绝对差值和(除以所计算的像素的数目))例如等于或大于“母”块4倍大的归一化SAD,则迭代地将具有最大归一化SAD的子块划分为4个同样大小的区域。归一化SAD指代每一像素的SAD或者每一特定子块大小的SAD。可以备选地使用像素差值的其他度量来代替SAD。一个示例是关于强局部图像结构(例如，边缘/线)具有更大权重的度量。然后，将没有进一步划分的剩余的子块设置为应当使用例如双向预测的某一修改的分区。图13示出了分区方案的示例实施例。左侧的块(1302 a)是双向预测的。对该块执行SAD计算(现在表示为1302 b)，并且识别、选出以及相应地处理高SAD区块。在本示例中，高SAD区块通过改变为仅具有后向MV的单向预测来处理。因此，原始块可以划分为两个分区，其中一个使用在比特流中指示的双向预测，而一个(示意为包括圆圈)使用单向预测(双向预测的一个分量)。可以使用速率失真最优化(RDO)来选择最佳单向预测(双向预测的分量)。如何获得分区信息的另一示例是将例如双向预测块划分为若干个例如相同大小的子块，确定所考虑子块大小的最大SAD，并选择SAD接近该最大值(例如，与该最大值相距特定间隔内)的子块，作为要使用某一修改版本的双向预测或单向预测的区域中的部分。除了分区之外，在使用双向预测模式时，还可以使用该方案，例如以确定先前所描述的RIS索引或现有的参考索引。例如，某一区域的光滑的差值图可以说明并且可以被解译为该区域可能与“bi-RIS索引”相关联。该方案还可以进一步用作备选的预测，或者与先前所描述的参考指示符索引预测相结合。在编码器和解码器中均可以基于双向预测的可能候选之间的SAD来进行选择，以选择具有最小SAD的组合。应当注意，利用以上所描述的基于多向预测的分区方案，在编码器和解码器处均可以导出其他类型的分区，而不是导出基于块的分区。这包括例如根据非线性图像处理方法(例如，边缘检测和/或分割)将块线性地(例如，水平、垂直或对角线)或非线性地划分为两个或多个分区。例如，可以根据图像分割方法(例如，边缘检测和/或区域增长)来分割多向预测差值信号，然后基于分割的差值信号来导出块分区。子分区的数目可以通过图像处理方法(例如图像分割)来导出，或者可以从编码器发信号通知给解码器。作为线性或非线性分区的备选，也可以应用基于像素的分区。一个变型可以是从编码器向解码器发信号通知使用哪种分区方法，另一种变型可以是通过其他信令手段在编码器与解码器之间就分区方案达成一致。基于多向预测的方法的优点在于，可以基于已经在编码器和解码器处可用的信息来导出分区信息，即，不需要显式地发信号通知分区信息，从而减小了用于编码的比特数目。 应当注意，根据基于多向预测的分区，而不是从双向预测切换到具有从用于双向预测的MV中导出的单向MV的单向预测，还可以发信号通知针对子分区的附加MV和/或预测模式(单向图像间预测、双向图像间预测、或图像内预测)。换言之，某一个块的分区的数目和形状可以显式地发信号通知，和/或可以基于例如分割方案而从隐式信息中导出。此夕卜，针对所产生的子分区中的一些或全部，可以发信号通知MV和/或预测模式。尽管已经参照被提供作为示例的特定实施例对以上所提出的过程进行了描述，然而该描述大体上仅仅旨在示意发明思想，而不应被认为是限制了所提出的由所附权利要求所限定的方案和设备的范围。尽管利用一般术语进行描述，然而方法和设备可以应用于例如使用通常可用的通信技术(例如，GSM/EDGE、WCDMA、或LTE或基于卫星、陆地或电缆的广播技术(例如DVB-S、DVB-T或DVB-C))的不同类型的通信系统，但是也可以应用于将视频存储到存储器中/将视频从存储器中取出。还应理解，对于交互单元或模块的选择以及对于单元的命名仅仅是为了示例的目的，并且适用于执行以上所描述的任意方案的视频处理实体可以利用多个备选方式来配置，以便能够执行所提出的过程动作。应当注意，本公开中所描述的单元或模块应被视为逻辑实体，并且不必是单独的物理实体。缩略语AVC 高级视频编码CABAC 上下文自适应二进制算术编码GOP 图像组MB宏块MV运动向量RIS 参考索引信令/参考信息指示符信令SAD 绝对差值和VLC 变长编码
权利要求
1.一种视频解码实体中的方法，所述方法包括 -获得(402)与编码块相关联的单个语法元素， -基于所获得的语法元素来识别(404)参考模式和一个或多个参考图像，以及 -基于所识别的参考模式和一个或多个参考图像，对块进行解码(406)，由此提供解码的像素块B。
2.根据权利要求I所述的方法，其中，对参考模式和一个或多个参考图像的识别基于所获得的语法元素与要在对块进行解码时使用的参考模式和一个或多个特定参考图像之间的预定映射。
3.根据权利要求I或2所述的方法，其中，所述单个语法元素表示第一预定参考列表中 的条目。
4.根据权利要求3所述的方法，其中，所述第一列表包括识别以下至少一项的一个或多个条目 -多个参考图像， -单个参考图像。
5.根据权利要求4所述的方法,其中,第一列表中的每一个条目还识别参考模式。
6.根据权利要求3或4所述的方法，其中，所述单个语法元素还表示参考模式和第二预定参考列表中的条目。
7.根据权利要求6所述的方法，其中，第二列表包括识别单个参考图像的一个或多个条目。
8.根据权利要求3-7中任一项所述的方法,其中，由列表索引识别一个或多个列表条目。
9.根据前述任一权利要求所述的方法，其中，表示所获得的语法元素的比特数目与所述语法元素的特定值的可能性有关，其中比特越少暗示越可能的值，以及比特越多暗示越不可能的值。
10.根据前述任一权利要求所述的方法，还包括基于与相邻块相关联的单个语法元素来执行针对的参考信息预测。
11.根据前述任一权利要求所述的方法，还包括 -识别与多向预测相关联的某一块的一个或多个子区域，对于所述一个或多个子区域，多向预测参考块中的各个相应区域之间具有较对低的相关，以及 -针对所述块中所识别的一个或多个子区域，使用备选预测代替所述多向预测。
12.一种视频解码实体中的设备(500)，所述设备包括 -获得单元(504)，适配为获得与编码块B6相关联的单个语法元素， -识别单元(506)，适配为基于所获得的语法元素来识别参考模式和一个或多个参考图像，以及 -解码单元(508)，适配为基于所识别的参考模式和一个或多个参考图像，对块B6进行解码，由此提供解码的像素块B。
13.根据权利要求12所述的设备，还适配为基于所获得的语法元素与要在对块B6进行解码时使用的参考模式和一个或多个特定参考图像之间的预定映射，识别参考模式和一个或多个参考图像。
14.根据权利要求12或13所述的设备，还适配为将所述单个语法元素解译为表示第一预定参考列表中的条目。
15.根据权利要求14所述的设备，其中，所述第一列表包括识别以下至少一项的一个或多个条目 -多个参考图像， -单个参考图像。
16.根据权利要求15所述的设备,其中,第一列表中的每一个条目还识别参考模式。
17.根据权利要求14或15所述的设备，还适配为将所述单个语法元素解译为还表示参考模式和第二预定参考列表中的条目。
18.根据权利要求17所述的设备，其中，第二列表包括识别单个参考图像的一个或多个条目。
19.根据权利要求14-18中任一项所述的设备,其中，由列表索引识别一个或多个列表条目。
20.根据权利要求12-19中任一项所述的设备，还适配为将表示所获得的语法元素的比特数目解译为与所述语法元素的特定值的可能性有关，以使得比特越少暗示越可能的值，以及比特越多暗示越不可能的值。
21.根据权利要求12-20中任一项所述的设备，还适配为基于与相邻块相关联的单个语法元素来执行针对Be的参考信息预测。
22.根据权利要求12-21所述的设备，还适配为识别与多向预测相关联的某一块的一个或多个子区域，对于所述一个或多个子区域，多向预测参考块中的各个相应区域之间具有较对低的相关，以及 所述设备还适配为针对所述块中所识别的一个或多个子区域，使用备选预测代替所述多向预测。
23.一种视频编码实体中的方法，所述方法包括 -使用参考模式和一个或多个参考图像对像素块B进行编码(602)，由此提供编码块Be， -导出(604)识别所述参考模式和一个或多个参考图像的单个语法元素， -将所述单个语法元素提供(606)给块的解码器。
24.根据权利要求23所述的方法，其中，所述语法元素是通过根据预定映射方案将所使用的参考模式和一个或多个参考图像映射到所述语法元素来导出的。
25.根据权利要求23或24所述的方法，其中，所述单个语法元素表示第一预定参考列表中的条目。
26.根据权利要求25所述的方法，其中，所述第一列表包括识别以下至少一项的一个或多个条目 -多个参考图像， -单个参考图像。
27.根据权利要求26所述的方法,其中,第一列表中的每一个条目还识别参考模式。
28.根据权利要求25或26所述的方法，其中，所述单个语法元素还表示参考模式和第二预定参考列表中的条目。
29.根据权利要求28所述的方法，其中，第二列表包括识别单个参考图像的一个或多个条目。
30.根据权利要求25-29中任一项所述的方法,其中，由列表索引识别一个或多个列表条目。
31.根据权利要求23-30中任一项所述的方法，还包括 -选择表示语法元素的比特数目，使之与所述语法元素所识别的特定模式和图像的可能性有关，以使得较高可能性对应于较少比特，以及较低可能性对应于较多比特。
32.根据权利要求23-31中任一项所述的方法，还包括基于与B的相邻块相关联的单个语法元素来执行针对B或Bej的参考信息预测。
33.根据权利要求23-32中任一项所述的方法，还包括 -识别与多向预测相关联的某一块的一个或多个子区域，对于所述一个或多个子区域，多向预测参考块中的各个相应区域之间具有较对低的相关，以及 -针对所述块中所识别的一个或多个子区域，使用备选预测代替所述多向预测。
34.一种视频编码实体中的设备(700)，所述设备包括 -编码单元(702)，适配为使用参考模式和一个或多个参考图像对像素块B进行编码，由此提供编码块比， -导出单元(704)，适配为导出识别所述参考模式和一个或多个参考图像的单个语法元素， -提供单元(706)，适配为将所述单个语法元素提供给块B6的解码器。
35.根据权利要求34所述的设备，还适配为根据参考模式和一个或多个参考图像与所述语法元素之间的预定映射来导出所述语法元素。
36.根据权利要求34或35所述的设备，还适配为通过选择表示第一预定参考列表中的条目的单个语法元素来导出单个语法元素。
37.根据权利要求36所述的设备，其中，所述第一列表包括识别以下至少一项的一个或多个条目 -多个参考图像， -单个参考图像。
38.根据权利要求37所述的设备，其中，第一列表中的每一个条目还识别参考模式。
39.根据权利要求或36或37所述的设备，还适配为导出所述单个语法元素以进一步表示参考模式和第二预定参考列表中的条目。
40.根据权利要求39所述的设备，其中，第二列表包括识别相应的单个参考图像的一个或多个条目。
41.根据权利要求36-40中任一项所述的设备，还适配为通过选择识别一个或多个预定参考列表中的一个或多个列表条目的列表索引来导出所述单个语法元素。
42.根据权利要求34-41中任一项所述的设备，还适配为选择表示语法元素的比特数目，使之与所述语法元素所识别的特定模式和图像的可能性有关，以使得较高可能性对应于较少比特，以及较低可能性对应于较多比特。
43.根据权利要求34-42中任一项所述的设备，还适配为基于与相邻块相关联的单个语法元素来执行针对B或Bej的参考信息预测。
44.根据权利要求34-43中任一项所述的设备，还适配为识别与多向预测相关联的某一块的一个或多个子区域，对于所述一个或多个子区域，多向预测参考块中的各个相应区域之间具有较对低的相关，以及 所述设备还适配为针对所述块中所识别的一个或多个子区域，使用备选预测代替所述多向预测。
45.一种计算机程序(810)，包括计算机可读代码装置，所述计算机可读代码装置在根据权利要求12-22或34-44中任一项所述的设备上执行时，使得所述设备执行根据权利要求1-11或23-33中任一项所述的相应处理。
46.一种计算机程序产品(808)，包括根据权利要求45所述的计算机程序。
全文摘要
本申请提供了视频编码和解码实体中的方法和设备。该方法和设备涉及对与编码视频相关联的参考信息的联合编码。在解码实体中，该方法和设备涉及获得(402)与编码块Be相关联的单个语法元素，并基于所获得的语法元素来识别(404)参考模式和一个或多个参考图像。该方法和设备还涉及基于所识别的参考模式和一个或多个参考图像，对块Be进行解码(406)，由此提供解码的像素块B。
文档编号H04N7/26GK102668561SQ201080057234
公开日2012年9月12日 申请日期2010年12月17日 优先权日2009年12月17日
发明者克林顿·普里德尔, 巫壮飞, 托马斯·卢瑟, 理查德·肖伯格, 肯尼思·安德森 申请人:瑞典爱立信有限公司