基于解码器图片缓冲器的上下文初始化的制作方法

文档序号:11480162阅读:182来源:国知局
基于解码器图片缓冲器的上下文初始化的制造方法与工艺

本申请是中国发明专利申请的分案申请,原案的发明名称是“基于解码器图片缓冲器的上下文初始化”,原案的申请号是201280032068.7(国际申请号pct/jp2012/067023),原案的申请日是2012年6月27日。

本发明的实施例总体涉及视频编码,并且具体地,本发明的某些实施例涉及用于上下文初始化的技术。



背景技术:

现有技术视频编码方法和标准,例如h.264/mpeg-4avc(h.264/avc)和jct-vc考虑中的测试模型(tmuc)可以以较高的复杂性为代价提供比较旧的方法更高的编码效率。增加对视频编码方法和标准的质量要求和分辨率要求也可能增加其复杂性。支持并行解码的解码器可以改善解码速度并降低存储器要求。另外,多核处理器的进步可以使得支持并行解码的编码器和解码器是期望的。

被通过引用整体地结合到本文中的h.264/mpeg-4avc[itu-tvceg和iso/iecmpeg的联合视频组,“h.264:用于一般视听服务的高级视频编码”,itu-t记录h.264和iso/iec14496-10(mpeg4—第10部分,2007年11月]是使用宏块预测、之后是残余编码来减少视频序列中的时间和空间冗余以获得压缩效率的视频编解码器(编码器/解码器)规范。

被整体地通过引用结合到本文中的考虑中的测试模型(tmuc)[jct-vca205,“考虑中的测试模型”,2010年6月16日]是jct-vc的初始测试模型。tmuc,使用能够具有可变尺寸的被称为编码树块(ctb)的基础编码单元,提供比h.264/avc更大的灵活性。



技术实现要素:

本发明的某些实施例包括用于并行熵编码的方法和系统。本发明的某些实施例包括用于并行熵解码的方法和系统。

本发明的一个实施例公开了一种用于将视频序列的视频帧解码的方法,包括:

(a)在视频解码器中接收片;

(b)识别包括至少第一预测片和第二预测片的所述片的类型;以及

(c)使用对应于所述片的类型的上下文初始化方法来初始化与所述片相关联的上下文;

其中,如果所识别的所述片类型是所述第二预测片,则所述上下文初始化方法被用对应于所述第一预测片的不同的上下文初始化方法替换。

本发明的一个实施例公开了一种用于解码视频序列中的视频帧的方法,包括:

(a)在视频解码器中接收片;

(b)识别所述片是否是预测b片;

(c)使用与被用于b片的不同的技术来初始化与所述片相关联的上下文。

在考虑结合附图进行的本发明的以下详细描述时,将更容易理解本发明的前述及其他目的、特征和优点。

附图说明

图1是示出了h.264/avc视频编码器(现有技术)的图片;

图2是示出了h.264/avc视频解码器(现有技术)的图片;

图3是示出了示例性片结构(现有技术)的图片;

图4是示出了示例性片组结构(现有技术)的图片;

图5是示出了根据本发明的实施例的示例性片分区的图片,其中,可以以至少一个重构片来划分图片,并且可以将重构片划分成不止一个熵片;

图6是示出了包括熵片的本发明的示例性实施例的图表;

图7是示出了包括多个熵片的并行熵解码,之后是片重构的本发明的示例性实施例的图表;

图8是示出了在图片层级包括预测数据/残余数据复用以用于熵片构造的本发明的示例性实施例的图表;

图9是示出了在图片层级包括色彩平面复用以用于熵片构造的本发明的示例性实施例的图表;

图10是示出了包括通过熵解码、形成熵片和熵编码对比特流进行变换编码的本发明的示例性实施例的图表;

图11是示出了包括将重构片划分成多个熵片的本发明的示例性实施例的图表,其中,与多个熵片中的每个熵片相关联的二元位(bin)的数目不超过预定义二元位数目;

图12是示出了包括将重构片划分成多个熵片的本发明的示例性实施例的图表,其中,二元位可以与熵片相关联直至熵片中的二元位的数目超过基于预定义最大二元位数目的门限值;

图13是示出了包括将重构片划分成多个熵片的本发明的示例性实施例的图表,其中,与多个熵片中的每个熵片相关联的二元位的数目不超过预定义二元位数目且每个重构片不包含超过预定义数目的宏块;

图14是示出了包括将重构片划分成多个熵片的本发明的示例性实施例的图表,其中,二元位可以与熵片相关联直至熵片中的二元位的数目超过基于预定义最大二元位数目的门限值且每个重构片包含不超过预定义数目的宏块;

图15是示出了包括将重构片划分成多个熵片的本发明的示例性实施例的图表,其中,与多个熵片中的每个熵片相关联的比特数不超过预定义比特数;

图16是示出了包括将重构片划分成多个熵片的本发明的示例性实施例的图表,其中,比特可以与熵片相关联直至熵片中的比特数超过基于预定义最大比特数的门限值;

图17是描绘了包括多个二元位编码器的本发明的示例性实施例的图片;

图18是描绘了包括多个上下文自适应单元的本发明的示例性实施例的图片;

图19是描绘了包括多个二元位编码器和多个上下文自适应单元的本发明的示例性实施例的图片;

图20是示出了包括将重构片划分成多个熵片的本发明的示例性实施例的图表,其中,熵片的尺寸受限以限制在熵片中由每个受限熵编码器单元来操作的比特数;

图21是示出了包括将重构片划分成多个熵片的本发明的示例性实施例的图表,其中,熵片的尺寸受限以限制在熵片中由每个受限熵编码器单元来操作的比特数;

图22是描绘了包括多个二元位解码器的本发明的示例性实施例的图片;

图23是描绘了包括多个上下文自适应单元的本发明的示例性实施例的图片;

图24是描绘了包括多个二元位解码器和多个上下文自适应单元的本发明的示例性实施例的图片;

图25是示出了重构块到多个熵片的示例性划分的图片,其中,熵片内的宏块是连续的;

图26是示出了重构块到多个熵片的示例性划分的图片,其中,熵片内的宏块是不连续的;

图27是图示出对于重构块到多个熵片的示例性划分,在熵解码中使用的非连续邻近块的图片,其中,熵片内的宏块是不连续的;

图28是图示出对于重构块到多个熵片的示例性划分,在熵解码中使用的邻近块和熵片内的块的重构的图片,其中,熵片内的宏块是不连续的;

图29是描绘熵片报头位置限制的示例性比特流的示例性部分的图片表示;

图30是描绘熵片报头位置限制的示例性比特流的示例性部分的图片表示;

图31是示出了包括熵解码器处理比特流的受限部分以识别熵片报头的本发明示例性实施例的图表;

图32是示出了包括熵解码器处理比特流的受限部分以识别熵片报头的本发明示例性实施例的图表;

图33是示出了包括熵解码器处理比特流的受限部分以识别熵片报头的本发明示例性实施例的图表;

图34是图示出根据本发明的实施例的熵片内的示例性上下文表初始化方案的图片;

图35是图示出本发明的示例性实施例中的扫描自适应的图片。

图36是示出了包括上下文获取与系数扫描顺序解耦的熵编码器的本发明的示例性实施例的图表;

图37是示出了包括上下文获取与系数扫描顺序解耦的熵解码器的本发明的示例性实施例的图表;

图38是示出了包括基于二元位计数的上下文自适应的本发明的示例性实施例的图表;

图39是图示出已处理的多个二元位的示例性、分离划分的图片;

图40是示出了包括基于量化参数的上下文自适应的本发明的示例性实施例的图表;

图41图示出上下文初始化技术;

图42图示出另一上下文初始化技术;以及

图43图示出上下文初始化技术。

具体实施方式

通过参考附图,将最好地理解本发明的实施例,其中,自始至终用相同的附图标记来指示相同的部分。上文列出的各图被显式地并入作为本详细描述的一部分。

将很容易理解的是,如在本文的附图中总体描述和图示出的本发明的部件可以被以多种不同的配置来布置和设计。因此,本发明的方法和系统的实施例的以下更详细描述并不意图限制本发明的范围,而是仅仅表示本发明的目前优选的实施例。

可以用硬件、固件和/或软件来体现本发明的实施例的元件。虽然本文披露的示例性实施例可以仅描述这些形式中的一个,但应理解的是在本发明的范围内本领域的技术人员将能够以这些形式中的任何一个来实现这些元件。

虽然本发明的实施例可以适应使用熵编码/解码的任何视频编码器/解码器(编解码器),但将关于h.264/avc编码器和h.264/avc解码器来说明本发明的许多示例性实施例。这意图用于本发明的实施例的说明而非作为限制。

可以关于作为初级单元的宏块来描述本发明的许多示例性实施例。这意图用于说明而非作为限制。

2008年3月28日提交的题为“methodsandsystemsforparallelvideoencodinganddecoding(用于并行视频编码和解码的方法和系统)”的美国专利申请no.12/058,301被整体地通过引用结合到本文中。2009年10月14日提交的题为“methodsandsystemsforparallelvideoencodinganddecoding(用于并行视频编码和解码的方法和系统)”的美国专利申请no.12/579,236被整体地通过引用结合到本文中。

现有技术视频编码方法和标准,例如h.264/avc和tmuc,可以以较高的复杂性为代价提供比较旧的方法和标准更高的编码效率。增加对视频编码方法和标准的质量要求和分辨率要求也可能增加其复杂性。支持并行解码的解码器可以改善解码速度并降低存储器要求。另外,多核处理器的进步可以使得支持并行解码的编码器和解码器是期望的。

h.264/avc以及许多其他视频编码标准和方法是基于基于块的混合视频编码方法,其中,信源编码算法是图片间(也被视为帧间)预测、图片内(也被视为帧内)预测和预测残余的变换编码的混合。帧间预测可以挖掘时间冗余,并且帧间和预测残余的变换编码可以挖掘空间冗余。

图1示出了示例性h.264/avc视频编码器2的方框图。输入图片4,也被视为帧,可以被给出用于编码。可以产生预测信号6和残余信号8,其中,预测信号6可以基于帧间预测10或帧内预测12。可以由运动补偿部14使用存储的参考图片16,也被视为参考帧,以及在输入帧4与参考帧16之间的由运动估计部18处理而确定的运动信息19来确定帧间预测10。帧内预测12可以由帧内预测部20使用解码的信号22来确定。残余信号8可以通过从预测6减去输入4来确定。残余信号8被变换/缩放/量化部24进行变换、缩放和量化,从而产生量化的变换系数26。解码的信号22可以通过将预测信号6加上由反向(变换/缩放/量化)部30使用量化的变换系数26生成的信号28来生成。运动信息19和量化的变换系数26可以被熵编码部32进行熵编码并写入压缩视频比特流34。可以在编码器2处由解块滤波器36使用重构的前置滤波信号22来生成输出图像区域38,例如参考帧的一部分。

图2示出了示例性h.264/avc视频解码器50的方框图。输入信号52,也比视为比特流,可以被给出用于解码。接收符号可以被熵解码部54进行熵解码,从而产生运动信息56和量化缩放变换系数58。可以由运动补偿部60将运动信息56与其可以驻留在帧存储器64中的参考帧84的一部分组合,并且可以生成帧间预测68。量化缩放变换系数58可以被反向(变换/缩放/量化)部62反向量化、缩放和反变换,从而产生解码的残余信号70。可以将残余信号70与预测信号78相加,测信号78或者是帧间预测信号68或者是帧内预测信号76。帧内预测信号76可以由帧内预测部74根据当前帧72中的先前已解码的信息来预测。组合信号72可以被解块滤波器80滤波且滤波的信号82可以被写入帧存储器64。

在h.264/avc中,输入图片被划分成固定尺寸的宏块,其中,每个宏块覆盖亮度分量的16×16采样和两个色度分量中的每一个的8×8采样的矩形图片区域。在其他编解码器和标准中,可以使用不同于宏块的基本单元或基础编码单元,例如编码树块。对于作为宏块的处理单元指定h.264/avc标准的解码处理。熵解码器54对压缩视频比特流52的语法元素进行解析并将其解复用。h.264/avc指定熵解码的两个替换方法:基于上下文自适应切换集可变长度码(被称为cavlc)的使用的低复杂性技术,以及基于上下文的自适应二进制算术编码(被称为cabac)的需要更多计算的算法。在两种熵解码方法中,当前符号的解码可以依赖于先前正确解码的符号和自适应更新上下文模型。另外,可以将不同的数据信息,例如预测数据信息、残余数据信息和不同的色彩平面,复用在一起。可能直至元素被熵解码才完成解复用。

在熵解码之后,可以通过获得以下各项来重构宏块:通过反向量化和反变换的残余信号,以及预测信号,或者是帧内预测信号或者是帧间预测信号。通过将解块滤波器应用于每个解码的宏块,可以减少块失真。可能直至输入信号被熵解码才开始处理,从而使得熵解码成为解码中的潜在瓶颈。

同样地,在其中可以允许替换预测机制的编解码器中,例如h.264/avc中的层间预测和其他可缩放编解码器中的层间预测,熵解码可能是解码器处的所有处理之前的必需品,从而使得熵解码成为潜在瓶颈。

在h.264/avc中,可以将包括多个宏块的输入图片划分成一个或多个片。片表示的图片区域中的采样的值可以在不使用来自其他片的数据的情况下被正确地解码,只要在编码器和解码器处所使用的参考图片是相同的。因此,对于片的熵解码和宏块重构并不取决于其他片。特别地,熵编码状态在每个片开始时被重置。在对熵解码和重构两者定义邻居可用性时,其他片中的数据被标记为不可用。在h.264/avc中,片可以被并行地熵解码和重构。不允许跨片边界的内部预测和运动矢量预测。解块滤波可以使用跨片边界的信息。

图3示出了在水平方向上包括十一个宏块且在垂直方向上包括九个宏块(标记为91-99的九个示例性宏块)的示例性视频图片90。图3示出了三个示例性片:表示为“slice#_0”的第一片100、表示为“slice#_1”的第二片101和表示为“slice#_2”的第三片102。h.264/avc解码器可以并行地对三个片100、101、102进行解码和重构。在对于每个片的解码/重构处理开始时,上下文模型被初始化或重置,并且其他片中的宏块被针对熵解码和宏块重构两者标记为不可用。因此,对于“slice#_1”中的宏块,例如记号为93的宏块,“slice#_0”中的宏块(例如,记号为91和92的宏块)不可以被用于上下文模型选择或重构。而对于“slice#_1”中的宏块,例如记号为95的宏块,“slice#_1”中的其他宏块(例如,记号为93和94的宏块)可以被用于上下文模型选择或重构。因此,熵解码和宏块重构必须在片内串行地进行。除非片是使用灵活宏块排序(fmo)定义的,否则片内的宏块被按照光栅扫描顺序来处理。

灵活宏块排序定义片组以修改图片如何被划分成片。片组中的宏块是由宏块至片组映射定义的,这由片报头中的附加信息和图片参数集的内容发信号。宏块至片组映射由用于图片中的每个宏块的片组标识号组成。片组标识号指定关联的宏块属于哪个片组。每个片组可以被划分成一个或多个片,其中,片是在特定片组的宏块集内按照光栅扫描顺序处理的同一片组内的宏块序列。熵解码和宏块重构必须在片内串行地进行。

图4描绘了到以下三个片组的示例性宏块分配:表示为“slicegroup#_0”的第一片组103、表示为“slicegroup#_1”的第二片组104和表示为“slicegroup#_2”的第三片组105。这些片组103、104、105可以分别与图片90中的两个前景区域和背景区域相关联。

本发明的某些实施例可以包括将图片划分成一个或多个重构片,其中,在下述方面重构片可以是自包含的,即在不使用来自其他重构片的数据的情况下,在重构片所表示的图片区域中的采样值可以被正确地重构,只要所使用的参考图片在编码器和解码器处是相同的。重构片内的所有重构宏块可以在用于重构的邻居定义中是可用的。

本发明的某些实施例可以包括将重构片划分成不止一个熵片,其中,在下述方面熵片可以是自包含的,即在不使用来自其他熵片的数据的情况下,熵片所表示的图片区域中的采样值可以被正确地熵编码。在本发明的某些实施例中,可以在每个熵片的解码开始时将熵编码状态重置。在本发明的某些实施例中,在定义用于熵解码的邻居可用性时,其他熵片中的数据可以被标记为不可用。在本发明的某些实施例中,在当前块的上下文模型选择中不可以使用其他熵片中的宏块。在本发明的某些实施例中,上下文模型可以仅在熵片内被更新。在本发明的这些实施例中,与熵片相关联的每个熵解码器可以保持其自身的上下文模型集。

2008年4月的题为“entropyslicesforparallelentropydecoding(用于并行熵解码的熵片)”的itu电信标准化部门研究组16—投稿405被通过引用整体地结合到本文中。

本发明的某些实施例可以包括cabac编码/解码。cabac编码处理包括以下四个基本步骤:二值化;上下文模型选择;二进制算术编码;以及概率更新。

二值化:非二进制值符号(例如,变换系数、运动矢量或其他编码数据)被转换成二进制码,也称为二元位串或二值化符号。当给定二进制值语法元素时,可以旁路二值化的初始步骤。二进制值语法元素或二值化符号的元素可以称为二元位。

针对每个二元位,可以执行以下各项:

上下文模型选择:上下文模型是用于一个或多个二元位的概率模型。上下文模型包括,对于每个二元位,该二元位为“1”或“0”的概率。可以对于取决于最近编码数据符号的统计,如果可用的话,通常基于左和上邻近符号的可用模型的选择来选取模型。

二进制算术编码:算术编码器根据所选概率模型对每个二元位进行编码且其基于递归间隔细分。

概率更新:所选上下文模型基于实际编码值被更新。

上下文自适应可以指的是基于邻近符号值来选择与二元位相关联的上下文模型状态,也称为状态,并更新分配给给定符号的模型概率分布的处理。可以根据上下文模板来定义邻近符号的位置。

在包括cabac编码/解码的本发明的某些实施例中,在熵片的解码开始时,可以将所有上下文模型初始化或重置成预定义模型。

可以关于图5来理解本发明的某些实施例。图5示出了在水平方向上包括十一个宏块且在垂直方向上包括九个宏块(记号为115-123的九个示例性宏块)的示例性视频帧110。图5示出了三个示例性重构片:表示为“r_slice#_0”的第一重构片111、表示为“r_slice#_1”的第二重构片112以及表示为“r_slice#_2”的第三重构片113。图5还示出了第二重构片“r_slice#_1”112到三个熵片的划分,即:用交叉影线114所示的表示为“e_slice#_0”的第一熵片、用垂直影线115所示的表示为“e_slice#_1”的第二熵片和用角影线116所示的表示为“e_slice#_2”的第三熵片。每个熵片114、115、116可以被并行地熵解码。

在本发明的某些实施例中,只有来自熵片内的宏块的数据在熵片的熵解码期间可用于上下文模型选择。所有其他宏块可以被标记为不可用。针对此示例性划分,当解码对应于记号为119的宏块区域的符号时,记号为117和118的宏块在不可用于上下文模型选择,因为记号为117和118的宏块在包含宏块119的熵片外面。然而,当宏块119被重构时,这些宏块117、118是可用的。

在本发明的某些实施例中,编码器可以确定是否将重构片划分成熵片,并且编码器可以在比特流中用信号发送此判定。在本发明的某些实施例中,信号可以包括熵片标志,其在本发明的某些实施例中可以表示为“entropy_slice_flag”。

可以关于图6来描述本发明的某些解码器实施例。在这些实施例中,可以检查130熵片标志,并且如果熵片标志指示不存在132与图片相关联的熵片或重构片,则可以将报头解析134为规则片报头。可以将熵解码器状态重置136,并且可以定义138用于熵解码和重构的邻居信息。然后可以将片数据熵解码140,并且可以将片重构142。如果熵片标志指示存在146与图片相关联的熵片或重构片,则可以将报头解析148为熵片报头。可以将熵解码器状态重置150,并且可以定义152用于熵解码的邻居信息且可以将熵片数据熵解码154。然后可以定义156用于重构的邻居信息,并且可以将片重构142。在片重构142之后,可以检查158下一片或图片。

可以关于图7来描述本发明的某些替换解码器实施例。在这些实施例中,解码器可以能够进行并行解码,并且可以定义其自己的并行程度,例如考虑包括并行解码n个熵片的能力的解码器。解码器可以识别170n个熵片。在本发明的某些实施例中,如果在当前图片或者重构片中少于n个熵片是可用的,则解码器可以解码来自后续图片或重构片的熵片,如果它们可用的话。在替换实施例中,解码器可以在解码后续图片或重构片之前等待直至当前图片或重构片被完全处理。在识别170达n个熵片之后,可以独立地对每个所识别的熵片进行熵解码。可以将第一熵片解码172-176。第一熵片的解码172-176可以包括将解码器状态重置172。在包括cabac熵解码的某些实施例中,可以将cabac状态重置。可以定义174用于第一熵片的熵解码的邻居信息,并且可以将第一熵片数据解码176。针对达n个熵片中的每一个,可以执行这些步骤(用于第n个熵片的178-182)。在本发明的某些实施例中,解码器可以在所有熵片被熵解码时重构184熵片。在本发明的替换实施例中,解码器可以在一个或多个熵片被解码之后开始重构184。

在本发明的某些实施例中,当存在超过n个熵片时,解码器线程可以在熵片的熵解码完成时开始熵解码下一熵片。因此,当线程结束熵解码低复杂性熵片时,线程可以开始解码附加熵片,而不等待其他线程结束其解码。

在可以适应现有标准或方法的本发明的某些实施例中,熵片可以根据该标准或方法而共享规则片的大部分片属性。因此,熵片可以要求小报头。在本发明的某些实施例中,熵片报头可以允许解码器识别熵片的开始并开始熵解码。在某些实施例中,在图片或重构片开始时,熵片报头可以是规则报头或重构片报头。

在包括h.264/avc编解码器的本发明的某些实施例中,可以通过向现有片报头现价新比特“entropy_slice_flag”来用信号发送熵片。表1列出了根据本发明的实施例的用于熵片报头的语法,其中,c指示种类,并且描述符u(l)、ue(v)指示某些固定长度或可变长度编码方法。包括“entropy_slice_flag”的本发明的实施例可以实现改善的编码效率。

“first_mb_in_slice”指定与熵片报头相关联的熵片中的第一宏块的地址。在某些实施例中,熵片可以包括宏块序列。

“cabac_init_idc”指定用于确定在对于上下文模式的初始化处理中使用的初始化表格的索引号。

表1:用于熵片报头的示例性语法表

在本发明的某些实施例中,可以为熵片分配从与规则片不同的网络抽象层(nal)单元类型。在这些实施例中,解码器可以基于nal单元类型来区别规则片和熵片。在这些实施例中,不要求比特字段“entropy_slice_flag”。

在本发明的某些实施例中,可以不在所有属性中传送比特字段“entropy_slice_flag”。在本发明的某些实施例中,可以不在基线属性中传送比特字段“entropy_slice_flag”,而是可以在诸如主扩展或专业属性的高端属性中传送比特字段“entropy_slice_flag”。在本发明的某些实施例中,可以仅在与大于固定特性值的特性相关联的比特流中传送比特字段“entropy_slice__flag”。示例性特性可以包括空间分辨率、帧率、比特深度、比特率及其他比特流特性。在本发明的某些实施例中,可以仅在与大于1920×1080隔行扫描的空间分辨率相关联的比特流中传送比特字段“entropy_slice_flag”。在本发明的某些实施例中,可以仅在与大于1920×1080逐行扫描的空间分辨率相关联的比特流中传送比特字段“entropy_slice_flag”。在本发明的某些实施例中,如果比特字段“entropy_slice_flag”未被传送,则可以使用默认值。

在本发明的某些实施例中,可以通过改变数据复用来构造熵片。在本发明的某些实施例中,可以在宏块级复用包含在熵片中的符号组。在本发明的替换实施例中,可以在图片级复用包含在熵片中的符号组。在本发明的其他替换实施例中,可以按数据类型复用包含在熵片中的符号组。在本发明的替换实施例中,可以以上述各项的组合复用包含在熵片中的符号组。

可以关于图8和图9来理解包括基于图片级复用的熵片构造的本发明的某些实施例。在图8中所示的本发明的某些实施例中,预测数据190和残余数据192可以单独地被预测编码器194和残余编码器196进行熵编码,并且编码的预测数据和编码的残余数据可以被图片级复用器198在图片级进行复用。在本发明的某些实施例中,可以使用于图片190的预测数据与第一熵片相关联,并且可以使用于图片192的残余数据与第二熵片相关联。编码的预测数据和编码的熵数据可以被并行地解码。在本发明的某些实施例中,可以将包括预测数据或残余数据的每个分区划分成可以被并行地解码的熵片。

在图9中所示的本发明的某些实施例中,每个色彩平面的残余、例如亮度残余200和两个色度残余202、204可以单独地被y编码器206、u编码器208以及v编码器210进行熵编码,并且熵编码残余可以在图片级被图片层级复用器212复用。在本发明的某些实施例中,可以使用于图片200的亮度残余与第一熵片相关联,可以使用于图片202的第一色度残余与第二熵片相关联,并且可以使用于图片204的第二残余与第三熵片相关联。用于三个色彩平面的编码的残余数据可以被并行地解码。在本发明的某些实施例中,可以将包括色彩平面残余数据的每个分区划分成可以被并行地解码的熵片。在本发明的某些实施例中,亮度残余200可以具有与色度残余202、204相比相对更多的熵片。

在本发明的某些实施例中,压缩视频比特流可以被变换编码成包括熵片,从而允许上述本发明的实施例所适应的并行熵解码。可以关于图10来描述本发明的某些实施例。根据图10,没有熵片的输入比特流可以被逐个图片地处理。在本发明的这些实施例中,可以将来自输入比特流的图片熵解码220。可以获得已被编码的数据,例如模式数据、运动信息、残余信息及其他数据。可以从数据一次一个地构造222熵片。可以在新比特流中插入224对应于熵片的熵片报头。可以将编码器状态重置并定义226邻居信息。可以对熵片进行熵编码228并写入新比特流。如果存在尚未被所构造的熵片消耗232的图片数据,则可以构造222另一熵片,并且处理224-230可以持续直至所有图片数据已被所构造的熵片消耗234,并且然后可以处理下一图片。

在本发明的某些实施例中,编码器可以将重构片划分成多个熵片,其中,每个熵片的尺寸可以小于或者可以超过固定数目的二元位。在其中编码器可以限制每个熵片的尺寸的某些实施例中,可以在比特流中用信号发送二元位的最大数目。在其中编码器可以限制每个熵片的尺寸的替换实施例中,可以由编码器的属性和层级符合点来定义二元位的最大数目。例如,可以将h.264/avc视频编码规范的附件a扩展至包括在熵片中允许的二元位的最大数目的定义。

在本发明的某些实施例中,可以根据表格针对编码器的每个层级符合点来指示在熵片中允许的二元位的最大数目,例如,如表2中所示,其中,mm,n表示对于层级m.n符合点在熵片中允许的二元位的最大数目。

表2:对于每个层级的每个熵片的二元位的最大数目

在熵片中允许的二元位的示例性最大数目是m1.1=1,000二元位、m1.2=2,000二元位,…,以及μ5.1=40,000二元位。在熵片中允许的二元位的其他示例性最大数目是m1.1=2,500二元位、m1.2=4,200二元位,…,以及μ5.1=150,000二元位。

在某些实施例中,可以基于比特率、图像尺寸、宏块的数目和其他编码参数针对所有层级来确定在熵片中允许的二元位的最大数目集合。在本发明的某些实施例中,可以针对所有层级将在熵片中允许的二元位的最大数目设置成同一数目。示例性值是38,000二元位和120,000二元位。

在本发明的某些实施例中,编码器可以确定与宏块相关联的二元位的最坏情况数目,并且编码器可以将与:

个宏块相关联的二元位写入每个熵片,其中eslice_maxnumberbins可以表示在熵片中允许的二元位的最大数目,并且binspermb可以表示与宏块相关联的二元位的最坏情况数目。在某些实施例中,可以按照光栅扫描顺序来选择宏块。在替换实施例中,可以按照另一预定义顺序来选择宏块。在某些实施例中,与宏块相关联的二元位的最坏情况数目可以是固定数目。在替换实施例中,编码器可以基于先前已处理宏块的尺寸的测量结果来更新最坏情况数目。

可以关于图11来描述本发明的某些实施例。在这些实施例中,编码器可以针对重构片将重构片划分成多个熵片,其中,没有熵片可以在尺寸方面大于预定数目的二元位。编码器可以将与当前熵片中的二元位的数目相关联的计数器初始化240成零。在关于图11描述的本发明的实施例的描述的其余部分中,可以出于说明目的将计数器值表示为a。可以获得242用于下一宏块的语法元素。可以根据预定义宏块处理顺序来确定下一宏块。在某些实施例中,宏块处理顺序可以对应于光栅扫描排序。可以将宏块中的非二进制语法元素转换244成二元位串。二进制语法元素可以不要求转换。可以确定246与宏块相关联的二元位的数目。与宏块相关联的二元位的数目除二进制语法元素之外还可以包括与非二进制语法元素相关联的二元位串中的二元位,并且在关于图11所述的本发明的实施例的描述的其余部分中,出于说明性目的,可以将与宏块相关联的二元位的数目表示为num。

如果将与宏块相关联的二元位的数目可以加到248与当前熵片相关联的已累积的二元位的数目而不超过249针对熵片所允许的二元位的最大数目,则可以将与当前熵片相关联的累积的二元位的数目更新250成包括与宏块相关联的二元位,并且与宏块相关联的二元位可以被熵编码器252写入比特流并与当前熵片相关联。可以获得242用于下一宏块的语法元素,并且划分处理可以继续。

如果248与宏块相关联的二元位的数目和与当前熵片相关联的已累积的二元位的数目的和超过253针对熵片所允许的二元位的最大数目,则编码器可以开始254与当前重构片相关联的新熵片,并且可以终止当前熵片。然后,可以将与新的、现在为当前的熵片中的二元位的数目相关联的计数器初始化256成零。可以将当前熵片相关联的累积的二元位的数目更新250成包括与宏块相关联的二元位,并且与宏块相关联的二元位可以被熵编码器写入252比特流并与当前熵片相关联。可以获得242用于下一宏块的语法元素,并且划分处理可以继续。

可以关于图12来描述本发明的某些实施例。在这些实施例中,编码器可以针对重构片将重构片划分成多个熵片,其中,没有熵片可以在尺寸方面大于预定最大数目的二元位。在这些实施例中,编码器可以使宏块语法元素与熵片相关联,直至熵片的尺寸达到与在熵片中允许的二元位的预定最大数目相关联的门限值。在某些实施例中,该门限值可以是在熵片中允许的二元位的最大数目的百分比。在一个示例性实施例中,该门限值可以是在熵片中允许的二元位的最大数目的90%,假设在宏块中预期的二元位的最大数目小于二元位的最大数目的10%。在另一示例性实施例中,该门限值可以是在熵片中允许的二元位的最大数目的百分比,其中,该百分比可以是基于在宏块中预期的二元位的最大数目。在这些实施例中,一旦熵片的尺寸超过门限值尺寸,则可以创建另一熵片。可以将门限值尺寸选择成确保熵片不超过在熵片中允许的二元位的最大数目。在某些实施例中,门限值尺寸可以是在熵片中允许的二元位的最大数目和针对宏块预期的二元位的最大数目的估计的函数。

编码器可以将与当前熵片中的二元位的数目相关联的计数器初始化270成零。在关于图12描述的本发明的实施例的描述的其余部分中,可以出于说明目的将计数器值表示为a。可以获得272用于下一宏块的语法元素。可以根据预定义宏块处理顺序来确定下一宏块。在某些实施例中,宏块处理顺序可以对应于光栅扫描排序。可以将宏块中的非二进制语法元素转换274成二元位串。二进制语法元素可以不要求转换。与宏块相关联的二元位可以被熵编码器写入276比特流并与当前熵片相关联。可以确定278与宏块相关联的二元位的数目,并且可以将与当前熵片相关联的累积的二元位的数目更新280成包括与宏块相关联的二元位。如果282与当前熵片相关联的累积的二元位的数目大于284基于在熵片中允许的二元位的最大数目的、表示为th(maxnumbins)的门限值,则编码器可以开始286新熵片,并且可以终止当前熵片。然后,编码器可以将与新的、现在为当前的熵片中的二元位的数目相关联的计数器初始化288成零。可以获得272用于下一宏块的语法元素,并且划分处理可以继续。如果与当前熵片相关联的累积的二元位的数目不大于283基于在熵片中允许的二元位的最大数目的门限值,则可以获得272用于下一宏块的语法元素,并且划分处理可以继续。

在本发明的某些实施例中,编码器可以终止当前重构片并在预定数目的宏块已被分配给当前重构片时开始新重构片。

可以关于图13来描述本发明的某些实施例。在这些实施例中,编码器可以终止当前重构片并在预定数目的宏块已被分配给当前重构片时开始新重构片。编码器可以将与当前重构片中的宏块的数目相关联的计数器初始化300成零。在关于图13描述的本发明的实施例的描述的其余部分中,可以出于说明目的将计数器值表示为amb。编码器可以将与当前熵片中的二元位的数目相关联的计数器初始化310成零。在关于图13描述的本发明的实施例的描述的其余部分中,可以出于说明目的将计数器值表示为abin。如果312与当前重构片中的宏块数目相关联的计数器的计数器值不小于331在重构片中允许的宏块的预定最大数目,则可以开始322新熵片,并且可以开始334新重构片,终止当前重构片和当前熵片。在关于图13所述的本发明的实施例的描述的其余部分中,出于说明性目的,可以将在重构片中允许的宏块的最大数目表示为maxmbperrslice。

如果与当前重构片中的宏块数目相关联的计数器的计数器值小于313在重构片中允许的宏块的预定最大数目,则可以获得314用于下一宏块的语法元素。可以根据预定义宏块处理顺序来确定下一宏块。在某些实施例中,宏块处理顺序可以对应于光栅扫描排序。可以将宏块中的非二进制语法元素转换316成二元位串。二进制语法元素可以不要求转换。可以确定318与宏块相关联的二元位的数目。与宏块相关联的二元位的数目除二进制语法元素之外还可以包括与非二进制语法元素相关联的二元位串中的二元位,并且在关于图13所述的本发明的实施例的描述的其余部分中,出于说明性目的,可以将与宏块相关联的二元位的数目表示为num。

如果将与宏块相关联的二元位的数目可以加到320与当前熵片相关联的已累积的二元位的数目而不超过321针对熵片所允许的二元位的最大数目,则可以将与当前熵片相关联的累积的二元位的数目更新322成包括与宏块相关联的二元位,与宏块相关联的二元位可以被熵编码器写入324比特流并与当前熵片相关联,并且可以增加326与当前重构片相关联的宏块的数目。可以将与当前重构片相关联的宏块的数目与在重构片中允许的宏块的预定最大数目相比较312,并且划分处理可以继续。

如果320与宏块相关联的二元位的数目和与当前熵片相关联的已累积的二元位的数目的和超过327针对熵片所允许的二元位的最大数目,则编码器可以开始328与当前重构片相关联的新的、现在为当前的熵片,并且可以将与当前熵片中的二元位的数目相关联的计数器初始化330成零。可以将当前熵片相关联的累积的二元位的数目更新322成包括与宏块相关联的二元位,与宏块相关联的二元位可以被熵编码器写入324比特流并与当前熵片相关联,并且可以增加326与当前重构片相关联的宏块的数目。可以将与当前重构片相关联的宏块的数目与在重构片中允许的宏块的预定最大数目相比较312,并且划分处理可以继续。

可以关于图14来描述本发明的某些实施例。在这些实施例中,编码器可以在预定数目的宏块已被分配给当前重构片时开始新重构片。在这些实施例中,编码器可以使宏块语法元素与熵片相关联,直至熵片的尺寸达到与在熵片中允许的二元位的预定最大数目相关联的门限值。在某些实施例中,该门限值可以是在熵片中允许的二元位的最大数目的百分比。在一个示例性实施例中,该门限值可以是在熵片中允许的二元位的最大数目的90%,假设在宏块中预期的二元位的最大数目小于二元位的最大数目的10%。在另一示例性实施例中,该门限值可以是在熵片中允许的二元位的最大数目的百分比,其中,该百分比可以是基于在宏块中预期的二元位的最大数目。在这些实施例中,一旦熵片的尺寸超过门限值尺寸,则可以创建另一熵片。可以将门限值尺寸选择成确保熵片不超过在熵片中允许的二元位的最大数目。在某些实施例中,门限值尺寸可以是在熵片中允许的二元位的最大数目和针对宏块预期的二元位的最大数目的估计的函数。

编码器可以将与当前重构片中的宏块的数目相关联的计数器初始化350成零。在关于图14描述的本发明的实施例的描述的其余部分中,可以出于说明目的将计数器值表示为amb。编码器可以将与当前熵片中的二元位的数目相关联的计数器初始化352成零。在关于图14描述的本发明的实施例的描述的其余部分中,可以出于说明目的将计数器值表示为abin。如果354与当前重构片中的宏块数目相关联的计数器的计数器值不小于373在重构片中允许的宏块的预定最大数目,则可以开始374新熵片,并且可以开始376新重构片。在关于图14所述的本发明的实施例的描述的其余部分中,出于说明性目的,可以将在重构片中允许的宏块的最大数目表示为maxmbperrslice。

如果与当前重构片中的宏块数目相关联的计数器的计数器值小于355在重构片中允许的宏块的预定最大数目,则可以获得356用于下一宏块的语法元素。可以根据预定义宏块处理顺序来确定下一宏块。在某些实施例中,宏块处理顺序可以对应于光栅扫描排序。可以将宏块中的非二进制语法元素转换358成二元位串。二进制语法元素可以不要求转换。与宏块相关联的二元位可以被熵编码器写入360比特流并与当前熵片相关联。可以确定362与宏块相关联的二元位的数目,并且可以将与当前熵片相关联的累积的二元位的数目更新364成包括与宏块相关联的二元位。如果366与当前熵片相关联的累积的二元位的数目大于369则基于在熵片中允许的二元位的最大数目的、可以表示为th(maxnumbins)的门限值,则编码器可以开始370新熵片,并且可以将与当前熵片中的二元位的数目相关联的计数器初始化372成零。可以增加368与当前重构片相关联的宏块的数目。可以将与当前重构片相关联的宏块的数目与在重构片中允许的宏块的预定最大数目相比较354,并且划分处理可以继续。如果与当前熵片相关联的累积的二元位的数目不大于367基于在熵片中允许的二元位的最大数目的门限值,则可以增加368与当前重构片相关联的宏块的数目,并且可以将与当前重构片相关联的宏块的数目与在重构片中允许的宏块的预定最大数目相比较354,并且划分处理可以继续。

在本发明的替换实施例中,编码器可以将重构片划分成多个熵片,其中,可以使每个熵片与不超过预定数目的比特相关联。

可以关于图15来描述本发明的某些实施例。在这些实施例中,编码器可以针对重构片将重构片划分成多个熵片,其中,没有熵片可以在尺寸方面大于预定数目的比特。编码器可以将与当前熵片中的比特的数目相关联的计数器初始化400成零。在关于图15描述的本发明的实施例的描述的其余部分中,可以出于说明目的将计数器值表示为a。可以获得402用于下一宏块的语法元素。可以根据预定义宏块处理顺序来确定下一宏块。在某些实施例中,宏块处理顺序可以对应于光栅扫描排序。可以将宏块中的非二进制语法元素转换404成二元位串。二进制语法元素可以不要求转换。可以将与宏块相关联的二元位、已转换的非二进制元素和二进制元素呈现给熵编码器,并且可以对二元位进行熵编码406。可以确定408与宏块相关联的比特的数目。在关于图15所述的本发明的实施例的描述的其余部分中,出于说明性目的,可以将与宏块相关联的比特的数目表示为num。

如果与宏块相关联的比特的数目可以加到410与当前熵片相关联的已累积的比特的数目而不超过411针对熵片所允许的最大比特数,则可以将与当前熵片相关联的累积的比特的数目更新412成包括与宏块相关联的比特,并且与宏块相关联的比特可以被熵编码器写入414比特流并与当前熵片相关联。可以获得402用于下一宏块的语法元素,并且划分处理可以继续。

如果410与宏块相关联的比特的数目和与当前熵片相关联的已累积的比特的数目的和超过415针对熵片所允许的最大比特数,则编码器可以开始416与当前重构片相关联的新的、现在为当前的熵片,并且可以将与当前熵片中的比特的数目相关联的计数器初始化418成零。可以将当前熵片相关联的累积的比特的数目更新412成包括与宏块相关联的比特,并且与宏块相关联的比特可以被熵编码器写入414比特流并与当前熵片相关联。可以获得402用于下一宏块的语法元素,并且划分处理可以继续。

可以关于图16来描述本发明的某些实施例。在这些实施例中,编码器可以针对重构片将重构片划分成多个熵片,其中,没有熵片可以在尺寸方面大于比特的预定最大数目。在这些实施例中,编码器可以使宏块语法元素与熵片相关联,直至熵片的尺寸达到与在熵片中允许的比特的预定最大数目相关联的门限值。在某些实施例中,该门限值可以是在熵片中允许的最大比特数的百分比。在一个示例性实施例中,该门限值可以是在熵片中允许的最大比特数的90%,假设在宏块中预期的最大比特数小于最大比特数的10%。在另一示例性实施例中,该门限值可以是在熵片中允许的最大比特数的百分比,其中,该百分比可以基于在宏块中预期的最大比特数。在这些实施例中,一旦熵片的尺寸超过门限值尺寸,则可以创建另一熵片。可以将门限值尺寸选择成确保熵片不超过在熵片中允许的最大比特数。在某些实施例中,门限值尺寸可以是在熵片中允许的最大比特数和针对宏块预期的最大比特数的估计的函数。

编码器可以将与当前熵片中的比特的数目相关联的计数器初始化440成零。在关于图16描述的本发明的实施例的描述的其余部分中,可以出于说明目的将计数器值表示为a。可以获得442用于下一宏块的语法元素。可以根据预定义宏块处理顺序来确定下一宏块。在某些实施例中,宏块处理顺序可以对应于光栅扫描排序。可以将宏块中的非二进制语法元素转换444成二元位串。二进制语法元素可以不要求转换。可以对与宏块相关联的二元位进行熵编码446,并且可以确定448与宏块相关联的二元位的数目。可以将与当前熵片相关联的累积的比特的数目更新450成包括与宏块相关联的二元位,并且可以将与宏块相关联的熵编码的二元位写入452比特流。如果454与当前熵片相关联的累积的比特的数目大于456基于在熵片中允许的最大比特数的门限值,则编码器可以开始458新的熵片,并且将与当前熵片中的比特数相关联的计数器初始化460成零。可以获得442用于下一宏块的语法元素,并且划分处理可以继续。如果与当前熵片相关联的累积的比特的数目不大于455基于在熵片中允许的最大比特数的门限值,则可以获得442用于下一宏块的语法元素,并且划分处理可以继续。

在本发明的替换实施例中,编码器可以将重构片划分成多个熵片,其中,可以使每个熵片与不超过预定数目的宏块相关联。

在本发明的某些实施例中,除对熵片尺寸的限制之外,还可以施加对重构片中的宏块的最大数目的限制。

在本发明的某些实施例中,编码器可以将重构尺寸划分成多个熵片,其中,每个熵片的尺寸可以被限制为小于预定义数目的宏块并小于预定义数目的二元位。

在本发明的某些实施例中,编码器可以将重构尺寸划分成多个熵片,其中,每个熵片的尺寸可以被限制为小于预定义数目的宏块并小于预定义比特数。

在本发明的某些实施例中,编码器可以将重构尺寸划分成多个熵片,其中,每个熵片的尺寸可以被限制为小于预定义数目的宏块,小于预定义数目的二元位并小于预定义比特数。

在本发明的某些实施例中,可以使熵编码器内的二元位编码并行化,允许不止一个二元位的并行编码,这可以减少编码时间。可以关于图17中所描绘的示例性熵编码器来理解本发明的这些实施例。在这些实施例中,熵编码器480可以包括上下文自适应单元482、基于状态的二元位编码器选择器484和可以并行地操作的多个二元位编码器,也被视为二元位编码器单元(示出三个)486、488、500。从二值化器504可以使得二元位502可用于熵编码器480,二值化器504可以从输入符号506生成二元位502。可以使二元位502可用于上下文自适应单元482和基于状态的二元位编码器选择器484。上下文自适应单元482可以执行上下文自适应并生成模型状态,也称为状态508,其可以用来在二元位编码器486、488、500之中选择二元位502可以被指引到的二元位编码器。基于状态的二元位编码器选择器484可以选择二元位编码器486、488、500之中的与生成的模型状态508相关联的二元位编码器以对二元位502进行编码。在某些实施例(未示出)中,可以使得生成的状态508可用于所选的二元位编码器。可以由二元位编码器486、488、500来生成输出比特510、512、514,并且可以将输出比特510、512、514结合到比特流中。在本发明的某些实施例中,可以将输出比特510、512、514缓存并通过级联而结合到比特流中。在替换实施例中,可以根据交织方案来将输出比特510、512、514缓存并结合到比特流中。

根据关于图17所述的本发明的实施例,可以响应于关于第一二元位生成的第一模型状态将第一二元位发送到第一二元位编码器。上下文自适应单元482在处理第一二元位完成时可以开始第二二元位的处理,响应于关于第二二元位生成的第二模型状态而将第二二元位发送到第二二元位编码器,从而允许不止一个二元位的基本上并行处理。

在本发明的替换实施例中,熵编码器可以包括可以并行操作的多个上下文自适应单元和单个二元位编码器。在其中上下文自适应单元要求比二元位编码器更长的处理时间的系统中,并行操作的多个上下文自适应单元可以减少编码时间。可以关于图18中所描绘的示例性熵编码器来理解本发明的这些实施例中的某些。在这些实施例中,熵编码器530可以包括多个上下文自适应单元(示出了三个)532、534、536、上下文自适应单元选择器538、状态选择器540和二元位编码器542。从二值化器546可以使得二元位544可用于熵编码器530,二值化器546可以从输入符号548生成二元位544。可以使二元位544可用于上下文自适应单元选择器538、状态选择器540和二元位编码器542。上下文自适应单元选择器538可以用来选择或调度二元位544可以被指引到且可以从其生成状态值550、552、554的上下文自适应单元532、534、536。在某些示例性实施例中,上下文自适应单元选择器538可以基于与二元位相关联的语法在上下文自适应单元532、534、536之中选择上下文自适应单元,例如可以使上下文自适应单元标识符与二元位相关联,该二元位标识该二元位可以被指引到以用于处理的上下文自适应单元。在替换示例性实施例中,上下文自适应单元选择器538可以基于与上下文自适应单元532、534、536相关联的调度协议或负荷平衡约束来在上下文自适应单元532、534、536之中选择上下文自适应单元。在某些实施例中,可以由状态选择器540根据在上下文自适应单元选择器538处所使用的标准在适当的时刻来选择生成的状态值以传递至二元位编码器542。二元位编码器542可以在对二元位544进行编码时使用由状态选择器540传递的状态值556。在本发明的替换实施例(未示出)中,状态值可能是二元位编码器不需要的,并且因此未使得其可用于二元位编码器。可以由二元位编码器542来生成输出比特558,并且可以将输出比特558结合到比特流中。在本发明的某些实施例中,可以将输出比特558缓存并通过级联结合到比特流中。在替换实施例中,可以根据交织方案将输出比特558缓存并结合到比特流中。

在本发明的替换实施例中,熵编码器可以包括可以并行操作的多个上下文自适应单元和可以并行操作的多个二元位编码器。可以关于图19中所描绘的示例性熵编码器来理解本发明的这些实施例中的某些。在这些实施例中,熵编码器570可以包括多个上下文自适应单元(示出了三个)572、574、576、上下文自适应单元选择器578、状态选择器580、基于状态的二元位编码器选择器582和多个二元位编码器(示出了三个)584、586、588。从二值化器592可以使得二元位590可用于熵编码器570,二值化器592可以从输入符号594生成二元位590。可以使得二元位590可用于上下文自适应单元选择器578、状态选择器580和二元位编码器选择器582。上下文自适应单元选择器578可以用来选择或调度二元位590可以被指引到且可以从其生成状态值596、598、600的上下文自适应单元572、574、576。生成的状态值可以被状态选择器580在适当的时刻选择以传递至基于状态的二元位编码器选择器582。基于状态的二元位编码器选择器582可以使用由状态选择器580传递的状态值602以在二元位编码器584、586、588之中选择二元位590可以被指引到的二元位编码器。在替换实施例(未示出)中,可以使得状态值602可用于所选二元位编码器。所选二元位编码器可以在对二元位590进行编码时使用状态值602。在本发明的替换实施例(未示出)中,状态值可能是二元位编码器不需要的,并且因此未使得其可用于二元位编码器。输出比特604、606、608可以由二元位编码器584、586、588生成且可以将输出比特604、606、608结合到比特流中。在本发明的某些实施例中,可以将输出比特604、606、608缓存并通过级联而结合到比特流。在替换实施例中,可以根据交织方案来将输出比特604、606、608缓存并结合到比特流中。

本发明的示例性实施例可以包括可以并行操作的多个可变长度编码编解码器。

在本发明的一个示例性实施例,二元位编码器可以包括二进制算术编码。在本发明的另一示例性实施例中,二元位编码器可以包括可变长度编码。在本发明的另一示例性实施例中,二元位编码器可以包括固定长度编码。

一般地,熵编码器可以包括nca个上下文自适应单元和nbc个二元位编码器单元,其中,nca是大于或等于一的整数且nbc是大于或等于一的整数。

在本发明的某些实施例中,编码器可以将重构片划分成多个熵片,其中,可以限制每个熵片的尺寸,使得nca个上下文自适应单元和nbc个二元位编码器单元中的一个或多个每个可以在熵片的处理期间对不超过有限数目的二元位进行操作。具有此类限制的上下文自适应单元和二元位编码器单元可以被称为受限熵编码器单元。

在本发明的某些实施例中,编码器可以将重构片划分成多个熵片,其中,每个熵片的尺寸可以受到限制,使得nca个上下文自适应单元中没有一个可以在熵片的处理期间对超过bca个二元位进行操作。在本发明的某些实施例中,可以例如在比特流、属性约束、层级约束或其他标准机制中用信号发送bca的值。

在本发明的替换实施例中,编码器可以将重估片划分成多个熵片,其中,可以限制每个熵片的尺寸,使得nbc个二元位编码器单元中没有一个可以在熵片的处理期间对超过bbc个二元位进行操作。在本发明的某些实施例中,可以例如在比特流、属性约束、层级约束或其他标准机制中用信号发送bbc的值。

在本发明的替换实施例中,编码器可以将重构片划分成多个熵片,其中,可以限制每个熵片的尺寸,使得nca个上下文自适应单元中没有一个可以对超过bca个二元位进行操作,并且nbc个二元位编码器单元中没有一个可以在熵片的处理期间对超过bbc个二元位进行操作。在本发明的某些实施例中,可以例如在比特流、属性约束、层级约束或其他标准机制中用信号发送bbc的值和bca的值。

在本发明的替换实施例中,编码器可以将重构片划分成多个熵片,其中,可以限制每个熵片的尺寸,使得针对i=1、...、nca被表示为nca(i)的第i个nca上下文自适应单元可以对不超过bca(i)个二元位进行操作,并且针对i=1、...、nbc的第i个nbc二元位编码器单元nbc(i)可以在熵片的处理期间对不超过bbc(i)个二元位进行操作。在本发明的某些实施例中,可以例如在比特流、属性约束、层级约束或其他标准机制中用信号发送bbc(i)的值和bca(i)的值。

可以关于图20来描述本发明的某些示例性实施例。在这些实施例中,编码器以针对重构片将重构片划分成多个熵片,其中,可以限制每个熵片的尺寸,使得nca个上下文自适应单元和nbc个二元位编码器单元中的一个或多个可以对不超过有限数目的二元位进行操作。编码器可以将用于受限熵编码器单元的每一个的、与在当前熵片中处理的二元位的数目相关联的计数器初始化650成零。出于说明性目的,在关于图20所述的本发明的实施例的描述的其余部分中,可以将计数器值表示为a,其中,a表示矢量,该矢量中的每个条目对应于用于当前熵片的由受限熵编码器单元处理的二元位的累积数目。可以获得652用于下一宏块的语法元素。可以根据预定义宏块处理顺序来确定下一宏块。在某些实施例中,宏块处理顺序可以对应于光栅扫描排序。可以将宏块中的非二进制语法元素转换654成二元位串。二进制语法元素可以不要求转换。可以确定656由每个受限熵编码器单元处理的与宏块相关联的二元位的数目。与宏块相关联的二元位的数目除二进制语法元素之外还可以包括与非二进制语法元素相关联的二元位串中的二元位。出于说明性目的,在关于图20所述的本发明的实施例的描述的其余部分中,可以将由每个受限熵编码器单元处理的与宏块相关联的二元位的数目表示为num,其中,num表示矢量,该矢量中的每个条目对应于用于当前宏块的、由受限熵编码器单元处理的二元位的数目。

如果可以将用于每个受限熵编码器单元的与宏块相关联的二元位的数目与用于每个受限熵编码器单元的与当前熵片相关联的已累积的二元位的数目相加658,而不超过659针对任何受限熵编码器单元所允许的二元位的最大数目,则可以将与当前熵片相关联的累积的二元位的数目更新660成包括与宏块相关联的二元位,并且与宏块相关联的二元位可以被熵编码器写入662比特流并与当前熵片相关联。可以获得652用于下一宏块的语法元素,并且划分处理可以继续。

如果658与宏块相关联的二元位的数目和与当前熵片相关联的已累积的二元位的数目的和超过663针对任何受限熵编码器单元所允许的二元位的最大数目,则编码器可以开始664与当前重构片相关联的新熵片,并且可以将与当前熵片中的二元位的数目相关联的计数器初始化666成零。可以将与当前熵片相关联的累积的二元位的数目更新660成包括与宏块相关联的二元位,并且与宏块相关联的二元位可以被熵编码器写入662比特流并与当前熵片相关联。可以获得652用于下一宏块的语法元素,并且划分处理可以继续。

可以关于图21来描述本发明的某些实施例。在这些实施例中,编码器以针对重构片将重构片划分成多个熵片,其中,可以限制每个熵片的尺寸,使得nca个上下文自适应单元和nbc个二元位编码器单元中的一个或多个可以对不超过有限数目的二元位进行操作。编码器可以将针对用于受限熵编码器单元的、与由受限熵编码器单元在当前熵片中处理的二元位的数目相关联的计数器初始化700成零。出于说明性目的,在关于图21所述的本发明的实施例的描述的其余部分中,可以将计数器值表示为a,其中,a表示矢量,该矢量中的每个条目对应于由受限熵编码器单元处理的用于当前熵片的二元位的累积数目。在这些实施例中,编码器可以使宏块语法元素与熵片相关联,直至由受限熵编码器单元处理的二元位的数目达到与被允许在熵片中由受限熵编码器单元处理的二元位的预定最大数目相关联的门限值。在某些实施例中,该门限值可以是被允许在熵片中被受限熵编码器单元处理的二元位的最大数目的百分比。在一个示例性实施例中,该门限值可以是被允许在熵片中由受限熵编码器单元处理的二元位的最大数目的90%,假设在宏块中预期将被受限熵编码器单元处理的二元位的最大数目小于允许在熵片中由受限熵编码器单元处理的二元位的最大数目的10%。在另一示例性实施例中,该门限值可以是被允许在熵片中由受限熵编码器单元处理的二元位的最大数目的百分比,其中,该百分比可以基于宏块中的被预期由受限熵编码器单元处理的二元位的最大数目。在这些实施例中,一旦熵片的尺寸超过门限值尺寸,则可以创建另一熵片。可以选择门限值尺寸以确保熵片不超过被允许在熵片中由任何一个受限熵编码器单元处理的二元位的最大数目。在某些实施例中,门限值尺寸可以是在熵片中允许的二元位的最大数目和针对宏块预期的二元位的最大数目的估计的函数。

可以获得702用于下一宏块的语法元素。可以根据预定义宏块处理顺序来确定下一宏块。在某些实施例中,宏块处理顺序可以对应于光栅扫描排序。可以将宏块中的非二进制语法元素转换704成二元位串。二进制语法元素可以不要求转换。与宏块相关联的二元位可以被熵编码器写入706比特流并与当前熵片相关联。可以确定708由每个受限熵编码器单元处理的与宏块相关联的二元位的数目。与宏块相关联的二元位的数目除二进制语法元素之外还可以包括与非二进制语法元素相关联的二元位串中的二元位。出于说明性目的,在关于图21所述的本发明的实施例的描述的其余部分中,可以将由每个受限熵编码器单元处理的与宏块相关联的二元位的数目表示为num,其中,num表示矢量,该矢量中的每个条目对应于用于当前宏块的由相应的受限熵编码器单元处理的二元位的数目。可以将由每个受限熵编码器单元处理的与当前熵片相关联的累积的二元位的数目更新710成包括与宏块相关联的二元位。如果712对于受限熵编码器单元i由受限熵编码器单元处理的与当前熵片相关联的累积的二元位的数目大于714可以表示为th(maxnumbins)(i)的门限值,则编码器可以开始716新熵片,并将与由每个受限熵编码器单元在当前熵片中处理的二元位的数目相关联的计数器初始化718成零。可以获得702用于下一宏块的语法元素,并且划分处理可以继续。如果由受限熵编码器单元处理的与当前熵片相关联的累积的二元位的数目不大于713门限值,则可以获得702用于下一宏块的语法元素,并且划分处理可以继续。

本发明的某些实施例可以包括用于熵片划分的上述准则的组合。

应理解的是虽然本发明的某些实施例可以将熵片的尺寸限制为小于第一预定义尺寸,但熵片的尺寸可以等价地被限制为超过第二预定义尺寸。本文所述的实施例是本发明的示例性实施例,并且本领域的技术人员将认识到存在用于限制熵片的尺寸的本发明的等价实施例。

在本发明的某些实施例中,开始新熵片可以包括终止当前片并将新熵片视为当前熵片。

在本发明的某些实施例中,可以在包括多个二元位解码器的熵解码器内将熵片内的多个比特的解码并行化,这可以减少解码时间。可以关于在图22中描绘的包括多个(示出了三个)二元位解码器762、764、766的示例性熵解码器750来理解本发明的示例性实施例。可以使得熵片内的比特752和先前已解码符号754可用于熵解码器750。可以使得比特752可用于二元位解码器选择器756,其可以基于从上下文自适应单元760生成的上下文状态758在二元位解码器762、764、766之中选择二元位解码器。上下文自适应单元760可以基于被使得可用于上下文自适应单元760的先前已解码符号754来生成上下文状态758。二元位解码器选择器756可以基于上下文状态758来分配二元位解码器762、764、766。要解码的比特752可以被二元位解码器选择器756传递至所选二元位解码器。二元位解码器762、764、766可以生成解码的二元位768、770、772,它们可以被复用器774复用,且复用的二元位776可以被发送到符号化器778,其可以生成与二元位776相关联的符号754。

在本发明的某些实施例中,可以在包括多个上下文自适应单元的熵解码器内将熵片内的多个比特的解码并行化,这可以减少解码时间。可以关于在图23中描绘的包括多个(示出了三个)上下文自适应单元814、816、818的示例性熵解码器800来理解本发明的示例性实施例。可以使得熵片内的比特802和先前解码的符号810可用于熵解码器800。可以使得比特802可用于上下文自适应单元选择器812,其可以从多个上下文自适应单元814、816、818中选择用于输入比特的解码处理的上下文自适应单元。在本发明的某些实施例中,上下文自适应单元选择器812可以在接收到每第n比特时选择第n上下文自适应单元。所选上下文自适应单元可以基于被使得可用于所选上下文自适应单元的先前解码的符号810来生成上下文状态820、822、824。状态选择器826在适当时刻可以选择与输入比特相关联的所生成的上下文状态。在本发明的某些实施例中,状态选择器826可以根据与上下文自适应单元选择器812相同的过程在接收到每第n比特时选择第n上下文自适应单元。可以使得所选状态828可以用于二元位解码器804。二元位解码器804可以将比特802解码并将解码的二元位806发送到符号化器808,其可以生成与解码的二元位806相关联的符号810。

在本发明的某些实施例中,可以在包括多个上下文自适应单元的熵解码器和多个二元位解码器内将熵片内的多个比特的解码并行化,这可以减少解码时间。可以关于在图24中描绘的包括多个(示出了三个)上下文自适应单元852、854、856和多个(示出了三个)二元位解码器858、860、862的示例性熵解码器850来理解本发明的示例性实施例。可以使得熵片内的比特864和先前解码的符号866可用于熵解码器850。可以使得比特864可用于上下文自适应单元选择器868,其可以从多个上下文自适应单元852、854、856中选择用于输入比特的解码处理的上下文自适应单元。在本发明的某些实施例中,上下文自适应单元选择器868可以在接收到每第n比特时选择第n上下文自适应单元。所选上下文自适应单元可以基于被使得可用于所选上下文自适应单元的先前解码的符号866来生成上下文状态870、872、874。状态选择器876在适当时刻可以选择与输入比特相关联的生成的上下文状态。在本发明的某些实施例中,状态选择器876可以根据与上下文自适应单元选择器868相同的过程在接收到每第n比特时选择第n上下文自适应单元。可以使得所选状态878可用于二元位解码器选择器880,其可以基于所选上下文状态878来选择二元位解码器858、860、862。二元位解码器选择器880可以基于上下文状态878来分配二元位解码器858、860、862。要解码的比特864可以被二元位解码器选择器880传递至所选二元位解码器。二元位解码器858、860、862可以生成解码的二元位882、884、886,它们可以被复用器888复用且复用的二元位890可以被发送到符号化器892,其可以生成与二元位890相关联的符号866。

在本发明的某些实施例中,解码器可以将重构片划分成多个熵片,其中,熵片内的宏块是连续的。图25描绘了被划分成三个熵片的示例性重构片950:用交叉影线952示出的熵片0、用白色954示出的熵片1和用点影线956示出了熵片2。在本示例性重构片950中,每个熵片952、954、956内的宏块是连续的。

在本发明的替换实施例中,编码器可以将重构片划分成多个熵片,其中,熵片内的宏块可以是不连续的。图26描绘了被划分成三个熵片的示例性重构片960:用交叉影线962示出的熵片0、用白色964示出的熵片1和用点影线966示出了熵片2。在本示例性重构片960中,每个熵片962、964、966内的宏块是不连续的。可以将其中熵片内的宏块不连续的重构片的分区称为交织分区。

在本发明的某些实施例中,在熵片内的当前块的熵解码期间,解码器可以使用来自同一熵片的其他块来预测与当前块的熵解码有关的信息。在本发明的某些实施例中,在重构片内的当前块的重构期间,可以使用来自相同重构片的其他块来预测与当前块的重构有关的信息。

在其中重构片包括交织分区的本发明的某些实施例中,在熵片内的当前块的解码中使用的熵片内的邻近块可以不是直接邻近或连续的。图27图示出用于在图26中描绘的示例性交织分区的这种情况。

在图27中,针对熵片964内的当前块970,被用于当前块970的熵解码的左邻居块是熵片964内的连续、左邻居块972。被用于当前块970的熵解码的上邻居块是同一熵片964内的非连续、上邻居块974。针对当前块970的重构,左邻居块是重构片960内的连续、左邻居块972,并且上邻居块是重构片960内的连续、上邻居块976。

在其中重构片包括交织分区的本发明的某些实施例中,可以不存在将在熵片内的当前块的解码中使用的熵片内的适当邻近块。图28图示出用于在图26中描绘的示例性交织分区的这种情况。

在图28中,针对熵片964内的当前块980,不存在将被用于当前块980的熵解码的熵片964内的左邻居块。被用于当前块980的熵解码的上邻居块是同一熵片964内的非连续、上邻居块982。针对当前块980的重构,左邻居块是重构片960内的连续、左邻居块984,并且上邻居块是重构片960内的连续、上邻居块986。

在本发明的某些实施例中,解码器可以对完整的输入比特流进行预处理以识别熵片的位置。在本发明的某些实施例中,解码器可以对整个重构片进行预处理以识别重构片内的熵片的位置。在某些实施例中,可以通过识别熵片报头的位置来确定熵片的位置。在这些实施例中,解码器可以读取比特流中的比特,并且可以识别预定义开始码。

在替换实施例中,可以将熵片报头约束于位于输入比特流内的预定义位置处的一定范围的比特。在替换实施例中,可以将熵片报头约束于位于输入比特流内的预定义位置处的一定范围的字节。在比特对准或字节对准的这些实施例中,解码器不需要对输入比特流的相当大的部分进行预处理以对熵片进行定位。

在本发明的某些实施例中,编码器可以在比特流中用信号发送熵片位置信息,其被称为熵片位置参数,例如可以约束熵片报头的位置的偏移和范围信息。在替换实施例中,可以不在比特流中用信号发送熵片位置信息,而是可以根据熵片参数来确定,例如在任何给定熵片中允许的二元位的固定数目、在任何给定熵片中允许的比特的固定数目及其他熵片参数。在本发明的替换实施例中,可以用其他标准手段来定义熵片位置信息,例如可以在属性约束、层级约束、应用约束或其他约束中指定该信息,或者可以将该信息作为补充信息来用信号发送,或者用其他不受限定的手段来用信号发送。

在本发明的某些实施例中,可以将熵片位置参数值的一个集合用于比特流内的所有熵片。在替换实施例中,可以针对由序列的一部分表示的像素组来定义熵片位置参数值。在替换实施例中,熵片位置参数值可以针对比特流内的每个图片来定义,并且可以用于关联的图片内的所有熵片。在替换实施例中,熵片位置参数值可以针对比特流内的每个重构片来定义,并且可以用于关联的重构片内的所有熵片。在替换实施例中,熵片位置参数值的多个集合可以被解码器使用。在替换实施例中,可以将熵片位置参数分配给熵片标识符,例如,第一熵片报头可以使用熵片位置参数值的第一集合,第二熵片报头可以使用熵片位置参数值的第二集合,并且一般地,第n熵片报头可以使用熵片位置参数值的第n集合。在本发明的某些实施例中,可以将熵片参数值分配给帧标识符。在一个示例性实施例中,第一图片可以使用熵片参数值的第一集合,第二图片可以使用熵片参数值的第二集合,并且一般地,第n图片可以使用熵片位置参数值的第n集合。在另一示例性实施例中,第一类型的图片可以使用熵片位置参数值的第一集合且第二类型的图片可以使用熵片位置参数值的第二集合。示例性的图片类型是内图片、预测图片和其他类型的图片。

在包括h.264/avc编解码器的本发明的某些实施例中,可以通过将“entropy_slice_offset”参数和“entropy_slice_range”参数添加到序列参数集合来在序列参数集合原始字节序列有效负荷(rbsp)中用信号发送熵片偏移和熵片范围。表3列出了根据本发明的实施例的示例性序列参数集合rbsp语法。

在包括h.264/avc编解码器的本发明的某些实施例中,可以通过将“entropy_slice_offset”参数和“entropy_slice_range”参数添加到图片参数组来在图片参数组原始字节序列有效负荷(rbsp)中用信号发送熵片偏移和熵片范围。表4列出了根据本发明的实施例的示例性图片参数集合rbsp语法。

在包括h.264/avc编解码器的本发明的某些实施例中,可以通过将“entropy_slice_offset”参数和“entropy_slice_range”参数添加到片报头来在片报头中用信号发送熵片偏移和熵片范围。表5列出了根据本发明的实施例的示例性片报头语法。

在本发明的某些实施例中,可以根据表格针对编码器的层级符合点来指示熵片偏移和熵片范围,例如,如表6中所示,其中,om.n表示层级m.n符合点的熵片偏移,并且rm.n表示用于m.n符合点的熵片。

表3:示例性序列参数集合rbsp语法表

表4:示例性图片参数集合rbsp语法表

表5:用于片报头的示例性语法表

表6:用于每个层级的示例性熵片偏移和熵片范围

在某些实施例中,熵片位置信息可以包括可以约束熵片报头的位置的信息。在一个实施例中,熵片位置信息可以包括也称为时段或基础偏移的偏移值和也称为用于时段的偏差或偏移的范围值。可以基于偏移值和范围值来约束熵片报头位置。

在本发明的某些实施例中,可以显式地定义偏移值和范围值。在本发明的替换实施例中,可以隐式地将偏移值和范围值定义为最小偏移值和最大偏移值。在本发明的替换实施例中,可以隐式地将偏移值和范围值定义为最大偏移值以及最大偏移值与最小偏移值之间的差。在本发明的替换实施例中,可以隐式地将偏移值和范围值定义为最小偏移值以及最小偏移值与最大偏移值之间的差。在替换实施例中,可以隐式地将偏移值和范围值定义为第三值以及第三值与最大偏移值和最小偏移值之间的差。在替换实施例中,可以通过到查找表中的索引号来定义偏移值和范围值,该查找表包含对应的最小和最大比特值。在某些实施例中,可以使用基于偏移的查找树来定义偏移值和范围值。在某些实施例中,可以使用成本最小化编索引来定义偏移值和范围值。本领域的技术人员将认识到在本领域中已知用于隐式地定义范围值和偏移值并用于确保编码器和解码器利用对于预定义偏移和范围值的相同的值进行操作的许多方法。

在本发明的某些实施例中,用信号发送范围值可以是可选的。在某些实施例中,当范围值未用信号发送时,那么可以将范围值设置成预定义值。在示例性实施例中,预定义值可以是零。在另一示例性实施例中,预定义值可以是非零整数值。

在关于图29描述的示例性实施例中,可以约束与熵片相关联的熵片报头、重构片内的片数目n以在从重构片报头的开头或重构片报头内的其他给定位置起nk-p比特之后开始,其中,k表示偏移值且p表示范围。可以从其测量nk-p比特的位置可以称为参考位置。在替换实施例中,参考位置可以不与特定重构片相关联,并且可以是对于所有熵片而言在比特流内的同一固定位置。在替换实施例中,熵片报头可以是字节对准的,并且约束可以与字节数目相关联。虽然关于图29图示出的示例是在比特方面描述的,但本领域的技术人员可以认识到替换的字节对准实施例。

图29是示例性比特流的示例性部分1000的图片表示。比特流部分1000包括用实线黑色矩形表示的重构片报头1002、用实线灰色矩形表示的四个熵片报头(对应于第零熵片的熵片报头1003,称为零熵片报头、对应于第一熵片的熵片报头1004,称为第一熵片报头、对应于第二熵片的熵片报头1005,称为第二熵片报头,对应于第三熵片的熵片报头1006,称为第三熵片报头)以及用细黑白条纹表示的熵片的其余部分。在本示例中,参考位置可以是重构片报头1002的开始1001。在本发明的某些实施例中,可以将对应于第零熵片的熵片报头1003约束于位于紧接在重构片报头1002之后。在本发明的某些实施例中,对应于第零熵片的熵片报头可以是重构片报头的一部分。也就是说,重构片报头还能够充当对应于第零熵片的熵片报头。在这些实施例中,重构片报头可以包括重构部分和熵部分。在图29中所描绘的本发明的某些实施例中,可以将第一熵片报头1004约束于从参考位置1001开始位于k-p比特1007之后,可以将第二熵片报头1005约束于从参考位置1001开始位于2k-p比特1008之后,可以将第二熵片报头1006约束于从参考位置1001开始位于3k-p比特1009之后。在这些实施例中,分配用于解码熵片n的熵解码器从参考位置1001开始在nk-p比特之后开始搜索对应的熵片报头。

在本发明的替换实施例中,熵片位置信息可以不包括范围参数。在这些实施例中,熵解码器可以从参考位置开始在nk比特之后开始搜索第n熵片报头。

在关于图30所述的另一示例性实施例中,可以将与熵片相关联的熵片报头、重构片内的片数目n约束于从重构片报头的开头或重构片报头内的其他固定位置起在nk-p比特之后开始,其中,k表示偏移值且p表示范围,并且还可以将熵片报头约束于从受约束的起始位置开始在2p比特范围内。可以从其测量nk-p比特的位置可以称为参考位置。在替换实施例中,参考位置可以不与特定重构片相关联,并且可以是对于所有熵片而言在比特流内的同一固定位置。在替换实施例中,熵片报头可以是字节对准的,并且约束可以与字节数目相关联。虽然关于图30图示出的示例是在比特方面描述的,但本领域的技术人员可以认识到替换的字节对准实施例。

图30是示例性比特流的示例性部分1020的图片表示。比特流部分1020包括用实线黑色矩形表示的重构片报头1022、用实线灰色矩形表示的四个熵片报头(对应于第零熵片的熵片报头1023,称为零熵片报头、对应于第一熵片的熵片报头1024,称为第一熵片报头、对应于第二熵片的熵片报头1025,称为第二熵片报头,对应于第三熵片的熵片报头1026,称为第三熵片报头)以及用细黑白条纹表示的熵片的其余部分。在本示例中,参考位置可以是重构片报头1022的开始1021。在本发明的某些实施例中,可以将对应于第零熵片的熵片报头1023约束于位于紧接在重构片报头1022之后。在本发明的某些实施例中,对应于第零熵片的熵片报头可以是重构片报头的一部分。在这些实施例中,重构片报头可以包括重构部分和熵部分。在图30中所描绘的本发明的某些实施例中,熵片报头1024可以被约束于从参考位置1021开始在k-p比特1027之后位于2p比特1031内,第二熵片报头1025可以被约束于从参考位置1021开始在2p-p比特1028之后位于2p比特1032内,第二熵片报头1026可以被约束于从参考位置1021开始在3k-p比特1029之后位于2p比特1033内。在这些实施例中,分配用于解码熵片n的熵解码器可以从参考位置开始在nk-p比特之后开始搜索对应的熵片报头,并且可以在识别到熵片报头之后或在搜索2p比特之后终止搜素。

可以关于图31来描述本发明的某些实施例。在这些实施例中,熵解码器可以接收1050熵片数目,该熵片数目指示要熵解码的当前重构块中的熵片的数目。该熵解码器可以确定1052熵片位置信息。在本发明的某些实施例中,可以在比特流中用信号发送熵片位置信息,也称为熵片位置参数,并且解码器可以通过检查比特流来确定1052熵片信息。在替换实施例中,可以不在比特流中用信号发送熵片位置信息,而是可以由解码器根据熵片参数来确定1052,例如,在任何给定熵片中允许的二元位的固定数目、在任何给定熵片中允许的比特的固定数目及其他熵片参数。在本发明的替换实施例中,可以用其他标准手段来定义和确定1052熵片位置信息,例如,可以在属性约束、层级约束、应用约束或其他约束中指定该信息,或者可以将该信息作为补充信息来用信号发送,或者用其他不受限定的手段来用信号发送。

熵解码器可以计算1054熵片搜索开始位置,在该位置之前,在比特流中,熵片报头被限制由编码器写入。在本发明的某些实施例中,可以使用根据熵片位置信息而确定的偏移值和范围值来计算1054熵片搜索开始位置。在本发明的替换实施例中,可以使用根据熵片位置信息而确定的偏移值来计算1054熵片搜索开始位置。熵解码器可以在比特流中前进1056至熵片搜索开始位置,并且可以在比特流中检查1058熵片报头。在本发明的某些实施例中,可以用开始码来指示熵片报头。

可以关于图32来描述本发明的某些实施例。在这些实施例中,熵解码器可以接收1070熵片数目,该熵片数目指示要熵解码的当前重构块中的熵片的数目。该熵解码器可以确定1072熵片位置信息。在本发明的某些实施例中,可以在比特流中用信号发送熵片位置信息,称为熵片位置参数,并且解码器可以通过检查比特流来确定1072熵片信息。在替换实施例中,可以不在比特流中用信号发送熵片位置信息,而是可以由解码器根据熵片参数来确定1072,例如,在任何给定熵片中允许的二元位的固定数目、在任何给定熵片中允许的比特的固定数目及其他熵片参数。在本发明的替换实施例中,可以用其他标准手段来定义和确定1072熵片位置信息,例如,可以在属性约束、层级约束、应用约束或其他约束中指定该信息,或者可以将该信息作为补充信息来用信号发送,或者用其他不受限定的手段来用信号发送。

熵解码器可以计算1074熵片搜索开始位置,在该位置之前,在比特流中,熵片报头被限制由编码器写入。在本发明的某些实施例中,可以使用根据熵片位置信息而确定的偏移值和范围值来计算1074熵片搜索开始位置。在本发明的替换实施例中,可以使用根据熵片位置信息而确定的偏移值来计算1074熵片搜索开始位置。熵解码器可以在比特流中前进1076至熵片搜索开始位置,并且可以在比特流中检查1078熵片报头。在本发明的某些实施例中,可以用开始码来指示熵片报头。

可以在熵片搜索开始位置处开始依次检查1078比特流中的比特。如果1080识别了1081熵片报头,则熵解码器可以将与所识别的熵片报头相关联的熵片熵解码1082。如果1080未识别1083熵片报头,则熵解码器可以终止1084搜索。在某些实施例中,熵解码器可以在未识别1083熵片报头时指示错误。

可以关于图33来描述本发明的某些实施例。在这些实施例中,熵解码器可以接收1100熵片数目,该熵片数目指示要熵解码的当前重构块中的熵片的数目。该熵解码器可以确定1102熵片位置信息。在本发明的某些实施例中,可以在比特流中用信号发送熵片位置信息,称为熵片位置参数,并且解码器可以通过检查比特流来确定1102熵片信息。在替换实施例中,可以不在比特流中用信号发送熵片位置信息,而是可以由解码器根据熵片参数来确定1102,例如,在任何给定熵片中允许的二元位的固定数目、在任何给定熵片中允许的比特的固定数目及其他熵片参数。在本发明的替换实施例中,可以用其他标准手段来定义和确定1102熵片位置信息,例如,可以在属性约束、层级约束、应用约束或其他约束中指定该信息,或者可以将该信息作为补充信息来用信号发送,或者用其他不受限定的手段来用信号发送。

熵解码器可以计算1104熵片搜索开始位置,在该位置之前,在比特流中,熵片报头被限制由解码器写入。在本发明的某些实施例中,可以使用根据熵片位置信息而确定的偏移值和范围值来计算1104熵片搜索开始位置。在本发明的替换实施例中,可以使用根据熵片位置信息而确定的偏移值来计算1104熵片搜索开始位置。熵解码器可以在比特流中前进1106至熵片搜索开始位置,并且可以在比特流中检查1108熵片报头。在本发明的某些实施例中,可以用开始码来指示熵片报头。

可以在熵片搜索开始位置处开始依次检查1108比特流中的比特。如果1110识别了1111熵片报头,则熵解码器可以将与所识别的熵片报头相关联的熵片熵解码1112。如果1110未识别1113熵片报头,则如果1114满足了1115搜索准则,则熵解码器可以终止1116。该搜索准则可以提供标准,通过该标准可以进行关于是否仍将搜索关于熵片报头开始的有效位置的确定。在某些实施例(未示出)中,如果仍将检查有效位置,则可以满足搜索准则。在替换实施例中,如果不存在仍要检查1115的有效位置,则可以满足搜索准则,并且搜索可以终止1116。在某些实施例中,熵解码器可以在未识别1115熵片报头时指示错误。如果1114未满足1117搜索准则,则比特流的检查1108可以在在比特流中前进1118至下一搜索位置之后继续。

在本发明的某些实施例中,搜索准则可以与范围值有关,例如可以使熵片报头的开始位置被限制为以nk为中心的2p比特范围,其中,k表示偏移值,p表示范围值且n是重构片内的熵片数目。在这些实施例中,可以使与熵片n相关联的熵片报头的开始位置被限制为范围nk-p至nk+p。在某些实施例中,可以使搜索准则与对熵片尺寸的一个或多个限制有关。在某些实施例中,可以使搜索准则与限制的组合有关。

在本发明的某些实施例中,解码器可以对熵片进行填充以便满足对下一熵片报头的位置的限制。

在本发明的某些实施例中,编码器可以在满足其他熵片尺寸限制之前终止熵片以便满足对下一熵片报头的位置的限制。

在本发明的某些实施例中,当重构片内的最后一个熵片不包含满足对下一熵片报头的位置的约束所需的比特(或字节,在字节对准实施例中)数时,编码器可以对重构片内的最后一个熵片进行填充以满足对下一熵片报头的位置的约束。

在替换实施例中,熵片报头可以包括最后熵片标志,其中,最后熵片标志的值可以指示与熵片报头相关联的熵片是否是重构片中的最后熵片。在某些实施例中,可以使为零的最后熵片标志值与最后熵片相关联。在替换实施例中,可以使为一的最后熵片标志值与最后熵片相关联。在某些实施例中,当最后熵片标志的值指示熵片是重构片中的最后熵片时,则后续熵片报头可以在没有填充的情况下位于紧接在当前熵片之后。

表7示出了用于用信号发送最后熵片标志、称为“next_entropy_slice_flag”的示例性语法和语义。在包括表7中所示的示例性语法和语义的示例性实施例中,“next_entropy_slice_flag”标志用信号发送是否存在用于当前重构片的附加熵片。如果“next_entropy_slice_flag”标志指示不存在用于当前重构片的附加熵片,则比特流中的下一熵片报头中的位置可以不受熵片位置参数的约束。

在本发明的某些实施例中,可以以树格式来组织熵片报头的位置,根节点指向熵片报头位置。在某些实施例中,由根节点指向的熵片报头可以是相对的。在替换实施例中,由根节点指向的熵片报头可以是绝对的。树的其余节点可以包含相对于它们的父节点的偏移距离。可以根据设计约束来设计该树,例如以减少用于确定熵片报头位置的时间,限定确定熵片报头位置所需的最坏情况时间,用信号发送熵片解码的优选顺序,用于树的存储成本最小化及其他设计约束。在某些实施例中,可以基于熵片报头位置信息中的期望并行性水平来控制树中的每个节点的子节点的数目。

表7:用于最后熵片标志的示例性语法表

在本发明的某些实施例中,可以每当满足上下文模型重置条件时在熵片内将上下文模型重置。在这些实施例中的某些中,上下文模型可以被重置到的值可以基于熵片内的邻近基本单元的上下文模型,并且如果邻近基本单元不在熵片内,则可以使用默认值。在替换实施例中,可以将上下文模型重置成默认值。在替换实施例中,可以基于其标识符可以在比特流内用信号发送的上下文模型来将上下文模型重置,该标识符指示多个预定义上下文模型中的一个。预定义上下文模型可以取决于比特流中的一个或多个参数。在示例性实施例中,可以基于比特流内的用信号发送的、指示多个预定义上下文模型中的一个的“cabac_init_idc”值来将上下文模型重置。

在某些实施例中,可以使用上下文表来将多个上下文模型初始化,其中,上下文表指的是上下文模型集合。在某些实施例中,上下文表中的上下文模型集合可以基于比特流中的一个或多个参数而经历自适应,参数例如是量化参数、片类型参数或其他参数。

在图34中所示的一个示例性实施例中,除在开始熵片中的宏块时被重置,在当前宏块是一行中的第一宏块时,也可以在熵片内将上下文模型重置。图34描绘了包含被划分成以下三个熵片的48个宏块1208-1255的示例性重构片1200:熵片“0”(用交叉影线示出)1202、熵片“1”(用白色示出)1204和熵片“2”(用点影线示出)1206。熵片“0”1202包含15个宏块1208-1222。熵片“1”1204包含17个宏块1223-1239,并且熵片“2”1206包含16个宏块1240-1255。可以重置上下文模型处的宏块由粗黑边1260-1266指示,并且是每个熵片开始处的那些宏块1208、1223、1240以及每行中的第一宏块1216、1224、1232、1240、1248。

可以将熵片开始处的基本单元、例如宏块称为片开始基本单元。例如,对于图34中的示例性重构片1200中的熵片1202、1204、1206而言,相应的片开始基本单元是1208、1223和1240。作为熵片中的一行中的第一基本单元的基本单元可以被称为行开始基本单元,例如图34中的宏块1208、1216、1224、1232、1240和1248。

在某些实施例中,如果邻近宏块在熵片内,可以基于邻近宏块的上下文模型将上下文模型重置,并且如果邻近宏块不在熵片内,则可以使用默认值。例如,如果当前宏块上方的宏块在同一熵片中,则可以基于在当前宏块上方的宏块的上下文模型来将上下文模型重置,但是如果在当前宏块上方的宏块不在同一熵片中,则将上下文模型设置成默认值。

在另一示例性实施例中,在当前基本单元是一行中的第一基本单元时,在熵片内,可以将上下文模型重置。在替换实施例中,上下文模型重置条件可以基于其他准则,例如在熵片内处理的二元位的数目、在片内处理的比特数、当前基本单元的空间位置及其他准则。

在本发明的某些实施例中,可以使用上下文模型重置标志来指示每当满足上下文模型重置条件时,在熵片内是否可以将上下文模型重置。在某些实施例中,上下文模型重置标志可以在熵片报头中。在替换实施例中,上下文模型重置标志可以在重构片报头中。在某些实施例中,上下文模型重置标志可以是二进制标志,并且上下文模型重置条件可以是默认条件。在替换实施例中,上下文模型重置标志可以是用多值标志,进一步指示上下文模型重置条件。

在包括上下文自适应编码,例如cabac编码、cav2v编码及其他上下文自适应编码的一个示例性实施例中,“lcu_row_cabac_init_flag”标志可以用信号通知是否可以在最大编码单元(lcu)行开始处将熵解码初始化。在某些实施例中,lcu是在h.264中使用的宏块概念到高效率视频编码(hevc)的广义化,并且图片被分成片,其中,片由lcu序列组成。在替换实施例中,lcu是可以用单个、传送的模式值来表示的像素值位置的最大块。在替换实施例中,lcu是可以用单个、传送的预测模式值来表示的像素值位置的最大块。在本发明的某些实施例中,值为“1”的“lcu_row_cabac_init_flag”标志可以用信号通知熵编码上下文被重置。熵编码上下文可以表示与熵编码器相关联的所有上下文模型集合。在本发明的某些实施例中,值为“1”的“lcu_row_cabac_init_flag”标志可以用信号通知熵编码上下文被重置且自适应扫描被重置。自适应扫描可以指的是其中编解码器基于先前传送的变换系数值来适配变换系数的扫描排序的处理。被整体地通过引用结合到本文中的jctvc文献jctvc-b205_draft005中的小节7.6.1概述了自适应扫描基于邻居中的显著系数而在两个不同扫描顺序之间进行选择的示例。在一个示例中,可以通过选择预定义扫描顺序在每个lcu行开始处将自适应扫描重置。在一个实施例中,通过生成系数显著映射来确定扫描排序,并且可以在对应于小于或等于预定值的系数显著性值的变换系数值之前传送对应于大于预定值的系数显著性值的变换系数值。在一个实施例中,随后可以增加对应于大于预定值的变换系数值的系数显著性值。在替换实施例中,随后可以减小对应于小于或等于预定值的变换系数值的系数显著性值。可以通过将系数显著映射设置成预定义值来将自适应扫描过程重置。在某些实施例中,对于“lcu_row_cabac_init_flag”标志而言,在未发送标志时采取的默认值可以是“0”。“lcu_row_cabac_init_idc_flag”标志可以用信号通知是否将在每个lcu行开始处传送cabac_init_idc值。在某些实施例中,当“lcu_row_cabac_init_idc_flag”标志的值是“1”时,将在每个lcu行开始处传送值。在某些实施例中,对于“lcu_row_cabac_init_idc_flag”标志而言,在未发送标志时采取的默认值可以是“0”。在某些实施例中,“cabac_init_idc_present_flag”标志可以用信号通知是否针对lcu传送了cabac_init_idc值。在某些实施例中,当针对lcu未传送cabac_init_idc值时,然后使用用于比特流中的cabac_init_idc的先前值来将熵编码上下文重置。在本发明的某些实施例中,例如当“entropy_slice_flag”的值是“0”时,可以在规则片报头中用信号发送“lcu_row_cabac_init_flag”和“lcu_row_cabac_init_idc_flag”。表8和表9示出了用于这些实施例的示例性语法。在本发明的某些实施例中,例如当“entropy_slice_flag”的值是“1”时,可以在熵片报头中用信号发送“lcu_row_cabac_init_flag”和“lcu_row_cabac_init_idc_flag”。表8示出了示例性片报头语法,并且表9示出了示例性片数据语法(coding_unit)。

表8:用于在lcu行开始处用信号通知熵编码的初始化的示例性语法表

表9:用于用信号通知用于lcu的初始上下文的示例性语法表

在包括上下文自适应编码,例如cabac编码、cav2v编码及其他上下文自适应编码的另一示例性实施例中,“mb_row_cabac_init_flag”表示可以用信号通知是否可以在一行中的第一宏块处将熵解码初始化。在本发明的某些实施例中,值为“1”的“mb_row_cabac_init_flag”标志可以用信号通知熵编码上下文在每个宏块行开始处被重置。在本发明的替换实施例中,值为“1”的“mb_row_cabac_init_flag”标志可以用信号通知在每个宏块行开始处熵编码上下文被重置且自适应扫描被重置。在某些实施例中,对于“mb_row_cabac_init_flag”的标志而言,在未发送标志时采取的默认值可以是“0”。“mb_row_cabac_init_idc_flag”标志可以用信号通知是否将在每个宏块行开始处传送cabac_init_idc值。在某些实施例中,当“mb_row_cabac_init_idc_flag”标志的值是“1”时,将在每个宏块行开始处传送值。在某些实施例中,对于“mb_row_cabac_init_idc_flag”的标志而言,在未发送标志时采取的默认值可以是“0”。在某些实施例中,“cabac_init_idc_present_flag”标志可以用信号通知是否针对宏块传送了cabac_init_idc值。在某些实施例中,当针对宏块未传送cabac_init_idc值时,然后使用用于比特流中的cabac_init_idc的先前值来将熵编码上下文重置。在本发明的某些实施例中,例如当“entropy_slice_flag”的值是“0”时,可以在规则片报头中用信号发送“mb_row_cabac_init_flag”标志和“mb_row_cabac_init_idc_flag”标志。在本发明的某些实施例中,例如当“entropy_slice_flag”的值是“1”时,可以在熵片报头中用信号发送“mb_row_cabac_init_flag”标志和“mb_row_cabac_init_idc_flag”标志。表10和表11示出了用于这些实施例的示例性语法。表10示出了示例性片报头语法,并且表11示出了示例性片数据语法(coding_unit)。

表10:用于在宏块行开始处用信号通知熵编码的初始化的示例性语法表

表11:用于用信号通知用于宏块的初始上下文的示例性语法表

在本发明的某些实施例中,可以在比特流中用信号发送熵片在比特流中的位置。在某些实施例中,可以使用标志来用信号通知熵片在比特流中的位置将要在比特流中用信号发送。某些示例性实施例可以包括:“entropy_slice_locations_flag”如果为“真”则可以指示熵片报头在比特流中的位置将在比特流中用信号发送。在某些实施例中,位置数据可以被不同地编码。在某些实施例中,可以在每个重构片中发送位置数据。在替换实施例中,可以每个图片发送一次位置数据。

在本发明的某些实施例中,可以在比特流中用信号发送lcu行在比特流中的位置。在某些实施例中,可以使用标志来用信号通知每行中的第一lcu在比特流中的位置将在比特流中用信号发送。某些示例性实施例可以包括:“lcu_row_location_flag”如果为“真”则可以指示每行中的第一lcu在比特流中的位置将在比特流中用信号发送。在某些实施例中,位置数据可以被不同地编码。在某些实施例中,可以在每个熵片中发送位置数据。在替换实施例中,可以每个重构片发送一次位置数据。

表12示出了用于用信号通知lcu行和熵片在比特流中的位置的示例性语法。针对此示例性语法,语义是:

“entropy_slice_locations_flag”用信号通知是否发送熵片报头位置。如果“entropy_slice_locations_flag”的值被设置成“1”,则传送熵片报头位置,否则不传送。“entropy_slice_locations_flag”的默认值是“0”。

·“num_of_entropy_slice_minus1”用信号通知重构片中的熵片的数目减1。

·“entropy_slice_offset[i]”指示第i熵片与先前熵片的偏移。

·“lcu_row_locations_flag”用信号通知是否正在传送lcu行位置信息。如果“lcu_row_locations_flag”的值是“1”,则传送lcu行位置信息,否则不传送。用于“lcu_row_locations_flag”的默认值是“0”。

·“num_of_lcu_rows_minus1”用信号通知熵片中的lcu行的数目减1。

·“lcu_row_offset[i]”指示第i个lcu行与先前lcu行的偏移。

在本发明的某些实施例中,可以用“宏块”来替换表12中的“lcu”。例如,可以分别地用“first_mb_in_slice”、“mb_row_cabac_init_flag”、“mb_row_cabac_init_idc_flag”、“mb_row_locations_flag”、“mb_row_locations()”、“num_of__mb_rows_minus1”和“mb_row_offset[i]”来替换表12中的“first_lcu_in_slice”、“lcu_row_cabac_init_flag”、“lcu_row_cabac_init_idc_flag”、“lcu_row_locations_flag”、“lcu_row_locations()”、“num_of_lcu_rows_minus1”和“lcu_row_offset[i]”。

表12:用于用信号通知一行中的第一lcu在比特流中的位置的示例性语法表

可以通过用信号发送用于基本单元、例如宏块的零值变换系数的位置和非零变换系数的层级值来实现残余数据从编码器到解码器的高效传输。许多编码系统可以尝试将零值变换系数定位于用于基本单元的残余数据的结尾处,从而允许在最后显著变换系数之后使用“块结尾”码以高效地用信号通知其余变换系数值是零。

某些编码系统可以跟踪先前针对先前处理的基本单元传送的残余数据中的零值变换系数的位置,这可以允许在后续残余数据中最后传送具有先前零值变换系数的位置。替换地,某些编码系统可以跟踪先前传送的残余数据中的非零值变换系数的位置。虽然这可以改善编码效率,但是使得需要完全解码先前的残余数据以便解码当前的残余数据,这是由于下述事实,即残余数据的编码使用上下文模型,也称为概率模型,这是由变换系数标识符来确定的,变换系数标识符仅可以利用被识别为在残余数据结束处传送的位置的知识来确定。

例如,如图35中所示,如果扫描自适应已经生成以下扫描顺序:用于与当前基本单元相关联的熵编码处理的s={coeff0,coeff10,coeff1,…},其中,coeffi表示第i变换系数,然后需要针对编码变换系数coeff0获取对应于coeff0的、可以表示为ctxt0的上下文。接下来,需要针对编码变换系数coeff10获取对应于coeff10的上下文ctxt10,等等。因此,可能执行关于基本单元的编码的时间排序,这是由于需要知道扫描顺序s={coeff0,coeff10,coeff1,…},这在先前基本单元已被编码之前不能获得。

在本发明的某些实施例中,为了允许熵片的并行编码,可以在每个熵片的片开始基本单元处将自适应扫描重置成熵片默认扫描顺序,从而允许并行地对单独熵片进行编码。

在本发明的某些实施例中,可以在熵片的每个lcu行的行开始基本单元处将自适应扫描计算的扫描顺序设置成已知扫描顺序,也称为行默认值。

在本发明的替换实施例中,可以将可以为了编码变换系数而获取的块变换系数扫描顺序和也称为上下文的对应的上下文模型解耦,从而允许并行编码。在这些实施例中,位于比特流中的第一位置处的变换系数可以基于其相对于比特流中的其他变换系数的位置使与按照上下文获取顺序对应地定位的上下文相关联。在这些实施例中,可以预定义上下文获取顺序,上下文获取顺序可以表示为f={ctxta,ctxtb,ctxtc,...},其中,ctxt表示在变换域中并未与变换系数位置相关联而是与比特流中的变换系数的相对位置相关联的上下文。因此,对于示例性变换系数扫描顺序s={coeff0,coeff10,coeff1,…}而言,编码处理可以用ctxta对coeff0进行编码、用ctxtb对coeff10进行编码、用ctxtc对coeff1进行编码等等。在这些实施例中,熵编码处理可以独立于扫描顺序进行操作。可以关于图36来描述某些编码器实施例。编码器可以获取1280要进行编码的下一变换系数,并且可以从上下文的预定义获取列表获取1282下一上下文。可以使用获取的上下文对获取的变换系数进行熵编码1284,并且可以进行关于是否存在仍要编码的显著变换系数的确定1286。如果存在1287仍要编码的显著变换系数,则可以获取1280下一显著变换系数,并且该处理可以继续。如果不存在1289,则该处理可以终止1290。可以关于图37来描述某些解码器实施例。解码器可以获取1300下一上下文并使用获取的上下文对来自比特流的下一显著变换系数进行熵解码1302。可以存储1304解码的变换系数,并且可以进行关于是否存在要解码的剩余显著变换系数的确定1306。如果存在1307,则可以获取1300下一上下文,并且该处理可以继续。如果不存在1309,则该处理可以终止1310。

在本发明的替换实施例中,可以使系数扫描顺序被限制为所有可能扫描组合的子集,并且可以显式地用信号通知。在熵片开始处,可以将扫描顺序设置成信号发送的扫描顺序。在某些实施例中,可以将扫描顺序作为标准语法来用信号发送。在替换实施例中,可以用非标准消息,例如sei消息或其他非标准消息来用信号发送扫描顺序。

在本发明的替换实施例中,可以使系数扫描顺序被限制为所有可能扫描组合的子集,并且可以显式地用信号通知。在熵片中的lcu行开始处,可以将扫描顺序设置成信号发送的扫描顺序。在某些实施例中,可以将扫描顺序作为标准语法来用信号发送。在替换实施例中,可以用非标准消息,例如sei消息或其他非标准消息来用信号发送扫描顺序。

在替换实施例中,在熵片开始时,可以将系数扫描顺序设置成先前解码的基本单元的扫描顺序。在某些实施例中,可以将扫描顺序设置成在上方的基本单元中使用的扫描顺序。在替换实施例中,可以将扫描顺序设置成在上方和右侧基本单元中使用的扫描顺序。

在本发明的替换实施例中,在熵片中的lcu行开始时,可以将系数扫描顺序设置成先前解码的基本单元的扫描顺序。在某些实施例中,可以将扫描顺序设置成在上方基本单元中使用的扫描顺序。在替换实施例中,可以将扫描顺序设置成在上方和右侧基本单元中使用的扫描顺序。

参考图43,在本发明的某些实施例中,可以将用于p片的上下文初始化方法应用于前向预测b片,则可以导致较高压缩效率,这是由于赋予b片的更大自由度和b预测的多假设性质。在前向预测b片中使用的参考片始终来自与规则b片不同的在时间上较早的帧/图片,其中,可以从在时间上未来和/或过去的帧/图片中选择参考。因此,前向预测b片可以包括具有与规则b片的那些不同的统计特性的残余数据。如图43中所示,该技术可以接收b片、p片以及i片,并且基于接收到的片的类型来选择上下文初始化技术。另外,在前向预测b片的情况下,使用用于p片的上下文初始化技术。更具体地,执行以下步骤:

4301:可以从比特流解码片类型;

4302:确定该片类型是否是b片;

4303:如果片类型是b片(在4302中为是),则确定该片是否是前向预测的。如果该片是前向预测的,则用第二初始化技术将上下文初始化,否则用第一初始化技术来将上下文初始化;

4304:如果片类型不是b片(在4302中为否),则确定片类型是否是p片。如果片类型是p片,则用第二初始化技术将该上下文初始化;以及

4305:如果片类型不是p片(在4303中为否),则确定片类型是否是i片。如果片类型是i片,则用第三初始化技术将上下文初始化。

根据本发明的一个方面,可以仅针对前向预测b帧通过训练来生成用来初始化熵编码器的初始概率分布。根据本发明的另一方面,可以基于用来编码当前视频数据编码的、可以表示为qp的量化参数来适配上下文的初始化。

在本发明的某些实施例中,编码器可以替换地将用于p片的上下文初始化方法应用于前向预测b片,并且可以用信号通知该替换的发生。在本发明的某些实施例中,信令可以是明示的。在本发明的替换实施例中,信令可以是隐式的。在包括明示信令的本发明的某些实施例中,可以每当用前向预测b片来替换p片时向解码器发送标志。在这些实施例中的某些中,可以将标志作为标准语法用信号发送。在替换实施例中,可以在非标准消息内用信号发送标志,例如sei消息或其他非标准消息。

参考图41,在本发明的某些实施例中,可以将用于p片的上下文初始化方法应用于单向预测b片,这可以导致较高压缩效率,这是由于赋予b片的更大自由度而。在单向预测b片中所使用的参考片是在时间上较早的帧/图片或在时间上较迟的帧/图片的一部分。因此,单向预测b片可以包括具有与双向b片的那些不同的统计特性的残余数据。在时间上可以指的是解码的图片/帧的显示顺序。如图41中所示,该技术可以接收b片、p片以及i片,并且基于接收到的片的类型来选择上下文初始化技术。另外,在单向预测b片的情况下,使用用于p片的上下文初始化技术。更具体地,执行以下步骤:

4101:可以从比特流解码片类型;

4102:确定该片类型是否是b片;

4103:如果片类型是b片(在4102中为是),则确定该片是否是前向或后向预测的但不是两者。如果片是前向或后向预测的但不是两者,则用第二初始化技术将上下文初始化,否则用第一初始化技术来将上下文初始化;

4104:如果片类型不是b片(在4102中为否),则确定片类型是否是p片。如果片类型是p片,则用第二初始化技术将该上下文初始化;以及

4105:如果片类型不是p片(在4104中为否),则确定片类型是否是i片。如果片类型是i片,则用第三初始化技术将上下文初始化。

参考图42,在本发明的某些实施例中,可以以不同于后向预测b片和/或双向预测b片的方式将前向预测b片初始化,这可以导致较高压缩效率,这是由于赋予b片的不同自由度。在前向预测b片中所使用的参考片是在时间上较早的帧/图片的一部分。因此,前向预测b片可以包括具有与后向和/或双向b片的那些不同的统计特性的残余数据。在时间上可以指的是解码的图片/帧的显示顺序。如图42中所示,该技术可以接收b片、p片以及i片,并且基于接收到的片的类型来选择上下文初始化技术。另外,在前向预测b片的情况下,可以使用不同于b片、p片以及i片的上下文初始化技术。更具体地,执行以下步骤:

4201:可以从比特流解码片类型;

4202:确定该片类型是否是b片;

4203:如果片类型是b片(在4202中为是),则确定该片是否是前向预测的。如果该片是前向预测的,则用第四初始化技术将上下文初始化,否则用第一初始化技术来将上下文初始化;

4204:如果片类型不是b片(在4202中为否),则确定片类型是否是p片。如果片类型是p片,则用第二初始化技术将该上下文初始化;以及

4205:如果片类型不是p片(在4204中为否),则确定片类型是否是i片。如果片类型是i片,则用第三初始化技术将上下文初始化。

上下文初始化方法可以由设置熵编码器的操作所需的熵编码器的值组成。例如,可以针对将概率估计用于编码数据的熵编码器,诸如在算术编码器中,设置第一概率估计。上下文初始化方法可以使用初始化技术来确定该值。在一个实施例中,第一初始化方法对应于使用预先计算值的第一表格来设置值。类似地,第二初始化方法对应于使用预先计算值的第二表格来设置该值。在另一实施例中,第一初始化方法使用针对在帧之间使用不止一个预测的帧而设计的预先计算值的第一表格来设置该值,其中,当按照显示顺序来排序时被用于预测的一个或多个帧在时间上在当前帧之前且发起当前帧两者。第二初始化方法使用从在帧之间使用不止一个预测的帧设计的预先计算值的第二表格来设置值,其中,当按照显示顺序来排序时被用于预测的帧在时间上在当前帧之前或者在时间上发起当前帧,但是并不是在时间上在之前且在时间上发起当前帧两者。第三初始化方法使用针对在帧之间使用至多一个预测的帧而设计的预先计算值的第三表格来设置值。第四初始化方法使用针对在帧之间不使用预测的帧而设计的预先计算值的第四表格来设置值。

在本发明的一个实施例中,refpiclist0包含在当前帧的显示之前显示的先前解码的帧列表,后面是在当前帧的显示之后显示的先前解码的帧列表,并且refpiclist1包含在当前帧的显示之后显示的先前解码的帧列表,后面是在当前帧的显示之前显示的先前解码的帧列表。在本实施例中,以上条件(2)对于单向b片而言为真,因为在当前帧的显示之后显示的先前解码的帧的数目是零,或者在当前帧的显示之前显示的解码的帧的数目是零。在本发明的另一实施例中,picordercnt表示解码的帧的显示顺序。在本实施例中,以上条件(3)对于单向b片而言为真,因为解码的帧全部是在当前帧的显示之前或在当前帧的显示之后显示的。

在包括隐式信令的本发明的某些实施例中,当在预测中所使用的参考片(帧/图片)基于片将被显示的顺序而全部是过去片(帧/图片)时,可以在解码器处推断用于被应用到前向预测b片的p片的上下文初始化方法的发生。在某些实施例中,当以下条件为真时,可以推断用单向b片替换p片的发生:(1)参考图片列表refpiclist1具有一个或多个条目,(2)参考图片列表refpiclist1和refpiclist0包含相同的图片集合,以及(3)参考图片列表refpiclist1和refpilist0中的所有帧具有比当前帧的picordercnt更小的picordercnt,其中,picordercnt按升序指示帧的显示顺序。在某些实施例中,当以下条件为真时,可以推断用单向b片替换p片的发生:(1)参考图片列表refpiclist1具有一个或多个条目,(2)参考图片列表refpiclist1和refpiclist0包含相同的图片集合,以及(3)参考图片列表refpiclist1和refpilist0中的所有帧具有比当前帧的picordercnt更大的picordercnt,其中,picordercnt按升序指示帧的显示顺序。在某些实施例中,当以下条件为真时,可以推断用单向b片替换p片的发生:(1)参考图片列表refpiclist1具有一个或多个条目,以及(2)参考图片列表refpiclist1中的第一帧和refpiclist0中的第一帧具有比当前帧的picordercnt更小(或更大)的picordercnt,其中,picordercnt按升序指示帧的显示顺序。在某些实施例中,当以下条件为真时,可以推断用单向b片替换p片的发生:(1)参考图片列表refpiclist1具有不止一个条目,以及(2)参考图片列表refpiclist1中的帧[0,n]和refpiclist0中的帧[0,n]具有比当前帧的picordercnt更小(或更大)的picordercnt,其中,picordercnt按升序指示帧的显示顺序。在某些实施例中,当以下条件为真时,可以推断用单向b片替换p片的发生:(1)参考图片列表refpiclist1具有不止一个条目,(2)参考图片列表refpiclist1中的第一帧和参考图片列表refpiclist0中的第二帧相同,(3)参考图片列表refpiclist1中的第二帧和参考图片列表refpiclist0中的第一帧相同,(4)参考图片列表refpiclist1中的帧[0,n]和refpiclist0中的帧[0,n]具有比当前帧的picordercnt更小(或更大)的picordercnt,其中,picordercnt按升序指示帧的显示顺序。在某些实施例中,refpiclist0和refpiclist1中的顺序不需要是等同的以包含相同的图片集合。在示例性实施例中,当参考图片列表refpiclist1具有不止一个条目且refpiclist1与参考图片列表refpiclist0等同时,那么可以将前两个条目refpiclist1[0]和refpiclist1[1]交换。n可以指的是小于参考图片列表中的帧/图片的总数。picordercnt还可以指的是解码器图片缓冲器中的相对显示顺序。

当指示了由前向预测b片替换p片的发生时,可以使用p片方法将用于熵片的上下文初始化。在另一实施例中,可以使用p片方法将片的上下文初始化。

表13示出了用于显式地用信号通知将使用p片方法初始化b片的初始上下文的示例性语法。在与表13相关联的示例性实施例中,“cabac_init_p_flag”是针对b片熵编码器初始化指示应选择b片方法还是p片方法的标志。在某些实施例中,如果“cabac_init_p_flag”标志的值是“0”,则选择b片方法以用于初始化,并且如果“cabac_init_p_flag”标志的值是“1”,则选择p片方法以用于初始化。

表13:示出了使用p片方法的b片初始化的明示信令的示例性语法表

在本发明的某些实施例中,用于熵片的上下文初始化状态可以是基于由熵编码器处理的二元位的数目。熵编码器可以在被正确地初始化时更快速地向信源统计收敛。更快的收敛可以导致较少的比特被浪费和因此更高的压缩效率。在本发明的某些实施例中,可以估计可以传送的二元位的数目,并且当估计的二元位数目满足第一准则时,然后可以使用第一初始化方法。当估计的二元位数目不满足第一准则时,可以使用第二初始化方法。

可以关于图38来理解本发明的示例性实施例。在这些实施例中,可以估计1320已处理的二元位的数目。可以将表示为nbins的已处理二元位的估计数目与表示为tbins的门限值相比较1322。随着已处理二元位的数目增加,基于qp的上下文初始化的预测准确度可能降低。用于上下文初始化的较高预测准确度可以导致更好的压缩效率。如果已处理二元位的估计数目大于1324门限值,则可以选择1326单个上下文初始化值。如果已处理二元位的估计数目不大于1328门限值,则可以基于qp自适应地将上下文初始化1330。可以基于例如均方误差、相对熵及其他距离度量的所选度量的训练和最优化来选择单个上下文初始化值。基于qp的自适应初始化可以是ca*qp+cb形式的仿射自适应,其中,ca和cb是常数。在某些实施例中,可以基于在先前片中处理的二元位的数目来估计二元位的数目。在替换实施例中,可以基于在先前帧中处理的二元位的数目来估计二元位的数目。

在关于以图片方式表示已处理的一定范围的二元位数目的图39所述的本发明的某些实施例中,可以确定已处理二元位的数目的多个、分隔范围(示出了三个1342、1344、1346),并关于许多门限值(示出了两个1348、1350)进行描述,并且可以基于已处理的二元位的估计数目落在范围1342、1344、1346中的哪一个内来选择上下文初始化值,例如,针对三个范围1342、1344、1346,当nbins≤tmin1342时,可以基于qp自适应地将上下文初始化,当tmin<nbins≤t11344时,可以将上下文初始化成第一固定上下文值,并且当t1<nbins1346时,可以将上下文初始化成第二、不同的固定上下文值。

可以关于图40来理解本发明的另一替换示例性实施例。在本示例性实施例中,可以确定1400的qp值并相对于表示为tqp的门限值来进行检查1402。一般地,随着qp减小,所处理二元位的数目可以增加。如果qp并不小于1404该门限值,则可以基于qp自适应地初始化1406上下文。如果qp的值小于1408门限值,则可以选择1410单个上下文初始化值。可以基于例如均方误差、相对熵及其他距离度量的所选度量的训练和最优化来选择单个上下文初始化值。

在本发明的某些实施例中,可以确定qp的多个、分隔范围,并且可以基于qp值落在哪个范围内来选择上下文初始化值。

表14示出了用于全内部编码的率失真性能的比较。在第三列的两个子列中所示的第一比较是在使用多个片的编码,其中,用于片的熵解码和宏块重构并不取决于其他片,与不使用片的编码之间,使用h.264/avc联合模型(jm)软件版本13.0进行的比较。平均起来,对于相同比特率而言,使用多个片的编码相比于不使用片而言,质量下降-0.3380db。平均起来,针对相同质量水平,使用多个片的编码相比于不使用片而言,比特率增加了7%。

第四列的两个子列中所示的第二比较是在使用根据本发明的实施例被划分成多个熵片(每个熵片两行宏块)的一个重构片的编码与使用不具有片的jm13.0的编码之间的比较。平均起来,针对相同比特率,使用具有多个熵片的一个重构片相比于不使用片的编码而言,质量下降-0.0860db。平均起来,针对相同质量水平,使用具有多个熵片的一个重构片相比于不使用片的编码而言,比特率增加1.83%。

表14:率失真性能的比较——全内部编码

表15示出了用于ibbp编码的率失真性能的比较。在第三列的两个子列中所示的第一比较是在使用多个片的编码,其中,用于片的熵解码和宏块重构并不取决于其他片,与不使用片的编码之间,使用h.264/avc联合模型(jm)软件版本13.0进行的比较。平均起来,对于相同比特率而言,使用多个片进行编码,质量下降-0.5460db。平均起来,针对相同质量水平,使用多个片的编码相比于不使用片而言,比特率增加了21.41%。

第四列的两个子列中所示的第二比较是在使用根据本发明的实施例被划分成多个熵片(每个熵片两行宏块)的一个重构的编码片与使用不具有片的jm13.0的编码之间的比较。平均起来,针对相同比特率,使用具有多个熵片的一个重构片相比于不使用片的编码而言,质量下降-0.31db。平均起来,针对相同质量水平,使用具有多个熵片的一个重构的片编码相比于不使用片的编码而言,比特率增加11.45%。

表15:率失真性能的比较——ibbp编码

比较结果,在一个重构片中使用多个熵片的编码相比于使用片的编码而言对于全内部和ibpp编码分别提供5.17%和9.96%的比特率节省,其中,用于片的熵解码和宏块重构并不取决于其他片,虽然两者都允许并行解码。

表16示出了对于全内部和ibbp编码的率失真性能的比较。在此表中,比较是在不使用片的编码与使用根据本发明的实施例被划分成熵片的一个重构片的编码之间的比较,其中每个熵片具有最大尺寸26k二元位。第2列的两个子列中所示的第一比较是使用全内部编码的比较。平均起来,针对相同的比特率,通过使用具有多个熵片的重构片的编码,质量下降-0.062db。平均起来,针对相同质量水平,通过使用具有多个熵片的重构片的编码,比特率增加1.86%。因此,对于使用每个熵片最大尺寸26k二元位的熵片的全内部编码而言,相比于两行宏块的固定熵片尺寸,存在约0.64%的平均比特率节省。

第3列的两个子列中所示的第二比较是使用ibbp编码的比较。平均起来,针对相同比特率,使用具有多个熵片的一个重构片相比于不使用片的编码而言,质量下降-0.022db。平均起来,针对相同质量水平,使用具有多个熵片的一个重构片的编码相比于不使用片的编码而言,比特率增加0.787%。因此,对于使用每个熵片最大尺寸26k二元位的熵片的ibbp编码而言,相比于两行宏块的固定熵片尺寸,存在约10.66%的平均比特率节省。

表16:率失真性能的比较——全内部和使用具有每个熵片小于26k二元位的熵片ibbp编码

熵片的使用允许并行解码以及重构片到熵片的编码器划分,其中,每个熵片小于二元位的最大数目,相比于固定数目的宏块的熵片而言可以提供相当大的比特率节省。

虽然图中的图表和图示可以示出特定的执行顺序,但应理解的是执行顺序可以与所描绘的不同。例如,可以相对于所示的顺序改变块的执行顺序。并且,作为另一示例,可以同时地或以部分同时性来执行在图中接连地示出的两个或更多块。本领域的技术人员应理解的是可以由本领域的技术人员来创建软件、硬件和/或固件以执行本文所述的各种逻辑功能。

本发明的某些实施例可以包括计算机程序产品,其包括在其上/其中存储有可以用来对计算系统进行编程以执行本文所述的任何特征和方法的指令的计算机可读存储介质。示例性计算机可读存储介质可以包括但不限于闪速存储器件、盘存储介质,例如软盘、光盘、磁光盘、数字多功能磁盘(dvd)、压缩盘(cd)、微驱动及其他盘存储介质、只读存储器(rom)、可编程只读存储器(prom)、可擦可编程只读存储器(eproms)、电可擦可编程只读存储器(eeprom)、随机存取存储器(rams)、视频随机存取存储器(vram)、动态随机存取存储器(dram)或适合于存储指令和/或数据的任何类型的介质或器件。

在本发明的某些实施例中,可以在熵片开始处将扫描图案初始化。

在本发明的某些实施例中,可以在熵片中的行中的起始基本单元处将扫描图案初始化。

在本发明的某些实施例中,可以在熵片开始处将与自适应扫描计算相关联的状态初始化。

在本发明的某些实施例中,可以在熵片中的行中的起始基本单元处将与自适应扫描计算相关联的状态初始化。

在本发明的某些实施例中,可以将系数扫描顺序与上下文获取顺序解耦。

在本发明的某些实施例中,可以检测前向预测b片,并且可以根据p片方法将与熵编码前向预测b片相关联的上下文初始化。

在本发明的某些实施例中,可以基于二元位计数将上下文初始化。

在本发明的某些实施例中,可以基于量化参数值将上下文初始化。

本发明的一个实施例公开了一种用于将视频序列的视频帧解码的方法,包括:

(a)在视频解码器中接收片;

(b)识别片是否是前向预测b片或后向预测b片,并且不是前向和后向预测b片两者;

(c)使用p片技术将与片相关联的上下文初始化。

在本发明的某些实施例中,识别可以仅包括后向预测b片。

在本发明的某些实施例中,识别可以是基于:(1)识别参考图片的第一列表具有至少一个条目,(2)识别参考图片的第一列表和第二列表包含相同的图片集合,(3)第一列表和第二列表中的所有图片将在当前片之前被显示。

在本发明的某些实施例中,识别可以是基于:(1)识别参考图片的第一列表具有至少一个条目,(2)识别参考图片的第一列表和第二列表包含相同的图片集合,(3)第一列表和第二列表中的所有图片将在当前片之后被显示。

在本发明的某些实施例中,识别可以是基于:(1)识别参考图片的第一列表具有至少一个条目,(2)识别参考图片的第一列表和第二列表包含非共同扩展的图片集合,并且该非共同扩展的图片集合将在当前片之前被显示。

在本发明的某些实施例中,识别可以是基于:(1)识别参考图片的第一列表具有至少一个条目,(2)识别参考图片的第一列表和第二列表包含非共同扩展的图片集合,并且该非共同扩展的图片集合将在当前片之后被显示。

在本发明的某些实施例中,识别可以是基于:(1)识别参考图片的第一列表具有至少一个条目,(2)第一列表中的第一参考图片与第二列表中的第二参考图片相同,(3)第二列表中的第一参考图片与第一列表中的第二参考图片相同,(4)识别参考图片的第一列表和第二列表包含非共同扩展的图片集合,并且该非共同扩展的图片集合将在当前片之前被显示。

本发明的一个实施例公开了一种用于将视频序列的视频帧解码的方法,包括:

(a)在视频解码器中接收片;

(b)识别片是否是前向预测b片;

(c)使用不同于被用于b片、p片以及i片中的任何一个的技术来将与片相关联的上下文初始化。

在前述说明书中已采用的术语和表达在本文中被用作描述而非限制的术语,并且在此类术语和表达的使用中并不意图排除所示和所述特征或其部分的等价物,应认识到的是本发明的范围仅仅由随后的权利要求来定义和限制。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1