用信号表示用于位流分区的HRD参数的制作方法

技术领域

本发明涉及视频译码。

背景技术：

数字视频能力可并入到多种多样的装置中，包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、电子图书阅读器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话(所谓的“智能电话”)、视频电话会议装置、视频流式传输装置等。数字视频装置实施视频译码技术，例如由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分高级视频译码(AVC)定义的标准、目前正在开发的高效视频译码(HEVC)标准及此类标准的扩展中所描述的视频译码技术。视频装置可通过实施这些视频译码技术而更有效率地发射、接收、编码、解码及/或存储数字视频信息。

视频译码技术包含空间(图片内)预测及/或时间(图片间)预测以减少或去除视频序列中固有的冗余。对于基于块的视频译码，视频切片(例如，视频帧或视频帧的一部分)可分割成视频块，视频块还可被称为树块、译码单元(CU)及/或译码节点。使用关于同一图片中的相邻块中的参考样本的空间预测对图片的经帧内译码(I)切片中的视频块进行编码。图片的经帧间编码(P或B)切片中的视频块可使用相对于同一图片中的相邻块中的参考样本的空间预测或相对于其它参考图片中的参考样本的时间预测。图片可被称为帧，且参考图片可被称为参考帧。

空间或时间预测产生待译码块的预测性块。残余数据表示待译码原始块与预测性块之间的像素差。经帧间译码块根据指向形成预测性块的参考样本块的运动向量及指示经译码块与预测性块之间的差的残余数据进行编码。根据帧内译码模式及残余数据来编码经帧内译码块。为了进一步压缩，可将残余数据从像素域变换到变换域，从而产生残余变换系数，可接着量化所述残余变换系数。可扫描最初按二维阵列排列的经量化变换系数，以便产生变换系数的一维向量，且可应用熵译码以实现更多压缩。

技术实现要素：

一般来说，本发明描述用于用信号表示用于位流分区的假想参考解码器(HRD)参数的技术。也就是说，本发明的技术可改进(例如)在多层视频译码中用于位流分区的HRD参数的用信号表示。视频位流可包含不同维度的不同层，例如，时间维度、视图维度(例如，用于多视点视频数据)、可缩放性维度(例如，用于可缩放视频译码)等。描述可单独使用或以任何组合使用的不同技术，所述技术可改进用于位流分区的HRD参数信令，所述位流分区中的任一者或全部可通过视频解码器针对后续解码单独提取。

在一个实例中，对视频数据进行译码(例如，编码或解码)的方法包含：对指示其中对假想参考解码器(HRD)参数进行译码的位流的多个子层的语法元素的值进行译码，其中指示其中对HRD参数进行译码的子层的数目的值小于由位流的视频参数集(VPS)指示的子层的最大数目；对用于如由语法元素的值指示的子层数目的HRD参数进行译码；及使用HRD参数处理位流。

在另一实例中，用于对视频数据进行译码(例如，编码或解码)的装置包含：存储器，其经配置以存储视频数据；及视频译码器，其经配置以对指示其中对假想参考解码器(HRD)参数进行译码的位流的多个子层的语法元素的值进行译码，其中指示其中对HRD参数进行译码的子层的数目的值小于由位流的视频参数集(VPS)指示的子层的最大数目、对用于如由语法元素的值指示的子层数目的HRD参数进行译码及使用HRD参数处理位流。

在另一实例中，用于对视频数据进行译码(例如，编码或解码)的装置包含：用于对指示其中对假想参考解码器(HRD)参数进行译码的位流的多个子层的语法元素的值进行译码的装置，其中指示其中对HRD参数进行译码的子层的数目的值小于由位流的视频参数集(VPS)指示的子层的最大数目；用于对用于如由语法元素的值指示的子层数目的HRD参数进行译码的装置；及用于使用HRD参数处理位流的装置。

在另一实例中，用指令对计算机可读存储媒体进行编码，所述执行在执行时致使一或多个处理器对指示其中对假想参考解码器(HRD)参数进行译码的位流的多个子层的语法元素的值进行译码，其中指示其中对HRD参数进行译码的子层的数目的值小于由位流的视频参数集(VPS)指示的子层的最大数目；对用于如由语法元素的值指示的子层数目的HRD参数进行译码；及使用HRD参数处理位流。

附图及以下描述中阐明一或多个实例的细节。其它特征、目标及优点将从所述描述及图式以及权利要求书而显而易见。

附图说明

图1是说明可利用用于改进假想参考解码器(HRD)参数信令的技术的实例视频编码及解码系统的框图。

图2是说明可实施用于改进假想参考解码器(HRD)参数信令的技术的视频编码器的实例的框图。

图3是说明可实施用于改进假想参考解码器(HRD)参数信令的技术的视频解码器的实例的框图。

图4是说明根据本发明的技术的用于对视频数据进行编码的实例方法的流程图。

图5是说明根据本发明的技术的用于对视频数据进行解码的实例方法的流程图。

具体实施方式

一般来说，本发明描述涉及对假想参考解码器(HRD)参数进行译码(例如，编码或解码)的技术。一般来说，HRD参数用于管理时间线以及控制用于视频译码过程的经译码图片的大小。举例来说，视频译码器可使用HRD参数来确定何时出于对图片进行解码的目的从经译码图片缓冲器(CPB)提取经编码图片，及/或确定何时从经解码图片缓冲器(DPB)提取输出及/或清除来自经解码图片缓冲器(DPB)的经解码图片。

视频位流可包含各种不同解码及呈现装置可使用的经译码视频数据。举例来说，视频解码器可支持可实施不同解码工具的不同视频译码标准档次及级。类似地，视频呈现装置(例如，显示器)可支持不同呈现功能(例如，刷新率/帧速率、可同时播放、交错或逐行扫描播放的视图的数目等)。以此方式，多个不同视频解码器及呈现装置可使用单个视频位流。

作为一个实例，当可从视频位流呈现不同帧速率时，视频位流据称可支持时间可缩放性。举例来说，相同视频位流可用于呈现具有15帧每秒(FPS)、30FPS、60FPS、120FPS及240FPS的帧速率的视频。一般来说，这些不同播放帧速率中的每一者对应于位流的一或多个“子层”的集合。每个逐渐更高层包含处于所述子层处及在所述子层下方的所有帧。因此，用于15FPS播放的图片可包含子层0图片，用于30FPS播放的图片可包含子层0及子层1图片，用于60FPS播放的图片可包含子层0、1及2的图片等。

以此方式，当装置经配置以在低于视频位流支持的最大帧速率的帧速率下执行播放时，装置可执行从位流的子位流提取以仅提取播放所需的图片并且对所述图片进行解码。继续以上实例，如果装置将确定执行60FPS播放，则装置可提取子层0、1及2的图片并且仅对这些图片进行解码(即，不需要对子层3及4的图片进行解码)。

视频参数集(VPS)语法结构可包含指示可包含在位流中的最大数目的子层的数据。因此，可用信号表示最大数目的子层中的每一者的HRD参数。然而，子位流提取(例如，出于时间可缩放性的目的)可产生具有少于最大数目的子层的所提取子位流。代替用信号表示最大数目的子层中的每一者的信息，本发明描述用于仅用信号表示实际上包含在位流中的子层数目(可小于或等于由VPS指示的子层的最大数目)的HRD参数的技术。以此方式，这些技术可相对于其中用信号表示最大数目的子层中的每一者的HRD参数的技术实现位节省。

类似地，本发明描述用于用信号表示位流的每个分区的每个子层的HRD参数的技术。举例来说，VPS可包含参数环路，所述参数环路在多个可能输出层集合中的每一者上及针对每个可能输出层集合重复、用信号表示包含在对应输出层集合中的子层的HRD参数。

此外，本发明描述用于有条件地用信号表示位流分区初始到达时间辅助增强信息(SEI)消息中的视频译码层(VCL)HRD参数的技术。这可解决现有技术的某些潜在缺陷，其中可在某些条件下不必要地用信号表示此类参数。

一般相对于还称为高效视频译码(HEVC)的ITU-T H.265描述本发明的技术，ITU-T H.265在“系列H：视听及多媒体系统，视听服务的基础架构-移动视频的译码(SERIES H:AUDIOVISUAL AND MULTIMEDIA SYSTEMS,Infrastructure of audiovisual services-Coding of moving video)”，高效视频译码，ITU-T H.265，2013年4月中描述。然而，这些技术也可应用于其它视频译码标准。视频译码标准包含ITU-T H.261、ISO/IEC MPEG-1视觉、ITU-T H.262或ISO/IEC MPEG-2视觉、ITU-T H.263、ISO/IEC MPEG-4视觉及ITU-T H.264(也被称为ISO/IEC MPEG-4AVC)，包含其可缩放视频译码(SVC)及多视图视频译码(MVC)扩展。

H.265标准最近由ITU-T视频译码专家组(VCEG)及ISO/IEC完成专家组(MPEG)的视频译码联合合作小组(JCT-VC)完成。最新的HEVC草案说明书(且下文中称为HEVC WD)可从phenix.it-sudparis.eu/jct/doc_end_user/documents/17_Valencia/wg11/JCTVC-Q1003-v1.zip获得。HEVC的多视图扩展(即MV-HEVC)也正由JCT-3V开发。下文称为MV-HEVC WD8的MV-HEVC的最新工作草案(WD)可从phenix.it-sudparis.eu/jct2/doc_end_user/documents/8_Valencia/wg11/JCT3V-H1002-v5.zip获得。被称为SHVC的对HEVC的可缩放扩展也正由JCT-VC开发。下文称为SHVC WD6的SHVC的最新工作草案(WD)可从phenix.it-sudparis.eu/jct/doc_end_user/documents/17_Valencia/wg11/JCTVC-Q1008-v2.zip获得。

MV-HEVC WD8及SHVC WD6包含基于位流分区的HRD操作(称为位流分区特定的HRD操作)的规范，其中位流的层可分成多于一个位流分区并且HRD可基于位流分区特定的HRD参数操作。

JCTVC-R0043v5(可在phenix.int-evry.fr/jct/doc_end_user/documents/18_Sapporo/wg11/JCTVC-R0043-v5.zip处获得)及在沙利文的“特别小组报告：分层译码限制规范及能力指示(AHG10)(Ad hoc group report:Layered coding constraint specifications and capability indications(AHG10))”，ITU-T SG 16WP 3及ISO/IEC JTC 1/SC 29/WG 11的视频译码联合合作小组(JCT-VC)第18次会议：日本札幌市，2014年6月30日至7月9日，JCTVC-R0010v2(下文称为“JCTVC-R0010v2”)的附件中的AHG10输出文本(可在phenix.int-evry.fr/jct/doc_end_user/documents/18_Sapporo/wg11/JCTVC-R0010-v2.zip处获得)包含档次/层/级及一致性定义的基于位流分区的信令的规范。所述方法如下概述：

●对于每个输出层集合，用信号表示层到分区的一或多个分割方案。每个位流分区可含有一或多个层。

●用信号表示每个位流分区的档次、层及级(PTL)的集合。

●除了关于自然地层特定的图片宽度、图片高度及子DPB大小的三者之外，所有级限值及限制被指定为位流分区特定的。

●解码器的解码能力表达为符合PTL三元组的列表，其中列表中的项的数目指示用于构建多层解码器的单层解码器的数目并且每个PTL三元组指示单层解码器中的一个的PTL。

●符合PTL三元组的列表的解码器需要能够对其中存在满足以下条件的至少一个分割方案的任何输出层集合进行解码：对于分割方案中的每个位流分区，可排他性地分配多层解码器中的单层解码器中的一者以对位流分区进行解码。

●MV-HEVC WD8及SHVC WD6中的基于位流分区的HRD操作用于修改，以更好地对多个分割方案有效。

在MV-HEVC WD8、SHVC WD6及JCTVC-R0010v2中的基于位流分区的HRD操作中，用信号表示每个位流分区的HRD参数。用于用信号表示位流分区的HRD参数的现有方法可遇到以下缺点：

1)每个hrd_parameters()语法结构含有vps_max_sub_layer_minus1+1子层的信息，即使语法结构应用于具有小于vps_max_sub_layer_minus1+1的多个子层的位流。在这种情况下，一些位被完全浪费。

2)对于每个位流分区，用信号表示仅最高子层的HRD参数，由此无法定义位流分区的时间子集的一致性并且不存在用于仅以可互操作方式消耗输出层集合的时间子集的方式。

3)在位流分区初始到达时间SEI消息中，应从不出现的以下两种情况可能会出现：

a.当NalHrdBpPresentFlag是1时，不用信号表示VCL HRD参数穿过vcl_initial_arrival_delay[i]语法元素的初始到达延迟，即使VclHrdBpPresentFlag等于1。在这种情况下，无法定义VCL HRD一致性。a.

b.当NalHrdBpPresentFlag是0时，用信号表示VCL HRD参数穿过vcl_initial_arrival_delay[i]语法元素的初始到达延迟，即使VclHrdBpPresentFlag等于0。在这种情况下，这些信令是完全浪费的位。

因此，如上所述，本发明描述可单独使用或以任何组合使用并且可克服上述缺点中的任一者或全部的不同技术。在下文中提供本发明的技术的概述，且在后面章节中提供一些方法的详细实施方案。一般来说，以下编号项可解决上述编号缺点：

1)每个hrd_parameters()语法结构含有所需子层的数目的信息，如通过(例如)称为num_sub_layer_hrd_minus1[i]的语法元素用信号表示。

2)对于每个位流分区，用信号表示每个子层的HRD参数。这可通过向环路添加等于指示传递进度的数目的语法元素的输出层集合中的子层数目的项数目、hrd_parameters()语法结构的列表的索引及在所指示hrd_parameters()语法结构中的传递进度列表的索引，或仅仅用信号表示hrd_parameters()语法结构的列表的索引及使用所指示hrd_parameters()语法结构中的所有传递进度来实现。

3)在位流分区初始到达时间SEI消息中改变语法，使得如果且仅当VclHrdBpPresentFlag等于1时才存在VCL HRD参数的初始到达延迟。

图1是说明可利用用于改进假想参考解码器(HRD)参数信令的技术的实例视频编码及解码系统10的框图。如图1中所示，系统10包含源装置12，其提供稍后将由目的地装置14解码的经编码视频数据。具体而言，源装置12经由计算机可读媒体16将视频数据提供到目的地装置14。源装置12及目的地装置14可包括各种装置中的任一者，包含桌上型计算机、笔记型(即，膝上型)计算机、平板计算机、机顶盒、电话手持机(例如所谓的“智能”电话)、所谓的“智能”平板电脑、电视机、相机、显示装置、数字媒体播放器、视频游戏控制台、视频流式传输装置等。在一些情况下，可装备源装置12及目的地装置14以用于无线通信。

目的地装置14可经由计算机可读媒体16接收待解码的经编码视频数据。计算机可读媒体16可包括能够将经编码视频数据从源装置12移动到目的地装置14的任一类型的媒体或装置。在一个实例中，计算机可读媒体16可包括通信媒体以使源装置12能够实时地将经编码视频数据直接发射到目的地装置14。可根据通信标准(例如，无线通信协议)调制经编码视频数据，并将其发射到目的地装置14。通信媒体可包括任何无线或有线通信媒体，例如射频(RF)频谱或一或多个物理发射线。通信媒体可形成分组网络(例如，局域网、广域网或全球网络，例如因特网)的部分。通信媒体可包含路由器、交换器、基站或可用于促进从源装置12到目的地装置14的通信的任何其它设备。

在一些实例中，经编码数据可从输出接口22输出到存储装置。类似地，经编码数据可通过输入接口从存储装置存取。存储装置可包含多种分布式或本地存取的数据存储媒体中的任一者，例如硬盘驱动器、蓝光光盘、DVD、CD-ROM、快闪存储器、易失性或非易失性存储器或用于存储经编码视频数据的任何其它合适的数字存储媒体。在另一实例中，存储装置可对应于可存储由源装置12产生的经编码视频的文件服务器或另一中间存储装置。目的地装置14可经由流式传输或下载来从存储装置存取所存储的视频数据。文件服务器可为能够存储经编码视频数据且将经编码视频数据发射到目的地装置14的任何类型的服务器。实例文件服务器包含网络服务器(例如，用于网站)、FTP服务器、网络连接存储(NAS)装置或本地磁盘驱动器。目的地装置14可通过任何标准数据连接(包含因特网连接)来存取经编码视频数据。这可包含适合于存取存储于文件服务器上的经编码视频数据的无线信道(例如，Wi-Fi连接)、有线连接(例如，DSL、电缆调制解调器等)或两者的组合。经编码视频数据从存储装置的发射可能是流式传输发射、下载发射或其组合。

本发明的技术未必限于无线应用或设定。所述技术可应用于视频译码并且支持多种多媒体应用中的任一者，例如空中协议电视广播、有线电视发射、卫星电视发射、因特网流式传输视频发射(例如基于HTTP的动态自适应流(DASH))、经编码到数据存储媒体上的数字视频，存储在数据存储媒体上的数字视频的解码，或其它应用。在一些实例中，系统10可经配置以支持单向或双向视频发射，以支持例如视频流式传输、视频播放、视频广播及/或视频电话等应用。

在图1的实例中，源装置12包含视频源18、视频编码器20及输出接口22。目的地装置14包含输入接口28、视频解码器30及显示装置32。根据本发明，源装置12的视频编码器20可经配置以应用用于执行改进假想参考解码器(HRD)参数信令的技术。在其它实例中，源装置及目的地装置可包含其它组件或布置。举例来说，源装置12可从外部视频源18(例如外部相机)接收视频数据。同样，目的地装置14可与外部显示装置介接，而非包含集成式显示装置。

如上所述，源装置12包含输出接口22并且目的地装置14包含输入接口28。在一些实例中，输出接口22表示发射器且输入接口28表示接收器。在其它实例中，输出接口22及输入接口28表示收发器的实例(即，能够无线地发射及接收数据信号的接口)。收发器可经配置以发送及接收无线信号中的视频数据。举例来说，当实施为收发器时，输出接口22可发送包含经编码视频数据的数据信号(例如，计算机可读媒体16)，而当实施为收发器时，输入接口28可接收包含经编码视频数据的数据信号(例如，计算机可读媒体16)。如上文所论述，视频编码器20可将经编码视频数据提供到输出接口22，而输入接口28可将经编码视频数据提供到视频解码器30。

图1的所说明系统10仅为一个实例。用于改进假想参考解码器(HRD)参数信令的技术可通过任何数字视频编码及/或解码装置执行。尽管本发明的技术一般通过视频编码装置来执行，但是所述技术还可通过视频编码器/解码器(通常称为“编码解码器”)来执行。此外，本发明的技术还可由视频预处理器执行。源装置12及目的地装置14仅为源装置12产生经译码视频数据用于发射到目的地装置14的此类译码装置的实例。在一些实例中，装置12、14可以实质上对称的方式操作，使得装置12、14中的每一者包含视频编码及解码组件。因此，系统10可支持视频装置12、14之间的单向或双向视频发射以例如用于视频流式传输、视频播放、视频广播或视频电话。

源装置12的视频源18可包含视频捕获装置，例如摄像机、含有先前所捕获视频的视频存档及/或用于从视频内容提供者接收视频的视频馈送接口。作为另一替代方案，视频源18可产生基于计算机图形的数据作为源视频，或直播视频、存档视频与计算机产生的视频的组合。在一些情况下，如果视频源18是摄像机，那么源装置12及目的地装置14可形成所谓的相机电话或视频电话。然而，如上文所提及，本发明中所描述的技术可大体上适用于视频译码，且可应用于无线及/或有线应用。在每一情况下，所捕获、预先捕获或计算机产生的视频可由视频编码器20进行编码。经编码视频信息可接着由输出接口22输出到计算机可读媒体16上。

计算机可读媒体16可包含瞬时媒体，例如无线广播或有线网络发射，或存储媒体(也就是说，非暂时性存储媒体)，例如硬盘、快闪驱动器、压缩光盘、数字视频光盘、蓝光光盘或其它计算机可读媒体。在一些实例中，网络服务器(未展示)可从源装置12接收经编码视频数据，并且例如经由网络发射将经编码视频数据提供到目的地装置14。类似地，媒体生产设施(例如，光盘冲压设施)的计算装置可从源装置12接收经编码视频数据且生产含有经编码视频数据的光盘。因此，在各种实例中，计算机可读媒体16可理解为包含各种形式的一或多个计算机可读媒体。

目的地装置14的输入接口28从计算机可读媒体16接收信息。计算机可读媒体16的信息可包含由视频编码器20定义的语法信息，所述语法信息还供视频解码器30使用，所述语法信息包含描述块及其它经译码单元(例如，GOP)的特性及/或处理的语法元素。显示装置32将经解码视频数据显示给用户，且可包括多种显示装置中的任一者，例如阴极射线管(CRT)、液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。

视频编码器20及视频解码器30可根据视频译码标准操作，所述视频译码标准例如是还称为ITU-T H.265的高效率视频译码(HEVC)标准。或者，视频编码器20及视频解码器30可根据其它专用或行业标准来操作，所述标准例如ITU-T H.264标准，替代地称为MPEG-4第10部分高级视频译码(AVC)，或这些标准的扩展。然而，本发明的技术不限于任何特定译码标准。视频译码标准的其它实例包含MPEG-2及ITU-T H.263。尽管图1中未展示,但在一些方面中，视频编码器20及视频解码器30可各自与音频编码器及解码器集成，且可包含适当多路复用器-多路分用器单元或其它硬件及软件以处理共同数据流或单独数据流中的音频及视频两者的编码。如果适用，则多路复用器-多路分用器单元可符合ITU H.223多路复用器协议，或例如用户数据报协议(UDP)等其它协议。

视频编码器20及视频解码器30各自可实施为多种合适的编码器电路中的任一者，例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件固件或其任何组合。当所述技术部分在软件中实施时，装置可将用于所述软件的指令存储在合适的非暂时性计算机可读媒体中，并使用一或多个处理器在硬件中执行所述指令以执行本发明的技术。视频编码器20及视频解码器30中的每一者可包含在一或多个编码器或解码器中，所述编码器或解码器中的任一者可集成为相应装置中的组合编码器/解码器(编码解码器)的一部分。

一般来说，视频帧或图片可分成也称为最大译码单元(LCU)的一系列树块，所述树块可包含明度样本及色度样本两者。位流内的语法数据可界定最大译码单位(LCU，其是就像素数目来说的最大译码单位)的大小。切片包含按译码次序的若干连续树块。视频帧或图片可被分割成一或多个切片。每个树块可根据四叉树数据结构分裂成若干译码单元(CU)。一般来说，四叉树数据结构包含每CU一个节点，其中一个根节点对应于所述树块。如果一个CU分裂成四个子CU，那么对应于CU的节点包含四个叶节点，其中的每一者对应于所述子CU中的一者。

四叉树数据结构的每一节点可提供用于对应CU的语法数据。举例来说，四叉树中的节点可包含分裂旗标，其指示对应于所述节点的所述CU是否分裂成子CU。用于CU的语法元素可递归地定义，且可取决于CU是否分裂成子CU。如果CU未进一步分裂，那么将其称作叶CU。在本发明中，叶CU的四个子CU也被称作叶CU，即使不存在原始叶CU的明确分裂。举例来说，如果16×16大小的CU未进一步分裂，那么这四个8×8子CU也被称作叶CU，虽然16×16CU从未分裂。

CU具有与H.264标准的宏块类似的目的，除了CU不具有大小区别。举例来说，树块可分裂成四个子节点(也称为子CU)，且每一子节点又可为父节点且可分裂成另外四个子节点。最后未分裂的子节点(被称作四叉树的叶节点)包括译码节点，也被称作叶CU。与经译码位流相关联的语法数据可定义树块可分裂的最大次数，被称作最大CU深度，且还可定义译码节点的最小大小。因此，位流还可界定最小译码单元(SCU)。本发明使用术语“块”来在HEVC的上下文中指代CU、预测单元(PU)或变换单元(TU)中的任一者，或在其它标准(例如，H.264/AVC中的其宏块及子块)的上下文中指代类似数据结构。

CU包含译码节点及与所述译码节点相关联的预测单元(PU)及变换单元(TU)。CU的大小对应于译码节点的大小，且通常为正方形形状。CU的大小可在从8×8像素到具有最大大小64×64像素或更大的树块大小的范围内。每一CU可含有一或多个PU及一或多个TU。举例来说，与CU相关联的语法数据可描述CU分割成一或多个PU。分割模式可在CU被跳过还是经直接模式编码、帧内预测模式编码或帧间预测模式编码之间不同。PU可分割成非正方形形状。举例来说，与CU相关联的语法数据还可描述CU根据四叉树到一或多个TU的分割。TU可为正方形或非正方形(例如，矩形)形状。

HEVC标准允许根据TU变换，TU可针对不同CU而有所不同。TU的大小通常是基于针对经分割LCU定义的给定CU内的PU大小而确定，但是情况可能并不总是如此。TU通常与PU大小相同或小于PU。在一些实例中，对应于CU的残余样本可使用被称为“残余四叉树”(RQT)的四叉树结构细分成较小单元。RQT的叶节点可被称为变换单元(TU)。可变换与TU相关联的像素差值以产生变换系数，所述变换系数可经量化。

叶CU可包含一或多个PU。一般来说，PU表示对应于所述对应CU的全部或一部分的空间区域，且PU可包含用于对于PU检索及/或产生参考样本的数据。此外，PU包含与预测有关的数据。举例来说，当PU经帧内模式编码时，用于PU的数据可包含在残余四叉树(RQT)中，残余四叉树可包含描述用于对应于PU的TU的帧内预测模式的数据。RQT也可被称为变换树。在一些实例中，可在叶CU语法，而不是RQT中用信号表示帧内预测模式。作为另一实例，当PU经帧间模式编码时，PU可包括界定PU的运动信息(例如，一或多个运动向量)的数据。界定PU的运动向量的数据可描述(举例来说)运动向量的水平分量、运动向量的垂直分量、运动向量的分辨率(例如，四分之一像素精度或八分之一像素精度)、运动向量所指向的参考图片，及/或运动向量的参考图片列表(例如，列表0、列表1或列表C)。

具有一或多个PU的叶CU还可包含一或多个TU。变换单元可使用RQT(也被称为TU四叉树结构)来指定，如上文所论述。举例来说，分裂旗标可指示叶CU是否分裂成四个变换单元。接着，每一变换单元可进一步分裂成更多个子TU。当TU未进一步分裂时，其可被称为叶TU。一般来说，对于帧内译码，属于一叶CU的所有叶TU共享相同的帧内预测模式。也就是说，一般应用相同的帧内预测模式来计算叶CU的所有TU的预测值。对于帧内译码，视频编码器可使用帧内预测模式计算每一叶TU的残余值，作为CU的对应于TU的部分与原始块之间的差。TU不一定限于PU的大小。因此，TU可大于或小于PU。对于帧内译码，PU可与相同CU的对应叶TU处于相同位置。在一些实例中，叶TU的最大大小可对应于对应叶CU的大小。

此外，叶CU的TU还可与相应四叉树数据结构相关联，所述相应四叉树数据结构如上所述被称为残余四叉树(RQT)或变换树。也就是说，叶CU可包含指示叶CU如何分割成TU的四叉树。TU四叉树的根节点一般对应于叶CU，而CU四叉树的根节点一般对应于树块(或LCU)。未经分裂的RQT的TU被称为叶TU。一般来说，本发明分别使用术语CU及TU来指代叶CU及叶TU，除非另有指出。

视频序列通常包含一系列视频帧或图片。图片群组(GOP)一般包括一系列一或多个视频图片。GOP可包含GOP的标头、图片中的一或多者的标头或其它处的语法数据，其描述GOP中所包含的多个图片。图片的每一切片可包含描述用于相应切片的编码模式的切片语法数据。视频编码器20通常对个别视频切片内的视频块进行操作以便对视频数据进行编码。视频块可对应于CU内的译码节点。视频块可具有固定或变化的大小，并且根据指定译码标准可在大小上有所不同。

作为实例，可针对不同大小的PU执行预测。假设特定CU的大小是2N×2N，那么可在2N×2N或N×N的PU大小上执行帧内预测并且可在2N×2N、2N×N、N×2N或N×N的对称PU大小上执行帧间预测。还可针对2N×nU、2N×nD、nL×2N及nR×2N的PU大小执行帧间预测的不对称分割。在不对称分割中，不分割CU的一个方向，但是将另一方向分割成25％及75％。CU的对应于25％分区的部分通过“n”后接续“上”、“下”、“左”或“右”的指示来指示。因此，举例来说，“2N×nU”是指水平地分割的2N×2N CU，其中顶部为2N×0.5N PU，而底部为2N×1.5N PU。

在本发明中，“N×N”及“N乘N”可互换使用以指依据垂直尺寸及水平尺寸来说的视频块的像素尺寸，例如，16×16像素或16乘16像素。一般来说，16×16块在垂直方向上具有16个像素(y＝16)，且在水平方向上具有16个像素(x＝16)。同样，NxN块一般在垂直方向上具有N个像素，并且在水平方向上具有N个像素，其中N表示非负整数值。块中的像素可布置成行及列。此外，块未必需要在水平方向上与在垂直方向上具有相同数目个像素。举例来说，块可包括N×M个像素，其中M未必等于N。

在使用CU的PU进行帧内预测性或帧间预测性译码之后，视频编码器20可计算用于CU的TU的残余数据。PU可包括描述在空间域(还被称为像素域)中产生预测性像素数据的方法或模式的语法数据，并且TU可包括在对残余视频数据应用变换(例如，离散余弦变换(DCT)、整数变换、小波变换或概念上类似的变换)之后在变换域中的系数。所述残余数据可对应于未经编码图片的像素与对应于PU的预测值之间的像素差。视频编码器20可形成TU以包含表示CU的残余数据的经量化变换系数。也就是说，视频编码器20可计算残余数据(采用残余块的形式)、变换残余块以产生变换系数的块，且接着量化变换系数以形成经量化变换系数。视频编码器20可形成包含经量化变换系数的TU，以及其它语法信息(例如，TU的分裂信息)。

如上所述，在任何变换以产生变换系数后，视频编码器20可执行变换系数的量化。量化大体上指代对变换系数进行量化以可能减少用于表示系数的数据量从而提供进一步压缩的过程。量化过程可减少与系数中的一些或全部相关联的位深度。举例来说，n位值可在量化期间被下舍入到m位值，其中n大于m。

在量化之后，视频编码器20可扫描变换系数，从而从包含经量化变换系数的二维矩阵产生一维向量。扫描可经设计以将较高能量(并且因此较低频率)的系数放置在阵列的前面，并且将较低能量(并且因此较高频率)的系数放置在阵列的背面。在一些实例中，视频编码器20可利用预定义扫描次序来扫描经量化变换系数以产生可被熵编码的串行化向量。在其它实例中，视频编码器20可执行自适应扫描。在扫描经量化变换系数以形成一维向量之后，视频编码器20可例如根据上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵编码方法来对一维向量进行熵编码。视频编码器20也可对与经编码视频数据相关联的语法元素进行熵编码以供视频解码器30在解码视频数据时使用。

为了执行CABAC，视频编码器20可向待发射的符号指派上下文模型内的上下文。上下文可涉及(举例来说)符号的相邻值是否为非零。为了执行CAVLC，视频编码器20可选择用于待发射的符号的可变长度码。VLC中的码字可经构造使得相对较短码对应于更有可能符号，而较长码对应于不太可能符号。以此方式，使用VLC可例如实现优于针对待发射的每一符号使用等长度码字的位节省。概率确定可基于指派到符号的上下文。

一般来说，视频解码器30执行尽管与由视频编码器20执行的过程互逆但与其实质上类似的过程，以对经编码数据进行解码。举例来说，视频解码器30逆量化且逆变换所接收TU的系数以再生残余块。视频解码器30使用用信号表示的预测模式(帧内预测或帧间预测)以形成预测块。随后视频解码器30(在逐像素基础上)使预测块与残余块组合以再生原始块。可执行额外处理，例如执行解块过程以减少沿块边界的视觉假影。此外，视频解码器30可通过尽管与视频编码器20的CABAC编码过程互逆但与其实质上类似的方式使用CABAC来解码语法元素。

根据本发明的技术的一个实例，视频译码器(例如，视频编码器20或视频解码器30)可经配置以对视频参数集(VPS)中的视频可用信息(VUI)(包含假想参考解码器(HRD)参数)进行译码。以下表1描述根据本发明的某些技术的用于HRD参数的实例VPS VUI字节序列有效负载(BSP)。在表1中，斜体文本指示相对于在JCTVC-R0010v2的变型2附件中描述的数据结构的添加，而使用括号及“移除：”识别的文本(举例来说，[removed:“example removed text”])表示从JCTVC-R0010v2的变型2附件中描述的数据结构的移除。

表1

下文描述表1的语法元素的实例语义。下文不另外论述的不变语法元素可保持如JCTVC-R0010v2的变型2附件中描述的语义。同样，斜体文本表示添加，而[removed:“”]表示删除。

vps_num_add_hrd_params[removed:“parameter”]指定存在于VPS中的额外hrd_parameters()语法结构的数目。vps_num_add_hrd_params[removed:“parameter”]的值应在0至1024-vps_num_hrd_parameters(包含性)的范围内。

等于1的cprms_add_present_flag[i]指定对于所有子层共同的HRD参数存在于第i hrd_parameters()语法结构中。等于0的cprms_add_present_flag[i]指定对于所有子层共同的HRD参数不存在于第i hrd_parameters()语法结构中，且经导出为与第(i-1)hrd_parameters()语法结构相同。

num_sub_layer_hrd_minus1[i]加上1指定第i hrd_parameters()语法结构中的fixed_pic_rate_general_flag[]语法元素的数目。num_sub_layer_hrd_minus1[i]的值应在0至vps_max_sub_layers_minus1(包含性)的范围内。

等于1的bsp_hrd_params[removed:“parameter”]_present_flag[h][i]指定对于第h OLS的第i分割方案的所有位流分区存在HRD参数。等于0的bsp_hrd_params[removed:“parameter”]_present_flag[h][i]指定对于第h OLS的第i分割方案的任何位流分区不存在HRD参数。

当HighestTid等于t时，num_bsp_schedules[removed:“sched_combinations”]_minus1[h][i][t]加上1指定针对第h OLS的第i分割方案的位流分区指定的[removed:“combination of”]传递进度[removed:“and hrd_parameters()”]的数目。num_bsp_schedules_minus1[h][i][t]的值应在0至31(包含性)的范围内。

可变[removed:“SchedCombCnt”]BspSchedCnt[h][i][t]设定成等于num_bsp_schedules[removed:“sched_combinations”]_minus1[h][i][t]+1。

当HighestTid等于t时，bsp[removed:“_comb”]_hrd_idx[h][i][t][j][k]指定针对第h OLS的第i分割方案的第k位流分区指定的第j[removed:“combination of a”]传递进度[removed:“and hrd_parameters()”]的VPS中的hrd_parameters()语法结构的索引。bsp[removed:“_comb”]_hrd_idx[h][i][t][j][k]语法元素的长度是Ceil(Log2(vps_num_hrd_parameters+vps_num_add_hrd_params[removed:“parameter”]))位。bsp[removed:“_comb”]_hrd_idx[h][i][t][j][k]的值应在0至vps_num_hrd_parameters+vps_num_add_hrd_params[removed:“parameter”]-1(包含性)的范围内。

当HighestTid等于t时，bsp[removed:“_comb”]_sched_idx[h][i][t][j][k]指定具有索引bsp[removed:“_comb”]_hrd_idx[h][i][t][j][k]的hrd_parameters(t)语法结构的sub_layer_hrd_parameters(t)[removed:“hrd_parameters()”]语法结构内的[removed:“a”]传递进度的索引，也就是说，将[removed:“in”]用作针对第h OLS的第i分割方案的第k位流分区指定的第[removed:“combination of a”]传递进度[removed:“hrd_parameters()”]。bsp[removed:“_comb”]_sched_idx[h][i][t][j][k]的值应在0至cpb_cnt_minus1[t[removed:“HighestTid”]](包含性)的范围内，其中cpb_cnt_minus1[t[removed:“HighestTid”]]存在于来自与索引bsp[removed:“_comb”]_hrd_idx[h][i][t][j][k]对应的hrd_parameters()语法结构的sub_layer_hrd_parameters(t[removed:“HighestTid”])语法结构中。

根据HEVC，其它常规HRD参数也可在HRD参数语法结构中用信号表示，但未必在以上表1中展示。举例来说，HRD参数可包含fixed_pic_rate_within_cvs_flag[i]，其中HEVC将语义定义为：

等于1的fixed_pic_rate_within_cvs_flag[i]指示当HighestTid等于i时，在连续图片按输出次序的HRD输出时间之间的时间距离如下文所指定受约束。等于0的fixed_pic_rate_within_cvs_flag[i]指示此限制可能不适用。

HRD参数还可包含elemental_duration_in_tc_minus1[i]语法元素，其中HEVC将语义定义为：

elemental_duration_in_tc_minus1[i]加上1(当存在时)指定当HighestTid等于i时在基本单元之间以时钟滴答计的时间距离，所述基本单元指定如下文所指定的连续图片按输出次序的HRD输出时间。elemental_duration_in_tc_minus1[i]的值应在0至2047(包含性)的范围内。

HRD参数还可包含low_delay_hrd_flag[i]语法元素，其中HEVC将语义定义为：

当HighestTid等于i时，low_delay_hrd_flag[i]指定HRD操作模式，如在附件C中所指定。当不存在时，推断low_delay_hrd_flag[i]的值等于0。

在表1的实例中，num_sub_layer_hrd_minus1[i]表示指示其中对假想参考解码器(HRD)参数进行译码的位流的多个子层的语法元素的实例。其中对HRD参数进行译码的子层的数目可小于或等于由位流的视频参数集(VPS)指示的子层的最大数目。因此，视频译码器可对用于如由语法元素的值指示的子层数目的HRD参数进行译码，且随后使用HRD参数处理位流。举例来说，视频编码器20及视频解码器30可根据HRD参数清除来自经解码图片缓冲器的图片。此外，目的地装置14可使用显示装置32显示从经解码图片缓冲器清除的图片。

如还在表1的实例中所示，视频译码器可对用于包含在多层位流中的每个子层的HRD参数的集合进行译码。在表1中，由“for(t＝0；t<＝MaxSubLayersInLayerSetMinus1[OlsIdxToLsIdx[i]]；t++)”指示的环路表示在包含在特定层集合中的多个子层上的环路，所述环路针对可用输出层集合中的每一者执行。在此环路内，用信号表示HRD参数的索引(bsp_hrd_idx)。因此，这是用于对与位流子层的数目相等的多个HRD参数进行译码的一个实例技术。具体而言，存在HRD参数与每个位流分区(即，每个输出层集合)的多个子层之间的一对一映射。

此外，视频译码器(例如，视频编码器20或视频解码器30)可经配置以根据以下表2的实例数据结构对指示位流分区初始到达时间的信息进行译码(分别编码或解码)。表2表示相对于JCTVC-R0010v2的变型2附件变化的位流分区初始到达时间SEI消息的实例。同样，斜体文本表示添加并且[removed:“”]表示删除。

表2

下文描述用于表2的语法元素的实例语义。下文不另外论述的不变语法元素可保持如JCTVC-R0010v2的变型2附件中描述的语义。同样，斜体文本表示添加，而[removed:“”]表示删除。

位流分区初始到达时间SEI消息指定将在位流分区特定的CPB操作中使用的初始到达时间。

当存在时，此SEI消息应容纳在包含于可缩放嵌套SEI消息中的位流分区嵌套SEI消息内，并且相同位流分区嵌套SEI消息还应包含缓冲周期SEI消息。

以下适用于位流分区嵌套SEI消息语法及语义：

-语法元素initial_cpb_removal_delay_length_minus1及变量NalHrdBpPresentFlag及VclHrdBpPresentFlag存在于或源自存在于hrd_parameters()语法结构的语法元素中，所述hrd_parameters()语法结构可适用于位流分区嵌套SEI消息所应用的操作点中的至少一者。

[removed:

假设针对在0到SchedCombCnt[sei_ols_idx][sei_partitioning_scheme_idx](包含性)的范围内的i，hrdParamIdx[i]等于bsp_comb_hrd_idx[olsIdx][partitioningSchemeIdx][i][bspIdx]的值，其中olsIdx、partitioningSchemeIdx及bspIdx分别等于含有此位流分区初始到达时间SEI消息的位流分区嵌套SEI消息的sei_ols_idx、sei_partitioning_scheme_idx及bsp_idx。假设initialCpbRemovalDelayLength[i]等于initial_cpb_removal_delay_length_minus1+1，其中initial_cpb_removal_delay_length_minus1存在于作用中VPS中的第hrdParamIdx[i]hrd_parameters()语法结构中。

当使用NAL HRD参数时，nal_initial_arrival_delay[i]指定此SEI消息所应用的位流分区的第i传递进度[removed:“combination”]的初始到达时间。nal_initial_arrival_delay[i]语法元素的长度(以位为单位)等于initial_cpb_removal_delay_length_minus1+1[removed:“initialCpbRemovalDelayLength[i]”]。

当使用VCL HRD参数时，vcl_initial_arrival_delay[i]指定此SEI消息所应用的位流分区的第i传递进度[removed:“combination”]的初始到达时间。vcl_initial_arrival_delay[i]语法元素的长度(以位为单位)等于initial_cpb_removal_delay_length_minus1+1[removed:“initialCpbRemovalDelayLength[i]”]。

下文例如相对于表3及4论述这些技术的额外实例。表3表示表1的实例的替代方案，而表4表示表4的实例的替代方案。同样，相对于JCTVC-R0010v2的变型2附件示出差，其中斜体文本表示添加且[removed:“”]表示删除。

表3

下文描述用于表3的语法元素的实例语义。下文不另外论述的不变语法元素可保持如JCTVC-R0010v2的变型2附件中描述的语义。同样，斜体文本表示添加，而[removed:“”]表示删除。

vps_num_add_hrd_params[removed:“parameters”]指定存在于VPS中的额外hrd_parameters()语法结构的数目。vps_num_add_hrd_params[removed:“parameters”]的值应在0至1024-vps_num_hrd_parameters(包含性)的范围内。

等于1的cprms_add_present_flag[i]指定所有子层共用的HRD参数存在于第i hrd_parameters()语法结构中。等于0的cprms_add_present_flag[i]指定所有子层共用的HRD参数不存在于第i hrd_parameters()语法结构中并且被导出为与第(i-1)hrd_parameters()语法结构相同。

num_sub_layer_hrd_minus1[i]加上1指定第i hrd_parameters()语法结构中的fixed_pic_rate_general_flag[]语法元素的数目。num_sub_layer_hrd_minus1[i]的值应在0至vps_max_sub_layers_minus1(包含性)的范围内。

等于1的bsp_hrd_params[removed:“parameters”]_present_flag[h][i]指定对于第h OLS的第i分割方案的所有位流分区存在HRD参数。等于0的bsp_hrd_params[removed:“parameters”]_present_flag[h][i]指定对于第h OLS的第i分割方案的任何位流分区不存在HRD参数。

[removed:“num_bsp_sched_combinations_minus1[h][i]加上1指定针对第h OLS的第i分割方案的位流分区指定的传递进度及hrd_parameters()的组合的数目。[Ed.MH)：添加此语法元素的容许值距离。]”]

[removed:“变量SchedCombCnt[h][i]设定成等于num_bsp_sched_combinations_minus1[h][i]+1。”]

bsp[removed:“_comb”]_hrd_idx[h][i][removed:“[j]”][k]指定用于第h OLS[removed:“”]的第i分割方案的[removed:“j-th combination of a delivery schedule and hrd_parameters()specified for the”]第k位流分区的VPS中的hrd_parameters()语法结构的索引。bsp[removed:“_comb”]_hrd_idx[h][i][removed:“[j]”][k]语法元素的长度是Ceil(Log2(vps_num_hrd_parameters+vps_num_add_hrd_params[removed:“parameters”]))位。bsp[removed:“_comb”]_hrd_idx[h][i][removed:“[j]”][k]的值应在0至vps_num_hrd_parameters+vps_num_add_hrd_params[removed:“parameters”]-1(包含性)的范围内。

[removed:“bsp_comb_sched_idx[h][i][j][k]指定具有在针对用于第h OLS的第i分割方案的第k位流分区指定的传递进度及hrd_parameters()的第j组合中使用的索引bsp_comb_hrd_idx[h][i][j][k]的hrd_parameters()语法结构内的传递进度的索引。bsp_comb_sched_idx[h][i][j][k]的值应在0至cpb_cnt_minus1[HighestTid](包含性)的范围内，其中cpb_cnt_minus1[HighestTid]存在于来自对应于索引bsp_comb_hrd_idx[h][i][j][k]的hrd_parameters()语法结构的sub_layer_hrd_parameters(HighestTid)语法结构中。[Ed.(YK)：“sub_layer_hrd_parameters(HighestTid)”及“sub_layer_hrd_parameters()”的两个形式用于文献中以参考语法结构。检查始终仅使用其中一个是否将更佳。]”]

HEVC指定fixed_pic_rate_general_flag[i]的以下语义：等于1的fixed_pic_rate_general_flag[i]指示当HighestTid等于i时，连续图片按输出次序的HRD输出时间之间的时间距离如下文所指定受约束。等于0的fixed_pic_rate_general_flag[i]指示此限制可能不适用。

在表3的实例中，num_sub_layer_hrd_minus1[i]表示指示其中对假想参考解码器(HRD)参数进行译码的位流的多个子层的语法元素的实例。其中对HRD参数进行译码的子层的数目可小于或等于由位流的视频参数集(VPS)指示的子层的最大数目。因此，视频译码器可对用于如由语法元素的值指示的子层数目的HRD参数进行译码，且随后使用HRD参数处理位流。举例来说，视频编码器20及视频解码器30可根据HRD参数清除来自经解码图片缓冲器的图片。此外，目的地装置14可使用显示装置32显示从经解码图片缓冲器清除的图片。

表3还表示另一实例技术，视频译码器可通过所述技术对包含于多层位流中的每个子层的HRD参数的集合进行译码。对照表1中所示的技术，表3的实例仅包含用信号表示包含于位流分区中的子层集合的hrd_parameters()语法结构的列表的索引。

表4

下文描述用于表4的语法元素的实例语义。下文不另外论述的不变语法元素可保持如JCTVC-R0010v2的变型2附件中描述的语义。同样，斜体文本表示添加，而[removed:“”]表示删除。

位流分区初始到达时间SEI消息指定将在位流分区特定的CPB操作中使用的初始到达时间。

当存在时，此SEI消息应容纳在包含于可缩放嵌套SEI消息中的位流分区嵌套SEI消息内，并且相同位流分区嵌套SEI消息还应包含缓冲周期SEI消息。

以下适用于位流分区嵌套SEI消息语法及语义：

-语法元素initial_cpb_removal_delay_length_minus1及变量NalHrdBpPresentFlag及VclHrdBpPresentFlag存在于或源自存在于hrd_parameters()语法结构的语法元素中，所述hrd_parameters()语法结构可适用于位流分区嵌套SEI消息所应用的操作点中的至少一者。

[removed:

假设针对在0至SchedCombCnt[sei_ols_idx][sei_partitioning_scheme_idx](包含性)的范围内的i，hrdParamIdx[i]等于bsp_comb_hrd_idx[olsIdx][partitioningSchemeIdx][i][bspIdx]的值，其中olsIdx、partitioningSchemeIdx及bspIdx分别等于含有此位流分区初始到达时间SEI消息的位流分区嵌套SEI消息的sei_ols_idx、sei_partitioning_scheme_idx及bsp_idx。假设initialCpbRemovalDelayLength[i]等于initial_cpb_removal_delay_length_minus1+1，其中initial_cpb_removal_delay_length_minus1存在于作用中VPS中的第hrdParamIdx[i]hrd_parameters()语法结构中。

当使用NAL HRD参数时，nal_initial_arrival_delay[i]指定此SEI消息所应用的位流分区的第i传递进度[removed:“combination”]的初始到达时间。nal_initial_arrival_delay[i]语法元素的长度(以位为单位)等于initial_cpb_removal_delay_length_minus1+1[removed:“initialCpbRemovalDelayLength[i]”]。

当使用VCL HRD参数时，vcl_initial_arrival_delay[i]指定此SEI消息所应用的位流分区的第i传递进度[removed:“combination”]的初始到达时间。vcl_initial_arrival_delay[i]语法元素的长度(以位为单位)等于initial_cpb_removal_delay_length_minus1+1[removed:“initialCpbRemovalDelayLength[i]”]。

视频编码器20可进一步例如在帧标头、块标头、切片标头或GOP标头中将例如基于块的语法数据、基于帧的语法数据及基于GOP的语法数据等的语法数据发送到视频解码器30。GOP语法数据可描述相应GOP中的多个帧，并且帧语法数据可指示用于对对应帧进行编码的编码/预测模式。

视频编码器20及视频解码器30各自可实施为多种合适的编码器或解码器电路(可适用的)中的任一者，例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑电路、软件、硬件、固件或其任何组合。视频编码器20及视频解码器30中的每一者可包含在一或多个编码器或解码器中，所述编码器或解码器中的任一者可集成为组合式视频编码器/解码器(编解码器)的一部分。包含视频编码器20及/或视频解码器30的装置可包括集成电路、微处理器及/或无线通信装置，例如，蜂窝式电话。

图2是说明可实施用于改进假想参考解码器(HRD)参数信令的技术的视频编码器20的实例的框图。视频编码器20可执行视频切片内的视频块的帧内及帧间译码。帧内译码依赖于空间预测来减少或清除给定视频帧或图片内的视频中的空间冗余。帧间译码依靠时间预测来减少或清除视频序列的邻近帧或图片内的视频中的时间冗余。帧内模式(I模式)可指代若干基于空间的译码模式中的任一者。例如单向预测(P模式)或双向预测(B模式)等的帧间模式可指代若干基于时间的译码模式中的任一者。

如图2中所示，视频编码器20接收待编码的视频帧内的当前视频块。在图2的实例中，视频编码器20包含模式选择单元40、参考图片存储器64(也可被称为经解码图片缓冲器(DPB))、求和器50、变换处理单元52、量化单元54及熵编码单元56。模式选择单元40又包含运动补偿单元44、运动估计单元42、帧内预测单元46及分割单元48。对于视频块重构，视频编码器20还包含逆量化单元58、逆变换单元60及求和器62。还可包含解块滤波器(图2中未展示)以便对块边界进行滤波，以从经重构视频清除成块性假影。在需要时，解块滤波器将通常对求和器62的输出进行滤波。除了解块滤波器外，还可使用额外滤波器(环路中或环路后)。为简洁起见，未展示此类滤波器，但是必要时，此类滤波器可对求和器50的输出进行滤波(作为环路内滤波器)。

在编码过程期间，视频编码器20接收待译码的视频帧或切片。所述帧或切片可划分成多个视频块。运动估计单元42及运动补偿单元44执行所接收视频块相对于一或多个参考帧中的一或多个块的帧间预测性编码以提供时间预测。帧内预测单元46可替代地执行所接收视频块相对于与待译码块相同的帧或切片中的一或多个相邻块的帧内预测性编码以提供空间预测。视频编码器20可执行多个译码遍次，例如，为了为每一视频数据块选择适当的译码模式。

此外，分割单元48可基于先前译码遍次中的先前分割方案的评估将视频数据块分割成子块。举例来说，分割单元48最初可将帧或切片分割成LCU，并且基于速率失真分析(例如，速率失真优化)将LCU中的每一者分割成子CU。模式选择单元40可进一步产生指示将LCU分割成子CU的四叉树数据结构。四叉树的叶节点CU可包含一或多个PU及一或多个TU。

模式选择单元40可选择预测模式(帧内或帧间)中的一者(例如，基于错误结果)，且将所得预测块提供到求和器50以产生残余数据且提供到求和器62以重构经编码块以用作参考帧。模式选择单元40还将语法元素(例如，运动向量、帧内模式指示符、分割信息及其它此类语法信息)提供到熵编码单元56。

运动估计单元42及运动补偿单元44可高度集成，但出于概念的目的分别加以说明。运动估计单元42执行的运动估计是产生运动向量的过程，所述过程估计视频块的运动。举例来说，运动向量可指示当前视频帧或图片内的视频块的PU相对于参考帧(或其它经译码单元)内的预测性块相对于当前帧(或其它经译码单元)内正被译码的当前块的位移。预测性块是被发现在像素差方面与待译码块紧密匹配的块，像素差可通过绝对差总和(SAD)、平方差总和(SSD)或其它差度量来确定。在一些实例中，视频编码器20可计算存储于参考图片存储器64中的参考图片的次整数像素位置的值。举例来说，视频编码器20可内插参考图片的四分之一像素位置、八分之一像素位置或其它分数像素位置的值。因此，运动估计单元42可相对于全像素位置及分数像素位置执行运动搜索并且输出具有分数像素精确度的运动向量。

运动估计单元42通过比较PU的位置与参考图片的预测性块的位置来计算用于经帧间译码切片中的视频块的PU的运动向量。参考图片可选自第一参考图片列表(列表0)或第二参考图片列表(列表1)，其中的每一者识别存储在参考图片存储器64中的一或多个参考图片。运动估计单元42向熵编码单元56及运动补偿单元44发送计算出的运动向量。

由运动补偿单元44执行的运动补偿可涉及基于由运动估计单元42确定的运动向量来提取或产生预测性块。同样，在一些实例中，运动估计单元42与运动补偿单元44可在功能上整合。在接收到当前视频块的PU的运动向量后，运动补偿单元44可在参考图片列表中的一者中定位所述运动向量指向的预测性块。求和器50通过从正经译码的当前视频块的像素值减去预测性块的像素值从而形成像素差值来形成残余视频块，如下文所论述。一般来说，运动估计单元42相对于明度分量执行运动估计，并且运动补偿单元44对于色度分量及明度分量两者使用基于明度分量计算的运动向量。模式选择单元40还可产生与视频块及视频切片相关联的语法元素以供视频解码器30在解码视频切片的视频块时使用。

作为如上文所描述由运动估计单元42及运动补偿单元44执行的帧间预测的替代方案，帧内预测单元46可对当前块进行帧内预测。具体来说，帧内预测单元46可确定用于对当前块进行编码的帧内预测模式。在一些实例中，帧内预测单元46可例如在单独编码遍次期间使用各种帧内预测模式对当前块进行编码，并且帧内预测单元46(或在一些实例中为模式选择单元40)可从测试模式中选择适当帧内预测模式来使用。

举例来说，帧内预测单元46可使用速率-失真分析计算针对各种测试帧内预测模式的速率-失真值，且从所述测试模式当中选择具有最佳速率失真特性的帧内预测模式。速率失真分析一般确定经编码块与经编码以产生所述经编码块的原始未经编码块之间的失真(或误差)的量，以及用于产生经编码块的位速率(也就是说，位数目)。帧内预测单元46可根据用于各种经编码块的失真及速率计算比率，以确定哪一帧内预测模式对于所述块展现最佳速率-失真值。

在选择用于块的帧内预测模式后，帧内预测单元46可将指示用于块的选定帧内预测模式的信息提供到熵编码单元56。熵编码单元56可对指示选定帧内预测模式的信息进行编码。视频编码器20在所发射的位流中可包含配置数据，其可包含多个帧内预测模式索引表及多个经修改的帧内预测模式索引表(也称为码字映射表)，对用于各种块的上下文进行编码的定义，及对最可能帧内预测模式、帧内预测模式索引表及经修改的帧内预测模式索引表的指示以用于所述上下文中的每一者。

视频编码器20通过从正译码的原始视频块减去来自模式选择单元40的预测数据而形成残余视频块。求和器50表示执行此减法运算的一或多个组件。变换处理单元52将例如离散余弦变换(DCT)或概念上类似的变换等变换应用于残余块，从而产生包括变换系数值的视频块。可使用小波变换、整数变换、子频带变换、离散正弦变换(DST)或其它类型的变换来替代DCT。在任何情况下，变换处理单元52将变换应用于残余块，从而产生变换系数块。所述变换可将残余信息从像素域转换到变换域，例如频域。变换处理单元52可将所得变换系数发送到量化单元54。量化单元54量化变换系数以进一步减小位速率。量化过程可减少与系数中的一些或全部相关联的位深度。可通过调整量化参数来修改量化的程度。

在量化之后，熵编码单元56扫描经量化变换系数并且对所述经量化变换系数进行熵编码。举例来说，熵编码单元56可执行上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵译码技术。在基于上下文的熵译码的情况下，上下文可基于相邻块。在熵编码单元56进行熵译码之后，可将经编码位流发射到另一装置(例如，视频解码器30)，或者将所述经编码位流存档以用于稍后发射或检索。

逆量化单元58及逆变换单元60分别应用逆量化及逆变换以重构像素域中的残余块。具体而言，求和器62将经重构残余块添加到先前由运动补偿单元44或帧内预测单元46产生的运动补偿预测块以产生经重构视频块，以供存储在参考图片存储器64中。经重构视频块可由运动估计单元42及运动补偿单元44用作参考块以对后续视频帧中的块进行帧间译码。

视频编码器20一般使用上述过程来对经译码视频序列中的每个图片的每个块进行编码。另外，在一些实例中，视频编码器20可确定向其指派图片中的每一者的时间层。此外，视频编码器20可经配置以对其它层的图片(例如，其它视图、可伸缩视频译码层等)进行编码。在任何情况下，视频编码器20可进一步对指示一层或多层(例如，具有各种视频维度)中每个图片所属的层的数据进行编码。

根据本发明的技术，视频编码器20还可对其它数据结构进行编码，例如包含(举例来说)视频参数集(VPS)、序列参数集(SPS)、图片参数集(PPS)、辅助增强信息(SEI)消息等的参数集。根据本发明的技术，视频编码器20可对包含相对于以上表1或3描述的信息的VPS及/或包含相对于以上表2或4描述的信息的SEI消息进行编码。

举例来说，视频编码器20可对指示其中对假想参考解码器(HRD)参数(例如，包含在VPS中)进行编码的位流的多个子层的语法元素的值进行编码。根据本发明的技术，视频编码器20可对位流的分区的每个子层的HRD参数进行编码，但与分区的子层相比避免对更多HRD参数进行译码。因此，分区的HRD参数数据结构的数目可小于如VPS中所指示的子层的最大数目。此外，视频编码器20可使用HRD参数处理位流的数据。举例来说，视频编码器20可根据在HRD参数中用信号表示的数据舍弃来自参考图片存储器64的经解码图片。

作为可为除了上述实例之外的或上述实例的替代方案的另一实例，如果且仅当VclHrdBpPresentFlag等于1(即，具有真值)时，视频编码器20可对表示视频译码层HRD参数的初始到达延迟的语法元素进行编码。根据H.265，VclHrdBpPresentFlag的值如下设定：

-如果以下条件中的一或多者为真，那么将VclHrdBpPresentFlag的值设定成等于1：

-vcl_hrd_parameters_present_flag存在于位流中并且等于1。

-以本说明书中未指定的方式通过应用确定对存在于缓冲周期SEI消息中的位流中的VCL HRD操作的缓冲周期的存在的需求。

-否则，将VclHrdBpPresentFlag的值设定成等于0。

因此，根据本发明的技术，如果且仅当在位流中对视频译码层(VCL)HRD参数中的至少一者进行译码时或当确定在位流中需要VCL HRD操作的缓冲周期信息时，视频编码器20可对表示视频译码层HRD参数的初始到达延迟的语法元素进行编码。

以此方式，图2的视频编码器20表示经配置以：对指示其中对假想参考解码器(HRD)参数进行译码的位流的多个子层的语法元素的值进行编码，其中指示其中对HRD参数进行译码的子层的数目的值小于由位流的视频参数集(VPS)指示的子层的最大数目；对用于如由语法元素的值指示的子层数目的HRD参数进行译码；及使用HRD参数处理位流的视频编码器的实例。

此外，视频编码器20表示经配置以仅当在位流中对视频译码层(VCL)HRD参数中的至少一者进行译码时或当确定在位流中需要VCL HRD操作的缓冲周期信息时，对位流分区初始到达时间辅助增强信息(SEI)消息的初始到达延迟语法元素进行编码的视频编码器的实例。也就是说，视频编码器20表示经配置以仅当VclHrdBpPresentFlag具有真值时，对位流分区初始到达时间辅助增强信息(SEI)消息的初始到达延迟语法元素进行编码的视频编码器的实例。

图3是说明可实施用于改进假想参考解码器(HRD)参数信令的技术的视频解码器30的实例的框图。在图3的实例中，视频解码器30包含熵解码单元70、运动补偿单元72、帧内预测单元74、逆量化单元76、逆变换单元78、参考图片存储器82及求和器80。在一些实例中，视频解码器30可执行一般与关于视频编码器20(图2)描述的编码遍次互逆的解码遍次。运动补偿单元72可基于从熵解码单元70接收的运动向量产生预测数据，而帧内预测单元74可基于从熵解码单元70接收的帧内预测模式指示符产生预测数据。

在解码过程期间，视频解码器30从视频编码器20接收表示经编码视频切片的视频块及相关联的语法元素的经编码视频位流。视频解码器30的熵解码单元70对位流进行熵解码以产生经量化系数、运动向量或帧内预测模式指示符及其它语法元素。熵解码单元70将运动向量及其它语法元素转发到运动补偿单元72。视频解码器30可在视频切片层级及/或视频块层级接收语法元素。

当视频切片经译码为经帧内译码(I)切片时，帧内预测单元74可基于用信号表示的帧内预测模式及来自当前帧或图片的先前经解码块的数据产生用于当前视频切片的视频块的预测数据。当视频帧经译码为经帧间译码(例如，B、P或GPB)切片时，运动补偿单元72基于从熵解码单元70接收的运动向量及其它语法元素产生用于当前视频切片的视频块的预测性块。可从参考图片列表中的一者内的参考图片中的一者产生预测性块。视频解码器30可基于存储在参考图片存储器82中的参考图片使用默认构造技术构造参考帧列表，即列表0及列表1。运动补偿单元72通过解析运动向量及其它语法元素确定用于当前视频切片的视频块的预测信息，且使用所述预测信息产生用于经解码的当前视频块的预测性块。举例来说，运动补偿单元72使用一些接收到的语法元素确定用于对视频切片的视频块进行译码的预测模式(例如，帧内预测或帧间预测)、帧间预测切片类型(例如，B切片、P切片或GPB切片)、切片的参考图片列表中的一或多者的构造信息、切片的每一经帧间编码视频块的运动向量、切片的每一经帧间译码视频块的帧间预测状态及用于对当前视频切片中的视频块进行解码的其它信息。

运动补偿单元72还可基于内插滤波器执行内插。运动补偿单元72可使用如视频编码器20在视频块的编码期间使用的内插滤波器来计算参考块的子整数像素的内插值。在此情况下，运动补偿单元72可根据接收的语法元素而确定由视频编码器20使用的内插滤波器并使用所述内插滤波器来产生预测性块。

逆量化单元76将提供于位流中且由熵解码单元70解码的经量化变换系数逆量化，即，解量化。逆量化过程可包含使用视频解码器30为视频切片中的每一视频块计算以确定应该应用的量化程度及同样地逆量化程度的量化参数QP_Y。

逆变换单元78将逆变换(例如，逆DCT、逆整数变换或概念上类似的逆变换过程)应用于变换系数以便产生像素域中的残余块。

在运动补偿单元72基于运动向量及其它语法元素产生当前视频块的预测性块后，视频解码器30通过对来自逆变换单元78的残余块与由运动补偿单元72产生的对应预测性块求和而形成经解码视频块。求和器80表示执行此求和运算的一或多个组件。视需要，还可应用解块滤波器以对经解码块进行滤波，以便清除成块假影。还可使用其它环路滤波器(在译码环路中或在译码环路之后)来使像素转变变平滑或者以其它方式改进视频质量。接着将给定帧或图片中的经解码视频块存储在参考图片存储器82中，所述参考图片存储器存储用于后续运动补偿的参考图片。参考图片存储器82还存储经解码视频以用于稍后呈现在显示装置(例如，图1的显示装置32)上。

视频解码器30一般使用上述过程来对经译码视频序列中的每个图片的每个块进行解码。另外，在一些实例中，视频解码器30可对指示向其指派图片的时间层的数据进行解码。此外，视频解码器30可经配置以对其它层的图片(例如，其它视图、可伸缩视频译码层等)进行解码。在任何情况下，视频解码器30可进一步对指示一或多层(例如，具有各种视频维度)中每个图片所属的层的数据进行解码。

根据本发明的技术，视频解码器30还可对其它数据结构进行解码，例如包含(举例来说)视频参数集(VPS)、序列参数集(SPS)、图片参数集(PPS)、辅助增强信息(SEI)消息等的参数集。根据本发明的技术，视频解码器30可对包含相对于以上表1或3描述的信息的VPS及/或包含相对于以上表2或4描述的信息的SEI消息进行解码。

举例来说，视频解码器30可对指示其中对假想参考解码器(HRD)参数(例如，包含在VPS中)进行解码的位流的多个子层的语法元素的值进行解码。根据本发明的技术，视频解码器30可对位流的分区的每个子层的HRD参数进行解码，但与分区的子层相比避免译码更多HRD参数。因此，分区的HRD参数数据结构的数目可小于如VPS中所指示的子层的最大数目。此外，视频解码器30可使用HRD参数处理位流的数据。举例来说，视频解码器30可根据在HRD参数中用信号表示的数据输出及/或舍弃来自参考图片存储器82的经解码图片。具体而言，视频解码器30可将经解码图片输出到视频显示器(例如，显示装置32)以致使视频显示器呈现经解码图片。

作为可为除了上述实例之外的或上述实例的替代方案的另一实例，如果且仅当VclHrdBpPresentFlag等于1(即，具有真值)时，视频解码器30可对表示视频译码层HRD参数的初始到达延迟的语法元素进行解码。根据H.265，VclHrdBpPresentFlag的值如下设定：

-如果以下条件中的一或多者为真，那么将VclHrdBpPresentFlag的值设定成等于1：

-vcl_hrd_parameters_present_flag存在于位流中并且等于1。

-以本说明书中未指定的方式通过应用确定对存在于缓冲周期SEI消息中的位流中的VCL HRD操作的缓冲周期的存在的需求。

-否则，将VclHrdBpPresentFlag的值设定成等于0。

因此，根据本发明的技术，如果且仅当在位流中对视频译码层(VCL)HRD参数中的至少一者进行译码时或当确定在位流中需要VCL HRD操作的缓冲周期信息时，视频解码器30可对表示视频译码层HRD参数的初始到达延迟的语法元素进行解码。

以此方式，图3的视频解码器30表示经配置以：对指示其中对假想参考解码器(HRD)参数进行译码的位流的多个子层的语法元素的值进行解码，其中指示其中对HRD参数进行译码的子层的数目的值小于由位流的视频参数集(VPS)指示的子层的最大数目；对用于如由语法元素的值指示的子层数目的HRD参数进行解码；及使用HRD参数处理位流的视频解码器的实例。

此外，视频解码器30表示经配置以仅当在位流中对视频译码层(VCL)HRD参数中的至少一者进行译码时或当确定在位流中需要VCL HRD操作的缓冲周期信息时，对位流分区初始到达时间辅助增强信息(SEI)消息的初始到达延迟语法元素进行解码的视视频解码器的实例。也就是说，视频解码器30表示经配置以仅当VclHrdBpPresentFlag具有真值时，对位流分区初始到达时间辅助增强信息(SEI)消息的初始到达延迟语法元素进行解码的视频解码器的实例。视频解码器30可基于这些技术确定位流中的位是否对应于位流分区初始到达时间SEI消息或不同数据结构，并且与此正确地解析位流。

图4是说明根据本发明的技术的用于对视频数据进行编码的实例方法的流程图。尽管相对于视频编码器20(图1及2)来描述，但应理解，其它装置可经配置以执行类似于图4的方法。

在此实例中，视频编码器20最初确定位流的最大数目的子层(150)。视频编码器20还用信号表示位流的视频参数集(VPS)中的最大数目的子层(152)。位流最后被分割成不同分区，其中每一者包含子层的特定子集。因此，某些分区将包含少于最大数目的子层。

视频编码器20接着可确定位流分区中的子层(154)。视频编码器20接着可用信号表示分区中的每个子层的HRD参数(156)。举例来说，如表1及3中所示，视频编码器20可对bsp_hrd_idx语法元素的值进行编码。具体而言，在表1中，视频编码器20可对bsp_hrd_idx[h][i][t][j][k]的值进行编码，而在表3中，视频编码器20可对bsp_hrd_idx[h][i][j][k]的值进行编码。在表1中，这些值通过输出层集合、分割方案及层集合中的子层的数目出现在嵌套环路内，而在表3中，这些值通过输出层集合及分割方案的数目出现在嵌套环路内。

视频编码器20还对子层的图片进行编码(158)，对子层的经编码图片进行解码(160)并且将经解码图片存储在经解码图片缓冲器(DPB)(例如，参考图片存储器64(图2))中(162)。视频编码器20存储经编码图片的经解码版本以随后用作参考图片，使得来自参考图片的这些版本的后续预测将与由解码器(例如，视频解码器30)解码的最终版本相同。此外，视频编码器20根据HRD参数清除来自DPB的经解码图片(164)。

此外，根据本发明的某些技术，视频编码器20可条件性地对位流分区初始到达时间SEI消息的数据进行编码(166)。具体而言，视频编码器20可仅在确定VclHrdBpPresentFlag具有真值(即，1)之后，例如，如果且仅当在位流中对视频译码层(VCL)HRD参数中的至少一者进行译码时或当确定在位流中需要VCL HRD操作的缓冲周期信息时，对位流分区初始到达时间SEI消息的初始到达延迟语法元素进行编码。

以此方式，图4的方法表示包含以下操作的方法的实例：对指示其中对假想参考解码器(HRD)参数进行译码的位流的多个子层的语法元素的值进行译码(在此实例中，编码)，其中指示其中对HRD参数进行译码的子层的数目的值小于由位流的视频参数集(VPS)指示的子层的最大数目；对用于如由语法元素的值指示的子层数目的HRD参数进行译码(在此实例中，编码)；及使用HRD参数处理位流。

图5是说明根据本发明的技术的用于对视频数据进行解码的实例方法的流程图。尽管关于视频解码器30(图1及3)进行描述，但应理解，其它装置可经配置以执行与图5类似的方法。

在此实例中，视频解码器30最初对指示位流的最大数目的子层的视频参数集(VPS)进行解码(200)。位流最后被分割成不同分区，其中每一者包含子层的特定子集。因此，某些分区将包含少于最大数目的子层。

视频解码器30接着可确定位流分区中的子层(202)。视频解码器30接着可对分区中的每个子层的HRD参数进行解码(204)。举例来说，如表1及3中所示，视频解码器30可对bsp_hrd_idx语法元素的值进行解码。具体而言，在表1中，视频解码器30可对bsp_hrd_idx[h][i][t][j][k]的值进行解码，而在表3中，视频解码器30可对bsp_hrd_idx[h][i][j][k]的值进行解码。在表1中，这些值通过输出层集合、分割方案及层集合中的子层的数目出现在嵌套环路内，而在表3中，这些值通过输出层集合及分割方案的数目出现在嵌套环路内。

视频解码器30还可对子层的经编码图片进行解码(206)并且将经解码图片存储在经解码图片缓冲器(DPB)(例如，参考图片存储器82(图3))中(208)。视频解码器30存储经解码图片以随后用作参考图片，使得来自参考图片的这些版本的后续预测与由解码器(例如，视频解码器30)解码的最终版本相同。此外，视频解码器30存储经解码图片，使得视频解码器30可在合适的时间输出经解码图片。因此，视频解码器30根据HRD参数清除及输出来自DPB的经解码图片(210)。

此外，根据本发明的某些技术，视频解码器30可条件性地对位流分区初始到达时间SEI消息的数据进行解码(212)。具体而言，视频解码器30可仅在确定VclHrdBpPresentFlag具有真值(即，1)之后，例如，如果且仅当在位流中对视频译码层(VCL)HRD参数中的至少一者进行译码时或当确定在位流中需要VCL HRD操作的缓冲周期信息时，对位流分区初始到达时间SEI消息的初始到达延迟语法元素进行解码。也就是说，与视频解码器30相关联的解析器(未展示)可将位流中的某些位解译为属于位流分区初始到达时间SEI消息的语法元素或单独语法元素。换句话说，解析器可区分对应于HRD参数的位流中的位与对应于遵循HRD参数的语法元素的位流中的位。

以此方式，图5的方法表示包含以下操作的方法的实例：对指示其中对假想参考解码器(HRD)参数进行译码的位流的多个子层的语法元素的值进行译码(在此实例中，解码)，其中指示其中对HRD参数进行译码的子层的数目的值小于由位流的视频参数集(VPS)指示的子层的最大数目；对用于如由语法元素的值指示的子层数目的HRD参数进行译码(在此实例中，解码)；及使用HRD参数处理位流。

应认识到，取决于实例，本文中描述的技术中的任一者的某些动作或事件可用不同顺序来执行，可添加、合并或全部省略(例如，实践所述技术未必需要所有所描述动作或事件)。此外，在某些实例中，可例如经由多线程处理、中断处理或多个处理器同时而非依序执行动作或事件。

在一或多个实例中，所描述功能可在硬件、软件、固件或其任何组合中实施。如果在软件中实施，那么所述功能可作为一或多个指令或代码在计算机可读媒体上存储或传输，并且由基于硬件的处理单元来执行。计算机可读媒体可包含计算机可读存储媒体，其对应于例如数据存储媒体等有形媒体，或包含例如，根据通信协议促进将计算机程序从一处传送到另一处的任何媒体的通信媒体。以此方式，计算机可读媒体一般可对应于(1)非暂时性的有形计算机可读存储媒体，或(2)通信媒体，例如信号或载波。数据存储媒体可为可由一或多个计算机或一或多个处理器存取以检索用于实施本发明中描述的技术的指令、代码及/或数据结构的任何可用媒体。计算机程序产品可包含计算机可读媒体。

借助于实例而非限制性地，此类计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、快闪存储器或可用于存储指令或数据结构形式的期望程序代码并且可由计算机存取的任何其它媒体。并且，任何连接被恰当地称作计算机可读媒体。举例来说，如果使用同轴缆线、光纤缆线、双绞线、数字订户线(DSL)或例如红外线、无线电及微波等无线技术从网站、服务器或其它远程源传输指令，那么同轴缆线、光纤缆线、双绞线、DSL或例如红外线、无线电及微波等无线技术包含在媒体的定义中。然而，应理解，所述计算机可读存储媒体及数据存储媒体并不包含连接、载波、信号或其它暂时性媒体，而是实际上针对非暂时性的有形存储媒体。如本文中所使用，磁盘及光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软性磁盘及蓝光光盘，其中磁盘通常以磁性方式再现数据，而光盘利用激光以光学方式再现数据。以上各项的组合也应包含在计算机可读媒体的范围内。

指令可由一或多个处理器执行，所述一或多个处理器例如一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、或其它等效的集成或离散逻辑电路。因此，如本文中所使用的术语“处理器”可指前述结构或适合于实施本文中所描述的技术的任何其它结构中的任一者。另外，在一些方面中，本文中所描述的功能性可在经配置用于编码及解码的专用硬件及/或软件模块内提供，或者并入在组合编解码器中。而且，所述技术可完全实施于一或多个电路或逻辑元件中。

本发明的技术可在广泛多种装置或设备中实施，包含无线手持机、集成电路(IC)或一组IC(例如，芯片组)。本发明中描述各种组件、模块或单元是为了强调经配置以执行所揭示技术的装置的功能方面，但未必需要由不同硬件单元实现。实际上，如上文所描述，各种单元可结合合适的软件及/或固件组合在编解码器硬件单元中，或者通过互操作硬件单元的集合来提供，所述硬件单元包含如上文所描述的一或多个处理器。

描述了各种实例。这些及其它实例在以下权利要求书的范围内。