本申请案要求2015年10月14日申请的第62/241,691号美国临时专利申请案的权益，所述临时专利申请案的全部内容以引用的方式并入本文中。
技术领域
本发明涉及视频编码及解码。
背景技术：
数字视频能力可并入到广泛范围的装置中，包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或台式计算机、平板计算机、电子书阅读器、数字摄像机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、所谓的“智能型电话”、视频电话会议装置、视频流装置及其类似者。数字视频装置实施视频压缩技术，例如，由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分先进视频译码(AVC)定义的标准、高效率视频译码(HEVC)标准及这些标准的延伸中所描述的技术。视频装置可通过实施这些视频压缩技术更有效地发射、接收、编码、解码及/或存储数字视频信息。
视频压缩技术执行空间(图片内)预测及/或时间(图片间)预测来减少或移除视频序列中固有的冗余。对于基于块的视频译码，可将视频切片(即，视频帧或视频帧的部分)分割成视频块。图片的经帧内译码(I)切片中的视频块使用关于同一图片中的相邻块中的参考样本的空间预测来编码。图片的帧间译码(P或B)切片中的视频块可使用关于同一图片中的相邻块中的参考样本的空间预测或关于其它参考图片中的参考样本的时间预测。图片可被称作“帧”。
空间或时间预测导致待译码块的预测性块。残余数据表示待译码的原始块与预测性块之间的像素差。经帧间译码块根据指向形成预测性块的参考样本的块的运动向量来编码，且残余数据指示经译码块与预测性块之间的差。帧内译码块根据帧内译码模式及残余数据编码。为进行进一步压缩，可将残余数据从像素域变换到变换域，从而产生残余系数，接着可量化所述残余系数。
技术实现要素：
一般来说，本发明涉及以基于ISO的媒体文件格式及基于其导出的文件格式存储视频内容。更特定来说，本发明描述用于当文件内的轨道的样本未对齐时界定操作点样本群组的技术。应注意，术语“操作点”在本文件中可互换地使用。
在一个实例中，本发明描述一种处理文件的方法，所述方法包括：获得文件中的操作点参考轨道，其中可供用于文件中的位流的操作点是使用在操作点参考轨道中传信的操作点信息样本群组在文件中描述；获得文件中的一或多个额外轨道，其中无操作点信息样本群组是在额外轨道中的任一者中传信；对于一或多个额外轨道的每一相应额外轨道的每一相应样本，确定是否将相应样本考虑为操作点信息样本群组的部分，其中：基于操作点参考轨道含有在时间上与相应额外轨道中的相应样本共置的样本，相应额外轨道中的相应样本被考虑为操作点信息样本群组的部分，且基于操作点参考轨道不含有在时间上与相应额外轨道中的相应样本共置的样本，相应额外轨道中的相应样本被考虑为在相应额外轨道的相应样本之前的操作点参考轨道中的最后样本的操作点信息样本群组的部分；及执行从位流提取操作点的子位流提取过程。
在另一实例中，本发明描述一种产生文件的方法，所述方法包括：产生文件中的操作点参考轨道，其中产生操作点参考轨道包括在操作点参考轨道中传信描述可供用于文件中的位流的操作点的操作点信息样本群组；及产生文件中的一或多个额外轨道，其中：无操作点信息样本群组是在额外轨道中的任一者中传信，基于操作点参考轨道含有在时间上与相应额外轨道中的相应样本共置的样本，相应额外轨道中的相应样本被考虑为操作点信息样本群组的部分，且基于操作点参考轨道不含有在时间上与相应额外轨道中的相应样本共置的样本，相应额外轨道中的相应样本被考虑为在相应额外轨道的相应样本之前的操作点参考轨道中的最后样本的操作点信息样本群组的部分。
在另一实例中，本发明描述一种用于处理文件的设备，所述设备包括：存储器，其经配置以存储文件；及耦合到所述存储器的一个或多个处理器，所述一或多个处理器经配置以：获得文件中的操作点参考轨道，其中可供用于文件中的位流的操作点是使用在操作点参考轨道中传信的操作点信息样本群组在文件中描述；获得文件中的一或多个额外轨道，其中无操作点信息样本群组是在额外轨道中的任一者中传信；对于一或多个额外轨道的每一相应额外轨道的每一相应样本，确定是否将相应样本考虑为操作点信息样本群组的部分，其中：基于操作点参考轨道含有在时间上与相应额外轨道中的相应样本共置的样本，相应额外轨道中的相应样本被考虑为操作点信息样本群组的部分，且基于操作点参考轨道不含有在时间上与相应额外轨道中的相应样本共置的样本，相应额外轨道中的相应样本被考虑为在相应额外轨道的相应样本之前的操作点参考轨道中的最后样本的操作点信息样本群组的部分；及执行从位流提取操作点的子位流提取过程。
在另一实例中，本发明描述一种用于产生文件的设备，所述设备包括：存储器，其经配置以存储文件；及耦合到所述存储器的一个或多个处理器，所述一或多个处理器经配置以：产生文件中的操作点参考轨道，其中产生操作点参考轨道包括在操作点参考轨道中传信描述可供用于文件中的位流的操作点的操作点信息样本群组；及产生文件中的一或多个额外轨道，其中：无操作点信息样本群组是在额外轨道中的任一者中传信，操作点信息样本群组，基于操作点参考轨道含有在时间上与相应额外轨道中的相应样本共置的样本，相应额外轨道中的相应样本被考虑为操作点信息样本群组的部分，且基于操作点参考轨道不含有在时间上与相应额外轨道中的相应样本共置的样本，相应额外轨道中的相应样本被考虑为在相应额外轨道的相应样本之前的操作点参考轨道中的最后样本的操作点信息样本群组的部分。
在另一实例中，本发明描述一种用于处理文件的设备，所述设备包括：用于获得文件中的操作点参考轨道的装置，其中可供用于文件中的位流的操作点是使用在操作点参考轨道中传信的操作点信息样本群组在文件中描述；用于获得文件中的一或多个额外轨道的装置，其中无操作点信息样本群组是在额外轨道中的任一者中传信；用于对于一或多个额外轨道中的每一相应额外轨道的每一相应样本确定是否将相应样本考虑为操作点信息样本群组的部分的装置，其中：基于操作点参考轨道含有在时间上与相应额外轨道中的相应样本共置的样本，相应额外轨道中的相应样本被考虑为操作点信息样本群组的部分，且基于操作点参考轨道不含有在时间上与相应额外轨道中的相应样本共置的样本，相应额外轨道中的相应样本被考虑为在相应额外轨道的相应样本之前的操作点参考轨道中的最后样本的操作点信息样本群组的部分；及用于执行提取操作点的子位流提取过程的装置。
在另一实例中，本发明描述一种用于产生文件的设备，所述设备包括：用于产生文件中的操作点参考轨道的装置，其中产生操作点参考轨道包括在操作点参考轨道中传信描述可供用于文件中的位流的操作点的操作点信息样本群组；及用于产生文件中的一或多个额外轨道的装置，其中：无操作点信息样本群组是在额外轨道中的任一者中传信，基于操作点参考轨道含有在时间上与相应额外轨道中的相应样本共置的样本，相应额外轨道中的相应样本被考虑为操作点信息样本群组的部分，且基于操作点参考轨道不含有在时间上与相应额外轨道中的相应样本共置的样本，相应额外轨道中的相应样本被考虑为在相应额外轨道的相应样本之前的操作点参考轨道中的最后样本的操作点信息样本群组的部分。
在另一实例中，本发明描述一种存储指令的计算机可读存储媒体，所述指令当经执行时使得一个或多个处理器：获得文件中的操作点参考轨道，其中可供用于文件中的位流的操作点是使用在操作点参考轨道中传信的操作点信息样本群组在文件中描述；获得文件中的一或多个额外轨道，其中无操作点信息样本群组是在额外轨道中的任一者中传信；对于一或多个额外轨道中的每一相应额外轨道的每一相应样本，确定是否将相应样本考虑为操作点信息样本群组的部分，其中：基于操作点参考轨道含有在时间上与相应额外轨道中的相应样本共置的样本，相应额外轨道中的相应样本被考虑为操作点信息样本群组的部分，且基于操作点参考轨道不含有在时间上与相应额外轨道中的相应样本共置的样本，相应额外轨道中的相应样本被考虑为在相应额外轨道的相应样本之前的操作点参考轨道中的最后样本的操作点信息样本群组的部分；及执行从位流提取操作点的子位流提取过程。
在另一实例中，本发明描述一种存储指令的计算机可读存储媒体，所述指令当经执行时使得一个或多个处理器：产生文件中的操作点参考轨道，其中产生操作点参考轨道包括在操作点参考轨道中传信描述可供用于文件中的位流的操作点的操作点信息样本群组；及产生文件中的一或多个额外轨道，其中：无操作点信息样本群组是在额外轨道中的任一者中传信，操作点信息样本群组，基于操作点参考轨道含有在时间上与相应额外轨道中的相应样本共置的样本，相应额外轨道中的相应样本被考虑为操作点信息样本群组的部分，且基于操作点参考轨道不含有在时间上与相应额外轨道中的相应样本共置的样本，相应额外轨道中的相应样本被考虑为在相应额外轨道的相应样本之前的操作点参考轨道中的最后样本的操作点信息样本群组的部分。
在附图及以下描述中阐述本发明的一或多个实例的细节。其它特征、目标及优势从描述、图式及权利要求书将为显而易见的。
附图说明
图1为说明可利用本发明中描述的技术的实例视频译码系统的框图。
图2为说明“oinf”样本群组的涵盖的实例的概念图。
图3为说明在处理不同帧速率的轨道时的实例“oinf”样本群组问题的概念图。
图4为说明在处理某一时间周期中在“sbas”中无样本时的实例“oinf”样本群组问题的概念图。
图5为说明实例视频编码器的框图。
图6为说明实例视频解码器的框图。
图7为说明根据本发明的一或多种技术的文件的实例结构的框图。
图8为说明根据本发明的一或多种技术的文件的实例结构的概念图。
图9为说明根据本发明的一或多种技术的包含虚设样本项的文件的实例结构的框图。
图10为说明根据本发明的一或多种技术的其中样本项包含操作点索引的文件的实例结构的框图。
图11为说明根据本发明的技术的用于处理文件的装置的实例操作的流程图。
图12为说明根据本发明的技术的用于处理文件的装置的实例操作的流程图。
具体实施方式
一般来说，本发明涉及用于产生并处理用于存储经编码视频数据的多层位流(例如分层高效视频译码(L-HEVC)位流)的文件的技术。多层位流包括多个层。每一层包括在不同输出时间发生的序列的经编码图片。在可调式视频译码的情况下，多层位流的层可包含基层及一或多个增强层。基层可不参考增强层中的任一者来解码。增强层可空间地或时间地增强基层的图片。举例来说，增强层可比基层具有较高的帧速率。因此，增强层可包含输出时间的经编码图片且基层不包含所述输出时间的经编码图片。在其中多层位流的第一层包含输出时间的经编码图片且多层位流的第二层不包含输出时间的经编码图片的情况下，第一层中的经编码图片被称为未与第二层中的经编码图片对齐。在多视图视频译码中，多层位流的层可对应于不同视图中的经编码图片。
多层位流的操作点可由多层位流中的一或多个层的集合及最大时间识别符界定。举例来说，特定操作点可经界定为多层位流中的层的完整集合的特定子集及小于或等于多层位流中的最大时间识别符的最大时间识别符。可在不解码多层位流的不在操作点中的经编码图片的情况下解码多层位流的操作点中的经编码图片。
操作点出于多种原因而适用。举例来说，装置可选择将多层位流的特定操作点转递至客户端装置，同时不转递多层位流的不在操作点中的部分。因此，经转递的数据量可减少。此在带宽限定环境中可为合乎需要的。此外，相同多层位流的不同操作点可需要执行不同解码器能力。因此，如果解码器能够解码多层位流的第一操作点，但不能够解码同一多层位流的第二操作点，则发送多层位流的在第二操作点中不在第一操作点中的数据可为浪费的。
国际标准组织(ISO)基本媒体文件格式为用于存储媒体数据(例如音频及视频数据)的文件格式。ISO基本媒体文件格式已经扩展用于特定情境。举例来说，正在进行扩展ISO基本媒体文件格式以用于存储L-HEVC位流的努力。在ISO基本媒体文件格式中，媒体数据可经组织成一或多个轨道。此外，在ISO基本媒体文件格式及其扩展中，术语“样本”适用于媒体存取单元，例如视频存取单元或音频存取单元。然而，在编码解码器层级，术语“样本”可适用于像素的色彩分量的值。视频存取单元可包含一或多个具有同一输出时间的经编码图片。不同轨道可包含包括多层位流的不同层的经编码图片的样本。在一些情况下，轨道可包含包括多层位流的两个或大于两个层的经编码图片的样本。在其它个例中，轨道可包含仅仅包含多层位流的单层的经译码图片的样本。
ISO基本媒体文件格式提供用于将样本分群成“样本群组”的机构。举例来说，ISO基本媒体文件格式是依据被称作“框”(其可在彼此内部嵌套)的数据结构而结构化。文件的框可包含用于文件的轨道的轨道框。用于轨道的轨道框包含关于轨道的元数据。举例来说，轨道框可包含样本描述块，所述样本描述块包含一组样本群组描述项，所述项中的每一者包含样本群组的描述。另外，用于轨道的轨道框可包含指示轨道中一组样本并指定样本群组描述项框中的样本群组描述项的索引的样本到群组框，借此指定所指示样本所属的样本群组。
用于L-HEVC的ISO基本媒体文件格式的扩展的草案提供操作点信息样本群组。属于操作点信息样本群组的样本包含包括操作点的经编码图片的样本。用于操作点信息样本群组的样本群组描述项可指定用于操作点的信息，例如，操作点的输出层集合、操作点的最大时间识别符及操作点的简档、层次及层级信息的任何组合。指定文件中的操作点信息样本群组可使得装置能够从文件提取操作点而不需解译底层经编码视频数据(例如L-HEVC数据)。因此，前述可简化装置并增加响应性。
用于L-HEVC的ISO基本媒体文件格式的扩展的草案指定文件中的样本到群框及样本群组描述框是包括在用于文件的仅仅一个轨道(即，操作点参考轨道)的元数据中。如上文所提，用于轨道的轨道框中的样本到群组框指定轨道中的样本。然而，还如上文提及，多层位流的层可包含于不同轨道中且层可包含未对齐的经编码图片。因此，用于操作点参考轨道的轨道框中的样本到群组框可不能够指示额外轨道的特定样本是在操作点信息样本群组中。举例来说，当操作点参考轨道包含在输出时间1、3及5的样本，且额外轨道包含在输出时间1、2、3、4、5及6的样本时，样本到群组框可不能够指定在输出时间6的额外轨道的样本为操作点样本群组的部分，尽管在输出时间6的额外轨道的样本中的经编码图片恰当地为操作点样本群组所对应于的操作点的部分。因此，装置可能能够恰当地从文件提取操作点。在本发明中，当轨道包含属于样本群组的样本时，轨道可称为含有样本群组。
本发明描述解决此问题的各种技术。举例来说，对于一或多个额外轨道中的每一相应额外轨道的每一相应样本，装置可确定是否将相应样本考虑为操作点信息样本群组的部分。在此实例中，基于操作点参考轨道含有在时间上与相应额外轨道中的相应样本共置的样本，相应额外轨道中的相应样本被考虑为操作点信息样本群组的部分。此外，在此实例中，基于操作点参考轨道不含有在时间上与相应额外轨道中的相应样本共置的样本，相应额外轨道中的相应样本被考虑为在相应额外轨道的相应样本之前的操作点参考轨道中的最后样本的操作点信息样本群组的部分。因此，在先前段落的实例中，在输出时间6的额外轨道的样本将被考虑为操作点样本群组的部分。
图1为说明可利用本发明的技术的实例视频译码系统10的框图。如本文所使用，术语“视频译码器”大体上指视频编码器及视频解码器两者。在本发明中，术语“视频译码”或“译码”可大体上指视频编码或视频解码。
如图1中所展示，视频译码系统10包括源装置12及目的地装置14。源装置12产生经编码视频数据。因此，源装置12可被称作视频编码装置或视频编码设备。目的地装置14可解码由源装置12所产生的经编码视频数据。因此，目的地装置14可被称作视频解码装置或视频解码设备。源装置12及目的地装置14可为视频译码装置或视频译码设备的实例。本发明可使用术语“视频处理装置”来指处理视频数据的装置。源装置12及目的地装置14为视频处理装置的实例。其它类型的视频处理装置包含多路发射及解多路发射媒体数据(例如MPEG-2数据流)的装置。
源装置12及目的地装置14可包括广泛范围的装置，所述装置包含台式计算机、移动计算装置、笔记型(例如，膝上型)计算机、平板计算机、机顶盒、例如所谓的“智能型”电话的电话手持机、电视、摄像机、显示装置、数字媒体播放器、视频游戏机、车载计算机或其类似者。
目的地装置14可经由信道16从源装置12接收经编码的视频数据。信道16可包括能够将经编码视频数据从源装置12移动到目的地装置14的一或多个媒体或装置。在一个实例中，信道16可包括使源装置12能够实时地将经编码视频数据直接发射到目的地装置14的一或多个通信媒体。在此实例中，源装置12可根据通信标准(例如，无线通信协议)调制经编码视频数据，且可将经调制视频数据发射到目的地装置14。一或多个通信媒体可包含无线及/或有线通信媒体，例如射频(RF)频谱或一或多个实体发射线。一或多个通信媒体可形成基于分组的网络(例如局域网、广域网或全球网络(例如，因特网))的部分。一或多个通信媒体可包含路由器、交换器、基站，或促进从源装置12到目的地装置14的通信的其它设备。
在另一实例中，信道16可包含存储由源装置12产生的经编码视频数据的存储媒体。在此实例中，目的地装置14可(例如)经由磁盘存取或卡存取而存取存储媒体。存储媒体可包含多种本地存取的数据存储媒体，例如蓝光光盘、DVD、CD-ROM、快闪存储器，或用于存储经编码的视频数据的其它合适的数字存储媒体。
在另一实例中，信道16可包含存储由源装置12产生的经编码视频数据的文件服务器或另一中间存储装置。在此实例中，目的地装置14可经由流或下载来存取存储于文件服务器或另一中间存储装置处的经编码视频数据。文件服务器可为能够存储经编码视频数据且将经编码视频数据发射到目的地装置14的类型的服务器。实例文件服务器包含网页服务器(例如，用于网站)、文件传送协议(FTP)服务器、网络附接存储(NAS)装置及本地磁盘机。文件服务器可流发射存储在根据本发明的技术产生的文件中的经编码视频数据。
目的地装置14可经由标准数据连接(例如，因特网连接)来存取经编码视频数据。数据连接的实例类型可包含无线信道(例如，Wi-Fi连接)、有线连接(例如，DSL、缆线调制解调器等)，或两者的适合于存取存储于文件服务器上的经编码视频数据的组合。经编码视频数据从文件服务器的发射可为流发射、下载发射或两者的组合。
本发明的技术并不限于无线应用或设定。所述技术可应用于支持多种多媒体应用的视频译码，例如空中电视广播、有线电视发射、卫星电视发射、流视频发射(例如，经由因特网)、编码存储于数据存储媒体上的视频数据、解码存储于数据存储媒体上的视频数据，或其它应用。在一些实例中，视频译码系统10可经配置以支持单向或双向视频发射，从而支持例如视频流、视频播放、视频广播及/或视频电话的应用。
图1中所说明的视频译码系统10仅为实例，且本发明的技术可适用于未必包含编码装置与解码装置之间的任何数据通信的视频译码设定(例如，视频编码或视频解码)。在其它实例中，数据是从本地存储器检索，经由网络流发射，或类似者。视频编码装置可编码数据且将数据存储到存储器，及/或视频解码装置可从存储器检索数据且解码数据。在许多实例中，由彼此不通信但简单地将数据编码到存储器及/或从存储器检索且解码数据的装置来执行编码及解码。
在图1的实例中，源装置12包含视频源18、视频编码器20及输出接口22。在一些实例中，输出接口22可包含调制器/解调制器(调制解调器)及/或发射器。视频源18可包含例如视频摄像机的视频捕获装置、含有先前所捕获的视频数据的视频存档、用以从视频内容提供者接收视频数据的视频馈入接口，及/或用于产生视频数据的计算机图形系统，或视频数据的这些源的组合。
视频编码器20可编码来自视频源18的视频数据。在一些实例中，源装置12经由输出接口22直接将经编码视频数据发射到目的地装置14。在其它实例中，经编码视频数据也可存储于存储媒体上或文件服务器上，以稍后供目的地装置14存取以用于解码及/或播放。
在图1的实例中，目的地装置14包含输入接口28、视频解码器30及显示装置32。在一些实例中，输入接口28包含接收器及/或调制解调器。输入接口28可经由信道16来接收经编码视频数据。显示装置32可与目的地装置14集成或可在所述目的地装置14外。大体来说，显示装置32显示经解码视频数据。显示装置32可包括多种显示装置，例如液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。
视频编码器20及视频解码器30各自可实施为各种合适电路系统中的任一者，例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、硬件或其任何组合。如果以软件部分地实施技术，则装置可将用于软件的指令存储于合适的非暂时性计算机可读存储媒体中，且可在硬件中使用一或多个处理器来执行所述指令以执行本发明的技术。可将上述内容(包含硬件、软件、硬件与软件的组合等)中的任一者视为一或多个处理器。视频编码器20及视频解码器30中的每一者可包含于一或多个编码器或解码器中，编码器或解码器中的任一者可集成为相应装置中的组合式编码器/解码器(编码解码器)的部分。
本发明可大体上涉及视频编码器20将某一信息“传信”或“发射”到另一装置，例如视频解码器30。术语“传信”或“发射”可大体上指用以解码经压缩视频数据的语法元素及/或其它数据的通信。此通信可实时地或近乎实时地发生。替代地，此通信可在一时间跨度内发生，例如可能在编码时在经编码的位流中将语法元素存储到计算机可读存储媒体时发生，接着，在存储到此媒体之后可通过解码装置在任何时间检索所述语法元素。
此外，在图1的实例中，视频译码系统10包含文件产生装置34。文件产生装置34可接收通过源装置12产生的经编码视频数据。文件产生装置34可产生包含所述经编码视频数据的文件。目的地装置14可接收通过文件产生装置34产生的文件。在各种实例中，源装置12及/或文件产生装置34可包含各种类型的计算装置。举例来说，源装置12及/或文件产生装置34可包括视频编码装置、媒体感知网络元件(MANE)、服务器计算装置、个人计算装置、专用计算装置、商业计算装置或另一类型计算装置。在一些实例中，文件产生装置34为内容传递网络的部分。源装置12及/或文件产生装置34可经由例如链路16的信道从源装置12接收经编码视频数据。此外，目的地装置14可经由例如链路16的信道从文件产生装置34接收文件。文件产生装置34可被视为视频装置。如图1的实例中所示，文件产生装置34可包括存储器31，其经配置以存储含有经编码视频内容的文件。
在一些实例中，源装置12或另一计算装置可产生包含经编码视频数据的文件。为易于解释，本发明可将源装置12或文件产生装置34描述为产生文件。然而，应理解，一般来说，这些描述适用于计算装置。
描述于本发明中的技术可与各种视频译码标准一起使用，包含不与特定视频译码标准相关的视频译码技术。视频译码标准的实例包含ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual及ITU-T H.264(还称为ISO/IEC MPEG-4 AVC)，包含其可调式视频译码(SVC)及多视图视频译码(MVC)扩展。在一些实例中，视频编码器20及视频解码器30根据例如HEVC标准的视频压缩标准操作。除基本HEVC标准之外，也存在持续努力以产生用于HEVC的可调式视频译码、多视图视频译码及3D译码扩展。HEVC、HEVC的多视图扩展(名为MV-HEVC)及HEVC的可调式扩展(名为SHVC)最近已由ITU-T视频译码专家群(VCEG)及ISO/IEC动画专家群(MPEG)的视频译码联合合作小组(JCT-VC)定案。HEVC标准也可被称作Rec.ITU-T H.265|ISO/IEC 23008-2。
ITU-T SG 16 WP 3及ISO/IEC JTC 1/SC 29/WG 11的JCT-VC(日本札幌的第18次会议，2014年6月30日到2014年7月9日)的题为“草案高效率视频译码(HEVC)版本2、组合的格式范围延伸(RExt)、可扩展性(SHVC)，及多视图(MV-HEVC)延伸”的HEVC草案规范(JCTVC-R1013_v6)(下文中称为“JCTVC-R1013”或“Rec.ITU-T H.265|ISO/IEC 23008-2”)可从http://phenix.int-evry.fr/jct/doc_end_user/documents/18_Sapporo/wg11/JCTVC-R1013-v6.zip获得。MV-HEVC并入为Rec.ITU-T H.265|ISO/IEC 23008-2的附录G。SHVC并入为Rec.ITU-T H.265|ISO/IEC 23008-2的附录H。
在HEVC及其它视频译码标准中，视频序列通常包含一系列图片。图片也可被称为“帧”。图片可包含一或多个样本阵列。举例来说，图片可包含三个样本阵列，标示为SL、SCb及SCr。SL为明度样本的二维阵列(即，块)。SCb为Cb色讯(chrominance)样本的二维阵列。SCr为Cr色讯样本的二维阵列。色讯样本也可在本文中被称作“色度”样本。在其它情况下，图片可为单色的，且可仅包含亮度样本阵列。
为了产生图片的经编码表示，视频编码器20可产生译码树型单元(CTU)的集合。CTU中的每一者可为明度样本的译码树型块、色度样本的两个对应译码树型块及用于对译码树型块的样本译码的语法结构。译码树型块可为样本的N×N块。CTU也可被称作“树型块”或“最大译码单元”(LCU)。HEVC的CTU可广泛地类似于例如H.264/AVC的其它标准的宏块。然而，CTU未必限于特定大小，且可包含一或多个译码单元(CU)。切片可包含按扫描次序(例如，光栅扫描次序)连续排序的整数数目个CTU。在本发明中，术语“经译码图片”或“经编码图片”可指含有图片的所有译码树型单元的图片的经译码表示。
为产生经译码CTU，视频编码器20可对CTU的译码树型块递回地执行四分树分割，以将译码树型块划分成译码块，因此命名为“译码树型单元”。译码块为样本的N×N块。CU可为图片的明度样本的译码块及色度样本的两个对应译码块，所述图片具有明度样本阵列、Cb样本阵列及Cr样本阵列，及用以对译码块的样本译码的语法结构。在单色图片或具有三个单独色彩平面的图片中，CU可包括单一译码块及用于译码所述译码块的样本的语法结构。
视频编码器20可将CU的译码块分割为一或多个预测块。预测块可为经应用相同预测的样本的矩形(即，正方形或非正方形)块。CU的预测单元(PU)可为图片的明度样本的预测块，图片的色度样本的两个对应预测块，及用以对预测块样本进行预测的语法结构。视频编码器20可针对CU的每一PU的明度、Cb及Cr预测块产生预测性明度、Cb及Cr块。在单色图片或具有三个单独色彩平面的图片中，PU可包括单一预测块及用以预测所述预测块的语法结构。
视频编码器20可使用帧内预测或帧间预测来产生PU的预测性块。如果视频编码器20使用帧内预测产生PU的预测性块，则视频编码器20可基于与PU相关联的图片的经解码样本产生PU的预测性块。如果视频编码器20使用帧间预测以产生PU的预测性块，则视频编码器20可基于不同于与PU相关联的图片的一或多个图片的经解码样本，产生PU的预测性块。
在视频编码器20产生CU的一或多个PU的预测性块之后，视频编码器20可产生CU的残余块。CU的残余块中的每一样本指示CU的PU的预测性块中的样本与CU的译码块中的对应样本之间的差异。举例来说，视频编码器20可产生CU的明度残余块。CU的明度残余块中的每一样本指示CU的PU的预测性明度块中的明度样本与CU的明度译码块中的对应样本之间的差异。另外，视频编码器20可产生CU的Cb残余块。CU的Cb残余块中的每一样本可指示CU的PU的预测性Cb块中的Cb样本与CU的Cb译码块中的对应样本之间的差异。视频编码器20也可产生CU的Cr残余块。CU的Cr残余块中的每一样本可指示CU的PU的预测性Cr块中的Cr样本与CU的Cr译码块中的对应样本之间的差异。
此外，视频编码器20可使用四分树分割以将CU的残余块分解成一或多个变换块。变换块可为经应用相同变换的样本的矩形块。CU的变换单元(TU)可为明度样本的变换块、色度样本的两个对应变换块及用于对变换块样本进行变换的语法结构。因此，CU的每一TU可与明度变换块、Cb变换块及Cr变换块相关联。与TU相关联的明度变换块可为CU的明度残余块的子块。Cb变换块可为CU的Cb残余块的子块。Cr变换块可为CU的Cr残余块的子块。在单色图片或具有三个单独色彩平面的图片中，TU可包括单一变换块及用于变换所述变换块的样本的语法结构。
视频编码器20可将一或多个变换应用于TU的变换块以产生TU的系数块。举例来说，视频编码器20可将一或多个变换应用于TU的明度变换块以产生TU的明度系数块。视频编码器20可将一或多个变换应用到TU的Cb变换块以产生TU的Cb系数块。视频编码器20可将一或多个变换应用到TU的Cr变换块以产生TU的Cr系数块。系数块可为变换系数的二维阵列。变换系数可为标量。
在产生系数块之后，视频编码器20可量化所述系数块。量化大体上指变换系数经量化以可能减少用以表示变换系数的数据的量从而提供进一步压缩的过程。在视频编码器20量化系数块之后，视频编码器20可对指示经量化变换系数的语法元素进行熵编码。举例来说，视频编码器20可对指示经量化变换系数的语法元素执行上下文适应性二进位算术译码(CABAC)。视频编码器20可在位流中输出经熵编码的语法元素。
视频编码器20可输出位流，所述位流包含形成经译码图片及相关联数据的表示的位序列。位流可包括网络抽象层(NAL)单元的序列。所述NAL单元中的每一者包含NAL单元标头且囊封原始位组序列有效负载(RBSP)。NAL单元标头可包含指示NAL单元类型码的语法元素。通过NAL单元的NAL单元标头指定的NAL单元类型码指示NAL单元的类型。RBSP可为含有囊封在NAL单元内的整数数目个位组的语法结构。在一些情况下，RBSP包含零个位。
不同类型的NAL单元可囊封不同类型的RBSP。举例来说，不同类型的NAL单元可囊封视频参数集(VPS)、序列参数集(SPS)、图片参数集(PPS)、经译码切片、补充增强信息(SEI)等的不同RBSP。举例来说，第一类型的NAL单元可囊封PPS的RBSP，第二类型的NAL单元可囊封经译码切片的RBSP，第三类型的NAL单元可囊封补充增强信息(SEI)的RBSP等。囊封视频译码数据的RBSP(相反于参数集及SEI消息的RBSP)的NAL单元可被称作视频编码层(VCL)NAL单元。举例来说，JCTVC-R1013定义术语VCL NAL单元为经译码切片片段NAL单元及NAL单元的子集的集合术语，所述NAL单元具有分类为JCTVC-R1013中的VCL NAL单元的nal_unit_type的保留值。SEI含有并非从VCL NAL单元解码经译码图片的样本必需的信息。
在图1的实例中，视频解码器30接收由视频编码器20产生的位流。在一些实例中，视频解码器30在目的地装置14或另一装置从文件获得位流之后接收位流。另外，视频解码器30可剖析位流以从位流获得语法元素。视频解码器30可至少部分基于从位流获得的语法元素而重建视频数据的图片。重建视频数据的过程可大体上与通过视频编码器20执行的过程互逆。举例来说，视频解码器30可使用帧内预测或帧间预测来确定当前CU的PU的预测性块。另外，视频解码器30可反量化当前CU的TU的系数块。视频解码器30可对系数块执行反变换，以重建当前CU的TU的变换块。通过将当前CU的PU的预测性块的样本添加到当前CU的TU的变换块的相对应样本，视频解码器30可重建当前CU的译码块。通过重建图片的每一CU的译码块，视频解码器30可重建图片。
如上文简要地指出，NAL单元可囊封视频参数集(VPS)、序列参数集(SPS)、图片参数集(PPS)的RBSP。VPS为包括适用于零或多个全部经译码视频序列(CVS)的语法元素的语法结构。SPS也为包括适用于零或多个全部CVS的语法元素的语法结构。SPS可包含识别在SPS在作用中时在作用中的VPS的语法元素。因此，VPS的语法元素可比SPS的语法元素更一般化地可适用。PPS是包括应用于零或多个经译码图片的语法元素的语法结构。PPS可包含识别在PPS在作用中时在作用中的SPS的语法元素。切片的切片标头可包含指示在切片正被译码时在作用中的PPS的语法元素。
术语“存取单元”可用以指对应于相同时间实例的图片集。因此，视频数据可经概念化为随时间出现的一系列存取单元。“视图分量”可为单一存取单元中的视图的经译码表示。在本发明中，“视图”可指与相同视图识别符相关联的序列视图分量。在一些实例中，视图分量可为纹理视图分量(即，纹理图片)或深度视图分量(即，深度图片)。
在MV-HEVC及SHVC中，视频编码器可产生包括一系列NAL单元的位流。位流的不同NAL单元可与位流的不同层相关联。可将层定义为具有相同层识别符的VCL NAL单元及相关联非VCL NAL单元的集合。层可等效于多视图视频译码中的视图。在多视图视频译码中，层可含有相同层的具有不同时间实例的所有视图分量。每一视图分量可为属于特定时间实例的特定视图的视频场景的经译码图片。在多视图或3维视频译码的一些实例中，层可含有特定视图的所有经译码深度图片或特定视图的经译码纹理图片。在3D视频译码的其它实例中，层可含有特定视图的纹理视图分量及深度视图分量两者。类似地，在可调式视频译码的内容脉络中，层通常对应于具有不同于其它层中的经译码图片的视频特性的经译码图片。这些视频特性通常包含空间分辨率及品质位准(例如，信噪比)。在HEVC及其扩展中，可在一层内通过将具有特定时间位准的图片群组定义为子层来达成时间可调性。
对于位流的每一相应层，可在不参考任何较高层中的数据的情况下解码较低层中的数据。在可调式视频译码中，例如，可在不参考增强层中的数据的情况下解码基层中的数据。通常，NAL单元可仅囊封单一层的数据。因此，可从位流移除囊封位流的最高剩余层的数据的NAL单元而不影响位流的剩余层中的数据的可解码性。在多视图译码中，较高层可包含额外视图分量。在SHVC中，较高层可包含信噪比(SNR)增强数据、空间增强数据及/或时间增强数据。在MV-HEVC及SHVC中，如果视频解码器可在不参考任何其它层的数据的情况下解码层中的图片，则所述层可被称为“基层”。基层可符合HEVC基础规范(例如，Rec.ITU-T H.265|ISO/IEC 23008-2)。
在可调式视频译码中，不同于基层的层可被称作“增强层”，且可提供增强从位流解码的视频数据的视觉品质的信息。可调式视频译码可增强空间分辨率、信噪比(即，品质)或时间速率。在可调式视频译码(例如，SHVC)中，“层表示”可为单个存取单元中的空间层的经译码表示。为易于解释，本发明可将视图分量及/或层表示称作“视图分量/层表示”或简单地称作“图片”。
多视图译码支持视图间预测。视图间预测类似于HEVC中所使用的帧间预测，且可使用相同语法元素。然而，当视频译码器对当前视频单元(例如，PU)执行视图间预测时，视频译码器20可将与当前视频单元在相同的存取单元中但处于不同视图中的图片用作参考图片。相反地，常规帧间预测仅将不同存取单元中的图片用作参考图片。
在多视图译码中，如果视频解码器(例如，视频解码器30)可无需参考任何其它视图中的图片而解码视图中的图片，则所述视图可被称作“基础视图”。当对非基础视图中的一者中的图片进行译码时，视频译码器(例如视频编码器20或视频解码器30)可在图片与视频译码器当前正译码的图片处于不同视图中但在同一时间实例(即，存取单元)内时将图片添加到参考图片列表中。类似于其它帧间预测参考图片，视频译码器可在参考图片列表的任何位置处插入视图间预测参考图片。
举例来说，NAL单元可包含标头(即，NAL单元标头)及有效负载(例如，RBSP)。NAL单元标头可包含nuh_reserved_zero_6bits语法元素，所述nuh_reserved_zero_6bits语法元素也可被称作nuh_layer_id语法元素。具有指定不同值的nuh_layer_id语法元素的NAL单元属于位流的不同“层”。因此，在多视图译码、MV-HEVC、SVC或SHVC中，NAL单元的nuh_layer_id语法元素指定NAL单元的层识别符(即，层ID)。如果NAL单元涉及多视图译码、MV-HEVC或SHVC中的基层，则NAL单元的nuh_layer_id语法元素等于0。可在不参考位流的任何其它层中的数据的情况下解码位流的基层中的数据。如果NAL单元不涉及多视图译码、MV-HEVC或SHVC中的基层，则nuh_layer_id语法元素可具有非零值。在多视图译码中，位流的不同层可对应于不同视图。在SVC或SHVC中，不同于基层的层可被称为“增强层”，且可提供增强从位流解码的视频数据的视觉品质的信息。
此外，可在不参考相同层内的其它图片的情况下解码层内的一些图片。因此，可从位流移除囊封层的某些图片的数据的NAL单元而不影响所述层中的其它图片的可解码性。移除囊封这些图片的数据的NAL单元可能会降低位流的帧速率。可在不参考层内其它图片的情况下解码的层内图片的子集可在本文中被称作“子层”或“时间子层”。
NAL单元可包含temporal_id语法元素。NAL单元的temporal_id语法元素指定NAL单元的时间识别符。NAL单元的时间识别符识别与NAL单元相关联的时间子层。因此，位流的每一时间子层可与不同时间识别符相关联。如果第一NAL单元的时间识别符小于第二NAL单元的时间识别符，则可在不参考由第二NAL单元囊封的数据的情况下解码由第一NAL单元囊封的数据。
位流可与多个操作点相关联。在一些实例中，位流的每一操作点可与层识别符的集合(即，nuh_reserved_zero_6bits值的集合)及时间识别符相关联。可将层识别符的集合表示为OpLayerIdSet，且可将时间识别符表示为TemporalID。如果NAL单元的层识别符在操作点的层识别符集合中且NAL单元的时间识别符小于或等于操作点的时间识别符，则NAL单元与操作点相关联。因此，操作点可为通过子位流提取过程的操作而从另一位流产生的位流，其中另一位流、目标最高TemporalId及目标层识别符列表作为到子位流提取过程的输入。操作点可包含与操作点相关联的每一NAL单元。操作点不包含不与操作点相关联的VCL NAL单元。
输出层集合(OLS)为由VPS中指定的层集合中的一者的层组成的层的集合，其中层集合中的一或多个层经指示为输出层。特定来说，layer_set_idx_for_ols_minus1[i]语法元素加1指定第i输出层集合的索引。等于1的output_layer_flag[i][j]语法元素指定第i OLS中的第j层为输出层。等于0的output_layer_flag[i][j]语法元素指定第i OLS中的第j层并非输出层。
HEVC及其它视频译码标准指定简档、层次及层级。简档、层次及层级指定对位流的限定且因此指定对解码位流所需的能力的限制。简档、层次及层级也可用以指示个别解码器实施方案之间的互操作性点。每一简档指定由符合那个简档的所有视频解码器支持的算法特征和限制的子集。不需要视频编码器利用简档中支持的所有特征。
层次的每一层级可指定对语法元素及变数可具有的值的限制的集合。层次和层级定义的同一集合可与所有简档一起使用，但个别实施方案可支持不同层次且支持层次内用于每一所支持简档的不同层级。对于任何给定简档，层次的层级可大体上对应于特定解码器处理负载和存储器能力。视频解码器的能力可在对符合特定简档、层次及层级的约束的视频流进行解码的能力方面经指定。对于每一此类简档，也可表达针对彼简档所支持的层次及层级。一些视频解码器可能不能够解码特定简档、层次或层级。
在HEVC中，简档、层次和层级可由语法结构profile_tier_level()语法结构传信。profile_tier_level()语法结构可包含于VPS及/或SPS中。profile_tier_level()语法结构可包含general_profile_idc语法元素、general_tier_flag语法元素及general_level_idc语法元素。general_level_idc语法元素可指示CVS符合的简档。general_tier_flag语法元素可指示用于general_level_idc语法元素的解译的层次上下文。general_level_idc语法元素可指示CVS符合的层级。可保留这些语法元素的其它值。
视频解码器的能力可在对符合简档、层次及层级的约束的视频流进行解码的能力方面经指定。对于每一此类简档，还可表达针对那个简档支持的层次和层级。在一些实例中，视频解码器并不推断在HEVC中指定的值之间的general_profile_idc语法元素的保留值指示指定简档之间的中间能力。然而，视频解码器可推断与在HEVC中指定的值之间的general_tier_flag语法元素的特定值相关联的general_level_idc语法元素的保留值指示层次的指定层级之间的中间能力。
文件格式标准包含ISO基本媒体文件格式(ISOBMFF，ISO/IEC 14496-12)，及从ISOBMFF导出的其它格式，包含MPEG-4文件格式(ISO/IEC 14496-15)、3GPP文件格式(3GPP TS 26.244)及AVC文件格式(ISO/IEC 14496-15)。ISO/IEC 14496-12及14496-15的新版本的草案本文可分别在http://phenix.int-evry.fr/mpeg/doc_end_user/documents/111_Geneva/wg11/w15177-v6-w15177.zip及http://phenix.int-evry.fr/mpeg/doc_end_user/documents/112_Warsaw/wg11/w15479-v2-w15479.zip处得到。
将ISOBMFF用作用于许多编码解码器囊封格式(例如，AVC文件格式)以及用于许多多媒体容器格式(例如，MPEG-4文件格式、3GPP文件格式(3GPP)及DVB文件格式)的基础。尽管最初针对存储而设计，但ISOBMFF已证明对于流发射(例如，用于逐渐下载或DASH)极有价值。为了流发射目的，可使用在ISOBMFF中定义的电影片段。
除例如音频及视频的连续媒体之外，例如图像的静态媒体以及元数据也可存储于符合ISOBMFF的文件中。根据ISOBMFF结构化的文件可用于许多用途，包含本地媒体文件播放、远程文件的逐渐下载、用于经由HTTP的动态自适应流发射(DASH)的区段、用于待流发射的内容及其分组化指令的容器及接收的实时媒体流的记录。
框为ISOBMFF中的基本语法结构。框包含四字元译码框类型、框的位组计数及有效负载。ISOBMFF文件由一序列的框组成，且框可含有其它框。电影框(“moov”)含有存在于文件中的用于连续媒体流的元数据，每一媒体流在文件中表示为轨道。将用于轨道的元数据围封于轨道框(“trak”)中，而将轨道的媒体内容围封于媒体数据框(“mdat”)中或直接围封于单独文件中。轨道的媒体内容可包括或由一序列的样本组成，例如音频或视频存取单元。
ISOBMFF指定以下类型的轨道：媒体轨道，其含有基本媒体流；提示轨道，其包含媒体发射指令或表示接收的分组流；及计时元数据轨道，其包括时间同步的元数据。每一轨道的元数据包含样本描述项的列表，每一项提供在轨道中使用的译码或囊封格式及对于处理那个格式需要的初始化数据。每一样本与轨道的样本描述项中的一者相关联。
ISOBMFF实现通过各种机构指定样本特定元数据。举例来说，轨道框包含样本表(“stbl”)框。轨道的样本表框含有样本表，所述样本表含有轨道的媒体样本的所有时间及数据索引。样本表包含用于轨道的特定样本的样本项。轨道的样本可包含识别适用于样本的样本项的语法元素。因此，当装置处理样本(例如，准备解码样本的经编码图片，转递样本，提取样本，等)时，装置可能够往回参考样本表框中的样本项以确定如何处理样本。
更特定来说，样本表框可包含样本描述(“stbl”)框。样本描述框可包含关于所使用的译码类型的详细信息，及那个解码所需的任何初始化信息。为实现此目标，样本描述框包含一组样本项框(即，样本项)。以下程序代码定义ISOBMFF中的框的样本项及样本描述框类别。
在ISOBMFF中，样本项类别为被扩展用于特定媒体类型的抽象类别。举例来说，VisualSampleEntry类别扩展SampleEntry类别且含有用于视频数据的信息。类似地，AudioSampleEntry类别扩展SampleEntry类别且含有用于音频数据的信息。以下程序代码定义ISOBMFF中的AudioSampleEntry类别。
此外，VisualSampleEntry类别可被扩展用于更加特定的用途，例如定义用于特定编码解码器的数据。举例来说，以下程序代码定义扩展VisualSampleEntry类别且含有特定针对于HEVC的信息的HEVCSampleEntry类别。
如上述程序代码中所示，HEVCSampleEntry类别包含HEVCConfigurationBox类别的实例。HEVCConfigurationBox包含HEVCDecoderConfigurationRecord类别的实例。HEVCDecoderConfigurationRecord类别的实例可包含指定解码器可用以解码含有HEVCDecoderConfigurationRecord的实例的样本项适用于的样本中的经译码图片的信息的语法元素。
此外，LHEVCSampleEntry类别已经定义，其扩展VisualSampleEntry类别并含有特定针对于L-HEVC的信息。LHEVCSampleEntry可用于不与HEVC兼容的轨道中。举例来说，如果文件的轨道仅包含多层位流的基层，则轨道可包含HEVCSampleEntry类别的实例。然而，在此实例中，文件的携载多层位流的其它层的其它轨道可包含LHEVCSampleEntry类别的实例。如在以下程序代码中所示，LHEVCSampleEntry类别包含LHEVCConfigurationBox的实例，且LHEVCConfigurationBox包含LHEVCDecoderConfigurationRecord框。
样本表框(“stbl”)内的特定框已经标准化以响应普通需求。举例来说，同步样本框(“stss”)用以列举轨道的随机存取样本。样本分群机构实现根据四字元分群类型将样本映射成共享指定为文件中的样本群组描述项的同一性质的样本的群组。已在ISOBMFF中指定若干分群类型。
另一实例样本群组为层信息(“linf”)样本群组。用于层信息样本群组的样本群组描述项包括轨道含有的层及子层的列表。含有层的经译码图片的轨道的每一样本可为轨道的“linf”样本群组的部分。在轨道的样本群组描述框中可存在一或多个“linf”样本群组项。然而，可要求存在包含L-HEVC数据的每一轨道的一个“linf”样本群组描述项。以下提供用于“linf”样本群组的样本群组描述项的语法及语义。
9.8.2.2语法
9.8.2.3语义
num_layers_in_track：与此样本群组相关联的此轨道的任一样本中携载的层的数目。
layer_id：用于相关联样本中携载的层的层ID。此字节的实例应在循环中按递升次序。
min_sub_layer_id：用于轨道内的层中的子层的最小TemporalId值。
1.max_sub_layer_id：用于轨道内的层中的子层的最大TemporalId值。
2.使layerList为在此轨道中携载的层的层ID及在其它轨道中携载并通过在此轨道中携载的层直接或间接参考的层的层ID的列表。layerList中的层ID是按层ID值的递升次序而定序。举例来说，假设此轨道携载具有层ID 4及5的层且其参考具有等于0及1的层ID的层，则与此轨道相关联的layerList为{0、1、4、5}。
ISOBMFF规范指定适用于DASH的六种类型流存取点(SAP)。前两种SAP类型(类型1及2)对应于H.264/AVC及HEVC中的瞬时解码刷新(IDR)图片。第三SAP类型(类型3)对应于开放图片群组(GOP)随机存取点，因此对应于HEVC中的断链存取(BLA)或清洁随机存取(CRA)图片。第四SAP类型(类型4)对应于GDR随机存取点。
在用于以文件格式存储L-HEVC层的14496-15的当前草案规范中，使用在携载位流的轨道中的一者中传信的操作点(“oinf”)样本群组描述可供用于文件中的位流的操作点的列表。操作点样本群组也可在本文中称为“操作点信息样本群组”。应用可通过遵循“oref”轨道参考而发现那个轨道。为简单起见，含有“oinf”样本群组的轨道也称作“oref”轨道。尽管仅仅在一个轨道中传信“oinf”样本群组，但在用于存储L-HEVC层的14496-15的当前草案规范中，“oinf”样本群组的范围涵盖携载L-HEVC译码数据的所有轨道。使用样本群组传信操作点的列表具有结果以使得操作点的列表可不涵盖在时间维度中的整个位流。可呈现大于一个“oinf”样本群组且每一样本群组包含不同样本集合。
图2为说明“oinf”样本群组的涵盖的实例的概念图。图2说明根据用于存储L-HEVC层的14496-15的当前草案规范的两个“oinf”样本群组(40及42)的涵盖。如图2的实例中所示，样本群组40及样本群组42各自包含轨道01、轨道02及轨道03中的样本。在图2的实例中，轨道01包含基层(BL)。轨道02包含基本流EL1，其可含有一或多个层。轨道03包含基本流EL2，其可含有一或多个额外层。在图2的实例中，每一相应加阴影矩形对应于单一相应样本。轨道01为图2中的“oref”轨道。在其它实例中，除携载基层的轨道以外的轨道可为“oref”轨道。操作点参考轨道的每一相应样本及额外轨道的每一相应样本包括相应存取单元，所述相应存取单元包括对应于同一时间实例的一或多个经编码图片。
传信操作点的上述技术可在不同轨道中的样本未对齐时具有问题，因为对于一些存取单元(或一些解码时间实例)，在一些轨道中存在但在其它轨道中不存在NAL单元。由于在文件层级处使用样本群组传信操作点，因此在时间维度中，样本群组可仅仅包含存在于含有样本群组的轨道中的样本，或至多具有在某些范围内的解码时间的样本。因此，在其它轨道中可存在具有在可通过特定轨道中的样本群组清楚地指定的范围外的解码时间的样本。在以下本文中描述问题的细节。
举例来说，当位流中的层的帧或图片速率不同，且EL是在与BL不同的轨道中携载时，在携载EL的轨道中存在未由任一“oinf”样本群组涵盖的样本，且在携载EL的轨道中可存在不在“oinf”样本群组中的任一者的解码时间范围内的样本。举例来说，当EL的帧速率为BL的帧速率的双倍时，在携载EL的轨道中存在未由任何“oinf”样本群组涵盖的样本。
图3说明在轨道含有具有不同帧或图片速率的层时出现的实例问题。在图3的实例中，位流包含基层及一或多个增强层。操作点参考轨道(即，“oref”轨道)含有基层且一或多个额外轨道的每一相应轨道含有一或多个增强层的相应增强层。特别地，在图3中，轨道01含有基层且轨道02含有增强层(图3中表示为EL1)。
在图3的实例中，文件包含第一“oinf”样本群组46及第二“oinf”样本群组48。在从一个“oinf”到另一个“oinf”样本群组的分群转换点处，具有在第一“oinf”样本群组的最后样本与第二“oinf”样本群组的第一样本之间的解码时间的轨道02中的样本50不具有在轨道01中的在时间上共置的样本，且不属于任一“oinf”样本群组。
因此，在图3的实例及其它实例中，使用在操作点参考轨道(例如，图3中的轨道01)中传信的第一操作点信息样本群组(例如，图3中的“oinf”样本群组46)在文件中描述可用于文件中的位流中的操作点。第一操作点信息样本群组包括操作点参考轨道中的第一组样本。此外，操作点参考轨道含有包括在操作点参考轨道中的第二组样本的第二操作点样本群组。在此实例中，在操作点参考轨道中不存在在于第一组样本中的具有最近解码时间的样本(例如，图3中的样本52)与在第二组样本中的具有最早解码时间的样本(例如，图3中的样本54)的解码时间之间的解码时间发生的样本。此外，在一或多个额外轨道中的特定额外轨道(例如，图3中的轨道02)中存在具有在第一组样本中的具有最近解码时间的样本与在第二组样本中的具有最早解码时间的样本的解码时间之间的解码时间的一或多个样本(例如，图3中的样本50)。在一些情况下，特定额外轨道(例如，图3中的轨道02)与操作点参考轨道相比具有较高帧速率。
通过遵循“oref”轨道参考发现含有“oinf”样本群组的指定的“oref”轨道的事实具有以下结果：对于可含有“oinf”样本群组的全部位流可存在仅仅一个轨道，此是由于在轨道标头中指定轨道参考后不可改变轨道参考。归因于可含有“oinf”样本群组的轨道的此固定指定及“oinf”样本群组可仅仅包含存在于含有“oinf”样本群组的轨道中的样本的事实，如果“oref”轨道中在某时间周期中不存在样本，则除“oref”轨道以外的轨道中的一些样本可不属于任一“oinf”样本群组。
图4说明在“oref”轨道在某时间周期中不具有样本时出现的实例问题。在图4的实例中，文件包含第一“oinf”样本群组56及第二“oinf”样本群组58。如图4的实例中所示，在“oref”轨道处不存在样本的时间周期处，除“oref”轨道以外的轨道中的所有样本60不属于任一“oinf”样本群组。另外，如图4中所示，不存在在轨道02中具有“oinf”样本群组的可能性，此是由于在通过轨道标头中的“oref”轨道参考指定“oref”轨道后不可改变“oref”轨道。
本发明提出用以解决上述问题的若干技术。技术中的一些可独立地应用，且其中的一些可组合地应用。出于除解决上述问题以外的原因，技术可为有益的。
根据本发明的第一技术，以下可应用于并非“oref”轨道的轨道中的样本：
a.除“oref”轨道以外的轨道中的样本为与“oref”轨道中的其在时间上共置的样本相同的“oinf”样本群组的部分。对于轨道中的特定样本，另一轨道中的在时间上共置的样本为具有与此特定样本的解码时间相同的解码时间的样本。
b.如果除“oref”轨道以外的轨道中的样本spA不具有“oref”轨道中的在时间上共置样本，则样本被视为在spA之前的“oref”轨道中的最后样本的“oinf”样本群组的部分。此过程可递回地应用。或者或另外，在此情况下样本被视为在spA之后的“oref”轨道中的第一样本的“oinf”样本群组的部分。
通过应用上文陈述，图3的样本50包含于“oinf”样本群组46中，此是由于样本50是在除“oref”轨道(即，轨道01)以外的轨道(即，轨道02)中且不具有在“oref”轨道中的在时间上共置样本。因此，样本50被考虑为在样本50之前的最后样本(即，样本52)的“oinf”样本群组的部分。类似地，在图4的样本中，样本60是在除“oref”轨道(即，轨道01)以外的轨道(即，轨道02)中且不具有在“oref”轨道中的在时间上共置样本。因此，样本60被考虑为在样本60之前的“oref”轨道的最后样本的“oinf”样本群组的部分。
因此，在第一技术的实例中，例如源装置12、文件产生装置34或另一装置的装置可产生文件中的操作点参考轨道。一般来说，产生轨道可包括将数据(例如轨道的样本及/或轨道的元数据)存储到文件中。作为产生操作点参考轨道的部分，装置可在操作点参考轨道中传信描述可供用于文件中的位流的操作点的操作点信息样本群组。一般来说，传信样本群组可包括在文件中存储指示样本群组的样本的样本到群组框及描述样本群组的样本群组描述项。此外，装置可产生文件中的一或多个额外轨道。无操作点信息样本群组是在额外轨道的任一者中传信。此外，基于操作点参考轨道含有在时间上与相应额外轨道中的相应样本共置的样本，相应额外轨道中的相应样本被考虑为操作点信息样本群组的部分。基于操作点参考轨道不含有在时间上与相应额外轨道中的相应样本共置的样本，相应额外轨道中的相应样本被考虑为在相应额外轨道的相应样本之前的操作点参考轨道中的最后样本的操作点信息样本群组的部分。
类似地，在第一技术的实例中，例如目的地装置14、MANE或另一装置的装置可获得文件中的操作点参考轨道。获得数据(例如操作点参考轨道)可包括读取数据，剖析数据或以其它方式执行某一动作以得到、获取或拥有数据。使用在操作点参考轨道中传信的操作点信息样本群组在文件中描述可供用于文件中的位流的操作点。此外，装置可获得文件中的一或多个额外轨道。无操作点信息样本群组是在额外轨道的任一者中传信。对于一或多个额外轨道中的每一相应额外轨道的每一相应样本，装置可确定是否将相应样本考虑为操作点信息样本群组的部分。基于操作点参考轨道含有在时间上与相应额外轨道中的相应样本共置的样本，相应额外轨道中的相应样本被考虑为操作点信息样本群组的部分。基于操作点参考轨道不含有在时间上与相应额外轨道中的相应样本共置的样本，相应额外轨道中的相应样本被考虑为在相应额外轨道的相应样本之前的操作点参考轨道中的最后样本的操作点信息样本群组的部分。此外，在一些实例中，装置可执行从位流提取操作点的子位流提取过程。
下文描述第一技术的实例实施方案。在整个本发明中，到当前L-HEVC文件格式(例如，用于14496-15的当前草案规范)的插入是围封在<ins>…＜/ins>标签(例如，<ins>经添加文字</ins>)中，且所移除文字是围封在<dlt>…</dlt>标签(例如，<dlt>经删除文字</dlt>)中。
9.8.1操作点信息样本群组
9.8.1.1定义
框类型：“oinf”
容器：“oref”类型参考轨道的SampleGroupDescriptionBox(“sgpd”)
必选：在L-HEVC位流的一个且仅仅一个轨道中为是
数量：一或多个“oinf”样本群组项
通过使用操作点信息样本群组(“oinf”)将给定样本相关的不同操作点及其构造通知应用。每一操作点涉及输出层集合、最大T-ID值及简档、层级及层次传信。所有此信息是由“oinf”样本群组捕获。除这些信息以外，此样本群组还提供层之间的依赖性信息、在L-HEVC位流中译码的可调性的类型，及有关于给定可调性类型的任一特定层的尺寸识别符。
对于L-HEVC位流的所有轨道，在此集合中应仅仅存在携载“oinf”样本群组的一个轨道。L-HEVC位流的所有轨道应具有对携载“oinf”样本群组的轨道的类型“oref”的轨道参考。
当若干VPS存在于L-HEVC位流中时，可需要声明若干操作点信息样本群组。对于其中呈现单一VPS的更普通情况，建议使用定义于ISO/IEC 14496-12中的预设样本群组机构且在轨道样本表中包含操作点信息样本群组，而非在每一轨道片段中声明操作点信息样本群组。
<ins>对于轨道中的特定样本，另一轨道中的在时间上共置的样本为具有与此特定样本的解码时间相同的解码时间的样本。
对于除“oref”轨道以外的轨道，以下适用：
-除“oref”轨道以外的轨道中的样本为与“oref”轨道中的其在时间上共置的样本相同的“oinf”样本群组的部分。
-如果除“oref”轨道以外的轨道中的样本spA不具有“oref”轨道中的在时间上共置样本，则样本被考虑为在spA之前的“oref”轨道中的最后样本的“oinf”样本群组的部分。此过程可递回地适用。</ins>
根据本发明的第二技术，含有“oinf”样本群组的轨道是在层信息(“linf”)样本群组中指示，而非使用“oref”轨道参考以解析含有“oinf”样本群组的轨道。此可允许“oinf”样本群组在不同时间周期中存在于不同轨道中。
举例来说，参看图4，用于轨道01及轨道02的样本群组描述框可各自包含相应“linf”样本群组描述项，所述“linf”样本群组描述项包含相应“oinf”轨道识别符元素，所述相应“oinf”轨道识别符元素指定含有与轨道01及轨道02相关联的“oinf”样本群组的相应轨道识别符。此外，在图4中，用于轨道02的“linf”样本群组描述项中的“oinf”轨道识别符元素可指示轨道02包含“oinf”样本群组。因此，轨道02的“oinf”样本群组可包含样本56。然而，如果第一轨道中的每一样本与第二轨道中的相应样本对齐且“oinf”样本群组经定义用于第二轨道，则与“oinf”样本群组直接定义于第一轨道中相比，第一轨道参考第二轨道的“oinf”样本群组可更高效。
因此，在第二技术的实例中，例如源装置12或另一装置的装置可产生文件中的第一轨道。在此实例中，第一轨道含有用于层信息样本群组的样本群组描述项。另外，在此实例中，装置产生文件中的第二轨道。第二轨道含有列举可供用于文件中的位流的操作点的操作点信息样本群组的样本群组描述项。在此实例中，装置可使用第一轨道中指示的数据以将第二轨道识别为含有用于操作点信息样本群组的样本群组描述项。
在第二技术的另一实例中，例如目的地装置14或另一装置的装置获得文件中的第一轨道。第一轨道含有用于层信息样本群组的样本群组描述项。另外，装置获得文件中的第二轨道。在此实例中，第二轨道含有列举可供用于文件中的位流的操作点的操作点信息样本群组的样本群组描述项。此外，在此实例中，装置可使用第一轨道中指示的数据以将第二轨道识别为含有用于操作点信息样本群组的样本群组描述项。
在第三技术中，“oinf”样本群组及“linf”样本群组在时间上对齐，以使得属于同一“oinf”样本群组的样本还属于同一“linf”样本群组。举例来说，建构在上文所描述的第二技术上，对文件格式的要求或约束条件可为：对于每一属于“linf”样本群组lA的在轨道tA中的样本sA及属于“linf”样本群组lB的在轨道tB中的样本sB(其中sA及sB在时间上共置)，在轨道tA中且还属于“linf”样本群组lA的样本sC在时间上与在轨道tB中的样本sD共置，则样本sD必须属于“linf”样本群组lB。此外，对文件格式的要求或约束条件可为：对于每一属于“oref”样本群组oA的在轨道tA中的样本sA及属于“oref”样本群组oB的在轨道tB中的样本sB(其中sA及sB在时间上共置)，在轨道tA中且还属于“oref”样本群组oA的样本sC在时间上与在轨道tB中的样本sD共置，则样本sD必须属于“oref”样本群组oB。
因此，在第三技术的实例中，例如源装置12或另一装置的装置可产生文件中的第一轨道。在此实例中，第一轨道含有用于层信息样本群组的样本群组描述项。另外，在此实例中，装置产生文件中的第二轨道。在此实例中，第二轨道含有列举可供用于文件中的位流的操作点的操作点信息样本群组的样本群组描述项。在此实例中，层信息样本群组及操作点信息样本群组在时间上对齐以使得属于操作点信息样本群组的样本还属于同一层信息样本群组。
类似地，在第三技术的实例中，例如目的地装置14或另一装置的装置可获得文件中的第一轨道。在此实例中，第一轨道含有用于层信息样本群组的样本群组描述项。另外，在此实例中，装置获得文件中的第二轨道。在此实例中，第二轨道含有列举可供用于文件中的位流的操作点的操作点信息样本群组的样本群组描述项。在此实例中，层信息样本群组及操作点信息样本群组在时间上对齐以使得属于操作点信息样本群组的样本还属于同一层信息样本群组。
下文展示用于实施上文所描述的第二及第三技术的14496-15的当前草案规范的变化。
9.8.1操作点信息样本群组
9.8.1.1定义
框类型：“oinf”
容器：“oref”类型参考轨道的SampleGroupDescriptionBox(“sgpd”)
必选：在L-HEVC位流的一个且仅仅一个轨道中为是
数量：一或多个“oinf”样本群组项
通过使用操作点信息样本群组(“oinf”)将给定样本相关的不同操作点及其构造通知应用。每一操作点涉及输出层集合、最大T-ID值及简档、层级及层次传信。所有这些信息是由“oinf”样本群组捕获。除这些信息以外，此样本群组还提供层之间的依赖性信息、在L-HEVC位流中译码的可调性的类型，及有关于给定可调性类型的任一特定层的尺寸识别符。
<dlt>对于L-HEVC位流的所有轨道，在此集合中应仅仅存在携载“oinf”样本群组的一个轨道。L-HEVC位流的所有轨道应具有对携载“oinf”样本群组的轨道的类型“oref”的轨道参考。</dlt>
<ins>携载“oinf”样本群组的轨道是通过在层信息(“linf”)样本群组中传信的oinf_track_id字节识别。“linf”样本群组与“oinf”样本群组在时间上对齐，以使得属于同一“oinf”样本群组的样本还属于同一“linf”样本群组。</ins>
当若干VPS存在于L-HEVC位流中时，可需要声明若干操作点信息样本群组。对于其中呈现单一VPS的更普通情况，建议使用定义于ISO/IEC 14496-12中的预设样本群组机构且在轨道样本表中包含操作点信息样本群组，而非在每一轨道片段中声明操作点信息样本群组。
9.8.2层信息样本群组
9.8.2.1定义
框类型：“linf”
容器：SampleGroupDescriptionBox(“sgpd”)
必选：每一L-HEVC轨道中为是
数量：一或多个“linf”样本群组项
轨道携载的层及子层的列表是在层信息样本群组中传信。每一L-HEVC轨道应携载“linf”样本群组。
9.8.2.2语法
9.8.2.3语义
num_layers_in_track：与此样本群组相关联的这个轨道的任一样本中携载的层的数目。
layer_id：用于相关联样本中携载的层的层ID。此字节的实例应在循环中按递升次序。
min_sub_layer_id：用于轨道内的层中的子层的最小TemporalId值。
max_sub_layer_id：用于轨道内的层中的子层的最大TemporalId值。
<ins>oinf_track_id：含有相关联“oinf”样本群组的轨道的轨道ID。</ins>
在第四技术中，“虚设”样本项可经产生用于轨道。“虚设”样本项并不适用于轨道中的任一样本，且可含有可仅仅由含有取决于此轨道中的层的层的一些其它轨道使用的参数集。在一些实例中，“虚设”样本项包含描述操作点的信息或指向在“oinf”框中传信的操作点的索引值。因此，在图4的实例中，用于轨道01的样本表框可包含“虚设”样本项且解译文件的装置可在解译轨道02时参考轨道01的“虚设”样本项。
在第四技术的实例中，例如源装置12或另一装置的装置产生文件中的一或多个轨道。另外，在此实例中，装置产生文件中的额外轨道。在此实例中，额外轨道含有不适用于额外轨道中的任一样本的特定样本项。在此实例中，特定样本项含有可仅仅由含有取决于额外轨道中的层的层的一或多个轨道使用的参数集。
类似地，在第四技术的实例中，例如目的地装置14或另一装置的装置获得文件中的一或多个轨道。另外，在此实例中，装置获得文件中的额外轨道。在此实例中，额外轨道含有不适用于额外轨道中的任一样本的特定样本项。此外，在此实例中，特定样本项含有可仅仅由含有取决于额外轨道中的层的层的一或多个轨道使用的参数集。
在第五技术中，操作点的列表不经由样本群组传信。实际上，操作点的列表是在“oref”轨道内的其自身框(例如，“oinf”框)中传信。举例来说，如上文所提，轨道的样本表框可包含含有关于轨道的相应样本的信息的样本项。在用于L-HEVC的ISO基本媒体文件格式的扩展的草案中，样本项可包含LHEVCDecoderConfigurationRecord类别的实例。根据第五技术的实例，每一轨道的样本项可包含到“oinf”框中传信的操作点的列表的索引的列表。样本项中的操作点的列表为适用于样本项适用于的样本的操作点的列表。
因此，在第五技术的实例中，作为产生文件的部分，装置(例如，源装置12或另一装置)可在含有指定列举可供用于文件中的位流的操作点的操作点信息样本群组的样本群组描述项的轨道内的框中传信操作点的列表。在此实例中，框属于的类型的框仅仅经指定用于含有指定操作点信息样本群组的样本群组描述项。类似地，在第五技术的另一实例中，作为产生文件的部分，装置(例如，目的地装置14或另一装置)可在含有指定列举可供用于文件中的位流的操作点的操作点信息样本群组的样本群组描述项的轨道内的框中获得操作点的列表。在此实例中，框属于的类型的框仅仅经指定用于含有指定操作点样本群组的样本群组描述项。
下文展示用于实施第五技术的14496-15的当前草案规范的实例变化。
9.6.3解码器配置记录
当定义于条款8.3.3.1中的解码器配置记录用于可解译为L-HEVC或HEVC流的流时，HEVC解码器配置记录应适用于HEVC兼容基层，且应仅仅含有解码HEVC基层所需要的参数集。
LHEVCDecoderConfigurationRecord的语法如下：
LHEVCDecoderConfigurationRecord及HEVCDecoderConfigurationRecord共同的字节的语义保持不变。
注意，轨道可表示大于一个输出层集合。
注意，对于包含于轨道中的每一辅助图片层，建议在nalUnit内包含含有声明性SEI消息(例如，用于深度辅助图片层的深度表示信息SEI消息)的SEI NAL单元，指定辅助图片层的特性。
<ins>num_operating_points：给出适用于此样本项适用于的样本的操作点的数目。
Op_idx：给出到在“oinf”框中传信的操作点的列表的索引。</ins>
本发明提出若干技术。这些技术中的一些可独立地应用，且其中的一些可组合地应用。
用于产生或处理文件的本发明的技术可通过源装置12、目的地装置14或另一装置执行。举例来说，装置可从源装置12接收经编码视频数据并基于经编码视频数据产生文件。类似地，装置可接收并处理文件。此装置可将来自文件的经编码视频数据提供到目的地装置14。
图5为说明实例视频编码器20的框图。图5是出于解释的目的而提供且不应视为本发明中广泛例示及描述的所述技术的限制。出于解释的目的，本发明在HEVC译码的上下文中描述视频编码器20。然而，本发明的技术可适用于其它译码标准或方法。
在图5的实例中，视频编码器20包含预测处理单元100、视频数据存储器101、残余产生单元102、变换处理单元104、量化单元106、反量化单元108、反变换处理单元110、重建单元112、滤波器单元114、经解码图片缓冲器116及熵编码单元118。预测处理单元100包含帧间预测处理单元120及帧内预测处理单元126。帧间预测处理单元120包含运动估计单元及运动补偿单元(未图示)。在其它实例中，视频编码器20可包含较多、较少或不同功能的组件。
视频数据存储器101可存储待由视频编码器20的组件编码的视频数据。可(例如)从视频源18获得存储于视频数据存储器101中的视频数据。经解码图片缓冲器116可为存储用于由视频编码器20在编码视频数据(例如，以帧内或帧间译码模式)时使用的参考视频数据的参考图片存储器。视频数据存储器101及经解码图片缓冲器116可由多种存储器装置中的任一者形成，例如，动态随机存取存储器(DRAM)(包含同步DRAM(SDRAM))、磁阻式RAM(MRAM)、电阻式RAM(RRAM)或其它类型的存储器装置。可通过相同存储器装置或单独存储器装置来提供视频数据存储器101及经解码图片缓冲器116。在各种实例中，视频数据存储器101可与视频编码器20的其它组件一起在芯片上，或相对于那些组件在芯片外。
视频编码器20接收视频数据。视频编码器20可编码视频数据的图片的切片中的每一CTU。CTU中的每一者可与相等大小的明度译码树型块(CTB)及图片的对应CTB相关联。作为编码CTU的部分，预测处理单元100可执行四分树分割以将CTU的CTB划分成逐渐较小的块。更小块可为CU的译码块。举例来说，预测处理单元100可将与CTU相关联的CTB分割成四个相等大小的子块，将子块中的一或多者分割成四个相等大小的子子块，等等。
视频编码器20可编码CTU的CU以产生所述CU的经编码表示(即，经译码CU)。作为编码CU的部分，预测处理单元100可在CU的一或多个PU中分割与CU相关联的译码块。因此，每一PU可与明度预测块及对应的色度预测块相关联。帧间预测处理单元120可通过对CU的每一PU执行帧间预测而产生PU的预测性数据。用于PU的预测性数据可包含PU的预测性块及PU的运动信息。帧内预测处理单元126可通过对PU执行帧内预测而产生用于PU的预测性数据。PU的预测性数据可包含PU的预测性块及各种语法元素。帧内预测处理单元126可对I切片、P切片及B切片中的PU执行帧内预测。
预测处理单元100可从由帧间预测处理单元120产生的PU的预测性数据或由帧内预测处理单元126产生的PU的预测性数据当中选择CU的PU的预测性数据。在一些实例中，预测处理单元100基于数组预测性数据的速率/失真度量而选择用于CU的PU的预测性数据。选定的预测性数据的预测性块在本文中可被称作选定的预测性块。残余产生单元102可基于CU的译码块及CU的PU的选定预测性块而产生CU的残余块。
变换处理单元104可执行四分树分割以将与CU相关联的剩余块分割成与CU的TU相关联的变换块。TU可与明度变换块及两个色度变换块相关联。CU的TU的明度及色度变换块的大小及位置可或可不基于CU的PU的预测块的大小及位置。
变换处理单元104可通过将一或多个变换应用于TU的变换块而产生CU的每一TU的变换系数块。变换处理单元104可将各种变换应用于与TU相关联的变换块。举例来说，变换处理单元104可将离散余弦变换(DCT)、定向变换或概念上类似的变换应用于变换块。在一些实例中，变换处理单元104并不将变换应用于变换块。在这些实例中，变换块可经处理为变换系数块。
量化单元106可量化系数块中的变换系数。量化过程可减少与变换系数中的一些或全部相关联的位深度。
反量化单元108及反变换处理单元110可分别将反量化及反变换应用于系数块，以从系数块重建残余块。重建单元112可将经重建的残余块添加到来自由预测处理单元100所产生的一或多个预测性块的对应样本，以产生与TU相关联的经重建变换块。通过以此方式重建CU的每一TU的变换块，视频编码器20可重建CU的译码块。
滤波器单元114可执行一或多个解块操作以减少与CU相关联的译码块中的块伪影。在滤波器单元114对经重建译码块执行一或多个解块操作之后，经解码图片缓冲器116可存储经重建译码块。帧间预测处理单元120可使用含有经重建译码块的参考图片，以对其它图片的PU执行帧间预测。另外，帧内预测处理单元126可使用经解码图片缓冲器116中的经重建译码块，以对与CU在相同的图片中的其它PU执行帧内预测。
熵编码单元118可从视频编码器20的其它功能组件接收数据。举例来说，熵编码单元118可从量化单元106接收系数块，并可从预测处理单元100接收语法元素。熵编码单元118可对数据执行一或多个熵编码操作以产生经熵编码的数据。举例来说，熵编码单元118可对数据执行CABAC操作、上下文自适应性可变长度译码(CAVLC)操作、可变到可变(V2V)长度译码操作、基于语法的上下文自适应性二进位算术译码(SBAC)操作、概率区间分割熵(PIPE)译码操作、指数哥伦布编码操作或另一类型的熵编码操作。视频编码器20可输出包含由熵编码单元118产生的经熵编码的数据的位流。举例来说，位流可包含表示CU的RQT的数据。
此外，在图5的实例中，文件处理单元128可获得由视频编码器20产生的位流。文件处理单元128可通过装置(例如源装置12、文件产生装置34、内容递送网络装置或另一类型装置)的一个或多个处理器实施。文件处理单元128可产生存储由视频编码器20产生的位流的文件。计算机可读媒体130可接收由文件处理单元128产生的文件。在一些实例中，计算机可读媒体130包括例如存储器、光学光盘、磁盘或计算装置能够从其读取数据的其它类型的非暂时性存储媒体的计算机可读存储媒体。在其中计算机可读媒体130包括计算机可读存储媒体的一些实例中，计算机可读存储媒体可形成装置(例如源装置12、文件产生装置34、内容递送网络装置或另一类型装置)的部分。在一些实例中，计算机可读媒体130包括计算机可读通信媒体，例如光纤、通信电缆、电磁波或计算装置能够从其读取数据的其它类型的媒体。
根据本发明的技术，文件处理单元128可产生文件中的操作点参考轨道。作为产生操作点参考轨道的部分，文件处理单元128可在操作点参考轨道中传信描述可供用于文件中的位流的操作点的操作点信息样本群组。另外，作为产生文件的部分，文件处理单元128可产生文件中的一或多个额外轨道。在此实例中，无操作点信息样本群组是在额外轨道中的任一者中传信。此外，基于操作点参考轨道含有在时间上与相应额外轨道中的相应样本共置的样本，文件处理单元128可将相应额外轨道中的相应样本考虑为操作点信息样本群组的部分。此外，基于操作点参考轨道不含有在时间上与相应额外轨道中的相应样本共置的样本，文件处理单元128可将相应额外轨道中的相应样本考虑为在相应额外轨道的相应样本之前的操作点参考轨道中的最后样本的操作点信息样本群组的部分。
图6为说明实例视频解码器30的框图。图6是出于解释的目的而提供且不对如本发明中广泛例示及描述的技术进行限制。出于解释的目的，本发明在HEVC译码的内容脉络中描述视频解码器30。然而，本发明的技术可适用于其它译码标准或方法。
在图6的实例中，视频解码器30包含熵解码单元150、视频数据存储器151、预测处理单元152、反量化单元154、反变换处理单元156、重建单元158、滤波器单元160，及经解码图片缓冲器162。预测处理单元152包含运动补偿单元164及帧内预测处理单元166。在其它实例中，视频解码器30可包含较多、较少或不同的功能组件。
视频数据存储器151可存储待由视频解码器30的组件解码的视频数据(例如，经编码视频位流)。可(例如)从信道16(例如，从本地视频源，例如摄像机)、经由视频数据的有线或无线网络通信，或通过存取实体数据存储媒体获得存储于视频数据存储器151中的视频数据。视频数据存储器151可形成存储来自经编码视频位流的经编码视频数据的经译码图片缓冲器(CPB)。经解码图片缓冲器162可为存储用于由视频解码器30在解码视频数据(例如，以帧内或帧间译码模式)时使用的参考视频数据的参考图片存储器。视频数据存储器151及经解码图片缓冲器162可由多种存储器装置中的任一者形成，例如动态随机存取存储器(DRAM)(包含同步DRAM(SDRAM))、磁阻式RAM(MRAM)、电阻式RAM(RRAM)或其它类型的存储器装置。可通过同一存储器装置或单独存储器装置提供视频数据存储器151及经解码图片缓冲器162。在各种实例中，视频数据存储器151可与视频解码器30的其它组件一起在芯片上，或相对于那些组件来说在芯片外。
视频数据存储器151接收并存储位流的经编码视频数据(例如，NAL单元)。熵解码单元150可从CPB接收经编码视频数据(例如，NAL单元)且剖析NAL单元以获得语法元素。熵解码单元150可对NAL单元中的经熵编码语法元素进行熵解码。预测处理单元152、反量化单元154、反变换处理单元156、重建单元158及滤波器单元160可基于从位流提取的语法元素而产生经解码视频数据。熵解码单元150可执行大体上与熵编码单元118的那个过程互逆的过程。
除从位流获得语法元素之外，视频解码器30可对未经分割的CU执行重建操作。为对CU执行重建操作，视频解码器30可对CU的每一TU执行重建操作。通过对CU的每一TU执行重建操作，视频解码器30可重建CU的残余块。
作为对CU的TU执行重建操作的部分，反量化单元154可反量化(即，解量化)与TU相关联的系数块。在反量化单元154对系数块进行反量化之后，反变换处理单元156可将一或多个逆变换应用于系数块以便产生与TU相关联的残余块。举例来说，反变换处理单元156可将反DCT、反整数变换、反卡忽南-拉维变换(Karhunen-Loeve transform；KLT)、反旋转变换、反定向变换或另一反变换应用于系数块。
如果使用帧内预测编码PU，则帧内预测处理单元166可执行帧内预测以产生PU的预测性块。帧内预测处理单元166可使用帧内预测模式来基于样本空间相邻块产生PU的预测性块。帧内预测处理单元166可基于从位流获得的一或多个语法元素确定用于PU的帧内预测模式。
如果使用帧间预测编码PU，则熵解码单元150可确定PU的运动信息。运动补偿单元164可基于PU的运动信息而确定一或多个参考块。运动补偿单元164可基于一或多个参考块产生PU的预测性块(例如，预测性明度、Cb及Cr块)。
重建单元158可使用CU的TU的变换块(例如，明度、Cb及Cr变换块)及CU的PU的预测性块(例如，明度、Cb及Cr块)(即，可适用的帧内预测数据或帧间预测数据)来重建CU的译码块(例如，明度、Cb及Cr译码块)。举例来说，重建单元158可将变换块(例如，明度、Cb及Cr变换块)的样本添加到预测性块(例如，明度、Cb及Cr预测性块)的对应样本，以重建CU的译码块(例如，明度、Cb及Cr译码块)。
滤波器单元160可执行解块操作以减少与CU的译码块相关联的块伪影。视频解码器30可将CU的译码块存储于经解码图片缓冲器162中。经解码图片缓冲器162可提供参考图片以用于后续运动补偿、帧内预测及在显示装置(例如，图1的显示装置32)上的呈现。举例来说，视频解码器30可基于经解码图片缓冲器162中的块对其它CU的PU执行帧内预测或帧间预测操作。
在图6的实例中，计算机可读媒体148包括例如存储器、光学光盘、磁盘或计算装置能够从其读取数据的其它类型的非暂时性存储媒体的计算机可读存储媒体。在其中计算机可读媒体148包括计算机可读存储媒体的一些实例中，计算机可读存储媒体可形成装置(例如源装置12、文件产生装置34、内容递送网络装置或另一类型装置)的部分。在一些实例中，计算机可读媒体148包括计算机可读通信媒体，例如光纤、通信电缆、电磁波或计算装置能够从其读取数据的其它类型的媒体。
此外，在图6的实例中，文件处理单元149从计算机可读媒体148接收文件或文件的部分。文件处理单元149可通过装置(例如目的地装置14、MANE、内容递送网络装置或另一类型装置)的一个或多个处理器实施。
文件处理单元149可处理文件。举例来说，文件处理单元149可从文件获得NAL单元。在图6的实例中，通过视频解码器30接收的经编码视频位流可包括从文件获得的NAL单元。
根据本发明的技术，文件处理单元149可获得文件中的操作点参考轨道。使用在操作点参考轨道中传信的操作点信息样本群组在文件中描述可供用于文件中的位流的操作点。此外，文件处理单元149可获得文件中的一或多个额外轨道。无操作点信息样本群组是在额外轨道的任一者中传信。此外，对于一或多个额外轨道中的每一相应额外轨道的每一相应样本，文件处理单元149可确定是否将相应样本考虑为操作点信息样本群组的部分。基于操作点参考轨道含有在时间上与相应额外轨道中的相应样本共置的样本，文件处理单元149可将相应额外轨道中的相应样本考虑为操作点信息样本群组的部分。基于操作点参考轨道不含有在时间上与相应额外轨道中的相应样本共置的样本，文件处理单元149可将相应额外轨道中的相应样本考虑为在相应额外轨道的相应样本之前的操作点参考轨道中的最后样本的操作点信息样本群组的部分。此外，文件处理单元149可执行从位流提取操作点的子位流提取过程。
图7为说明根据本发明的一或多种技术的文件300的实例结构的框图。文件300可通过各种装置产生及处理，例如源装置12(图1)、文件产生装置34(图1)、目的地装置14(图1)、文件处理单元128(图5)、MANE、内容递送网络装置或其它类型的装置或单元。在图7的实例中，文件300包含电影框302及多个媒体数据框304。尽管在图7的实例中说明为在同一文件中，但在其它实例中，电影框302及媒体数据框304可在分开的文件中。如上所指示，框可为由唯一类型识别符及长度定义的物件导向式建构块。举例来说，框可为ISOBMFF中的基本语法结构，包含四字元译码框类型、框的位组计数及有效负载。
电影框302可含有用于文件300的轨道的元数据。文件300的每一轨道可包括媒体数据的连续流。媒体数据框304中的每一者可包含一或多个样本305。样本305中的每一者可包括音频或视频存取单元。如在本发明中其它处所描述，在多视图译码(例如，MV-HEVC及3D-HEVC)及可调式视频译码(例如，SHVC)中，每一存取单元可包括多个经译码图片。举例来说，存取单元可包含用于每一层的一或多个经译码图片。
此外，在图7的实例中，电影框302包含轨道框306。轨道框306可围封用于文件300的轨道的元数据。在其它实例中，电影框302可包含用于文件300的不同轨道的多个轨道框。轨道框306包含媒体框307。媒体框307可含有声明关于轨道内的媒体数据的信息的所有物件。媒体框307包含媒体信息框308。媒体信息框308可含有声明轨道的媒体的特性信息的所有物件。媒体信息框308包含样本表框309。样本表框309可指定样本特定元数据。样本表框309可包含零或多个SampleToGroup框及零或多个SampleGroupDescription框。
在图7的实例中，样本表框309可包含样本描述框310。另外，样本表框309可包含零或多个SampleToGroup框及零或多个SampleGroupDescription框。特别地，在图7的实例中，样本表框309包含SampleToGroup框311及SampleGroupDescription框312。在其它实例中，样本表框309可包含除样本描述框310、SampleToGroup框311及SampleGroupDescription框312之外的其它框，及/或可包含多个SampleToGroup框及SampleGroupDescription框。SampleToGroup框311可将样本(例如，样本305中的特定者)映射到一群样本。SampleGroupDescription框312可指定由所述群样本(即，样本群组)中的样本共享的性质。样本描述框310包括用于轨道的一组样本项315。样本(例如，样本305中的一者)可包含将样本项315中的一者指示为适用于样本的语法元素。
此外，在图7的实例中，SampleToGroup框311包含grouping_type语法元素313(即，分群类型语法元素)、entry_count语法元素316(即，项计数语法元素)及一或多个样本群组项318。Grouping_type语法元素313为识别样本分群的类型(即，用以形成样本群组的准则)，且将其连结到具有相同分群类型值的样本群组描述表的整数。在一些实例中，对于轨道，具有grouping_type语法元素313的同一值的SampleToGroup框311应至多出现一次。
Entry_count语法元素316指示样本群组项318的数目。样本群组项318中的每一者包含sample_count语法元素324(即，样本计数语法元素)及group_description_index语法元素326(即，群组描述索引语法元素)。Sample_count语法元素324可指示与含有sample_count语法元素324的样本群组项相关联的样本的数目。Group_description_index语法元素326可在SampleGroupDescription框(例如，SampleGroupDescription框312)内识别含有与含有group_description_index语法元素326的样本群组项相关联的样本的描述的群组描述项。Group_description_index语法元素326可介于1到SampleGroupDescription框312中的样本群组项的数目的范围内。具有值0的Group_description_index语法元素326指示样本并非通过grouping_type语法元素313指示的类型的群组的成员。
另外，在图7的实例中，SampleGroupDescription框312包含grouping_type语法元素328、entry_count语法元素330及一或多个群组描述项332。Grouping_type语法元素328为识别与SampleGroupDescription框312相关联的SampleToGroup框(例如，SampleToGroup框311)的整数。Entry_count语法元素330指示SampleGroupDescription框中的群组描述项332的数目。群组描述项332中的每一者可包含样本群组的描述。举例来说，群组描述项332可包含用于“oinf”样本群组的样本群组描述项。
根据本发明的第一技术，基于文件300的操作点参考轨道含有在时间上与文件300的额外轨道中的相应样本共置的样本，解译文件300的装置可将相应额外轨道中的相应样本考虑为由在SampleGroupDescription框312中的群组描述项332中的样本群组描述项描述的操作点信息样本群组的部分。此外，基于操作点参考轨道不含有在时间上与相应额外轨道中的相应样本共置的样本，装置可将相应额外轨道中的相应样本考虑为在相应额外轨道的相应样本之前的操作点参考轨道中的最后样本的操作点信息样本群组的部分。
图8为说明根据本发明的一或多种技术的文件450的实例结构的概念图。文件450可通过各种装置产生及处理，例如源装置12(图1)、文件产生装置34(图1)、目的地装置14(图1)、文件处理单元149(图6)、MANE、内容递送网络装置或其它类型的装置或单元。在图8的实例中，文件450包含一或多个电影片段框452及多个媒体数据框454。尽管在图8的实例中说明为在同一文件中，但在其它实例中电影片段框452及媒体数据框454可在分开的文件中。媒体数据框454中的每一者可包含一或多个样本456。电影片段框中的每一者对应于一个电影片段。每一电影片段可包括一组轨道片段。可存在每轨道零个或多个轨道片段。
在图8的实例中，电影片段框452提供关于对应电影片段的信息。此信息先前处于电影框(例如电影框302)中。电影片段框452可包含轨道片段框458。轨道片段框458对应于轨道片段，且提供关于轨道片段的信息。
举例来说，在图8的实例中，轨道片段框458可包含含有关于对应于轨道片段框458的轨道片段的信息的一或多个SampleToGroup框462及一或多个SampleGroupDescription框464。
此外，在图8的实例中，轨道片段框458可包含样本描述框460，零或多个SampleToGroup框及零或多个SampleGroupDescription框。在图8的实例中，轨道片段框458含有SampleToGroup块462及SampleGroupDescription块464，前述两者含有关于对应于轨道片段框458的轨道片段的信息。
样本描述框460包括用于轨道片段的一组样本项466。样本项466的每一相应样本项适用于轨道的一或多个样本。在图8的实例中，所述组样本项466包含样本项466A。
SampleToGroup框462包含grouping_type语法元素470(即，分群类型语法元素)、entry_count语法元素474(即，项计数语法元素)及一或多个样本群组项476。样本群组项476中的每一者包含sample_count语法元素482(即，样本计数语法元素)及group_description_index语法元素484(即，群组描述索引语法元素)。Grouping_type语法元素470、entry_count语法元素474、sample_count语法元素482及group_description_index484可具有与关于图7的实例描述的对应语法元素相同的语义。
另外，在图8的实例中，SampleGroupDescription框464包含grouping_type语法元素486、entry_count语法元素488及一或多个群组描述项490。Grouping_type语法元素486、entry_count语法元素488及群组描述项490可具有与关于图7的实例描述的对应语法元素及结构相同的语义。举例来说，群组描述项332可包含用于“oinf”样本群组的样本群组描述项。
根据本发明的第一技术，基于文件450的操作点参考轨道含有在时间上与文件450的额外轨道中的相应样本共置的样本，解译文件450的装置可将相应额外轨道中的相应样本考虑为由在SampleGroupDescription框464中的群组描述项490中的样本群组描述项描述的操作点信息样本群组的部分。此外，基于操作点参考轨道不含有在时间上与相应额外轨道中的相应样本共置的样本，装置可将相应额外轨道中的相应样本考虑为在相应额外轨道的相应样本之前的操作点参考轨道中的最后样本的操作点信息样本群组的部分。
图9为说明根据本发明的一或多种技术的包含虚设样本项的文件500的实例结构的框图。文件500可通过各种装置产生及处理，例如源装置12(图1)、文件产生装置34(图1)、目的地装置14(图1)、文件处理单元128(图5)、MANE、内容递送网络装置或其它类型的装置或单元。在图9的实例中，文件500可包含电影框502、含有样本505的媒体数据框504、轨道框506、媒体框507、媒体信息框508及含有样本描述框510、SampleToGroup框511及SampleGroupDescription框512的样本表框509。此外，在图9的实例中，样本描述框510可包含样本项515A到515N(统称为“样本项515”)。这些框可具有类似于上文关于图7的实例所描述的对应框的结构及语义。然而，根据本发明的第四实例技术，样本描述框510可包含虚设样本项518。虚设样本项518不适用于对应于轨道框506的轨道的任一样本，但可含有仅仅通过含有取决于对应于轨道框506的轨道中的层的层的其它轨道使用的参数集。举例来说，虚设样本项518可包含信息描述操作点。类似于图8中提供的实例的实例可出现于样本描述框460包含虚设样本项之处。
图10为说明根据本发明的一或多种技术的其中样本项包含操作点索引的文件550的实例结构的框图。文件550可通过各种装置产生及处理，例如源装置12(图1)、文件产生装置34(图1)、目的地装置14(图1)、文件处理单元128(图5)、MANE、内容递送网络装置或其它类型的装置或单元。在图10的实例中，文件550可包含电影框552、含有样本555的媒体数据框554、轨道框556、媒体框557、媒体信息框558及含有样本描述框560、SampleToGroup框561及SampleGroupDescription框562的样本表框559。此外，在图10的实例中，样本描述框560可包含样本项555A到555N(统称为“样本项555”)。这些框可具有类似于上文关于图7的实例所描述的对应框的结构及语义。
此外，在一些实例中，样本项565可包含LHEVCDecoderConfigurationRecord类别的实例。举例来说，在图10的实例中，样本项565A可包含LHEVCDecoderConfigurationRecord 568。根据上文所描述的本发明的第五实例技术，LHEVCDecoderConfigurationRecord 568可包含一或多个操作点索引语法元素570(例如，op_idx)。每一相应操作点索引语法元素给出在“oinf”框中传信的操作点的列表的索引。因此，装置可能够基于样本的样本项确定样本所含有的经编码图片的操作点。类似于图8中提供的实例的实例可出现于样本项446包含操作点索引之处。
图11为说明根据本发明的技术的用于处理文件的装置的实例操作的流程图。本发明的流程图作为实例提供。在其它实例中，可执行不同动作或可以不同次序或并行执移动作。图11的实例可通过各种类型的装置执行，例如源装置12(图1)、文件产生装置34(图1)、文件处理单元128(图5)、文件服务器、流装置、MANE或另一类型装置或单元。
在图11的实例中，装置产生文件中的操作点参考轨道(600)。产生轨道可包括产生包含指示属于轨道的样本的数据的轨道框。作为产生操作点参考轨道的部分，装置可在操作点参考轨道中传信描述可供用于文件中的位流的操作点的操作点信息样本群组(602)。在一些实例中，装置可编码视频数据以产生位流。另外，在图11的实例中，装置可产生文件中的一或多个额外轨道(604)。在图11的实例中，无操作点信息样本群组是在额外轨道中的任一者中传信。此外，基于操作点参考轨道含有在时间上与相应额外轨道中的相应样本共置的样本，相应额外轨道中的相应样本被考虑为操作点信息样本群组的部分。基于操作点参考轨道不含有在时间上与相应额外轨道中的相应样本共置的样本，相应额外轨道中的相应样本被考虑为在相应额外轨道的相应样本之前的操作点参考轨道中的最后样本的操作点信息样本群组的部分。
此外，如图11的实例中所示，在一些实例中，作为传信操作点信息样本群组的部分，装置可产生文件中的样本群组描述框(606)，例如SampleGroupDescription框312或SampleGroupDescription框464。样本群组描述框包含指定用于操作点的输出层集合、用于操作点的最大时间识别符及用于操作点的简档、层级及层次传信的样本群组描述项(例如，群组描述项332或490中的一者)。此外，装置可产生文件中的指定操作点信息样本群组中的一组样本及指定样本群组描述框中的样本群组描述项的索引的样本到群组框(例如，SampleToGroup框311、462)(608)。
图12为说明根据本发明的技术的用于处理文件的装置的实例操作的流程图。图12的实例可通过各种类型的装置执行，例如目的地装置14、文件产生装置、文件服务器、流装置、MANE或另一类型装置。
在图12的实例中，装置可获得文件中的操作点参考轨道(650)。使用在操作点参考轨道中传信的操作点信息样本群组在文件中描述可供用于文件中的位流的操作点。此外，在图12的实例中，装置可获得文件中的一或多个额外轨道(652)。无操作点信息样本群组是在额外轨道的任一者中传信。
对于一或多个额外轨道中的每一相应额外轨道的每一相应样本，装置可确定是否将相应样本考虑为操作点信息样本群组的部分(654)。基于操作点参考轨道含有在时间上与相应额外轨道中的相应样本共置的样本，相应额外轨道中的相应样本被考虑为操作点信息样本群组的部分。基于操作点参考轨道不含有在时间上与相应额外轨道中的相应样本共置的样本，相应额外轨道中的相应样本被考虑为在相应额外轨道的相应样本之前的操作点参考轨道中的最后样本的操作点信息样本群组的部分。
此外，在图12的实例中，装置可执行从位流提取操作点的子位流提取过程(656)。在一些实例中，装置可发射含有经提取操作点的经编码图片的样本而不发射不含有经提取操作点的经编码图片的位流的样本。在一些实例中，装置可产生存储含有经提取操作点的经编码图片的样本的新文件而不在文件中存储含有经提取操作点的经编码图片的样本。在一些实例中，装置可解码操作点的视频数据。举例来说，装置可使用视频编码解码器(例如L-HEVC)解码操作点的经编码图片。
此外，如图12的实例中所说明，在一些实例中，作为获得操作点参考轨道的部分，装置可从文件获得样本群组描述框(658)，例如SampleGroupDescription框312或SampleGroupDescription框464。样本群组描述框包含指定用于操作点的输出层集合、用于操作点的最大时间识别符，及用于操作点的简档、层级及层次传信的样本群组描述项(例如，群组描述项332或490中的一者)。另外，装置可从文件获得指定操作点信息样本群组中的一组样本及指定样本群组描述框中的样本群组描述项的索引的样本到群组框(例如，SampleToGroup框311、462)(660)。
应理解，本文所描述的所有技术可单独地或以组合方式使用。应认识到，取决于实例，本文中所描述的技术中的任一者的某些动作或事件可以不同序列执行，可新增、合并或完全省略所述动作或事件(例如，并非所有所描述动作或事件对于所述技术的实践都是必要的)。此外，在某些实例中，可(例如)经由多线程处理、中断处理或多个处理器同时而非依序执移动作或事件。另外，虽然出于清晰的目的，本发明的某些方面经描述为通过单一模块或单元执行，但应理解，本发明的技术可通过与视频译码器相关联的单元或模块的组合来执行。处理电路可以各种方式耦合到数据存储媒体。举例来说，处理电路可经由内部装置互连件、有线或无线网络连接或另一通信媒体耦合到数据存储媒体。
出于说明的目的，已关于HEVC标准描述本发明的某些方面。然而，本发明中所描述的技术可适用于其它视频译码过程，包含尚未开发的其它标准或专属视频译码过程。
视频编码器20(图1及5)及/或视频解码器30(图1及6)可通常被称作视频译码器。同样地，视频译码可指视频编码或视频解码(在适用时)。
虽然在上文描述技术的各种方面的特定组合，但提供这些组合仅为了说明本发明中描述的技术的实例。因此，本发明的技术不应限于这些实例组合且可涵盖本发明中描述的技术的各种方面的任何可设想组合。
在一或多个实例中，所描述功能可以硬件、软件、固件或其任何组合来实施。如果以软件实施，则功能可作为一或多个指令或程序代码而在计算机可读媒体上存储或发射，且由基于硬件的处理单元执行。计算机可读媒体可包含计算机可读存储媒体(其对应于例如数据存储媒体的有形媒体)或通信媒体(其包含(例如)根据通信协议促进计算机程序从一处传送到另一处的任何媒体)。以此方式，计算机可读媒体大体可对应于(1)为非暂时性的有形计算机可读存储媒体，或(2)例如信号或载波的通信媒体。数据存储媒体可为可由一或多个计算机或一或多个处理器存取以检索用于实施本发明中所描述的技术的指令、程序代码及/或数据结构的任何可用媒体。计算机程式产品可包含计算机可读媒体。
通过实例而非限制，这些计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储器、磁盘存储器或其它磁性存储装置、快闪存储器或可用于存储呈指令或数据结构形式的所要程序代码且可由计算机存取的任何其它媒体。并且，任何连接被恰当地称为计算机可读媒体。举例来说，如果使用同轴电缆、光缆、双绞线、数字订户线(DSL)或无线技术(例如红外线、无线电及微波)从网站、服务器或其它远程源发射指令，则同轴电缆、光缆、双绞线、DSL或无线技术(例如红外线、无线电及微波)包含于媒体的定义中。然而，应理解，计算机可读存储媒体及数据存储媒体不包含连接、载波、信号或其它暂时性媒体，而是实际上有关非暂时性有形存储媒体。如本文中所使用，磁盘及光盘包含紧密光盘(CD)、雷射光盘、光学光盘、数字影音光盘(DVD)、软盘和蓝光光盘，其中磁盘通常以磁性方式再生数据，而光盘使用雷射以光学方式再生数据。以上各者的组合也应包含于计算机可读媒体的范围内。
可由例如一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效集成式或离散逻辑电路的一或多个处理器来执行指令。因此，如本文中所使用的术语“处理器”可指上述结构或适合于实施本文中所描述的技术的任何其它结构中的任一者。另外，在一些方面中，本文中所描述的功能性可提供于经配置用于编码及解码的专用硬件及/或软件模块内，或并入组合式编码解码器中。此外，所述技术可完全实施于一或多个电路或逻辑元件中。
本发明的技术可在多种装置或设备中实施，所述装置或设备包含无线手机、集成电路(IC)或IC集合(例如，芯片组)。在本发明中描述各种组件、模块或单元以强调经配置以执行所揭示技术的装置的功能方面，但未必要求由不同硬件单元来实现。确切来说，如上文所描述，可将各种单元组合于编码解码器硬件单元中，或通过互操作性硬件单元(包含如上文所描述的一或多个处理器)的集合结合合适的软件及/或固件来提供所述单元。
已描述各种实例。这些及其它实例是在以下权利要求书的范畴内。