技术领域
本发明涉及视频编码和解码。
背景技术：
数字视频能力可并入到广泛范围的装置中，包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、电子图书阅读器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话(所谓的“智能电话”)、视频电话会议装置、视频串流装置及其类似者。数字视频装置实施视频压缩技术，例如描述于以下各者中的那些技术：由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分高级视频译码(AVC)定义的标准、高效率视频译码(HEVC)标准，及此类标准的扩展。视频装置可以通过实施此类视频压缩技术来更有效地发射、接收、编码、解码及/或存储数字视频信息。
视频压缩技术执行空间(图片内)预测及/或时间(图片间)预测来减少或移除视频序列中固有的冗余。对于基于块的视频译码，可将视频切片(即，视频帧或视频帧的一部分)分割成视频块。使用关于同一图片中的相邻块中的参考样本的空间预测对图片的经帧内译码(I)切片中的视频块进行编码。图片的经帧间译码(P或B)切片中的视频块可使用关于同一图片中的相邻块中的参考样本的空间预测或关于其它参考图片中的参考样本的时间预测。图片可被称作帧，且参考图片可被称作参考帧。
空间或时间预测产生待译码块的预测性块。残余数据表示待译码原始块与预测性块之间的像素差。经帧间译码块是根据指向形成预测性块的参考样本块的运动向量及指示经译码块与预测性块之间的差的残余数据编码的。经帧内译码块是根据帧内译码模式和残余数据来编码。为了进一步压缩，可以将残余数据从像素域变换到变换域，从而产生残余系数，接着可对所述残余系数进行量化。可扫描最初布置成二维阵列的经量化系数，以便产生系数的一维向量，且可应用熵译码以实现更多压缩。
可(例如)从多个视角编码视图来产生多视图译码位流。已经开发利用多视图译码方面的一些三维(3D)视频标准。举例来说，不同视图可发射左眼和右眼视图以支持3D视频。或者，一些3D视频译码过程可应用所谓的多视图加深度译码。在多视图加深度译码中，3D视频位流可不仅含有纹理视图分量而且含有深度视图分量。举例来说，每一视图可包括一个纹理视图分量和一个深度视图分量。
技术实现要素：
一般来说，本发明涉及更好地支持用于多层视频编解码器的多模位流提取模式的方法、包含使得用多个模式中的每一者提取的子位流能够相符的技术、多层视频编解码器以及系统层中的多模提取的能力的指示。
在一个方面中，本发明描述一种处理视频数据的方法，所述方法包括：从包含视频数据的经译码表示的第一位流获得包含用以从第二位流提取第一位流的提取模式的指示的辅助增强信息(SEI)消息，其中：第一位流为根据提取模式从第二位流提取的子位流，不管提取模式是第一提取模式还是第二提取模式，第一位流包含足够的网络抽象层(NAL)单元来解码和输出目标输出层集合中的图片，如果提取模式为第一提取模式，那么第一位流包含正确解码目标输出层集合不需要的一或多个经译码图片，且如果提取模式为第二提取模式，那么第一位流不包含正确解码目标输出层集合不需要的一或多个经译码图片。
在另一方面中，本发明描述一种处理视频数据的方法，所述方法包括：产生包含用以从第二位流提取第一位流的提取模式的指示的SEI消息，第一位流包含视频数据的经译码表示，其中：第一位流为根据提取模式从第二位流提取的子位流，不管提取模式是第一提取模式还是第二提取模式，第一位流包含足够的NAL单元来解码和输出第一位流的目标输出层集合中的图片，如果提取模式为第一提取模式，那么第一位流包含正确解码目标输出层集合不需要的一或多个经译码图片，且如果提取模式为第二提取模式，那么第一位流不包含正确解码目标输出层集合不需要的一或多个经译码图片；以及在第一位流中包含SEI消息。
在另一方面中，本发明描述一种用于处理视频数据的装置，所述装置包括：存储器，其存储视频数据；及一或多个处理器，其经配置以从包含视频数据的经译码表示的第一位流获得包含用以从第二位流提取第一位流的提取模式的指示的SEI消息，其中：第一位流为根据提取模式从第二位流提取的子位流，不管提取模式是第一提取模式还是第二提取模式，第一位流包含足够的NAL单元来解码和输出目标输出层集合中的图片，如果提取模式为第一提取模式，那么第一位流包含正确解码目标输出层集合不需要的一或多个经译码图片，且如果提取模式为第二提取模式，那么第一位流不包含正确解码目标输出层集合不需要的一或多个经译码图片。
在另一方面中，本发明描述一种用于处理视频数据的装置，所述装置包括：存储器，其存储视频数据；及一或多个处理器，其经配置以：产生包含用以从第二位流提取第一位流的提取模式的指示的SEI消息，第一位流包含视频数据的经译码表示，其中：第一位流为根据提取模式从第二位流提取的子位流，不管提取模式是第一提取模式还是第二提取模式，第一位流包含足够的NAL单元来解码和输出第一位流的目标输出层集合中的图片，如果提取模式为第一提取模式，那么第一位流包含正确解码目标输出层集合不需要的一或多个经译码图片，且如果提取模式为第二提取模式，那么第一位流不包含正确解码目标输出层集合不需要的一或多个经译码图片；以及在第一位流中包含SEI消息。
在另一方面中，本发明描述一种用于处理视频数据的装置，所述装置包括：用于从包含视频数据的经译码表示的第一位流获得包含用以从第二位流提取第一位流的提取模式的指示的SEI消息的装置，其中：第一位流为根据提取模式从第二位流提取的子位流，不管提取模式是第一提取模式还是第二提取模式，第一位流包含足够的NAL单元来解码和输出目标输出层集合中的图片，如果提取模式为第一提取模式，那么第一位流包含正确解码目标输出层集合不需要的一或多个经译码图片，且如果提取模式为第二提取模式，那么第一位流不包含正确解码目标输出层集合不需要的一或多个经译码图片。
在另一方面中，本发明描述一种处理视频数据的装置，所述装置包括：用于产生包含用以从第二位流提取第一位流的提取模式的指示的SEI消息的装置，第一位流包含视频数据的经译码表示，其中：第一位流为根据提取模式从第二位流提取的子位流，不管提取模式是第一提取模式还是第二提取模式，第一位流包含足够的NAL单元来解码和输出第一位流的目标输出层集合中的图片，如果提取模式为第一提取模式，那么第一位流包含正确解码目标输出层集合不需要的一或多个经译码图片，且如果提取模式为第二提取模式，那么第一位流不包含正确解码目标输出层集合不需要的一或多个经译码图片；以及用于在第一位流中包含SEI消息的装置。
在另一方面中，本发明描述一种其上存储有指令的计算机可读数据存储媒体，所述指令在经执行时引起装置从包含视频数据的经译码表示的第一位流获得包含用以从第二位流提取第一位流的提取模式的指示的SEI消息，其中：第一位流为根据提取模式从第二位流提取的子位流，不管提取模式是第一提取模式还是第二提取模式，第一位流包含足够的NAL单元来解码和输出目标输出层集合中的图片，如果提取模式为第一提取模式，那么第一位流包含正确解码目标输出层集合不需要的一或多个经译码图片，且如果提取模式为第二提取模式，那么第一位流不包含正确解码目标输出层集合不需要的一或多个经译码图片。
在另一方面中，本发明描述一种其上存储有指令的计算机可读数据存储媒体，所述指令在经执行时引起装置产生包含用以从第二位流提取第一位流的提取模式的指示的SEI消息，第一位流包含视频数据的经译码表示，其中：第一位流为根据提取模式从第二位流提取的子位流，不管提取模式是第一提取模式还是第二提取模式，第一位流包含足够的NAL单元来解码和输出第一位流的目标输出层集合中的图片，如果提取模式为第一提取模式，那么第一位流包含正确解码目标输出层集合不需要的一或多个经译码图片，且如果提取模式为第二提取模式，那么第一位流不包含正确解码目标输出层集合不需要的一或多个经译码图片；以及在第一位流中包含SEI消息。
在附图和以下描述中阐述本发明的一或多个实例的细节。其它特征、目标和优点将从所述描述、图式和权利要求书显而易见。
附图说明
图1为说明可利用本发明中所描述的技术的实例视频译码系统的框图。
图2为说明实例视频编码器的框图。
图3为说明实例视频解码器的框图。
图4为说明根据本发明的一或多种技术的实例中间装置的框图。
图5A为说明根据本发明的一或多种技术的计算装置的实例操作的流程图。
图5B为说明根据本发明的一或多种技术的计算装置的实例操作的流程图。
具体实施方式
一般来说，经译码视频位流包括表示经译码图片的位元序列和形成一或多个经译码视频序列的相关联资料。位元序列可形成网络抽象层(NAL)单元串流或字节流。NAL单元串流是NAL单元的串流。在多视图译码和可缩放视频译码中，每一NAL单元可指定NAL单元属于的层。同一位流中的不同NAL单元可指定不同NAL单元属于不同层。在多视图译码中，所述层中的每一者可对应于不同视图。在可缩放视频译码中，所述层可包含基础层和一或多个增强层。由于属于特定层的NAL单元可含有经译码图片的资料，因此经译码图片也可被称为属于所述特定层。
为了减小位流的大小，计算装置可从位流提取特定NAL单元。举例来说，计算装置可从位流提取所有属于特定层集合的NAL单元。从一位流提取的NAL单元为所述位流的子集。本发明可涉及包括从另一位流提取的NAL单元作为子位流的位流。在不使用未从位流提取的NAL单元的情况下，子位流可为可解码的。计算装置可丢弃未从位流提取的NAL单元。或者，计算装置可从共同源位流提取一或多个子位流，且将各个子位流的数据以及源位流的数据转递到不同对应目的地。为了易于解释，本发明可将从位流提取子位流的NAL单元描述为从位流提取子位流。
计算装置可根据各种提取模式从位流抽取子位流。一般来说，提取模式为从源位流提取子位流的模式。举例来说，在计算装置根据一个提取模式从位流提取子位流时，所述子位流可为“完全可提取的”。如果一子位流为完全可提取的，那么以递归方式进一步从所述子位流提取的每一子位流可为相符位流。在本发明中，相符位流可为符合视频译码标准的位流。换句话说，相符位流为可根据视频译码标准正确解码的位流。在另一实例中，在计算装置根据另一提取模式从位流提取子位流时，所述子位流可为“大小优化的”。如果从位流提取的一子位流为大小优化的，那么所述子位流可排除正确解码目标输出层集合所不需要的位流的图片，其可导致子位流不再符合可适用的视频译码标准但仍然保持可解码的。目标输出层集合中的每一层可包含意图用于后续输出(例如，显示)的图片。大小优化的位流可包含属于目标输出层集合以外的层的NAL单元，因为这些NAL单元可包含解码目标输出层集合的图片所需要的数据。由于大小优化的位流排除这些图片，因此从大小优化的位流提取特定子位流可为不可能的。举例来说，大小优化的位流可包含一特定层的用于层间(例如，视图间)预测的NAL单元，但排除所述特定层的其它NAL单元，例如，不用于层间预测的NAL单元。因此，完全可提取的位流可包含正确解码目标输出层集合不需要的一或多个经译码图片，但大小优化的位流不包含正确解码目标输出层集合不需要的一或多个经译码图片。
接收位流的计算装置(例如，媒体感知网络元件(MANE))可不能够判定用以产生位流的提取模式(若存在)。举例来说，确定位流是完全可提取的位流还是大小优化的位流对计算装置来说可为不切实际的。如果计算装置从位流提取子位流且位流碰巧是完全可提取的位流，那么所提取的子位流是视频解码器可能够解码的相符位流。然而，如果计算装置从位流提取子位流且位流碰巧是大小优化的位流，那么所提取的子位流可能不是视频解码器能够解码的相符位流。
本发明的技术可解决此问题。举例来说，根据本发明的一或多种技术，计算装置可从包含视频数据的经译码表示的第一位流获得包含用以从第二位流提取第一位流的提取模式的指示的辅助增强信息(SEI)消息。第一位流为根据提取模式从第二位流提取的子位流。不管提取模式是第一提取模式还是第二提取模式，第一位流包含足够的网络抽象层(NAL)单元来解码和输出用于第一位流的目标输出层集合中的图片。如果提取模式为第一提取模式，那么第一位流包含正确解码目标输出层集合不需要的一或多个经译码图片。如果提取模式为第二提取模式，那么第一位流不包含正确解码目标输出层集合不需要的一或多个经译码图片。类似地，计算装置可产生包含用以从第二位流提取第一位流的提取模式的指示的SEI消息。计算装置可包含第一位流中的SEI消息。
图1为说明可利用本发明的技术的实例视频译码系统10的框图。如本文所使用，术语“视频译码器”一般是指视频编码器和视频解码器两者。在本发明中，术语“视频译码”或“译码”可一般地指代视频编码或视频解码。
如图1中所示，视频译码系统10包含源装置12和目的地装置14。源装置12产生经编码视频数据。因此，源装置12可以被称为视频编码装置或视频编码设备。目的地装置14可解码由源装置12产生的经编码视频数据。因此，目的地装置14可被称为视频解码装置或视频解码设备。源装置12和目的地装置14可为视频译码装置或视频译码设备的实例。
源装置12和目的地装置14可包括广泛范围的装置，包含桌上型计算机、移动计算装置、笔记型(例如，膝上型)计算机、平板计算机、机顶盒、电话手持机(例如，所谓的“智能”电话)、电视、相机、显示装置、数字媒体播放器、视频游戏控制台、车载计算机(in-car computer)或其类似者。
目的地装置14可经由信道16从源装置12接收经编码视频数据。信道16可包括能够将经编码视频数据从源装置12移动到目的地装置14的一或多个媒体或装置。在一个实例中，信道16可包括使得源装置12能够实时将经编码视频数据直接发射到目的地装置14的一或多个通信媒体。在此实例中，源装置12可根据通信标准(例如无线通信协议)来调制经编码视频数据，且可将经调制视频数据发射到目的地装置14。一或多个通信媒体可包含无线及/或有线通信媒体，例如射频(RF)频谱或一或多个物理发射线。一或多个通信媒体可形成分组网络的部分，所述分组网络例如局域网、广域网或全球网络(例如，因特网)。一或多个通信媒体可包含路由器、交换器、基站或促进从源装置12到目的地装置14的通信的其它设备。
在另一实例中，信道16可包含存储由源装置12产生的经编码视频数据的存储媒体。在此实例中，目的地装置14可(例如)经由磁盘存取或卡存取来存取存储媒体。存储媒体可包含多种本地存取的数据存储媒体，例如蓝光光盘、DVD、CD-ROM、快闪存储器或用于存储经编码视频数据的其它合适数字存储媒体。
在另一实例中，信道16可包含存储由源装置12产生的经编码视频数据的文件服务器或另一中间存储装置。在此实例中，目的地装置14可经由流式传输或下载来存取存储在文件服务器或其它中间存储装置处的经编码视频数据。文件服务器可为能够存储经编码视频数据并且将经编码视频数据发射到目的地装置14的一类型的服务器。实例文件服务器包含万维网服务器(例如，用于网站)、文件传输协议(FTP)服务器、网络连接存储(NAS)装置和本地磁盘驱动器。
此外，在图1的实例中，视频译码系统10包含中间装置19。中间装置19可接收由源装置12编码的视频数据。在一些实例中，中间装置19可经由类似于信道16的信道从源装置12接收经编码视频数据。中间装置19可处理经编码视频数据。举例来说，中间装置19可将位流提取应用于经编码视频数据以自经编码视频数据移除特定NAL单元。目的地装置14可接收由中间装置19处理的视频数据。在一些实例中，目的地装置14可经由类似于信道16的信道接收经处理视频数据。在各种实例中，中间装置19可包括各种类型的计算装置。举例来说，在一些实例中，中间装置19包括媒体感知网络元件(MANE)。此外，在一些实例中，中间装置19为内容分发网络(CDN)的部分。
目的地装置14可通过标准数据连接(例如因特网连接)来存取经编码视频数据。数据连接的实例类型可包含无线信道(例如，Wi-Fi连接)、有线连接(例如，数字订户线(DSL)、电缆调制解调器等)、或适用于存取存储在文件服务器上的经编码视频数据的两者的组合。经编码视频数据从文件服务器的发射可为流式传输发射、下载发射或两者的组合。
本发明的技术不限于无线应用或设定。所述技术可应用于视频译码以支持多种多媒体应用，例如空中电视广播、有线电视发射、卫星电视发射、流式视频发射(例如，经由因特网)、编码视频数据以供存储于数据存储媒体上、解码存储在数据存储媒体上的视频数据，或其它应用。在一些实例中，视频译码系统10可经配置以支持单向或双向视频发射以支持例如视频流式传输、视频重放、视频广播及/或视频电话等应用。
图1仅为实例，且本发明的技术可适用于不一定包含编码装置与解码装置之间的任何数据通信的视频译码设置(例如，视频编码或视频解码)。在其它实例中，从本地存储器检索数据，经由网络流式传输数据等。视频编码装置可对数据进行编码并且将数据存储到存储器，及/或视频解码装置可从存储器检索数据并且对数据进行解码。在许多实例中，由并不彼此通信而是仅编码数据到存储器及/或从存储器检索数据且解码数据的装置执行编码和解码。
在图1的实例中，源装置12包含视频源18、视频编码器20和输出接口22。在一些实例中，输出接口22可包含调制器/解调器(调制解调器)及/或发射器。视频源18可包含视频俘获装置(例如，摄像机)、含有先前俘获的视频数据的视频存档、用以从视频内容提供者接收视频数据的视频馈入接口，及/或用于产生视频数据的计算机图形系统，或视频数据的此些来源的组合。
视频编码器20可对来自视频源18的视频数据进行编码。在一些实例中，源装置12经由输出接口22将经编码视频数据直接发射到目的地装置14。在其它实例中，经编码视频数据还可存储到存储媒体或文件服务器上，以供目的地装置14稍后存取以用于解码及/或重放。
在图1的实例中，目的地装置14包含输入接口28、视频解码器30和显示装置32。在一些实例中，输入接口28包含接收器及/或调制解调器。输入接口28可经由信道16接收经编码视频数据。视频解码器30可对经编码视频数据进行解码。显示装置32可显示经解码视频数据。显示装置32可与目的地装置14集成或在目的地装置14外部。显示装置32可包括多种显示装置，例如液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。
视频编码器20和视频解码器30各自可实施为例如以下各者的多种合适电路中的任一者：一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、硬件或其任何组合。如果部分地以软件实施技术，那么装置可将软件的指令存储于合适的非暂时性计算机可读存储媒体中且可使用一或多个处理器以硬件执行指令从而执行本发明的技术。前述者(包含硬件、软件、硬件与软件的组合等)中的任一者可被视为一或多个处理器。视频编码器20和视频解码器30中的每一者可包含在一或多个编码器或解码器中，所述编码器或解码器中的任一者可集成为相应装置中的组合编码器/解码器(编解码器)的部分。
本发明通常可指视频编码器20将某些信息“用信号发送”到另一装置(例如，视频解码器30)。术语“用信号发送”通常可指用于对经压缩视频数据进行解码的语法元素及/或其它数据的通信。此通信可实时地或几乎实时地发生。替代地，此通信可经过一段时间后发生，例如可在编码时以经编码位流将语法元素存储到计算机可读存储媒体时发生，解码装置接着可在所述语法元素存储到此媒体之后的任何时间检索所述语法元素。
在一些实例中，视频编码器20和视频解码器30根据视频压缩标准而操作，例如ISO/IEC MPEG-4 Visual和ITU-T H.264(也被称为ISO/IEC MPEG-4AVC)，包含其可缩放视频译码(SVC)扩展、多视图视频译码(MVC)扩展和基于MVC的3DV扩展。在一些情况下，符合H.264/AVC的基于MVC的3DV扩展的任何位流始终含有顺应H.264/AVC的MVC扩展的子位流。此外，正在致力于产生H.264/AVC的三维视频(3DV)译码扩展，即基于AVC的3DV。在其它实例中，视频编码器20和视频解码器30可根据ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual、ITU-T H.264和ITU-T H.264、ISO/IEC Visual操作。
此外，在其它实例中，视频编码器20和视频解码器30可根据由ITU-T视频译码专家组(VCEG)和ISO/IEC运动图片专家组(MPEG)的视频译码联合合作小组(JCT-VC)研发的高效率视频译码(HEVC)或其扩展操作。HEVC标准的草案规范(在本文中被称作HEVCWD或下文称作“HEVC版本1”)可从http://phenix.int-evry.fr/jct/doc_end_user/documents/14_Vienna/wg11/JCTVC-N1003-v1.zip获得。HEVC标准的另一草案规范可从http://phenix.int-evry.fr/jct/doc_end_user/documents/15_Geneva/wg11/JCTVC-O1003-v2.zip获得。
正在致力于产生可缩放视频译码、多视图译码和HEVC的3DV扩展。HEVC的可缩放视频译码扩展可被称为SHEVC或SHVC。SHVC的工作草案(WD)(在下文中被称作SHVC WD3)可从http://phenix.it-sudparis.eu/jct/doc_end_user/documents/14_Vienna/wg11/JCTVC-N1008-v3.zip获得。SHVC的另一工作草案(在下文中被称作SHVC WD4)可从http://phenix.int-evry.fr/jct/doc_end_user/documents/15_Geneva/wg11/JCTVC-O1008-v1.zip获得。HEVC的多视图扩展(即，MV-HEVC)也正由JCT-3V开发。MV-HEVC的工作草案(WD)(在本文中以下被称作MV-HEVC WD5)可从http://phenix.it-sudparis.eu/jct2/doc_end_user/documents/5_Vienna/wg11/JCT3V-E1004-v6.zip获得。MV-HEVC的其它工作草案(在本文中以下被称作MV-HEVC WD6)可从http://phenix.it-sudparis.eu/jct2/doc_end_user/documents/6_Geneva/wg11/JCT3V-F1004-v6.zip获得。
当前，VCEG和MPEG的3D视频译码联合合作小组(JCT-3C)正在开发基于HEVC的3DV标准，其标准化努力的部分包含基于HEVC的多视图视频编码解码器(MV-HEVC)的标准化和用于基于HEVC的3D视频译码(3D-HEVC)的另一部分。对于MV-HEVC，应保证其中仅存在高层级语法(HLS)改变，以使得HEVC中的译码单元(CU)/预测单元(PU)层级中的模块不需要再设计，且可完全再用于MV-HEVC。换句话说，MV-HEVC仅提供高层级语法改变而不提供低层级语法改变，例如CU/PU层级处的改变。对于3D-HEVC，可包含且支持用于纹理和深度视图两者的新译码工具，包含在译码单元/预测单元层级中的那些工具。用于3D-HEVC的测试模型(例如，软件3D-HTM)可从以下链接下载：[3D-HTM版本7.0]：https://hevc.hhi.fraunhofer.de/svn/svn_3DVCSoftware/tags/HTM-7.0/。
3D-HEVC的参考软件描述以及工作草案经获得如下：Gerhard技术公司，Krzysztof Wegner、Ying Chen、Sehoon Yea，“3D-HEVC Test Model 4”(ITU-T SG 16 WP 3和ISO/IEC JTC 1/SC 29/WG 11的3D视频译码扩展研发联合合作小组，第4次会议：韩国仁川，2013年4月)从以下链接可下载：http://phenix.it-sudparis.eu/jct2/doc_end_user/documents/2_Shanghai/wg11/JCT3V-B1005-v1.zip。3D-HEVC的参考软件描述的另一版本可从http://phenix.it-sudparis.eu/jct2/doc_end_user/current_document.php？id＝706获得。视频编码器20和视频解码器30可根据SHEVC、MV-HEVC及/或3D-HEVC操作。
在HEVC和其它视频译码规范中，视频序列通常包含一系列图片。图片也可被称作“帧”。图片可包含三个样本阵列，标示为SL、SCb和SCr。SL是明度样本的二维阵列(即，块)。SCb是Cb色度样本的二维阵列。SCr是Cr色度样本的二维阵列。色度样本在本文中还可被称为“色度”样本。在其它情况下，图片可为单色的且可仅包含明度样本阵列。
为了产生图片的经编码表示，视频编码器20可产生译码树单元(CTU)的集合。CTU中的每一者可包括明度样本的译码树块、色度样本的两个对应译码树块和用于对译码树块的样本进行译码的语法结构。在单色图片或具有三个单独颜色平面的图片中，CTU可包括单个译码树块和用于对所述译码树块的样本进行译码的语法结构。译码树块可为样本的N×N块。CTU也可被称为“树块”或“最大译码单元”(LCU)。HEVC的CTU可广泛地类似于例如H.264/AVC的其它标准的宏块。然而，CTU未必限于特定大小，且可包含一或多个译码单元(CU)。切片可包含以光栅扫描次序或其它次序连续排序的整数数目个CTU。
为了产生经译码CTU，视频编码器20可对CTU的译码树块递归地执行四叉树分割，以将译码树块划分为译码块，因此命名为“译码树单元”。译码块是样本的N×N块。CU可包括具有明度样本阵列、Cb样本阵列和Cr样本阵列的图片的明度样本的译码块和色度样本的两个对应的译码块，以及用以对译码块的样本进行译码的语法结构。在单色图片或具有三个单独颜色平面的图片中，CU可包括单个译码块和用以对译码块的样本进行译码的语法结构。
视频编码器20可将CU的译码块分割为一或多个预测块。预测块是应用相同预测的样本的矩形(即，正方形或非正方形)块。CU的预测单元(PU)可包括明度样本的预测块、色度样本的两个对应预测块和用以预测预测块的语法结构。视频编码器20可产生用于CU的每一PU的明度预测块、Cb预测块和Cr预测块的预测性明度块、Cb块和Cr块。在单色图片或具有三个单独颜色平面的图片中，PU可包括单个预测块和用以预测预测块的语法结构。
视频编码器20可使用帧内预测或帧间预测来产生PU的预测性块。如果视频编码器20使用帧内预测产生PU的预测性块，那么视频编码器20可基于与PU相关的图片的经解码样本产生PU的预测性块。在HEVC的一些版本中，对于每一PU的明度分量，以33个角度预测模式(从2到34编索引)、DC模式(以1编索引)和平面模式(以0编索引)利用帧内预测方法。
如果视频编码器20使用帧间预测产生PU的预测性块，那么视频编码器20可基于除与PU相关的图片以外的一或多个图片的经解码样本产生PU的预测性块。帧间预测可为单向帧间预测(即，单向预测)或双向帧间预测(即，双向预测)。为了执行单向预测或双向预测，视频编码器20可产生当前切片的第一参考图片列表(RefPicList0)和第二参考图片列表(RefPicList1)。参考图片列表中的每一者可包含一或多个参考图片。当使用单向预测时，视频编码器20可搜索RefPicList0和RefPicList1中的任一者或两者中的参考图片，以确定参考图片内的参考位置。此外，当使用单向预测时，视频编码器20可至少部分基于对应于参考位置的样本产生PU的预测性块。此外，当使用单向预测时，视频编码器20可产生指示PU的预测块与参考位置之间的空间位移的单一运动向量。为了指示PU的预测块与参考位置之间的空间位移，运动向量可包含指定PU的预测块与参考位置之间的水平位移的水平分量且可包含指定PU的预测块与参考位置之间的垂直位移的垂直分量。
当使用双向预测对PU进行编码时，视频编码器20可确定RefPicList0中的参考图片中的第一参考位置和RefPicList1中的参考图片中的第二参考位置。视频编码器20可随后至少部分地基于对应于第一和第二参考位置的样本而产生PU的预测性块。此外，当使用双向预测对PU进行编码时，视频编码器20可产生指示PU的样本块与第一参考位置之间的空间位移的第一运动向量，和指示PU的预测块与第二参考位置之间的空间位移的第二运动向量。
在视频编码器20产生CU的一或多个PU的预测性块(例如，明度、Cb和Cr块)之后，视频编码器20可产生CU的一或多个残余块。CU的残余块中的每一样本可指示CU的预测性块中的样本与CU的译码块中的对应样本之间的差。举例来说，视频编码器20可产生CU的明度残余块。CU的明度残余块中的每一样本指示CU的PU的明度预测性块中的一者中的明度样本与CU的明度译码块中的对应样本之间的差。另外，视频编码器20可产生CU的Cb残余块。CU的Cb残余块中的每一样本可指示CU的PU的预测性Cb块中的一者中的Cb样本与CU的Cb译码块中的对应样本之间的差。视频编码器20还可产生CU的Cr残余块。CU的Cr残余块中的每一样本可指示CU的PU的预测性Cr块中的一者中的Cr样本与CU的Cr译码块中的对应样本之间的差。
此外，视频编码器20可使用四叉树分割将CU的残余块(例如，明度、Cb和Cr残余块)分解为一或多个变换块(例如，明度、Cb和Cr变换块)。变换块是应用相同变换的样本的矩形(例如，正方形或非正方形)块。CU的变换单元(TU)可包括明度样本的变换块、色度样本的两个对应变换块和用以对变换块样本进行变换的语法结构。因此，CU的每一TU可与明度变换块、Cb变换块和Cr变换块相关联。与TU相关联的明度变换块可为CU的明度残余块的子块。Cb变换块可为CU的Cb残余块的子块。Cr变换块可为CU的Cr残余块的子块。在单色图片或具有三个单独颜色平面的图片中，TU可包括单个变换块和用以对变换块的样本进行变换的语法结构。
视频编码器20可将一或多个变换应用于TU的变换块以产生TU的系数块。系数块可为变换系数的二维阵列。变换系数可为标量。举例来说，视频编码器20可将一或多个变换应用于TU的明度变换块以产生TU的明度系数块。视频编码器20可以将一或多个变换应用于TU的Cb变换块以产生TU的Cb系数块。视频编码器20可将一或多个变换应用于TU的Cr变换块以产生TU的Cr系数块。
在产生系数块(例如，明度系数块、Cb系数块或Cr系数块)之后，视频编码器20可量化系数块。量化通常指代对变换系数进行量化以可能地减少用以表示变换系数的数据的量从而提供进一步压缩的过程。在视频编码器20量化系数块之后，视频编码器20可对指示经量化变换系数的语法元素进行熵编码。举例来说，视频编码器20可对指示经量化变换系数的语法元素执行上下文自适应二进制算术译码(CABAC)。
视频编码器20可输出包含形成经译码图片和相关联数据的表示的位元序列的位流。位流可包括网络抽象层(NAL)单元的序列。NAL单元是含有NAL单元中的数据类型的指示和含有所述数据的呈按需要穿插有模拟阻止位的原始字节序列有效负载(RBSP)的形式的字节的语法结构。NAL单元中的每一者包含NAL单元标头，且封装RBSP。NAL单元标头可包含指示NAL单元类型代码的语法元素。由NAL单元的NAL单元标头指定的NAL单元类型代码指示NAL单元的类型。RBSP可为含有封装在NAL单元内的整数数目个字节的语法结构。在一些情况下，RBSP包含零个位。
不同类型的NAL单元可封装不同类型的RBSP。举例来说，第一类型的NAL单元可封装图片参数集(PPS)的RBSP，第二类型的NAL单元可封装经译码切片的RBSP，第三类型的NAL单元可封装辅助增强信息(SEI)的RBSP(即SEI RBSP)，等等。封装视频译码数据的RBSP(与参数集和SEI消息的RBSP相对)的NAL单元可被称为视频译码层(VCL)NAL单元。SEI含有解码来自VCL NAL单元的经译码图片的样本非必需的信息。SEI RBSP可包含一或多个SEI消息。
HEVC和其它视频译码标准提供各种类型的参数集。举例来说，视频参数集(VPS)是包括应用于零个或零个以上整个经译码视频序列(CVS)的语法元素的语法结构。序列参数集(SPS)可含有应用于CVS的所有切片的信息。SPS可包含识别在SPS在作用中时在作用中的VPS的语法元素。因此，VPS的语法元素可比SPS的语法元素更一般化地可适用。PPS是包括应用于零个或零个以上经译码图片的语法元素的语法结构。PPS可包含识别在PPS在作用中时在作用中的SPS的语法元素。切片的切片标头可包含指示当切片正经译码时在作用中的PPS的语法元素。参数集可包含用于视频译码标准的特定扩展的扩展。参数集的扩展可包含特定针对视频译码标准的扩展的语法元素。举例来说，参数集的扩展可包含用于SHVC、MV-HEVC或3D-HEVC但不用于基本HEVC的语法元素。
视频解码器30可接收由视频编码器20产生的位流。另外，视频解码器30可剖析位流以从位流获得语法元素。视频解码器30可至少部分地基于从位流获得的语法元素重建构视频数据的图片。用以重建构视频数据的过程通常可与由视频编码器20执行的过程互逆。举例来说，视频解码器30可使用PU的运动向量来确定当前CU的PU的预测性块。另外，视频解码器30可逆量化与当前CU的TU相关联的系数块。视频解码器30可对系数块执行逆变换以重建构与当前CU的TU相关联的变换块。通过将当前CU的PU的预测性块的样本添加到当前CU的TU的变换块的对应样本上，视频解码器30可重构当前CU的译码块。通过重建构图片的每一CU的译码块，视频解码器30可重建构图片。
在多视图译码中，可存在来自不同视角的同一场景的多个视图。术语“存取单元”可用以指代对应于同一时间实例的图片集合。因此，视频数据可经概念化为随时间出现的一系列存取单元。“视图分量”可为单个存取单元中的视图的经译码表示。在本发明中，“视图”可指与相同视图识别符相关联的视图分量的序列或集合。视图分量可含有纹理视图分量和深度视图分量。在本发明中，“视图”可指与相同视图识别符相关联的一或多个视图分量的集合或序列。
纹理视图分量(即，纹理图片)可为单一存取单元中的视图的纹理的经译码表示。纹理视图可为与视图次序索引的相同值相关联的纹理视图分量的序列。视图的视图次序索引可指示所述视图相对于其它视图的相机位置。深度视图分量(即，深度图片)可为单一存取单元中的视图的深度的经译码表示。深度视图可为与视图次序索引的相同值相关联的一或多个深度视图分量的集合或序列。
多视图译码支持视图间预测。视图间预测类似于用于HEVC的帧间预测且可使用相同的语法元素。然而，当视频译码器对当前视频块(例如PU)执行视图间预测时，视频编码器20可使用与当前视频单元在同一存取单元中但在不同视图中的图片作为参考图片。相反，常规的帧间预测仅使用在不同存取单元中的图片作为参考图片。
在多视图译码中，位流可具有多个层。层中的每一者可对应于不同视图。在多视图译码中，如果视频解码器(例如，视频解码器30)可对视图中的图片进行解码而无需参考任何其它视图中的图片，那么所述视图可被称为“基础视图”。如果对视图的解码取决于对一或多个其它视图中的图片的解码，那么所述视图可被称为“非基础视图”或“相依视图”。当对非基础视图中的一者中的图片进行译码时，视频译码器(例如，视频编码器20或视频解码器30)可将与视频译码器当前正译码的图片处于不同视图中但在同一时间实例(即，存取单元)内的图片包含在参考图片列表中。类似于其它帧间预测参考图片，视频译码器可在参考图片列表的任何放置处插入视图间预测参考图片。
在SVC中，除基础层外的层可被称为“增强层”且可提供增强从位流解码的视频数据的视觉质量的信息。SVC可增强空间分辨率、信噪比(即，质量)或时间速率。在可缩放视频译码(例如，SHVC)中，“层表示”可为单个存取单元中的空间层的经译码表示。为便于阐释，本发明可将视图分量及/或层表示称为“视图分量/层表示”。
为了实施所述层，NAL单元的标头可包含nuh_reserved_zero_6bits语法元素。在HEVC版本1中，保留nuh_reserved_zero_6bits语法元素。然而，在MV-HEVC、3D-HEVC和SVC中，nuh_reserved_zero_6bits语法元素被称作nuh_layer_id语法元素。nuh_layer_id语法元素指定层的识别符。位流的具有指定不同值的nuh_layer_id语法元素的NAL单元属于位流的不同层。
在一些实例中，如果一NAL单元与多视图译码(例如，MV-HEVC)、3DV译码(例如，3D-HEVC)或可缩放视频译码(例如，SHVC)中的基础层有关，那么所述NAL单元的nuh_layer_id语法元素等于0。可在不参考位流的任何其它层中的数据的情况下解码位流的基础层中的数据。如果一NAL单元与多视图译码、3DV或可缩放视频译码中的基础层无关，那么所述NAL单元的nuh_layer_id语法元素可具有非零值。
此外，在一层内的一些视图分量/层表示可在不参考同一层内的其它视图分量/层表示的情况下加以解码。因此，封装一层的某些视图分量/层表示的数据的NAL单元可从位流移除，而不影响所述层中的其它视图分量/层表示的可解码性。移除封装此些视图分量/层表示的数据的NAL单元可减小位流的帧率。可在不参考在一层内的其它视图分量/层表示的情况下解码的在所述层内的视图分量/层表示的子集可在本文中被称作“子层”或“时间子层”。
NAL单元可包含指定NAL单元的时间识别符(即，TemporalIds)的temporal_id语法元素。NAL单元的时间识别符识别NAL单元属于的子层。因此，位流的每一子层可具有不同时间识别符。一般来说，如果一层的第一NAL单元的时间识别符小于同一层的第二NAL单元的时间识别符，那么可在不参考由第二NAL单元封装的数据的情况下解码由第一NAL单元封装的数据。
位流可与多个操作点相关联。位流的每一操作点与层识别符的集合(例如，nuh_layer_id值的集合)和时间识别符相关联。层识别符集合可表示为OpLayerIdSet且时间识别符可表示为TemporalID。如果NAL单元的层识别符在操作点的层识别符集合中，且NAL单元的时间识别符小于或等于所述操作点的时间识别符，那么所述NAL单元与所述操作点相关联。
视频处理器(例如，媒体感知网络元件(MANE)、拼接引擎、视频解码器或其它装置)可将位流薄化应用于HEVC位流。在位流中的任一点，视频处理器可基于较低子层(即，与较低时间识别符相关联的子层)中的图片由于用于较低子层中的图片的解码过程并不取决于较高子层的NAL单元而仍可解码的事实而开始移除或停止解码较高子层(即，与较高时间识别符相关联的子层)的NAL单元。移除或停止解码具有高于特定值的时间识别符的所有NAL单元的行为可被称作时间向下切换。时间向下切换可始终是可能的。
术语“时间向上切换”可指开始转递或开始解码特定子层的在那点以前尚未经转递或解码的NAL单元的行为。仅在切换到的层中没有图片取决于同一子层中在位流中执行切换的点之前的任何图片的情况下，时间向上切换可为可能的。因此，术语“时间子层切换点”可指代对与图片在同一子层中且按解码次序先于所述图片的任何其它图片不具有相依性的图片。
SVC、MVC、MVC加深度(MVC+D)(3D-HEVC)和HEVC版本1指定子位流提取程序。举例来说，HEVC版本1的条款10指定子位流提取程序。在HEVC版本1中，子位流提取程序把位流、目标最高时间识别符和目标层集合作为输入。此外，在HEVC版本1中，子位流提取程序提供子位流作为输出。由子位流提取程序提供的子位流不包含不属于目标层集合的VCL NAL单元且不包含具有大于目标最高时间识别符的时间识别符的VCL NAL单元。在一些实例中，每一可提取的子位流需为相符位流。
在位流提取程序的设计中(例如，在MVC研发中)考虑的一个问题是将最优子位流自完整性作为目标还是将子位流的最优大小作为目标。如果以子位流自完整性为目标地提取子位流，那么从子流递归地进一步提取的每一子位流可为相符位流。如果以最优大小为目标地提取子位流，那么正确解码目标输出层不需要的一些或全部图片不必包含在经提取子位流中。
以最优自完整性为目标使得更容易指定位流提取程序。如果位流提取是由流媒体服务器或中间网络元件执行且位流的每一子集可由一些终端用户进一步请求，那么自完整子位流仍为“完全可提取的”且更有用的。然而，另一方面，如果将经提取子位流直接发送到终端用户且并不推测进一步提取，那么通过以位流的最优大小为目标可实现更好地发射带宽效率。通过以最优大小为目标而产生的此子位流被认为是“最优提取的”。为了使得能够取决于应用程式而应用任一优势，子位流提取程序可经设计以适应性地选择最优提取操作。
Wang等人的“MV-HEVC/SHVC HLS:On changing of the highest layer ID across AUs and multi-mode bitstream extraction”，ITU-T SG 16 WP 3和ISO/IEC JTC 1/SC 29/WG 11的视频译码联合合作小组(JCT-VC)第14次会议：奥地利，维也纳，2013年7月25日到8月2日，第JCTVC-N0267号文件及ITU-T SG 16 WP 3和ISO/IEC JTC 1/SC 29/WG 11的3D视频译码扩展联合协作小组第5次会议：奥地利，维也纳，2013年7月27日到8月2日，第JCT3V-E0087号文件(以下简称“JCTVC-N0267/JCT3V-E0087”)提出支持多模位流提取。JCTVC-N0267/JCT3V-E0087提出HEVC WD的子条款10的以下改变(其中在增加者下划线(例如，“添加文字”)且用双方括号以斜体字指示移除者(例如，“[[删除文字]]”))。
子位流提取程序：此程序的输入为位流、目标最高TemporalId值tIdTarget、[[和]]目标层识别符列表layerIdListTarget、目标输出层识别符列表TargetOptLayerIdList和提取模式subExtModeIdc，所述提取模式subExtModeIdc在存在时由外部装置指定或在不由外部装置指定时设定成等于0。
此程序的输出为子位流。
输入位流的位流符合性的要求为在此子条款中指定的程序的任何输出子位流加上tIdTarget等于0到6范围内的任一值(包含0和6)，且等于与在作用视频参数集中指定的层集合相关联的层识别符列表的layerIdListTarget在subExtModeIdc等于0时将为相符位流。
注释1——相符位流含有具有等于0的nuh_layer_id和等于0的TemporalId的一或多个经译码切片区段NAL单元。
如下导出输出子位流：
-在以下两个条件中的一或多者为真时，移除具有等于0的nuh_layer_id和含有非巢式缓冲周期SEI消息、非巢式图片时序SEI消息或非巢式解码单元信息SEI消息的所有辅助增强信息(SEI)NAL单元：
-layerIdListTarget不包含位流中的所有NAL单元中的所有nuh_layer_id值。
-tIdTarget小于位流中的所有NAL单元中的最大TemporalId。
注释2——“智能”位流提取器可在经提取子位流中包含适当的非巢式缓冲图片SEI消息、非巢式图片时序SEI消息和非巢式解码单元信息SEI消息，其条件是适用于子位流的SEI消息在原始位流中呈现为巢式SEI消息。
-移除具有大于tIdTarget的TemporalId或不在包含于layerIdListTarget中的值中的nuh_layer_id的所有NAL单元。
-当subExtModeIdc大于0时，进一步移除具有不在包含于TargetOptLayerIdList中的值中的nuh_layer_id和具有大于max_tid_il_ref_pics_plus1[LayerIdxInVps[nuh_layer_id]]-1的TemporalId的NAL单元。
-当subExtModeIdc大于1时，进一步移除具有不在包含于TargetOptLayerIdList中的值中的nuh_layer_id和等于1的discardable_flag的NAL单元。
discardable_flag为包含于切片片段标头中的语法元素。如MV-HEVC WD5中所定义，等于1的discardable_flag指定经译码图片不用作帧间预测的参考图片且不用作按解码次序后续图片的解码过程中的层间参考图片。等于0的discardable_flag指定经译码图片可被用作帧间预测的参考图片且可被用作按解码次序的后续图片的解码过程中的层间参考图片。当不存在时，推断discardable_flag的值等于0。
JCTVC-N0267和JCT3V-E0087中提出的多模位流提取程序潜在地具有以下问题。首先，多模位流提取程序产生具有目标层识别符列表和目标temporalId的同一输入的多个子位流。然而，所述多个子位流不一定为相符位流，因此相符MV-HEVC/SHVC解码器可能不能够解码子位流中的一些。
第二，“完全可提取的”子位流稍后可用于任何可能模式下的位流提取。然而，“最优提取的”子位流可能缺少一些层中的一些经解码图片。因此，从此位流成功地提取特定输出层集合可为不可能的，尤其在位流在先前提取过程期间含有不属于目标输出层的层时。由此，可在位流上执行什么类型的位流提取应作为位流的属性加以指示。
第三，不管位流提取模式，子位流含有足够的NAL单元以解码和输出目标输出层集合内的图片。因此，只要目标输出层(如JCTVC-N0267/JCT3V-E0087中的TargetOptLayerIdList)集合不超出用于先前提取的目标输出层集合(且因此目标层(如当前HEVC和JCTVC-N0267/JCT3V-E0087中的layerIdListTarget)不超出用于先前提取的层)，用于任何模式的进一步位流提取即为可能的。然而，经提取位流不包含指示哪些为用以产生经提取位流的目标层及/或目标输出层集合的信息。
第四，JCTVC-N0267/JCT3V-E0087中提出的位流提取程序的输入包含目标层和输出层集合两者。然而，就输出层集合的输入来说，在不用以提取“完全可提取的”子位流的模式中，目标层的信息变得冗余。即使在指定目标层时，也不清楚目标层的每一层由于目标层相依的一些其它层未包含在目标层中的事实(即，在目标层不是独立自给的时)而是否可明确地经解码。因此，在许多情境中，作为位流提取程序的输入，目标层的存在既不足够也不必要。
本发明的技术可解决上述问题中的一或多者。下文中呈现本发明的技术的概述，且后面章节中提供本发明的技术的实例实施。可独立地应用本发明的技术中的一些且可以组合应用本发明的技术中的一些。
根据本发明的第一实例技术，可将提取层级或符合性层级指示引入视频编解码器以及系统中以指定操作点的符合性层级，所述指示也与同此指示相关联的位流是否经由位流提取产生且如果是那么在哪一层级的事实有关。举例来说，等于0的指示意味着位流还未经历位流提取程序或由等于0的subExtModeIdc模式提取。此值意味着可灵活地用等于或大于0的subExtModeIdc提取位流。在另一实例中，等于1的指示意味着位流可已由位流提取程序在等于1的subExtModeIdc模式下产生。此值意味着无法再提取位流，除非如下文所描述的本发明的第三实例技术中另外规定。
根据本发明的第二实例技术，由多个提取模式中的每一者提取的子位流可被认为是相符的。在一个方面中，作为每一相符操作点的部分，输出层集合与符合性层级指示相关联。
在本发明的第二实例技术的另一方面中，即使对于由目标输出层集合和目标TemporalId定义的同一操作点，所含有的经译码图片对于从不同模式提取的子位流来说是不同的，因此提出用指示来传信假想参考解码器(HRD)参数。“假想参考解码器”或“HRD”为视频缓冲模型。HRD描述资料经缓冲以用于解码的方式和经解码资料经缓冲以用于输出的方式。举例来说，HRD描述视频解码器中的经译码图片缓冲器(“CPB”)和经解码图片缓冲器(“DPB”)的操作。CPB为在由HRD指定的解码次序中含有存取单元的先进先出缓冲器。DPB为保持经解码图片以用于通过HRD指定的参考、输出重排序或输出延迟的缓冲器。视频编码器可用信号发送HRD参数集合。HRD参数控制HRD的各种方面。HRD参数可包含初始CPB移除延迟、CPB大小、位速率、初始DPB输出延迟和DPB大小。这些HRD参数可在视频参数集(VPS)及/或序列参数集(SPS)中指定的hrd_parameters()语法结构中加以译码。也可在缓冲周期SEI消息或图片时序SEI消息中指定HRD参数。
在H.264/AVC和HEVC中，将位流符合性和解码器符合性指定为HRD规范的部分。换句话说，HRD模型指定确定位流是否符合标准的测试和确定解码器是否符合标准的测试。尽管HRD被称为解码器的某种类型，但视频编码器通常使用HRD来保证位流符合性，而视频解码器通常并不需要HRD。
H.264/AVC和HEVC二者皆指定两种类型的位流符合性或HRD符合性，即I型和II型。I型位流为仅含有用于位流中的所有存取单元的VCL NAL单元和填充数据NAL单元的NAL单元串流。II型位流为含有除用于位流中的所有存取单元的VCL NAL单元和填充数据NAL单元之外的以下各者中的至少一者的NAL单元串流：不同于填充数据NAL单元的额外非VCL NAL单元；和从NAL单元串流形成字节流的所有leading_zero_8bits、zero_byte、start_coded_prefix_one_3bytes和trailing_zero_8bits语法元素。
当装置执行确定位流是否符合视频译码标准的位流符合性测试时，装置可选择位流的操作点。装置可随后确定适用于所选择操作点的HRD参数集合。装置可使用适用于所选择操作点的HRD参数集合来配置HRD的特性。更具体地说，装置可使用HRD参数的可适用集合来配置HRD的特定组件的特性，例如，假想串流调度程序(HSS)、CPB、解码程序、DPB等。随后，HSS可根据特定调度将位流的经译码视频数据注入到HRD的CPB中。此外，装置可调用解码CPB中的经译码视频数据的解码程序。解码程序可将经解码图片输出到DPB。在装置将数据移动通过HRD时，装置可确定是否保持满足约束条件的特定集合。举例来说，在HRD正解码所选择操作点的操作点表示时，装置可确定CPB或DPB中是否出现上溢或下溢状况。装置可以此方式选择和处理位流的每一操作点。如果没有位流的操作点使得违反约束条件，那么装置可确定位流符合视频译码标准。
H.264/AVC和HEVC二者皆指定两种类型的解码器符合性，即输出时序解码器符合性和输出次序解码器符合性。主张对特定简档、层和级的符合性的解码器能够成功地解码符合例如HEVC的视频译码标准的位流符合性要求的所有位流。在本发明中，“简档”可指位流语法的子集。可在每一简档内指定“层”和“级”。层的级可以是强加于位流中的语法元素的值的指定约束集合。这些约束可为对值的简单的限制。或者，约束可呈对值的算术组合的约束的形式(例如，图片宽度乘以图片高度乘以每秒解码的图片的数目)。通常，针对更低层指定的级比针对更高层指定的级受到更多约束。
根据本发明的第三实例技术，可针对由位流提取操作产生的每一子位流产生SEI消息以指示哪一提取模式已用于产生子位流。换句话说，计算装置可在包含视频数据的经译码表示的子位流中包含SEI消息，所述SEI消息包含用以产生子位流的提取模式的指示。另外或替代地，针对此子位流，可在SEI消息中用信号发送用以产生子位流的目标输出层集合。
因此，在一些实例中，计算装置(例如，目的地装置14、中间装置19)可从包含视频数据的经译码表示的第一位流获得包含用以从第二位流提取第一位流的提取模式的指示的SEI消息。在此些实例中，第一位流为根据提取模式从第二位流提取的子位流。不管提取模式是第一提取模式还是第二提取模式，第一位流包含足够的NAL单元来解码和输出第一位流的目标输出层集合中的图片。如果提取模式为第一提取模式(例如，第一位流为完全可提取的子位流)，那么第一位流包含正确解码目标输出层集合不需要的一或多个经译码图片(例如，具有等于1的discardable_flag的图片)。如果提取模式为第二模式(例如，第一位流为大小优化的子位流)，那么第一位流不包含正确解码目标输出层集合不需要的一或多个经译码图片。类似地，计算装置(例如，源装置12、中间装置19)可在包含视频数据的经译码表示的第一位流中产生和包含用以从第二位流提取第一位流的提取模式的指示的SEI消息。
在一些实例中，如果提取模式为第一提取模式，那么第一位流针对目标输出层集合排除第二位流的具有大于目标时间识别符的时间识别符和具有不在包含于目标输出层集合中的值中的层识别符的NAL单元。此外，如果提取模式为第二提取模式，那么第一位流进一步排除第二位流的对应于正确解码目标输出层集合中的层不需要的任何经译码图片的NAL单元。
通过此SEI消息，即使“完全可提取的”位流提取无法应用于所有含有层，但只要目标输出层集合作为输入未超出用信号发送的目标输出层集合，就可应用所有提取模式。因此，在一些实例中，只要用于完全可提取的子位流的目标输出层集合未超出用于位流的目标输出层集合，计算装置即可确定可从位流提取完全可提取的子位流。完全可提取的子位流含有足够的NAL单元来解码用于完全可提取的子位流的目标输出层集合内的图片。替代地，至少符合性层级(或提取模式)的此指示可存在于profile_tier_level语法结构中，其中指示通过使用经保留位呈现。
替代地，此指示可经由外部装置提供(例如)作为与对应于此子位流的基本流相关联的ISO基础媒体文件格式元数据(例如，样本描述中的指示)。因此，计算装置可通过外部装置获得用以产生位流的提取模式的指示。如果指示指示位流是使用第一提取模式产生的，那么从所述位流可提取相符第二子位流。如果指示指示位流是使用第二不同提取模式产生的，那么从所述位流不可提取相符子位流。外部装置可为不包含于位流中的信息的来源。
根据本发明的第四实例技术，可在多层编解码器(例如，MV-HEVC或SHVC)中定义伞状位流提取程序。伞状位流提取程序最终调用HEVC中定义的或JCTVC-N0267/JCT3V-E0087中定义的位流提取程序。伞状位流提取程序采用包含目标输出层集合、目标TemporalId和位流提取模式的输入。其中，目标输出层集合用以导出目标层(layerIdListTarget)，导出的目标层以及其它输入用作HEVC或JCTVC-N0267/JCT3V-E0087中定义的位流提取程序的输入。或者，另外，即使在主要基于输出层集合而非目标层定义此伞状位流提取时，提取程序的HEVC版本1方式仍被认为是可用的。因此，有可能提取之后的子位流不一定对应于单段操作点。替代地，子位流为多个操作点的联合。在位流提取模式为0时可调用提取程序的此HEVC版本1方式，且在此情况下，输出层集合被忽略。
根据本发明的第五实例技术，在ISO基础媒体文件格式或MPEG-2TS中，可用信号发送描述由至少输出层集合、提取层级指示表示的操作点的框或描述符。
根据本发明的技术中的一或多者，下文指示HEVC WD的子条款10的所提出的改变(其中在增加者下划线(例如，“添加文字”)且用双方括号以斜体字指示移除者(例如，“[[删除文字]]”))。
在subExtModeIdc不等于0时，此程序的输入为位流、目标最高TemporalId值tIdTarget、[[和]]目标层识别符列表layerIdListTarget、提取模式subExtModeIdc和目标输出层识别符清单TargetOptLayerIdList。
此程序的输出为子位流。
输入位流的位流符合性的要求为在此子条款中指定的程序的任何输出子位流加上tIdTarget等于0到6范围内的任一值(包含0和6)，且等于与在作用视频参数集中指定的层集合相关联的层识别符列表的layerIdListTarget在subExtModeIdc小于3时将为相符位流。
注释1——相符位流含有具有等于0的nuh_layer_id和等于0的TemporalId的一或多个经译码切片区段NAL单元。
如下导出输出子位流：
-在以下两个条件中的一或多者为真时，移除具有等于0的nuh_layer_id和含有非巢式缓冲周期SEI消息、非巢式图片时序SEI消息或非巢式解码单元信息SEI消息的所有SEI NAL单元：
-layerIdListTarget不包含位流中的所有NAL单元中的所有nuh_layer_id值。
-tIdTarget小于位流中的所有NAL单元中的最大TemporalId。
注释2——“智能”位流提取器可在经提取子位流中包含适当的非巢式缓冲图片SEI消息、非巢式图片时序SEI消息和非巢式解码单元信息SEI消息，其条件是适用于子位流的SEI消息在原始位流中呈现为巢式SEI消息。
-移除具有大于tIdTarget的TemporalId或不在包含于layerIdListTarget中的值中的nuh_layer_id的所有NAL单元。
-当subExtModeIdc大于0时，进一步移除具有不在包含于TargetOptLayerIdList中的值中的nuh_layer_id和具有大于max_tid_il_ref_pics_plus1[LayerIdxInVps[nuh_layer_id]]-1的TemporalId的NAL单元。
-在subExtModeIdc大于1时，进一步移除具有不在包含于TargetOptLayerIdList中的值中的nuh_layer_id和等于1的discardable_flag的NAL单元。
上文展示的HEVC版本1的子条款10的版本与JCTVC-N0267/JCT3V-E0087中提出的HEVC版本1的子条款10的版本的不同之处在于仅当提取模式subExtModeInc大于0时才提供目标输出层识别符清单TargetOptLayerIdList作为子位流提取程序的输入。此外，上文展示的HEVC版本1的子条款10的版本与JCTVC-N0267/JCT3V-E0087中提出的HEVC版本1的子条款10的版本的不同之处在于输入位流被视作相符位流的要求不同。
根据本发明的一些技术，用信号发送多个符合性层级以用于VPS中的输出层集合。举例来说，视频编码器或其它计算装置可用信号发送多个符合性层级以用于VPS中的输出层集合。下方表1指示SHVC WD3的子条款F.7.3.2.1.1中描述的VPS扩展语法的实例改变(其中用粗体指示语法元素(例如，“语法元素”)且在增加者下划线(例如，“添加文字”))。
表1
在本发明中，具有形式u(n)的类型描述符的语法元素为使用n位的无符号值，其中n为整数。具有形式u(v)的类型描述符的语法元素为长度以取决于其它语法元素的值的方式变化的无符号值。此外，具有形式ue(v)的类型描述符的语法元素为左位在先的无符号整数0阶指数哥伦布经译码语法元素。
在上方表1中，num_present_conformance_level_minus1[i]加1指定用于第i输出层集合的符合性层级的数目。num_present_conformance_level_minus1[i]的值在0到2的范围内，包含0和2。此外，在表1中，conform_level[i][j]指定针对第i输出层集合存在的第j符合性层级。当不存在时，推断conform_level[i][j]等于j。
此外，对于表1的实例，使outLayerSet为输出层集合且presentLayerset为针对待解码的输出层集合存在的层集合，使maxTid为presentLayerset的层中的图片的最大TemporalId值。等于0的符合性层级值指示presentLayerset中的每一层的最高TemporalId值等于maxTid，且每一存取单元含有来自presentLayerset中的每一层的一个图片。等于1的符合性层级值指示outLayerSet中的每一层的最高TemporalId值等于maxTid，且每一存取单元含有来自outLayerSet中的每一层的一个图片；另外，对于在presentLayerset内但不在outLayerSet中的每一层A，如果此层中的图片的最高TemporalId为maxTidPreLayer，那么在具有小于或等于maxTidPreLayer的TemporalId的每一存取单元中，层A中的图片存在于所述存取单元中。等于1的符合性层级值指示outLayerSet中的每一层的最高TemporalId值等于maxTid，且每一存取单元含有来自outLayerSet中的每一层的一个图片。
因此，在先前段的实例中，conform_level语法元素(即，用以产生位流的提取模式的指示)指示符合性层级。等于0的符合性层级指示当前层集合中的每一层的最高时间识别符等于当前层集合的最大时间识别符，且子位流的每一存取单元含有来自当前层集合中的每一层的一个图片。此外，当前层集合为针对子位流呈现的层的集合。当前层集合的最大时间识别符为当前层集合中的层中的图片的最大时间识别符。另外，等于1的符合性层级指示目标输出层集合中的每一层的最高时间识别符等于当前层集合的最大时间识别符，且子位流的每一存取单元含有来自目标输出层集合中的每一层的一个图片。等于1的符合性层级进一步指示对于不在目标输出层集合中的在当前层集合中的每一对应层，如果对应层中的图片的最高时间识别符为当前层集合的最大时间识别符，那么具有小于或等于当前层集合的最大时间识别符的时间识别符的每一存取单元包含对应层中的图片。不管是什么提取模式，子位流含有足够的NAL单元来解码输出层集合内的图片。
在一些实例中，等于1或2或这两者的符合性层级值可不需要以下条件：outLayerSet中的每一层的最高TemporalId值等于maxTid且每一存取单元含有来自outLyaerSet中的每一层的一个图片。
或者，在一些实例中，如下定义符合性层级1：等于1的符合性层级值指示对于presentLayerset内地每一层A，如果此层中的图片的最高TemporalId为maxTidPreLayer，那么在具有小于或等于maxTidPreLayer的TemporalId的每一存取单元中，层A中的图片存在于所述存取单元中。
因此，在先前段落的实例中，conform_level语法元素指示符合性层级。等于0的符合性层级指示当前层集合中的每一层的最高时间识别符等于当前层集合的最大时间识别符，且子位流的每一存取单元含有来自当前层集合中的每一层的一个图片。当前层集合为针对子位流存在的层集合。当前层集合的最大时间识别符为当前层集合中的层中的图片的最大时间识别符。另外，在此实例中，等于1的符合性层级指示对于当前层集合中的每一对应层，如果对应层中的图片的最高时间识别符为当前层集合的最大时间识别符，那么具有小于或等于当前层集合的最大时间识别符的时间识别符的每一存取单元包含对应层中的图片。不管是什么提取模式，子位流含有足够的NAL单元来解码输出层集合内的图片。
此外，在表1中，profile_level_tier_idx[i][j]将应用于具有第j符合性层级的第i输出层集合的profile_tier_level()语法结构的索引指定到VPS中的profile_tier_level()语法结构列表中。profile_level_tier_idx[i]语法元素的长度为Ceil(Log2(vps_num_profile_tier_level_minus1+1))位。推断profile_level_tier_idx[0][0]的值等于0。profile_level_tier_idx[i][j]的值应在0到vps_num_profile_tier_level_minus1的范围内，包含0和vps_num_profile_tier_level_minus1。
在表1中，add_vps_num_hrd_parameters指定VPS RBSP的VPS扩展中存在的hrd_parameters()语法结构的数目。此外，hrd_output_layer_set_idx[i]将应用VPS扩展中的第i hrd_parameters()语法结构的层集合的索引指定到由VPS指定的输出层集合中。hrd_output_layer_set_idx[i]在0到1023的范围内(包含0和1023)以在语法中出现。
另外，在表1中，vps_ext_hrd_conformance_level_idx[i]将用于hrd_output_layer_set_idx第[i]输出层集合的索引指定到VPS扩展中指定的符合性层级。当num_present_conformance_level_minus1[hrd_output_layer_set_idx[i]]等于0时，导出vps_ext_hrd_conformance_level_idx[i]等于0。推断与VPS中的第i hrd_parameters()语法结构相关联的hrd_layer_set_idx第[i]]输出层集合的符合性层级等于0。
在表1中，等于1的add_cprms_present_flag[i]指定所有子层共同的HRD参数存在于VPS扩展中的第i hrd_parameters()语法结构中。等于0的add_cprms_present_flag[i]指定所有子层共同的HRD参数不存在于VPS扩展中的第i hrd_parameters()语法结构中且经导出为与VPS扩展中的第(i-1)hrd_parameters()语法结构相同。推断add_cprms_present_flag[0]等于1。
在MV-HEVC的一些版本中，用信号发送每一层集合的特性。层集合的此些特性可包含层集合的平均位速率、层集合的最大位速率、是否存在层集合的恒定图片速率、层集合的平均图片速率。可在VPS的视频可用信息(VUI)扩展中用信号发送此些特性。在一些情况下，可能需要用信号发送可具有不同符合性层级的每一输出层集合的此些特性。下方表2展示根据本发明的一或多种技术的vps_vui语法结构的改变，其中用粗体指示语法元素(例如，“语法元素”)，在增加者下划线(例如，“添加文字”)，且用双方括号以斜体字指示删除者(例如，“[[删除文字]]”)。
表2
在表2中，可如上文表1中所描述确定NumConformancePoints变数的值。
美国临时专利申请案61/889,515和61/890,841提出针对每一操作点(对应于一输出层集合)存在DPB大小和其它相关语法元素。在此文件中，此信号传递可延伸到具有不同符合性层级的各个输出层集合。在下方表3中，用粗体指示语法元素(例如，“语法元素”)，用下划线指示增加者(例如，“添加文字”)，且用双方括号以斜体字指示删除者(例如，“[[删除文字]]”)。
表3
如上文所指出，根据本发明的一或多个技术，可在HRD参数中用信号发送提取模式的指示。在一些实例中，可在SEI消息中用信号发送HRD参数。举例来说，对于在缓冲周期SEI消息、图片时序SEI消息和解码单元信息SEI消息中用信号发送图片层级HRD参数，修改任一当前可缩放巢状SEI消息以使得这些三个类型的SEI消息中的任一者的巢式SEI消息可经明确指示适用于哪些符合性点。缓冲周期SEI消息是按解码次序为相关联存取单元(即，与缓冲周期SEI消息相关联的存取单元)的位置处的HRD的初始化提供初始CPB移除延迟和初始CPB移除延迟偏移信息的SEI消息。图片时序SEI消息是为与SEI消息相关联的存取单元提供CPB移除延迟和DPB输出延迟信息的SEI消息。解码单元信息SEI消息是为与SEI消息相关联的解码单元提供CPB移除延迟信息的SEI消息。下方表4展示经修改以使得巢式缓冲周期SEI消息、巢式图片时序SEI消息或巢式解码单元信息SEI消息可经明确指示为适用于特定符合性点的可缩放巢式SEI消息的实例语法。
表4
在上方表4中，nesting_cp_cl[i]指定由应用此SEI消息中含有的SEI消息的作用VPS指定的第nesting_cp_idx[i]输出层集合的符合性层级。在一些实例中，nesting_cp_cl[i]的值应大于0且小于3。在一些实例中，nesting_cp_cl[i]的值应小于3。可如本发明的其它实例中所描述来指示符合性层级。
本发明的其它实例技术提供经设计以实现与上文所描述的SEI消息相同的功能性但保持现有可缩放巢式SEI消息不受影响到新可缩放巢式SEI消息。下方表5为用于此新可缩放巢式SEI消息的语法和语义的实例集合。
表5
表5的可缩放巢式SEI消息提供一机制以使SEI消息与对应于各个操作点的位流子集关联。表5的新可缩放巢式SEI消息含有一或多个SEI消息。在一些实例中，表5的新可缩放巢式SEI消息不应包含在另一SEI消息中。
在表5的实例中，新可缩放巢式SEI消息不应含有除缓冲周期SEI消息、图片时序SEI消息和解码单元信息SEI消息以外的任何其它SEI消息。此外，在表5中，nesting_num_cps_minus1加1指定后续nesting_cp_idx[i]语法元素的数目。nesting_num_cps_minus1的值应在0到2047的范围内，包含0和2047。或者，nesting_num_cps_minus1的值应在0到3071的范围内，包含0和3071。此外，设定变数nestingNumCps等于nesting_num_cps_minus1+1。
在表5中，nesting_cp_max_tid_plus1[i]用以指定变数maxTemporalId[i]。nesting_cp_max_tid_plus1[i]的值应大于或等于当前SEINAL单元的nuh_temporal_id_plus1。设定变数maxTemporalId[i]等于nesting_cp_max_tid_plus1[i]-1。nesting_cp_idx[i]指定输出层集合的索引。nesting_cp_idx[i]的值应在0到1023的范围内，包含0和1023。nesting_cp_cl[i]指定由此SEI消息中含有的SEI消息应用于的作用VPS指定的第nesting_cp_idx[i]输出层集合的符合性层级。nesting_cp_cl[i]的值应大于0且小于3。或者，nesting_cp_cl[i]的值应小于3。
新可缩放巢式SEI消息中含有的SEI消息适用于0到nestingNumCps-1范围内(包含0和nestingNumCps-1)的所有i值的子位流subBitstream[i]，其中每一子位流subBitstream[i]为以位流、maxTemporalId[i]、nesting_cp_idx[i]和nesting_cp_cl[i]作为输入的子位流提取程序(参见下文)的输出。nesting_zero_bit应等于0。
两种SEI消息(即，表4的可缩放巢式和表5的新可缩放巢式)均可具有以类似于SPS中的sps_extension_flag的方式插入的扩展位。如果此功能性在可缩放巢式SEI中经启用，那么可在下方表6中展示的SEI扩展中用信号发送nesting_cp_cl[i]。
表6
可通过由VPS、目标HighestTid和符合性层级指定的目标输出层集合的索引识别操作点。在选择用于位流符合性测试的目标操作点后，受测试位流、HighestTid、目标输出层集合的索引和符合性层级作为输入调用位流提取程序(在下文中详细描述)，且输出子位流经指派到BitstreamToDecode。
选择适用于通过hrd_output_layer_set_idx[i]和vps_ext_hrd_conformance_level_idx[i]在VPS中指定的目标操作点的hrd_parameters()语法结构，且基于HighestTid进一步选择适用于目标操作点的sub_layer_hrd_parameters()语法结构。
针对存取单元0，选择适用于目标操作点(如由新可缩放巢式SEI消息指定)的缓冲周期SEI消息。针对从存取单元0开始的BitstreamToDecode中的每一存取单元，选择与存取单元相关联且适用于目标操作点(如由新可缩放巢式SEI消息指定)的图片时序SEI消息，且在SubPicHrdFlag等于1且sub_pic_cpb_params_in_pic_timing_sei_flag等于0时，选择与存取单元(如由新可缩放巢式SEI消息指定)中的解码单元相关联且适用于目标操作点的解码单元信息SEI消息。
如上文所指示，根据本发明的一或多种技术，对于由子位流提取程序产生的每一子位流，计算装置可产生指示哪一提取模式用于产生子位流的SEI消息(例如，位流提取状态信息SEI消息)。下表7展示用于此SEI消息的实例语法。
表7
当存在位流提取状态信息SEI消息(例如表7的SEI消息)时，位流提取状态信息SEI消息与位流相关联且指示位流适用于的符合性层级，且指示位流的目标输出层。当位流提取状态信息SEI消息中存在输出层集合信息(例如，output_layer_set_from_vps_flag、output_layer_set_idx_to_vps及/或output_layer_present_flag语法元素)时，如果经提供作为位流提取程序的输入属于位流提取状态信息SEI消息中指定的输出层集合，那么可应用具有任何提取模式的位流提取程序。当位流提取状态信息SEI消息中不存在输出层集合信息或不存在位流提取状态信息SEI消息时，输出层包含在VPS中(通过等于1的layer_id_included_flag)用信号发送的所有层。当不存在位流提取状态信息SEI消息时，针对具有在VPS中用信号发送的所有层作为输出层的输出层集合，推断符合性层级为VPS中存在的conform_level的最小值。conform_level的语义可与本发明的其它实例中所描述的相同。
在表7中，lp_sei_active_vps_id(本发明也可称作active_vps_id)识别含有此SEI消息的CVS的作用VPS。lp_sei_active_vps_id的值应等于含有SEI消息的存取单元的VCLNAL单元的作用VPS的vps_video_parameter_set_id的值。conformance_indication指定与此SEI消息相关联的位流的符合性层级。可以与本发明中其它地方所描述相同的方式定义符合性层级。
此外，在表7中，等于1的output_layer_set_info_present_flag指定与此SEI消息相关联的输出层集合在VPS中加以定义。以此方式，SEI消息包含指示用以产生位流的目标输出层集合的数据。指示用以产生位流的目标输出层集合的数据包括指定在VPS中指定的输出层集合的索引的语法元素。
等于0的output_layer_set_info_present_flag指定与此SEI消息相关联的输出层集合可或可不在VPS中加以定义。output_layer_set_idx_to_vps指定VPS中指定的输出层集合的索引。等于1的output_layer_present_flag[i]指定等于i的nuh_layer_id的值包含在与此SEI消息相关联的输出层集合中。等于0的output_layer_present_flag[i][j]指定等于i的nuh_layer_id的值不包含在与此SEI消息相关联的输出层集合中。以此方式，SEI消息可包含指示目标输出层集合的数据。此数据可包括语法元素(例如，output_layer_present_flag语法元素)的序列。对于语法元素序列中的每一相应语法元素，用于相应语法元素的相应位置索引(例如，i)指示相应语法元素在语法元素序列内的位置。如果相应语法元素的值等于1，那么具有等于相应语法元素的相应位置索引的层识别符的层包含在用以产生子位流的目标输出层集合中。如果相应语法元素的值等于0，那么具有等于相应语法元素的相应位置索引的层识别符的层不包含在用以产生子位流的目标输出层集合中。
因此，在一些实例中，表7的SEI消息包含指示位流的目标输出层集合的数据。不管用以产生位流的提取模式是什么，位流都含有足够的NAL单元来解码目标输出层集合内的图片。此外，在使用第二提取模式(例如，产生大小优化的子位流的提取模式)提取位流时，产生位流，使得对于源位流的每一相应NAL单元来说，如果相应NAL单元满足以下两个准则，那么相应NAL单元从源位流经移除以使得相应NAL单元不在子位流中：
i)相应NAL单元具有不在目标输出层集合的目标输出层识别符列表中的层识别符中的层识别符，及
ii)相应NAL单元的时间识别符大于相应NAL单元属于的层的图片使用的层间参考图片的最大时间识别符。
此外，在一些实例中，如果提取模式为第二提取模式，那么在以下条件下相应NAL单元从源位流经移除以使得相应NAL单元不在位流中：
i)相应NAL单元具有不在目标输出层集合的目标输出层识别符列表中的层识别符中的层识别符，及
ii)相应NAL单元的旗标指定对应于相应NAL单元的经译码图片并未用作解码次序中的后续图片的解码过程中的参考图片。
在一些实例中，可基于VPS导出需要解码的层的数目以及需要解码哪些层以输出输出层集合。替代地，可在此SEI消息中用信号发送此些层。
如上文所指示，在本发明的一些实例中，符合性层级的指示可存在于profile_tier_level语法结构中。可在简档、层和级语法结构中指示此符合性层级，如下方表8中所展示。
表8
在上方表8中，conformance_level指定输出层集合符合的符合性层级。可以与本发明中其它地方所描述相同的方式定义符合性层级。
如上文所指示，在本发明的一些实例中，可在多层编解码器中定义伞状位流提取程序。换句话说，在MV-HEVC/SHVC中定义提取程序以使得上一输入能够为输出层集合的索引与位流提取模式的组合、显式输出层集合与位流提取模式的组合或仅目标层集合。
当上一输入为目标层集合时，位流提取模式被视为0且不把输出层集合作为输入。以下为根据本实例的实例子位流提取程序。
F.10子位流提取程序
此程序的输入为位流、目标最高TemporalId值tIdTarget和以下各者中的一者：
-输出层集合的索引outputLayerSetIdx和位流提取模式subExtModeIdc。
-目标输出层识别符列表inputOptLayerIdList和位流提取模式subExtModeIdc。
-目标层识别符列表layerIdListTarget。
此子条款的输入参数
如果上一输入包含输出层集合的索引outputLayerSetIdx和位流提取模式subExtModeIdc，那么如下导出目标输出层识别符列表TargetOptLayerIdList和layerIdListTarget：
如果上一输入包含输出层集合的索引outputLayerSetIdx和位流提取模式subExtModeIdc，那么如下导出目标输出层识别符列表TargetOptLayerIdList和layerIdListTarget：
lsIdx＝outputLayerSetIdx；
layerIdListTarget＝LayerSetLayerIdList[lsIdx].
for(k＝0,j＝0；j<NumLayersInIdList[lsIdx]；j++){
layerIdListTarget[j]＝LayerSetLayerIdList[lsIdx][j]
if(output_layer_flag[lsIdx][j])
outputLayerSetIdx[k++]＝LayerSetLayerIdList[lsIdx][j]
}
否则的话，如果上一输入包含目标输出层识别符列表inputOptLayerIdList和位流提取模式subExtModeIdc，那么设定目标输出层识别符列表TargetOptLayerIdList等于inputOptLayerIdList且导出layerIdListTarget以包含TargetOptLayerIdList中包含的每一层的任何直接或间接相依层的nuh_layer_id，除非已包含此层识别符。此程序与MVC位流提取程序中的程序类似。
否则的话，设定TargetOptLayerIdList为空且设定subExtModeIdc为0。
在subExtModeIdc作为额外输入时，章节4.1.1中指定的子位流提取程序应用tIdTarget、layerIdListTarget和subExtModeIdc作为输入，且如果subExtModeIdc不等于0，那么TargetOptLayerIdList。
使当前位流具有confLevel的符合性层级。在输出层集合的索引或目标输出层识别符列表用作位流提取的输入时，可应用任何提取模式(具有等于0到2的值)。在提取程序之后，子位流具有带有等于最大(subExtModeIdc，confLevel)的conformance_indication的位流状态信息SEI消息。
在目标层识别符列表用作位流提取的输入时，在提取程序之后，子位流具有带有等于confLevel(即，符合性层级不改变)的conformance_indication的位流状态信息SEI消息。
视频编码器20和视频解码器30可实施上文所描述的本发明的技术中的一或多者。举例来说，视频解码器30可基于位流中的数据获得指示。位流包括视频数据的经编码表示。视频解码器30可至少部分地基于指示确定是否可从位流提取子位流。类似地，视频编码器20可产生包含提供是否可从位流提取子位流的指示的数据的位流。
本发明的额外实例包含指示不相符但可经提供以用于特定应用程式情境(主要用以减小带宽)的子位流的系统和方法。
如第15次JCT-VC会议和第6次JCT-3V会议中所论述，允许用多模式产生经提取子位流可能不是此阶段的最适合解决方案。然而，鉴于此些不完整子位流仍可适用于(例如)减少用于特定应用程式情境的带宽，本发明提出以指示对应于用于SEI消息中的所有子位流的不同提取模式的图片呈现属性。本发明可将此SEI消息称作子位流图片呈现属性SEI消息。可取决于实施方式而单独地或以适合组合使用以下实例中列出的特征。
在一些实例中，提供SEI消息(例如，子位流图片呈现属性SEI消息)以指示在VPS中未经指示为相符位流而是含有不含有来自存在于子位流中的所有层的图片的至少一个存取单元的子位流的所有子位流的属性。举例来说，可提供SEI消息(例如，子位流图片呈现属性SEI消息)以指示在VPS中未经指示为相符位流而是含有不含有来自存在于子位流中的所有层的图片的至少一个存取单元的子位流的所有子位流的属性。针对每一子位流，发信号发送不是目标输出层的层的子位流的完整性的层级。针对每一子位流，用信号发送最大位速率、平均位速率和平均图片速率。
下方表9展示根据本发明的一或多种技术的实例子位流图片呈现属性SEI消息语法。
表9
当表9的子位流图片呈现属性SEI消息存在时，其与位流相关联且针对子位流中的每一者指示它的图片呈现层级和位速率。
在表9的实例中，lp_sei_active_vps_id识别含有此SEI消息的CVS的作用VPS。lp_sei_active_vps_id的值应等于含有SEI消息的存取单元的VCL NAL单元的作用VPS的vps_video_parameter_set_id的值。此外，在表9的实例中，num_additional_sub_streams指定属性存在于此SEI消息中的子位流的数目。
picture_presence_info_indication_minus1[i]加1指定与此SEI消息相关联的第i子位流的图片呈现层级。picture_presence_info_indication_minus1[i]的值在0到1范围内(包含0和1)，且保留值2和3。等于0的值指示下面的位速率和图片速率信息用于根据对应于由output_layer_set_idx_to_vps[i]识别的输出层集合的位流的以下程序提取的子位流：
-在以下两个条件中的一或多者为真时，移除具有等于0的nuh_layer_id和含有非巢式缓冲周期SEI消息、非巢式图片时序SEI消息或非巢式解码单元信息SEI消息的所有SEI NAL单元：
-layerIdListTarget不包含位流中的所有NAL单元中的所有nuh_layer_id值。
-tIdTarget小于位流中的所有NAL单元中的最大TemporalId。
-移除具有大于tIdTarget的TemporalId或不在包含于layerIdListTarget中的值中的nuh_layer_id的所有NAL单元。
-进一步移除具有不在包含于TargetOptLayerIdList中的值中的nuh_layer_id和具有大于max_tid_il_ref_pics_plus1[LayerIdxInVps[nuh_layer_id]]-1的TemporalId的NAL单元。
等于1的picture_presence_info_indication_minus1值指示后面的位速率和图片速率信息用于根据以下程序提取的子位流：
-在以下两个条件中的一或多者为真时，移除具有等于0的nuh_layer_id和含有非巢式缓冲周期SEI消息、非巢式图片时序SEI消息或非巢式解码单元信息SEI消息的所有SEI NAL单元：
-layerIdListTarget不包含位流中的所有NAL单元中的所有nuh_layer_id值。
-tIdTarget小于位流中的所有NAL单元中的最大TemporalId。
-移除具有大于tIdTarget的TemporalId或不在包含于layerIdListTarget中的值中的nuh_layer_id的所有NAL单元。
-进一步移除具有不在包含于TargetOptLayerIdList中的值中的nuh_layer_id和具有大于max_tid_il_ref_pics_plus1[LayerIdxInVps[nuh_layer_id]]-1的TemporalId的NAL单元。
-进一步移除具有不在包含于TargetOptLayerIdList中的值中的nuh_layer_id和等于1的discardable_flag的NAL单元。
此外，在表9的实例中，output_layer_set_idx_to_vps[i]指定在VPS中针对第i子位流指定的输出层集合的索引。等于1的bit_rate_present_flag[i]指定存在第i子位流的位速率信息。等于0的bit_rate_present_flag[i]指定不存在第i子位流的位速率信息。等于1的pic_rate_present_flag[i]指定存在第i子位流的图片速率信息。等于0的pic_rate_present_flag[i]指定不存在第i子位流的图片速率信息。
在表9的实例中，avg_bit_rate[i]指示第i子位流的平均位速率，以每秒位数为单位。通过BitRateBPS(avg_bit_rate[i])给出值，其中如下指定函数BitRateBPS()：
BitRateBPS(x)＝(x&(214-1))*10(2+(x>>14)) (F-X)
根据条款F.13中指定的存取单元移除时间导出平均位速率。在下文中，bTotal为第i子位流的所有NAL单元中的位数，t1为VPS适用于的第一存取单元的移除时间(以秒计)，且t2为VPS适用于的最后存取单元(按解码次序)的移除时间(以秒计)。其中x指定avg_bit_rate[i]的值，以下适用：
-如果t1不等于t2，以下条件将为真：
(x&(214-1))＝＝Round(bTotal÷((t2-t1)*10(2+(x>>14)))) (F-X+1)
-否则(t1等于t2)，以下条件将为真：
(x&(214-1))＝＝0 (F-X+2)
此外，在表9的实例中，max_bit_rate[i]指示条款F.13中指定的存取单元移除时间的任何一秒时间视窗中的第i子位流的位速率的上限。通过BitRateBPS(max_bit_rate[i])给出位速率的上限(以每秒位数为单位)。根据条款F.13中指定的存取单元移除时间导出位速率值。在下文中，t1为时间中的任一点(以秒计)，t2经设定成等于t1+1÷100，且bTotal为具有大于或等于t1且小于t2的移除时间的存取单元的所有NAL单元中的位数。其中x指定max_bit_rate[i]的值，对于t1的所有值将遵守以下条件：
(x&(214-1))>＝bTotal÷((t2-t1)*10(2+(x>>14))) (F-X+3)
在表9的实例中，constant_pic_rate_idc[i]指示第i子位流的图片速率是否恒定。在下文中，时间段tSeg为第i子位流的按解码次序的两个或两个以上连续存取单元的任何集合，auTotal(tSeg)为时间段tSeg中的存取单元的数目，t1(tSeg)为时间段tSeg的第一存取单元(按解码次序)的移除时间(以秒计)，t2(tSeg)为时间段tSeg的最后存取单元(按解码次序)的移除时间(以秒计)，且avgPicRate(tSeg)为时间段tSeg中的平均图片速率，且经指定如下：
avgPicRate(tSeg)＝＝Round(auTotal(tSeg)*256÷(t2(tSeg)-t1(tSeg))) (F-X+4)
如果第i子位流仅含有一个或两个存取单元，或avgPicRate(tSeg)的值在所有时间片段上是常量，那么图片速率是常量；否则，图片速率不是常量。
等于0的constant_pic_rate_idc[i]指示第i子位流的图片速率不是常量。等于1的constant_pic_rate_idc[i]指示第i子位流的图片速率是常量。等于2的constant_pic_rate_idc[i]指示第i子位流的图片速率可是或可不是常量。constant_pic_rate_idc[i]的值应在0到2的范围内(包含0和2)。
此外，在表9的实例中，avg_pic_rate[i]指示第i子位流的平均图片速率，以每256秒图片数为单位。其中auTotal为第i子位流中的存取单元的数目，t1为VPS适用于的第一存取单元的移除时间(以秒计)，且t2为VPS适用于的最后存取单元(按解码次序)的移除时间(以秒计)，以下适用：
-如果t1不等于t2，以下条件将为真：
avg_pic_rate[i]＝＝Round(auTotal*256÷(t2-t1)) (F-X+5)
-否则(t1等于t2)，以下条件将为真：
avg_pic_rate[i]＝＝0 (F-X+6)
图2为说明实例视频编码器20的框图。出于解释的目的而提供图2，且不应将其视为对如本发明中所广泛例示和描述的技术的限制。出于解释的目的，本发明描述在HEVC译码的上下文中的视频编码器20。然而，本发明的技术可适用于其它译码标准或方法。
在图2的实例中，视频编码器20包含预测处理单元100、视频数据存储器101、残余产生单元102、变换处理单元104、量化单元106、逆量化单元108、逆变换处理单元110、重建构单元112、过滤器单元114、经解码图片缓冲器116和熵编码单元118。预测处理单元100包含帧间预测处理单元120和帧内预测处理单元126。帧间预测处理单元120包含运动估计单元122和运动补偿单元124。在其它实例中，视频编码器20可包含更多、更少或不同功能组件。
视频编码器20可接收视频数据。视频数据存储器101可存储待由视频编码器20的组件编码的视频数据。可(例如)从视频源18获得存储在视频数据存储器101中的视频数据。经解码图片缓冲器116可为参考图片存储器，其存储用于由视频编码器20(例如)以帧内或帧间译码模式对视频数据进行编码的参考视频数据。视频数据存储器101和经解码图片缓冲器116可由多种存储器装置中的任一者形成，例如动态随机存取存储器(DRAM)(包含同步DRAM(SDRAM))、磁阻式RAM(MRAM)、电阻式RAM(RRAM)或其它类型的存储器装置。视频数据存储器101和经解码图片缓冲器116可由相同存储器装置或单独的存储器装置提供。在各种实例中，视频数据存储器101可与视频编码器20的其它组件一起在芯片上，或相对于所述组件在芯片外。
视频编码器20可对视频数据的图片的切片中的每个CTU进行编码。在一些实例中，CTU中的每一者可与图片的大小相等的明度译码树块(CTB)和对应的色度CTB相关联。作为对CTU进行编码的部分，预测处理单元100可执行四叉树分割以将CTU的CTB划分为逐渐更小的块。较小块可为CU的译码块。举例来说，预测处理单元100可将与CTU相关联的CTB分割成四个大小相等的子块，将子块中的一或多者分割成四个大小相等的子子块等。
视频编码器20可对CTU的CU进行编码以产生CU的经编码表示(即，经译码的CU)。作为对CU进行编码的部分，预测处理单元100可在CU的一或多个PU当中分割与CU相关联的译码块。因此，每一PU可与明度预测块和对应的色度预测块相关联。视频编码器20和视频解码器30可支持具有各种大小的PU。如上文所指示，CU的大小可指CU的明度译码块的大小，且PU的大小可指PU的明度预测块的大小。假定特定CU的大小为2Nx2N，视频编码器20及视频解码器30可支持用于帧内预测的2N×2N或N×N的PU大小，及用于帧间预测的2N×2N、2N×N、N×2N、N×N或类似大小的对称PU大小。视频编码器20以及视频解码器30还可以支持用于帧间预测的2N×nU、2N×nD、nL×2N和nR×2N的PU大小的非对称分割。
帧间预测处理单元120可通过对CU的每一PU执行帧间预测而产生PU的预测性数据。PU的预测性数据可包含PU的预测性块和PU的运动信息。取决于PU是在I切片中、P切片中或B切片中，帧间预测处理单元120可对CU的PU执行不同操作。在I切片中，所有PU经帧内预测。因此，如果PU是在I切片中，那么帧间预测处理单元120不对PU执行帧间预测。
如果PU是在P切片中，那么运动估计单元122可针对用于PU的参考区搜索参考图片列表(例如，“RefPicList0”)中的参考图片。用于PU的参考区可为参考图片内含有最紧密地对应于PU的预测块的样本的区。运动估计单元122可产生指示含有PU的参考区的参考图片在RefPicList0中的位置的参考索引。另外，运动估计单元122可产生指示PU的译码块与和参考区相关联的参考位置之间的空间位移的运动向量。举例来说，运动向量可为提供从当前图片中的坐标到参考图片中的坐标的偏移的二维向量。运动估计单元122可将参考索引和运动向量作为PU的运动信息而输出。运动补偿单元124可基于由PU的运动向量指示的参考位置处的实际样本或内插样本产生PU的预测性块。
如果PU是在B切片中，那么运动估计单元122可以对PU执行单向预测或双向预测。为了对PU执行单向预测，运动估计单元122可搜索RefPicList0或用于PU的参考区的第二参考图片列表(“RefPicList1”)的参考图片。运动估计单元122可输出以下各者作为PU的运动信息：指示含有参考区的参考图片在RefPicList0或RefPicList1中的位置的参考索引、指示PU的预测块与和参考区相关联的参考位置之间的空间位移的运动向量，和指示参考图片是在RefPicList0还是RefPicList1中的一或多个预测方向指示符。运动补偿单元124可至少部分地基于由PU的运动向量指示的参考位置处的实际或内插样本产生PU的预测性块。
为了对PU执行双向帧间预测，运动估计单元122可在用于PU的参考区的RefPicList0中搜索参考图片，并且还可在用于PU的另一参考区的RefPicList1中搜索参考图片。运动估计单元122可产生指示含有参考区的参考图片在RefPicList0和RefPicList1中的位置的参考索引。另外，运动估计单元122可产生指示与参考区相关联的参考位置与PU的预测块之间的空间位移的运动向量。PU的运动信息可包含PU的参考索引和运动向量。运动补偿单元124可至少部分基于由PU的运动向量指示的参考位置处的实际或内插样本产生PU的预测性块。
帧内预测处理单元126可通过对PU执行帧内预测而产生PU的预测性数据。PU的预测性数据可包含PU的预测性块和各种语法元素。帧内预测处理单元126可对I切片、P切片和B切片中的PU执行帧内预测。
为了对PU执行帧内预测，帧内预测处理单元126可使用多个帧内预测模式产生PU的预测性块的多个集合。当使用特定帧内预测模式执行帧内预测时，帧内预测处理单元126可使用来自相邻块的样本的特定集合产生PU的预测性块。假定对于PU、CU和CTU采用从左到右、从上到下的编码次序，相邻块可在PU的预测块的上方、右上方、左上方或左方。帧内预测处理单元126可使用各种数目的帧内预测模式，例如，33个定向帧内预测模式。在一些实例中，帧内预测模式的数目可取决于PU的预测块的大小。
预测处理单元100可从用于PU的由帧间预测处理单元120产生的预测性数据或用于PU的由帧内预测处理单元126产生的预测性数据当中选择用于CU的PU的预测性数据。在一些实例中，预测处理单元100基于预测性数据集合的速率/失真量度选择用于CU的PU的预测性数据。所选预测性数据的预测性块在本文中可被称作所选预测性块。
残余产生单元102可基于CU的译码块(例如，明度译码块、Cb译码块和Cr译码块)和CU的PU的所选预测性块(例如，预测性明度块、Cb块和Cr块)产生CU的残余块(例如，明度残余块、Cb残余块和Cr残余块)。举例来说，残余产生单元102可产生CU的残余块以使得残余块中的每一样本具有等于CU的译码块中的样本与CU的PU的对应所选预测性块中的对应样本之间的差的值。
变换处理单元104可执行四叉树分割以将CU的残余块分割成与CU的TU相关联的变换块。因此，TU可与色度变换块和两个对应色度变换块相关联。CU的TU的色度变换块和色度变换块的大小和位置可或可不基于CU的PU的预测块的大小和位置。
变换处理单元104可通过将一或多个变换应用到TU的变换块而产生CU的每一TU的变换系数块。变换处理单元104可将各种变换应用到与TU相关联的变换块。举例来说，变换处理单元104可将离散余弦变换(DCT)、定向变换或概念上类似的变换应用于变换块。在一些实例中，变换处理单元104不将变换应用于变换块。在此类实例中，变换块可被视作变换系数块。
量化单元106可量化系数块中的变换系数。量化过程可减小与变换系数中的一些或全部相关联的位深度。举例来说，可在量化期间将n位变换系数向下舍位到m位变换系数，其中n大于m。量化单元106可基于与CU相关联的量化参数(QP)值而量化与CU的TU相关联的系数块。视频编码器20可通过调整与CU相关联的QP值来调整应用于与CU相关联的系数块的量化的程度。量化可能使得信息丢失，因此经量化的变换系数可具有比原始变换系数更低的精度。
逆量化单元108和逆变换处理单元110可分别将逆量化和逆变换应用于系数块，以从系数块重建构残余块。重建构单元112可将经重建构的残余块添加到来自由预测处理单元100产生的一或多个预测性块的对应样本，以产生与TU相关联的经重建构变换块。通过以此方式重建构CU的每一TU的变换块，视频编码器20可重建构CU的译码块。
滤波器单元114可执行一或多个去块操作来减少与CU相关联的译码块中的块效应。在滤波器单元114对经重建构译码块执行一或多个去块操作之后，经解码图片缓冲器116可存储经重建构译码块。帧间预测处理单元120可使用含有经重建构译码块的参考图片来对其它图片的PU执行帧间预测。另外，帧内预测处理单元126可使用经解码图片缓冲器116中的经重建构译码块来对与CU处于相同图片中的其它PU执行帧内预测。
熵编码单元118可从视频编码器20的其它功能组件接收数据。举例来说，熵编码单元118可从量化单元106接收系数块，且可从预测处理单元100接收语法元素。熵编码单元118可对数据执行一或多个熵编码操作以产生经熵编码数据。举例来说，熵编码单元118可对数据执行上下文自适应可变长度译码(CAVLC)操作、CABAC操作、可变到可变(V2V)长度译码操作、基于语法的上下文自适应二进制算术译码(SBAC)操作、概率区间分割熵(PIPE)译码操作、指数哥伦布编码操作或另一类型的熵编码操作。视频编码器20可输出包含由熵编码单元118产生的经熵编码数据的位流。
根据本发明的至少一些实例，图2的视频编码器20可在包含视频数据的经译码表示的第一位流中包含SEI消息，所述SEI消息包含用以从第二位流提取第一位流的提取模式的指示。如果提取模式为第一提取模式，那么第一位流包含正确解码目标输出层集合不需要的一或多个经译码图片。如果提取模式为第二提取模式，那么第一位流不包含正确解码目标输出层集合不需要的一或多个经译码图片。
图3为说明实例视频解码器30的框图。出于解释的目的而提供图3，且不应将其视为对如本发明中所广泛例示和描述的技术的限制。出于解释的目的，本发明描述在HEVC译码的上下文中的视频解码器30。然而，本发明的技术可适用于其它译码标准或方法。
在图3的实例中，视频解码器30包含熵解码单元150、预测处理单元152、逆量化单元154、逆变换处理单元156、重建构单元158、滤波器单元160和经解码图片缓冲器162。预测处理单元152包含运动补偿单元164和帧内预测处理单元166。在其它实例中，视频解码器30可包含更多、更少或不同的功能组件。
经译码图片缓冲器(CPB)151可接收并存储位流的经编码视频数据(例如NAL单元)。可(例如)从信道16(例如，从本地视频源(例如，相机))经由视频数据的有线或无线网络通信或者通过存取物理数据存储媒体而获得存储于CPB 151中的视频数据。CPB 151可形成存储来自经编码视频位流的经编码视频数据的视频数据存储器。经解码图片缓冲器162可为参考图片存储器，其存储用于通过视频解码器30(例如)以帧内或帧间译码模式对视频数据进行解码的参考视频数据。CPB 151和经解码图片缓冲器162可由多种存储器装置中的任一者形成，例如，动态随机存取存储器(DRAM)(包含同步DRAM(SDRAM))、磁阻式RAM(MRAM)、电阻式RAM(RRAM)或其它类型的存储器装置。CPB 151和经解码图片缓冲器162可由相同存储器装置或单独的存储器装置提供。在各种实例中，CPB 151可与视频解码器30的其它组件一起在芯片上，或相对于那些组件在芯片外。
熵解码单元150可从CPB 151接收NAL单元，且可剖析NAL单元以从位流获得语法元素。熵解码单元150可对NAL单元中的经熵编码语法元素进行熵解码。预测处理单元152、逆量化单元154、逆变换处理单元156、重建构单元158和滤波器单元160可基于从位流提取的语法元素而产生经解码视频数据。
位流的NAL单元可包含经译码切片NAL单元。作为解码位流的部分，熵解码单元150可从经译码切片NAL单元获得语法元素且对语法元素进行熵解码。经译码切片中的每一者可包含切片标头和切片数据。切片标头可含有关于切片的语法元素。
根据本发明的至少一些技术，视频解码器30(例如，视频解码器30的一个组件(例如，熵解码单元150))可从包含视频数据的经译码表示的第一位流获得SEI消息，所述SEI消息包含用以从第二位流提取第一位流的提取模式的指示。如果提取模式为第一提取模式，那么第一位流包含正确解码目标输出层集合不需要的一或多个经译码图片。如果提取模式为第二提取模式，那么第一位流不包含正确解码目标输出层集合不需要的一或多个经译码图片。在一些实例中，视频解码器30可在未获得SEI消息的情况下或在未确定用以产生第一位流的提取模式的情况下对第一位流进行解码。因此，大小优化的位流可包含仅存在少部分图片(例如，用于层间预测的图片)的层，视频解码器30仍然可以适当方式执行对图片的重建构且在不输出经重建构图片的情况下将其用作层间参考图片。
除了从位流获得语法元素之外，视频解码器30可对CU执行解码操作。通过对CU执行解码操作，视频解码器30可重建构CU的译码块。
作为对CU执行解码操作的部分，逆量化单元154可逆量化(即，去量化)与CU的TU相关联的系数块。逆量化单元154可使用与TU的CU相关联的QP值来确定量化的程度，且同样地确定逆量化单元154将应用的逆量化的程度。也就是说，可以通过调整在量化变换系数时所使用的QP的值来控制压缩比，即用以表示原始序列与经压缩序列的位的数目的比率。压缩比还可取决于所采用的熵译码的方法。
在逆量化单元154逆量化系数块之后，逆变换处理单元156可将一或多个逆变换应用于系数块以产生与TU相关联的残余块。举例来说，逆变换处理单元156可将逆DCT、逆整数变换、逆卡忽南-拉维(Karhunen-Loeve)变换(KLT)、逆旋转变换、逆定向变换或另一逆变换应用于系数块。
如果使用帧内预测对PU进行编码，那么帧内预测处理单元166可执行帧内预测以产生PU的预测性块。帧内预测处理单元166可使用帧内预测模式基于在空间上相邻的PU的预测块产生PU的预测性块(例如，预测明度块、Cb块和Cr块)。帧内预测处理单元166可基于从位流解码的一或多个语法元素确定用于PU的帧内预测模式。
预测处理单元152可基于从位流提取的语法元素来建构第一参考图片列表(RefPicList0)和第二参考图片列表(RefPicList1)。此外，如果PU是使用帧间预测编码，那么熵解码单元150可获得PU的运动信息。运动补偿单元164可基于PU的运动信息确定用于PU的一或多个参考区。运动补偿单元164可基于用于PU的一或多个参考块处的样本而产生用于PU的预测性块(例如，预测性明度块、Cb块和Cr块)。
重建构单元158可使用来自CU的TU的变换块(例如，明度、Cb和Cr变换块)与CU的PU的预测性块(例如，明度、Cb和Cr变换块)的残余值(即，在适用时，帧内预测数据或帧间预测数据)来重建构CU的译码块(例如，明度、Cb和Cr译码块)。举例来说，重建构单元158可将变换块(例如，色度、Cb和Cr变换块)的样本添加到预测性块(例如，色度、Cb和Cr预测性块)的对应样本以重建构CU的译码块(例如，色度、Cb和Cr译码块)。
滤波器单元160可执行去块操作以减少与CU的译码块(例如，明度、Cb和Cr译码块)相关联的块效应。视频解码器30可将CU的译码块(例如，色度、Cb和Cr译码块)存储在经解码图片缓冲器162中。经解码图片缓冲器162可提供参考图片以用于后续运动补偿、帧内预测和在显示装置(例如，图1的显示装置32)上的呈现。举例来说，视频解码器30可基于经解码图片缓冲器162中的块(例如，明度、Cb和Cr块)对其它CU的PU执行帧内预测或帧间预测操作。以此方式，视频解码器30可从位流提取有效系数块的变换系数层级，对所述变换系数层级进行逆量化，对所述变换系数层级应用变换以产生变换块，至少部分基于变换块产生译码块并且输出译码块以供显示。
图4为说明根据本发明的一或多种技术的实例中间装置19的框图。出于解释的目的而提供图4，且不应将其视为对如本发明中所广泛例示和描述的技术的限制。在图4的实例中，中间装置19包括模式确定单元180、位流提取单元182和SEI产生单元184。
模式确定单元180和位流提取单元182可接收源位流。在一些实例中，模式确定单元180和位流提取单元182可从视频编码器(例如，视频编码器20)接收源位流。在其它实例中，模式确定单元180和位流提取单元182可从另一中间装置接收源位流，所述中间装置可已从另一位流提取源位流。
模式确定单元180可确定哪一位流提取程序(如果存在)应用于源位流。在一个实例中，模式确定单元180可从源位流获得包含用以产生源位流的提取模式的指示的SEI消息。在此实例中，如果SEI消息指示用以产生源位流的是大小优化的位流提取模式，那么模式确定单元180可确定不将任何位流提取程序应用于源位流。然而，如果SEI消息指示用以产生源位流的是“完全可提取的”位流提取模式，那么模式确定单元180可确定是将“完全可提取的”位流提取程序应用于源位流还是将“大小优化的”位流提取程序应用于源位流。
当模式确定单元180已经确定将位流提取程序应用于源位流时，模式确定单元180可将所确定的位流提取程序提供到位流提取单元182和SEI产生单元184。位流提取单元182可应用所确定的位流提取模式以从源位流提取子位流。此外，SEI产生单元184可产生包含所确定的位流提取模式的指示的SEI消息。SEI产生单元184可在由位流提取单元182产生的子位流中包含所产生的SEI消息。
以此方式，中间装置19可从包含视频数据的经译码表示的第一位流获得SEI消息，所述SEI消息包含用以从第二位流提取第一位流的提取模式的指示。如果提取模式为第一提取模式，那么第一位流包含正确解码目标输出层集合不需要的一或多个经译码图片。如果提取模式为第二提取模式，那么第一位流不包含正确解码目标输出层集合不需要的一或多个经译码图片。
另外，中间装置19可在第一位流中包含SEI消息，其包含用以从第二位流提取第一位流的提取模式的指示。如果提取模式为第一提取模式，那么第一位流包含正确解码目标输出层集合不需要的一或多个经译码图片。如果提取模式为第二提取模式，那么第一位流不包含正确解码目标输出层集合不需要的一或多个经译码图片。
图5A为说明根据本发明的一或多种技术的计算装置的实例操作的流程图。图5A的操作连同本发明的其它流程图中说明的操作一起为实例。根据本发明的技术的其它实例操作可包含更多、更少或不同行动。
在图5A的实例中，计算装置(例如，中间装置19或目的地装置14)可从包含视频数据的经译码表示的第一位流获得包含用以从第二位流提取第一位流的提取模式的指示的SEI消息(200)。第一位流为根据提取模式从第二位流提取的子位流。如果提取模式为第一提取模式，那么第一位流包含正确解码第一位流的目标输出层集合不需要的一或多个经译码图片。如果提取模式为第二提取模式，那么第一位流不包含正确解码目标输出层集合不需要的一或多个经译码图片。不管提取模式是第一提取模式还是第二提取模式，第一位流包含足够的NAL单元来解码和输出第一位流的目标输出层集合中的图片。在一些实例中，SEI消息符合上表7中展示的语法，且指示为conformance_indication语法元素。
此外，在图5A的实例中，计算装置可基于提取模式的指示而确定是否从第一位流提取子位流(202)。基于此确定，计算装置可从第一位流提取子位流。如上文所指示，图5A为一实例。其它实例可包含更多、更少或不同的行动。举例来说，本发明的一些实例排除行动202。
图5B为说明根据本发明的一或多种技术的计算装置的实例操作的流程图。在图5B的实例中，计算装置(例如，源装置12或中间装置19)可自适应地选择提取操作(250)。计算装置可基于各种因素选择提取操作。举例来说，计算装置可基于由提取操作产生的子位流旨在还是不旨在由终端用户使用或基于是否允许从子位流提取其它子位流来选择提取操作。举例来说，如果执行子位流提取的装置与客户端装置之间的网络路径相对较短及/或沿着到客户端装置的网络路径不存在可执行子位流提取的后续裝置，那么装置可选择“最优大小”提取模式。另一方面，如果提取装置与客户端装置之间的网络路径相对较长及/或沿所述路径有可执行子位流提取的一或多个裝置，那么提取装置可选择“完全可提取的”模式。
在一些实例中，提取装置为CDN的部分。CDN可服务众多的客户(例如，数十万的客户)。CDN中“最前面的”裝置可经配置以偏好完全可提取的提取模式或甚至可经配置以正好完全避免位流提取。然而，客户端装置之前的“上一”MANE可能够精确地确定每一客户端装置需要什么子位流(例如，由于客户端装置安装有确定对应客户端装置的解码和呈现能力的客户端软体)，且因此上一MANE可“偏好”最优大小的提取模式。也就是说，可在接近“最后一公里”处偏好选择“最优大小的”提取，因为网络传输中的最后一公里通常为最大的瓶颈。
此外，在图5B的实例中，计算装置可使用所选择的提取操作从第二位流提取第一位流(252)。举例来说，取决于所选择的提取操作，计算装置可从源位流提取完全可提取的位流或从源位流提取大小优化的位流。在一些实例中，计算装置产生第二位流。在其它实例中，计算装置从另一计算装置(例如，源装置12)接收第二位流。
计算装置可产生包含用以从第二位流提取第一位流的提取模式的指示的SEI消息(254)。换句话说，SEI消息包含所选择的提取模式的指示。举例来说，如果提取模式为第一提取模式，那么第一位流包含正确解码目标输出层集合不需要的一或多个经译码图片。在此实例中，如果提取模式为第二提取模式，那么第一位流不包含正确解码目标输出层集合不需要的一或多个经译码图片。不管提取模式是第一提取模式还是第二提取模式，第一位流包含足够的NAL单元来解码和输出第一位流的目标输出层集合中的图片。在一些实例中，SEI消息符合上表7中展示的语法，且指示为conformance_indication语法元素。此外，在图5B的实例中，计算装置在第一位流中包含SEI消息(256)。
如上文所指示，图5B为一实例。其它实例可包含更多、更少或不同的行动。举例来说，本发明的一些实例排除行动250及/或252。
以下段落提供根据本发明的各种实例。
实例1。一种处理视频数据的方法，所述方法包括：基于位流中的数据获得一指示，其中所述位流包括视频数据的经编码表示；及至少部分地基于所述指示确定是否可从位流提取子位流。
实例2。根据实例1的方法，其中当指示具有第一值时，位流尚未经历位流提取程序或位流是通过允许从位流提取子位流的位流提取程序从母位流提取的，且其中当指示具有第二、不同值时，位流是从母位流提取的且无法从所述位流提取子位流。
实例3。根据实例1的方法，其中当指示具有第一值时，位流尚未经历位流提取程序或位流为完全可提取的位流，且其中当指示具有第二、不同值时，位流为最优提取的位流。
实例4。一种处理视频数据的方法，所述方法包括：产生位流，其包含提供是否可从位流提取子位流的指示的数据。
实例5。根据实例4的方法，其中当指示具有第一值时，位流尚未经历位流提取程序或位流是通过允许从位流提取子位流的位流提取程序从母位流提取的，且其中当指示具有第二、不同的值时，位流是从母位流提取的且无法从所述位流提取子位流。
实例6。根据实例4的方法，其中当指示具有第一值时，位流尚未经历位流提取程序或位流为完全可提取的位流，且其中当指示具有第二、不同值时，位流为最优提取的位流。
实例7。一种处理视频数据的方法，所述方法包括：从包含视频数据的经编码表示的位流获得输出层集合的多个符合性层级的指示；及从位流获得用于输出层集合的符合性层级中的每一者的符合性层级指示。
实例8。一种处理视频数据的方法，所述方法包括：在包含视频数据的经编码表示的位流中包含输出层集合的多个符合性层级的指示；及在位流中包含用于输出层集合的符合性层级中的每一者的符合性层级指示。
实例9。一种处理视频数据的方法，所述方法包括：在包含视频数据的经编码表示的位流中的假想参考解码器(HRD)参数集合中包含输出层集合的符合性层级的指示。
实例10。一种处理视频数据的方法，所述方法包括：从包含视频数据的经译码表示的位流获得包含用以产生位流的提取模式的指示的SEI消息，其中如果位流是使用第一提取模式产生的，那么从位流可提取相符子位流，且其中如果位流时使用第二、不同提取模式产生的，那么从位流不可提取相符子位流。
实例11。根据实例10的方法，其中SEI消息包含指示用以产生位流的目标输出层集合的数据。
实例12。一种处理视频数据的方法，所述方法包括：在包含视频数据的经译码表示的位流中包含SEI消息，其包含用以产生位流的提取模式的指示，其中如果位流是使用第一提取模式产生的，那么从位流可提取相符子位流，且其中如果位流是使用第二、不同提取模式产生的，那么从位流不可提取相符子位流。
实例13。根据实例12的方法，其中SEI消息包含指示用以产生位流的目标输出层集合的数据。
实例14。一种处理视频数据的方法，所述方法包括：从包含视频数据的经译码表示的位流获得包含简档、层和级信息的语法结构消息，所述语法结构进一步包含用以产生位流的提取模式的指示，其中如果位流是使用第一提取模式产生的，那么从位流可提取相符子位流，且其中如果位流是使用第二、不同提取模式产生的，那么从位流不可提取相符子位流。
实例15。一种处理视频数据的方法，所述方法包括：在包含视频数据的经译码表示的位流中包含语法结构消息，其包含简档、层和级信息，所述语法结构进一步包含用以产生位流的提取模式的指示，其中如果位流是使用第一提取模式产生的，那么从位流可提取相符子位流，且其中如果位流是使用第二、不同提取模式产生的，那么从位流不可提取相符子位流。
实例16。一种处理视频数据的方法，所述方法包括：从含有包含视频数据的经译码表示的位流的国际标准化组织(ISO)基础媒体文件格式文件中的元数据获得用以产生位流的提取模式的指示，其中如果位流是使用第一提取模式产生的，那么从位流可提取相符子位流，且其中如果位流是使用第二、不同提取模式产生的，那么从位流不可提取相符子位流。
实例17。根据实例16的方法，其中元数据处于样本描述中。
实例18。一种处理视频数据的方法，所述方法包括：在含有包含视频数据的经译码表示的位流的国际标准化组织(ISO)基础媒体文件格式文件中包含元数据，所述元数据包含用以产生位流的提取模式的指示，其中如果位流是使用第一提取模式产生的，那么从位流可提取相符子位流，且其中如果位流是使用第二、不同提取模式产生的，那么从位流不可提取相符子位流。
实例19。根据实例18的方法，其中元数据处于样本描述中。
实例20。一种处理视频数据的方法，所述方法包括：执行从母位流提取第一子位流的第一位流提取程序，其中位流提取程序把目标输出层集合、目标时间识别符和第三参数作为输入，其中允许第三参数为输出层集合的索引和位流提取模式指示符、目标输出层识别列表和位流提取模式指示符或目标层识别符列表，其中执行第一位流提取程序包括调用把目标输出层集合和目标时间识别符作为输入的第二位流提取程序。
实例21。根据实例21的方法，其中第二位流提取程序进一步将位流提取模式指示符作为输入。
实例22。一种处理视频数据的方法，所述方法包括：至少部分地基于文件中的框或描述符中的数据确定提取层级指示，其中框或描述符描述用至少一个输出层集合表示的操作点，其中如果提取层级指示具有第一值，那么从位流可提取相符子位流，且其中如果提取层级指示具有第二、不同值，那么从位流不可提取相符子位流。
实例23。根据实例22的方法，其中文件符合国际标准化组织(ISO)基础媒体文件格式或MPEG-2TS文件格式。
实例24。一种处理视频数据的方法，所述方法包括：在文件中的框或描述符中包含指示提取层级指示的数据，其中框或描述符描述用至少一个输出层集合表示的操作点，其中如果提取层级指示具有第一值，那么从位流可提取相符子位流，且其中如果提取层级指示具有第二、不同值，那么从位流不可提取相符子位流。
结合本文中所揭示的实施例而描述的各种说明性逻辑块、模块、电路和算法步骤可被实施为电子硬件、计算机软件或两者的组合。为清楚地说明硬件与软件的此可互换性，上文已大体上就其功能性来说描述了各种说明性组件、块、模块、电路和步骤。此功能性是实施为硬件还是软件取决于特定应用和施加于整个系统上的设计约束。所属领域的技术人员可针对每一特定应用以不同方式来实施所描述的功能性，但此类实施方案决定不应被解释为致使脱离本发明的范围。
在一或多个实例中，所描述的功能可以硬件、软件、固件或其任何组合来实施。所述技术可实施于多种装置中的任一者中，例如通用计算机、无线通信装置手持机或集成电路装置，其具有包含在无线通信装置手持机及其它装置中的应用的多种用途。被描述为模块或组件的任何特征可共同实施于集成的逻辑装置中或单独实施为离散但可互操作的逻辑装置。如果以软件来实施，那么所述功能可作为一或多个指令或代码存储在计算机可读媒体上或在计算机可读媒体上予以发射，并且由基于硬件的处理单元执行。换句话说，如果以软体来实施，那么所述技术可至少部分地通过包括包含指令的程序代码的计算机可读数据存储媒体来实现，所述指令在经执行时执行上文所描述的方法中的一或多者。计算机可读媒体可包含计算机可读存储媒体，其对应于有形媒体(例如，数据存储媒体)或通信媒体，所述通信媒体包含促进将计算机程序从一处传送到另一处(例如，根据通信协议)的任何媒体。以此方式，计算机可读媒体通常可对应于(1)有形计算机可读存储媒体，其是非暂时的，或(2)通信媒体，例如信号或载波。数据存储媒体可为可由一或多个计算机或一或多个处理器存取以检索用于实施本发明中描述的技术的指令、代码及/或数据结构的任何可用媒体。计算机可读数据存储媒体可形成计算机程序产品的一部分，所述计算机程序产品可包含封装材料。因此，计算机程序产品可包含计算机可读媒体。
借助于实例而非限制，此类计算机可读存储媒体可包括RAM、ROM、非易失随机读写存储器(NVRAM)、EEPROM、CD-ROM、FLASH存储器或其它光盘存储装置、磁盘存储器或其它磁性存储装置、快闪存储器或可用于以指令或数据结构的形式存储所要的程序代码且可由计算机存取的任何其它媒体。同样，可恰当地将任何连接称作计算机可读媒体。另外或替代的，所述技术可至少部分地由计算机可读通信媒体来实现，所述计算机可读通信媒体以指令或数据结构的形式载运或传送程序代码且可由计算机存取、读取及/或执行(例如，传播的信号或波)。举例来说，如果使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)或例如红外线、无线电及微波等无线技术从网站、服务器或其它远程源发射指令，那么同轴电缆、光纤电缆、双绞线、DSL或例如红外线、无线电及微波等无线技术包含于媒体的定义中。然而，应理解，所述计算机可读存储媒体和数据存储媒体并不包含连接、载波、信号或其它暂时性媒体，而是取而代之针对非暂时性有形存储媒体。如本文所使用的磁盘和光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软盘和蓝光光盘，其中磁盘通常是以磁性方式再现数据，而光盘是用激光以光学方式再现数据。以上各项的组合也应包括在计算机可读媒体的范围内。
指令可由一或多个处理器执行，所述一或多个处理器例如一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、或其它等效的集成或离散逻辑电路。因此，如本文中所使用的术语“处理器”可指前述结构或适合于实施本文中所描述的技术的任何其它结构中的任一者。此处理器可经配置以执行本发明中描述的技术中的任一者。另外，在一些方面中，本文中所描述的功能性可在经配置以用于编码和解码的专用硬件及/或软件模块内提供，或者并入在组合的编解码器中。同样，所述技术可完全实施于一或多个电路或逻辑元件中。
通用处理器可为微处理器；但在替代方案中，处理器可为任何常规的处理器、控制器、微控制器或状态机。处理器还可实施为计算装置的组合，例如，DSP和微处理器的组合、多个微处理器、结合DSP核心的一或多个微处理器或任何其它此类配置。因此，如本文中所使用的术语“处理器”可指代前述结构中的任一者、前述结构的任何组合，或适用于实施本文中所描述的技术的任何其它结构或设备。另外，在一些方面中，本文中所描述的功能性可在经配置以用于编码和解码的专用软件模块或硬件模块内提供，或并入在组合的视频编码器-解码器(CODEC)中。
本文中论述的译码技术可为实例视频编码和解码系统中的实施例。系统包含提供待在稍后时间由目的地装置解码的经编码视频数据的源装置。确切地说，源装置经由计算机可读媒体将视频数据提供到目的地装置。源装置和目的地装置可包括广泛范围的装置中的任一者，包含桌上型计算机、笔记本型(即，膝上型)计算机、平板计算机、机顶盒、电话手持机(例如所谓的“智能”电话)、所谓的“智能”平板机、电视机、相机、显示装置、数字媒体播放器、视频游戏控制台、视频流式传输装置或类似者。在一些情况下，源装置和目的地装置可经装备以用于无线通信。
本发明的技术可在广泛多种装置或设备中实施，包含无线手持机、集成电路(IC)或一组IC(例如，芯片组)。本发明中描述各种组件、模块或单元是为了强调经配置以执行所揭示技术的装置的功能方面，但未必需要通过不同硬件单元来实现。实际上，如上文所描述，各种单元可以结合合适的软件及/或固件组合在编解码器硬件单元中，或者通过可交互操作的硬件单元的集合来提供，所述硬件单元包含如上文所描述的一或多个处理器。
目的地装置可经由计算机可读媒体接收待解码的经编码视频数据。计算机可读媒体可包括能够将经编码视频数据从源装置移动到目的地装置的任何类型的媒体或装置。在一个实例中，计算机可读媒体可包括使源装置能够实时将经编码视频数据直接发射到目的地装置的通信媒体。经编码视频数据可根据通信标准(例如无线通信协议)调制，且发射到目的地装置。通信媒体可包括任何无线或有线通信媒体，例如射频(RF)频谱或一或多个物理发射线。通信媒体可形成分组网络(例如局域网、广域网或全球网络，例如因特网)的部分。通信媒体可包含可用于促进从源装置到目的地装置的通信的路由器、交换器、基站或任何其它设备。
在一些实例中，经编码数据可从输出接口输出到存储装置。类似地，经编码数据可通过输入接口从存储装置存取。存储装置可包含多种分散式或本地存取的数据存储媒体中的任一者，例如，硬盘驱动器、蓝光光盘、DVD、CD-ROM、快闪存储器、易失性或非易失性存储器或用于存储经编码视频数据的任何其它合适的数字存储媒体。在另一实例中，存储装置可对应于文件服务器或可存储由源装置产生的经编码视频的另一中间存储装置。目的地装置可经由流式传输或下载从存储装置存取所存储的视频数据。文件服务器可为能够存储经编码视频数据和将所述经编码视频数据发射到目的地装置的任何类型的服务器。实例文件服务器包含万维网服务器(例如，用于网站)、FTP服务器、网络连接存储(NAS)装置或本地磁盘驱动器。目的地装置可通过任何标准数据连接(包含因特网连接)存取经编码视频数据。此连接可包含无线信道(例如，Wi-Fi连接)、有线连接(例如，DSL、电缆调制解调器等)或适用于存取存储在文件服务器上的经编码视频数据的两者的组合。经编码视频数据从存储装置的发射可为流式传输发射、下载发射或其组合。
本发明的技术未必限于无线应用或设定。所述技术可以应用于支持多种多媒体应用中的任一者的视频译码，例如空中协议电视广播、有线电视发射、卫星电视发射、因特网流式视频发射(例如，HTTP上的动态自适应流式传输(DASH))、经编码到数据存储媒体上的数字视频、存储在数据存储媒体上的数字视频的解码，或其它应用。在一些实例中，系统可经配置以支持单向或双向视频传输，从而支持例如视频流式传输、视频重放、视频广播及/或视频电话的应用。
在一个实例中，源装置包含视频源、视频编码器和输出接口。目的地装置可包含输入接口、视频解码器和显示装置。源装置的视频编码器可经配置以应用本文所揭示的技术。在其它实例中，源装置和目的地装置可包含其它组件或布置。举例来说，源装置可从外部视频源(例如，外部相机)接收视频数据。同样，目的地装置可与外部显示装置介接，而非包含集成显示装置。以上实例系统仅为一个实例。用于并行处理视频数据的技术可由任何数字视频编码及/或解码装置来执行。尽管本发明的技术通常由视频编码装置执行，但是所述技术也可通过视频编码器/解码器(通常被称作“编解码器”)执行。此外，本发明的技术也可由视频预处理器执行。源装置和目的地装置仅为源装置在其中产生经译码视频数据以供发射到目的地装置的此类译码装置的实例。在一些实例中，源装置和目的地装置可以实质上对称方式操作，使得所述装置中的每一者包含视频编码和解码组件。因此，实例系统可支持视频装置之间的单向或双向视频发射，例如用于视频流式传输、视频重放、视频广播或视频电话。
视频源可包含视频俘获装置，例如摄像机、含有先前所俘获视频的视频存档及/或用于从视频内容提供者接收视频的视频馈入接口。作为另一替代方案，视频源可产生基于计算机图形的数据作为源视频，或实况视频、存档视频与计算机产生的视频的组合。在一些情况下，如果视频源为摄像机，那么源装置和目的地装置可形成所谓的相机电话或视频电话。然而，如上文所提及，本发明中所描述的技术一般来说可适用于视频译码，且可应用于无线及/或有线应用。在每一情况下，可由视频编码器编码所俘获、预先俘获或计算机产生的视频。经编码视频信息可随后由输出接口输出到计算机可读媒体上。
如所提到，计算机可读媒体可包含暂时性媒体(例如，无线广播或有线网络发射)或存储媒体(即，非暂时性存储媒体)，例如，硬盘、快闪驱动器、压缩光盘、数字视频光盘、蓝光光盘或其它计算机可读媒体。在一些实例中，网络服务器(未图示)可从源装置接收经编码视频数据，且(例如)经由网络发射将经编码视频数据提供到目的地装置。类似地，媒体生产设施(例如光盘冲压设施)的计算装置可从源装置接收经编码视频数据并生产含有经编码视频数据的光盘。因此，在各种实例中，计算机可读媒体可理解为包含各种形式的一或多个计算机可读媒体。
目的地装置的输入接口从计算机可读媒体接收信息。计算机可读媒体的信息可包含由视频编码器定义的也供视频解码器使用的语法信息，所述语法信息包含描述块和其它经译码单元(例如，图片群组(GOP))的特性及/或处理的语法元素。显示装置向用户显示经解码视频数据，且可包括多种显示装置中的任一者，例如阴极射线管(CRT)、液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。已描述本发明的各种实施例。
已描述各种实例。这些和其它实例在所附权利要求书的范围内。