用于多视图、三维(3d)及可缩放视频位流的子位流提取的制作方法
【专利说明】用于多视图、三维（3D)及可缩放视频位流的子位流提取
[0001] 本申请案主张2012年10月1日申请的第61/708, 522号美国临时申请案的权益， 其全部内容以引用的方式并入本文中。
技术领域
[0002] 本发明一般来说涉及处理视频数据并且，更具体来说涉及用于基于一或多个视频 译码标准来处理视频数据。
【背景技术】
[0003] 数字视频能力可并入到广泛范围的装置中，所述装置包含数字电视、数字直播系 统、无线广播系统、个人数字助理（PDAs)、膝上型或桌上型计算机、平板计算机、电子书阅 读器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式 或卫星无线电电话、所谓的"智能电话"、视频电话会议装置、视频流式传输装置、转码器、路 由器或其它网络装置，及其类似者。数字视频装置实施视频压缩技术，例如通过MPEG-2、 MPEG-4、ITU-T H. 263、ITU-T H. 264/MPEG-4第10部分高级视频编码（AVC)、目前正在开发 的高效率视频译码（HEVC)标准、专用的标准、例如VP8等开放视频压缩格式及此类标准、技 术或格式的扩展界定的标准中描述的技术。视频装置可通过实施此类视频压缩技术来更有 效率地传输、接收、编码、解码及/或存储数字视频信息。
[0004] 视频压缩技术执行空间（图片内）预测及/或时间（图片间）预测来减少或去除 视频序列中固有的冗余。对于基于块的视频译码来说，视频切片（即，视频帧或视频帧的一 部分）可分割成视频块，视频块也可称作树块、译码单元（CU)及/或译码节点。使用相对 于同一图片中的相邻块中的参考样本的空间预测对图片的经帧内译码（I)切片中的视频 块进行编码。图片的经帧间译码（P或B)切片中的视频块可使用相对于同一图片中的相邻 块中的参考样本的空间预测或相对于其它参考图片中的参考样本的时间预测。图片可称为 帧，且参考图片可称为参考帧。
[0005] 空间或时间预测产生对待译码的块的预测块。残差数据表示待译码的原始块与预 测块之间的像素差。根据指向形成预测块的参考样本块的运动向量以及指示经译码块与所 述预测块之间的差的残差数据来编码经帧间译码块。根据帧内译码模式和残差数据来编码 经帧内译码块。为了进一步压缩，可将残差数据从像素域变换为变换域，从而产生残差变换 系数，所述残差变换系数随后可被量化。起初布置在二维阵列中的经量化变换系数可依序 扫描以产生变换系数的一维向量，且可应用熵译码以实现更多的压缩。
【发明内容】
[0006] 本发明描述与视频译码相关的技术，且更确切地说，本发明描述利用多个子位流 提取模式中的一者以允许视频编码器及视频解码器中间的装置（例如，网络实体）选择适 当的提取操作以用于子位流提取。举例来说，每一子位流提取模式可界定其中装置从位流 (例如，来自视图或层的经译码图片）提取数据的特定方式，使得视频解码器可重构目标输 出视图或目标输出层。来自位流的所提取的数据可形成子位流。以此方式，装置可不需要 以固定死板的方式提取子位流，且可调适到特定条件以用于输出目标输出视图或目标输出 层的数据。
[0007] 在一个实例中，本发明描述一种处理视频数据的方法，所述方法包括接收经编码 视频数据的位流，且从多个子位流提取模式选择一子位流提取模式。所述子位流提取模式 中的每一者界定其中从视图提取经译码图片或从所述位流提取层的方式以允许解码目标 输出视图或目标输出层，且每一经译码图片包括存取单元内的视图或层的一或多个视频译 码层网络抽象层（VCL NAL)单元。所述方法还包含以由所述选定的子位流提取模式界定的 所述方式从所述位流提取子位流。
[0008] 在一个实例中，本发明描述一种用于处理视频数据的装置，所述装置包括一或多 个处理器，所述一或多个处理器经配置以接收经编码视频数据的位流且从多个子位流提取 模式选择一子位流提取模式。所述子位流提取模式中的每一者界定其中从视图提取经译码 图片或从所述位流提取层的方式以允许解码目标输出视图或目标输出层，且每一经译码图 片包括存取单元内的视图或层的一或多个视频译码层网络抽象层（VCL NAL)单元。所述一 或多个处理器还经配置而以由所述选定的子位流提取模式所界定的方式从所述位流提取 子位流。
[0009] 在一个实例中，本发明描述一种在其上存储有指令的计算机可读存储媒体，所述 指令在由用于处理视频数据的装置的一或多个处理器执行时致使所述一或多个处理器接 收经编码视频数据的位流，且从多个子位流提取模式选择一子位流提取模式。所述子位流 提取模式中的每一者界定其中从视图提取经译码图片或从所述位流提取层的方式以允许 解码目标输出视图或目标输出层，且每一经译码图片包括存取单元内的视图或层的一或多 个视频译码层网络抽象层（VCL NAL)单元。所述指令还致使所述一或多个处理器以由所述 选定的子位流提取模式界定的方式从所述位流提取子位流。
[0010] 在一个实例中，本发明描述一种用于处理视频数据的装置，所述装置包括用于接 收经编码视频数据的位流的装置，及用于从多个子位流提取模式选择一子位流提取模式的 装置。所述子位流提取模式中的每一者界定其中从视图提取经译码图片或从所述位流提取 层的方式以允许解码目标输出视图或目标输出层，且每一经译码图片包括存取单元内的视 图或层的视频译码层网络抽象层（VCL NAL)单元。所述装置还包含用于以由所述选定的子 位流提取模式界定的方式从所述位流提取子位流的装置。
[0011] 一或多个实例的细节陈述于附图及以下描述中。其它特征、目标及优势将从描述 及附图和从权利要求书中显而易见。
【附图说明】
[0012] 图1是说明可利用本发明中描述的技术的实例视频编码和解码系统的实例的框 图。
[0013] 图2是说明根据本发明中所描述的一或多个实例的实例编码及解码次序的符号 图。
[0014] 图3是说明实例预测模式的概念图。
[0015] 图4是说明形成网络的部分的一组实例装置的框图。
[0016] 图5是说明可实施本发明中描述的技术的实例视频编码器的框图。
[0017] 图6是说明可实施本发明中描述的技术的实例视频解码器的框图。
[0018] 图7是说明根据本发明所描述的一或多个实例的实例技术的流程图。
【具体实施方式】
[0019] 在多视图视频译码中，存在各自包含多个图片的多个视图。术语多视图视频译码 一般用于指代其中多个视图的视频数据包含在经译码位流中的视频译码技术、根据各种多 视图视频译码的此视频译码技术，以及不必依赖于视频译码标准的技术。术语多视图视频 译码还可以用于指其中在位流中译码多层视频数据的视频译码技术，例如可缩放视频译码 技术。可通过各种视频译码标准控制用于多视图视频译码的技术，且本发明中描述的技术 可适用于各种视频译码标准以及不依赖于视频译码标准的技术。
[0020] 在一些情况下，虽然视频编码器编码经译码位流的许多视图或层，但视频解码器 可仅需要解码经译码位流中的视图或层的子集。例如，对于某些环境，可需要比针对其它环 境更多的视图。举例来说，一些装置可能够显示许多视图，且一些装置可能够显示更少的视 图。因此，允许装置检索所述装置能够解码及显示的那么多视图或层可为有益的。
[0021] 视图包含属于不同存取单元的视图分量，所述视图分量在本发明中还可称为经译 码图片。层还包含属于不同存取单元的经译码图片。属于相同存取单元的所有视图或所有 层的经译码图片具有相同的输出时间。在3D视频译码的情况下，每一视图可含有纹理部分 及深度部分，主要是纹理视图及深度视图。纹理视图包含还被命名为纹理视图的经译码图 片，及还被命名为深度视图的经译码图片的经译码深度图片。经译码纹理图片还被称作纹 理视图分量，且经译码深度图片还被称作深度视图分量。在本发明中描述的技术中，每一经 译码图片包含存取单元内的视图或层的一或多个视频译码层（VCL)网络抽象层（NAL)(即， VCL NAL)单元。
[0022] 对于一些情况，视频解码器可解码视图或层的子集，而不是来自经译码位流的全 部视图及层。举例来说，可通过从视频解码器解码目标输出视图或层所需的视图或层（例 如，将显示的视图或层）提取经译码图片且输出所述经译码图片，而非输出包含解码目标 输出视图或层不需要的视图及层的所有视图及层，而获得带宽效率。为了允许视频解码器 解码仅视图的子集，网络装置（例如，从包含视频解码器的装置的上游的装置）或包含视频 解码器的装置可从经译码位流提取视图子集，且仅将所提取的视图传输到包含用于解码的 视频解码器的装置。从经译码位流对视图的子集的此提取被称作子位流提取。
[0023] 在多视图视频译码中，从另一视图的另一图片对一个视图的一个经译码图片进行 帧间预测可为可能的。此帧间预测被称作视图间预测。在一些情况下，可从将不显示的视 图的图片帧间预测来自视图中的一者的经译码图片。例如，假设显示装置（例如，移动装置 或桌上型计算机）将显示视图0及视图1 (例如，视图0及视图1的纹理视图）。在此实例 中，视图0及视图1可被称为目标输出视图（即，将为显示器输出的视图）。然而，来自视图 1的经译码图片（例如，纹理视图分量及深度视图分量）是从视图2的经译码图片（例如， 纹理视图分量及深度视图分量）帧间预测可为可能的。在此实例中，尽管未显示视图2,但 视频解码器可仍需要接收与视图2相关联的视频数据且解码此视频数据以使得视频解码 器可恰当地解码视图1的视频数据。
[0024] 对于多视图视频译码，在一些情况下，视图的视图分量可由两个组件表示：纹理视 图分量及深度视图分量。所述纹理视图分量包含实际视频内容。所述深度视图分量包含指 示视频内容内的像素或对象的相对深度的信息。
[0025] 例如，如更详细描述，在本发明中描述的子位流提取过程的一些实例中，在子位流 提取过程从经译码位流提取经译码图片时，子位流提取过程可提