用于视频译码的跨层并行处理与偏移延迟参数的制作方法

用于视频译码的跨层并行处理与偏移延迟参数的制作方法
【专利说明】
[0001] 本申请案主张2013年7月15日申请的第61/846, 570号美国临时申请案的权利， 所述申请案的全部内容以引用的方式并入本文中。
技术领域
[0002] 本发明涉及视频译码。
【背景技术】
[0003] 数字视频能力可并入到广泛范围的装置中，所述装置包含数字电视、数字直播系 统、无线广播系统、个人数字助理（PDA)、膝上型或桌上型计算机、平板计算机、电子书阅读 器、数字相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或 卫星无线电电话、所谓的"智能电话"、视频电话会议装置、视频流式传输装置，及其类似者。 数字视频装置实施视频译码技术，例如在由MPEG-2、MPEG-4、ITU-TH. 263、ITU-TH. 264/ MPEG-4部分10高级视频译码（AVC)定义的标准、目前正在开发的高效率视频译码（HEVC) 标准及此些标准的扩展中所描述的视频译码技术。视频装置可通过实施此些视频译码技术 来更有效率地发射、接收、编码、解码及/或存储数字视频信息。
[0004] 视频译码技术包含空间（图片内）预测及/或时间（图片间）预测以减少或移除 视频序列中固有的冗余。对于基于块的视频译码，可将视频切片（即，视频帧或视频帧的一 部分）分割成数个视频块，视频块也可被称作树块、译码单元（CU)及/或译码节点。使用 相对于相同图片中的相邻块中的参考样本的空间预测来编码图片的经帧内译码（I)切片 中的视频块。图片的经帧间译码（P或B)切片中的视频块可使用相对于相同图片中的相邻 块中的参考样本的空间预测或相对于其它参考图片中的参考样本的时间预测。图片可被称 作帧，且参考图片可被称作参考帧。
[0005] 空间或时间预测导致待译码块的预测性块。残余数据表示待译码的原始块与预测 性块之间的像素差。根据指向形成预测性块的参考样本的块的运动向量及指示经译码块与 预测性块之间的差异的残余数据来编码经帧间译码块。根据帧内译码模式及残余数据来编 码经帧内译码块。为了达成进一步压缩，可将残余数据从像素域变换到变换域，从而产生残 余变换系数，可接着量化残余变换系数。可扫描最初布置成二维阵列的经量化的变换系数， 以便产生变换系数的一维向量，且可应用熵译码以达成甚至更多压缩。

【发明内容】

[0006] 大体上，本发明描述用于视频译码的并行处理的技术。举例来说，本发明描述 用于多层视频译码过程中的并行处理的技术，包含高效率视频译码（HEVC)标准的多层 扩展。本发明的技术也可适用于其它多层视频译码标准及此些标准的扩展，例如多视图 HEVC(MV-HEVC)。在一些实例中，技术包含用于并行地处理多层的发信号信息，例如，视频参 数集（VPS)中的偏移延迟信息。技术也可或包含用于并行地处理多层的发信号信息，例如， 平铺块对准信息。方面也可关于用于在多层视频译码中确定经并置的块的位置的技术。
[0007] 在一实例中，一种解码视频数据的方法包含：从多层位流的视频参数集（VPS)解 码以下各者中的至少一者：指示所述多层位流的任何层是否具有层间预测限制的数据，或 指示平铺块边界是否在所述多层位流的所述层中的至少两者之间对准的数据；及根据从所 述VPS解码的所述数据解码所述多层位流。
[0008] 在另一实例中，一种编码视频数据的方法包含：在多层位流的视频参数集（VPS) 中编码以下各者中的至少一者：指示所述多层位流的任何层是否具有层间预测限制的数 据，或指示平铺块边界是否在所述多层位流的所述层中的至少两者之间对准的数据；及根 据在所述VPS中编码的所述数据编码所述多层位流。
[0009] 在另一实例中，一种执行视频译码的设备包含：存储器，其存储视频数据；及视频 译码器，其经配置以译码多层位流的视频参数集（VPS)的数据，包含译码以下各者中的至 少一者：指示所述多层位流的任何层是否具有层间预测限制的数据，或指示平铺块边界是 否在所述多层位流的所述层中的至少两者之间对准的数据；及根据所述VPS的所述数据译 码所述多层位流。
[0010] 在另一实例中，一种执行视频译码的设备包含：用于译码多层位流的视频参数集 (VPS)的数据的装置，包含译码以下各者中的至少一者：指示所述多层位流的任何层是否 具有层间预测限制的数据，或指示平铺块边界是否在所述多层位流的所述层中的至少两者 之间对准的数据；及用于根据所述VPS的所述数据译码所述多层位流的装置。
[0011] 在另一实例中，一种非暂时性计算机可读媒体在其上存储指令，所述指令在经执 行时使得视频译码器译码多层位流的视频参数集（VPS)的数据，包含译码以下各者中的至 少一者：指示所述多层位流的任何层是否具有层间预测限制的数据，或指示平铺块边界是 否在所述多层位流的所述层中的至少两者之间对准的数据；及根据所述VPS的所述数据译 码所述多层位流。
[0012] 在另一实例中，一种解码视频数据的方法包含：基于一或多个经按比例调整的偏 移值确定与视频数据的参考图片相关联的参考样本的位置，其中所述参考图片包含于多层 位流的第一层中且所述一或多个经按比例调整的偏移值指示所述第一层与第二不同层之 间的比例差异；基于所述参考样本的所述位置确定所述第一层中的视频数据的经并置的参 考块的位置；及相对于所述经并置的参考块解码所述第二层中的视频数据的当前块。
[0013] 在另一实例中，一种编码视频数据的方法包含：基于一或多个经按比例调整的偏 移值确定与视频数据的参考图片相关联的参考样本的位置，其中所述参考图片包含于多层 位流的第一层中且所述一或多个经按比例调整的偏移值指示所述第一层与第二不同层之 间的比例差异；基于所述参考样本的所述位置确定所述第一层中的视频数据的经并置的参 考块的位置；及相对于所述经并置的参考块编码所述第二层中的视频数据的当前块。
[0014] 在另一实例中，一种执行视频译码的设备包含：存储器，其存储视频数据；及视频 译码器，其经配置以：基于一或多个经按比例调整的偏移值确定与视频数据的参考图片相 关联的参考样本的位置，其中所述参考图片包含于多层位流的第一层中且所述一或多个经 按比例调整的偏移值指示所述第一层与第二不同层之间的比例差异；基于所述参考样本的 所述位置确定所述第一层中的视频数据的经并置的参考块的位置；及相对于所述经并置的 参考块译码所述第二层中的视频数据的当前块。
[0015] 在另一实例中，一种执行视频译码的设备包含：用于基于一或多个经按比例调整 的偏移值确定与视频数据的参考图片相关联的参考样本的位置的装置，其中所述参考图片 包含于多层位流的第一层中且所述一或多个经按比例调整的偏移值指示所述第一层与第 二不同层之间的比例差异；用于基于所述参考样本的所述位置确定所述第一层中的视频数 据的经并置的参考块的位置的装置；及用于相对于所述经并置的参考块译码所述第二层中 的视频数据的当前块的装置。
[0016] 在另一实例中，一种非暂时性计算机可读媒体在其上存储指令，所述指令在经执 行时使得视频译码器进行以下操作：基于一或多个经按比例调整的偏移值确定与视频数据 的参考图片相关联的参考样本的位置，其中所述参考图片包含于多层位流的第一层中且所 述一或多个经按比例调整的偏移值指示所述第一层与第二不同层之间的比例差异；基于所 述参考样本的所述位置确定所述第一层中的视频数据的经并置的参考块的位置；及相对于 所述经并置的参考块译码所述第二层中的视频数据的当前块。
[0017] 在随附图式及以下描述中阐述本发明的一或多个实例的细节。本发明的其它特 征、目标及优点将从描述及图式及从权利要求书显而易见。
【附图说明】
[0018] 图1为说明可利用用于并行地处理视频数据的技术的实例视频编码及解码系统 的框图。
[0019] 图2为说明可实施用于并行地处理视频数据的技术的视频编码器的实例的框图。
[0020] 图3为说明可实施用于并行地处理视频数据的技术的视频解码器的实例的框图。
[0021] 图4为说明用于可伸缩视频译码（SVC)的各种可伸缩的维度的概念图。
[0022] 图5为说明SVC译码结构的实例的概念图。
[0023] 图6为说明实例存取单元（AU)的概念图。
[0024] 图7为说明根据高效率视频译码（HEVC)标准的实例平铺块的概念图。
[0025] 图8为说明用于波前并行处理（WPP)的波前的概念图。
[0026] 图9为说明不具有经并置的参考层区的增强层区的概念图。
[0027] 图10为说明不具有经并置的参考层区的增强层区的另一概念图。
[0028] 图11A及11B为说明用于在多层视频译码中确定偏移延迟信息的实例过程的流程 图。
[0029] 图12为说明用于在多层视频译码中确定视频数据的经并置的块的实例过程的流 程图。
[0030] 图13为说明用于在多层视频译码中确定平铺块对准信息的实例过程的流程图。
【具体实施方式】
[0031] 本发明的方面可关于与视频译码中的跨层并行处理及偏移延迟参数相关联的各 种技术。在一些情况下，可与高效率视频译码（HEVC)标准的多层扩展（例如，HEVC的多视 图视频译码扩展（MV-HEVC)或HEVC的可伸缩视频译码（SVC)扩展（SHVC)) -起执行所述 技术。也可与HEVC的其它扩展、其它可伸缩译码标准、其它多视图译码标准（具有或不具 有深度分量）及/或其它多层视频编解码器一起使用所述技术。应理解，本发明的技术不 限于任何特定视频译码标准。另外，应理解，可独立地或组合地来应用本发明的技术中的任 一者。
[0032] 如下文更详细描述，本发明的方面可包含关于跨层并行处理偏移延迟参数的发信 号的改进。"偏移延迟"可大体上指与并行地处理（例如，编码或解码）多个层相关联的延 迟。举例来说，视频解码器可并行地解码多层位流的一个以上层（即，视频解码器可同时地 或同步地解码多层位流的多个层）。然而，当使用层间预测技术解码当前层时，视频解码器 可存取不同于当前层的参考层的参考数据。参考数据必须可供使用（例如，经解码）以便 用作用于解码当前层的层间参考。因此，大体上，视频解码器在解码参考多层解码方案中的 参考层中的一或多者的层之前结束所有所述参考层的解码。
[0033] 在一些情况下，可通过实施被称作偏移延迟信息的信息来增加并行度。即，不是等 待结束整个参考层（例如，解码），而是，视频解码器可延迟起始当前层的解码，直到已解码 参考层中的至少一些层为止。偏移延迟可大体上指示在视频解码器开始解码当前层之前应 解码的参考层的最小量。实施偏移延迟可有助于确保层间参考数据可供用作参考，但仍允 许并行地解码参考层的至少一部分及当前层。举例来说，一旦达成指定参考层偏移延迟，并 行解码器便可开始解码增强层。虽然上述实例涉及视频解码（如由并行解码器执行）加以 描述，但应理解，可由视频编码器在并行编码期间应用类似技术。
[0034] 在一般意义上，就本发明来说，纹理视图分量、深度视图分量及各种时间、空间及 质量层可被视为在某种程度上可互换。举例来说，在一些情况下，视频译码器可执行类似或 相同的层间视频译码技术，而不管经译码的多层位流是否包含通常与可伸缩视频译码（例 如，时间、空间及/或质量层）相关联的纹理视图分量、深度视图分量或可伸缩的分量。因 此，本发明的技术可被视为可适用于一般意义上的"层"，其中所述层可为纹理视图分量、深 度视图分量、时间可伸缩的层、空间可伸缩的层或质量可伸缩的层中的任一者。即，应理解， 本文中所描述的技术可广泛地适用于一般的"层"，如上文所描述的术语。
[0035] -种用于偏移延迟发信号的方案提议于文件"VUI中的层间延迟指示 (Inter-LayerDelayIndicationinVUI)"（Skupin等人，JCTVC-M0463,Incheon,KR，2013 年4月18到26日（在下文中为JCTVC-M0463))中。所述方案经设计以通过在序列参数集 (SPS)视频可用性信息（VUI)中用信号发出偏移延迟语法元素而辅助进行跨层并行解码， 所述SPSVUI输送用于每一层的最小的所需解码延迟。在此方案下，一旦解码通过偏移延 迟指定的参考层中的区，便可开始特定层的解码。
[0036] 然而，JCTVC-M0463中所揭示的方案可具有一些缺点。举例来说，SPS可与具有不 同识别值（例如，如通过nuh_layer_id语法元素指示）的多个层相关联。语法元素num_ ilp_restricted_ref_layers(于JCTVC-M0463中引入）的所提议的语义限制了语法元素的 值，使之等于参考SPS的每一层的NumDirectRefLayers参数（其中NumDirectRefLayers 参数指示特定直接参考层）。直接参考层是由另一层直接参考以用于达成预测目的。举例 来说，在给定当前层A使用层B作为参考的情况下，参考层B可被称作直接参考层。在给定 层A使用层C作为参考的情况下，且其中C参考层B，那么层B可被称作间接参考层。
[0037] 在任一状况下，对于具有NumDirectRefLayers参数的不同值的层（其参考给 定SPS)(即，语法元素num_ilp_restricted_ref_layers的相应值彼此不同的层）或可 具有稍微不同的偏移值的层，语法元素num_ilp_restricted_ref_layers的所提议的语 法结构严重地限制了SPS内的信息在此些层当中的共享。换句话说，可能需要针对拥有 NumDirectRefLayers参数的相异值或相对于参考给定SPS的其它层来说可具有稍微不同 的偏移值的每一此类层用信号发出单独SPS。因此，在SPS中偏移延迟信息的发信号可能并 非理想的。
[0038] 另外，为了避免视频参数集（VPS)在SPS中的剖析相依性，在SPS中用信号发出 num_ilp_restricted_ref_layers(其指示具有层间预测限制的特定参考层），其中约束 为：num_ilp_restricted_ref_layers的值应等于NumDirectRefLayers[nuh_layer_id]， 其中nuh_layer_id为参考SPS的任一图片的nuh_layer_id。换句话说，可迫使若干参考层 共享包含于SPS中的相同偏移延迟信息，尽管不同层具有可能以其它方式影响偏移延迟的 不同特性。
[0039] 根据本发明的方面，偏移延迟信息可包含于视频参数集（VPS)中，所述VPS可供一 个以上层参考。VPS可包含描述经译码视频序列的总特性的数据，包含子层之间的相依性。 VPS的一目的可为允许实现特定标准的在于系统层处发信号方面的兼容可扩展性。VPS通 常必须包含于多层位流中才能解码所述位流。
[0040] 通过将偏移延迟信息包含于VPS中，可分别针对每一参考层指定偏移延迟信息。 此发信号可增加效率，这是因为具有不同特性的参考层未被迫使共享相同的偏移延迟信 息。另外，通过将偏移延迟信息包含于VPS中，可在解码期间推断出（即，由解码器确定，而 无需显式发信号）语法元素num_ilp_restricted_ref_layers的值（如下文更详细描述）。 因此，可避免具有限制的参考层的数目的发信号（例如，上文提及的num_ilp_restriCted_ ref_layers语法元素）。
[0041] 本发明的技术也可适用于在使用扩展的空间可伸缩性多层视频译码时确定视频 数据的经并置的块的位置，及确定与经并置的块相关联的偏移延迟。如下文更详细描述，当 可以使得所得子流形成可由目标解码器解码的另一有效位流的方式移除流的部分时，视频 位流可被称作"可伸缩的"。关于空间可伸缩性，位流的子集表示具有不同图片大小（空间 分辨率）的源内容。在每一空间层中，视频译码器可以与针对单层译码的方式相同的方式 实施经运动补偿的预测及帧内预测。然而，为了改进译码效率（与同时联播不同空间分辨 率相比较），视频译码器可并有层间预测机制。最灵活类型的空间可伸缩视频译码并不严格 地遵守连续层间的二元关系（例如，2:1的分辨率比率）且可被称作扩展的空间可伸缩性 (ESS)。下文参看图4到9就H. 264/AVC的SVC扩展及HEVC的SVC扩展两者解释关于SVC 的某些细节。
[0042] 在一些情况下，当确定偏移延迟时，扩展的空间可伸缩性可提出挑战。举例来说， 当视频译码器使用扩展的空间可伸缩性时，以下情形为有可能的：当前经解码的层的空间 片段A(例如，切片、平铺块、译码树单元（CTU)或CTU行）可能不具有存在于参考层中（例 如，可供用作参考）的经并置的空间片段B。因为可基于经并置的空间片段确定偏移延迟， 所以并不明确如何导出经并置的空间片段不存在的那些空间片段的偏移延迟。
[0043] 可实施本发明的技术以确定视频数据的经并置的块（例如，CTU)的位置。举例来 说，本发明的方面包含基于一或多个经按比例调整的偏移值确定与视频数据的参考图片相 关联的参考样本的位置。经按比例调整的偏移值可表示基础层与经按比例调整的增强层之 间的比例差异（例如，归因于按比例调整产生的位置差异）。在确定参考样本的位置之后， 视频译码器（例如，视频编码器或视频解码器）可基于参考样本的位置确定经并置的参考 块（例如，并置CTU)的位置。
[0044] 作为一实例，可将基础层用作用于经按比例增加的增强层（例如，与基础层相比 较来说具有相对较高的空间分辨率的层）的参考。因为增强层图片与基础层图片之间的大 小差异，所以增强层图片中当前经译码的块可映射到在基础层参考图片的边界外部的经并 置的参考块。此经并置的块不可供增强层图片参考。在一些实例中，根据本发明的方面，在 确定基础层中的经并置的参考块的位置之前，视频译码器可调整参考样本的位置使其位于 基础层中的参考图片（即，基础层参考图片）的边界内。
[0045] 因此，根据本发明的方面，当对于当前经译码的层中的特定块来说，参考层中的经 并置的块（例如，经并置的CTU)并不存在时，可调整经并置的块的地址使其属于对应参考 层边界内，以使得经调整的地址对应于存在于参考层中的块。接着在边界CTU作为参考的 情况下应用当前层中的CTU的层间预测约束，例如上文所描述的偏移延迟。
[0046] 本发明的方面也可包含用于指示层间的平铺块的对准的技术。举例来说，平铺块 可包含图片的分割区且可用于并行译码。如HEVC标准中所描述，平铺块可被定义为图片中 的特定平铺块列及特定平铺块行内的译码树块（CTB，如下文所描述）的矩形区。平铺块列 可被定义为具有等于图片的高度的高度及通过图片参数集（PPS)内的语法元素指定的宽 度的CTB的矩形区。另外，平铺块行可被定义为具有通过PPS图片参数集中的语法元素指定 的高度及等于图片的宽度的宽度的CTB的矩形区。平铺块边界（类似于切片边界）破坏了 剖析及预测相依性，使得可独立地处理平铺块，但环路内滤波器（解块及样本自适应偏移 (SA0))仍可跨越平铺块边界（即，适用于多个平铺块）。实施基于平铺块的结构可允许实 现并行处理，且通过允许改变CTU的解码次序而改进译码效率（与使用切片相比较来说）。
[0047] 可针对整个序列来定义平铺块的数目及平铺块的边界的位置，或在图片间改变平 铺块的数目及平铺块的边界的位置。一种用于指示平铺块边界是否在层间对准（其可影响 层间预测）的方案提议于文件"用于SHVC及MV-HEVC的平铺块边界对准及层间预测约束 (TileBoundaryAlignmentandInter-LayerPredictionConstraintsforSHVCand MV-HEVC)"（Suhring等人，JCTVC-M0464,Incheon，KR，2013 年 4 月 18 到 26 日（下文中为 JCTVC-M0464))中。所述方案包含在VUI中针对每一层用信号发出平铺块边界是否对准的 指示（例如，通过tile_boundaries_aligned_flag语法元素）。然而，在VUI中用信号发 出层的平铺块边界是否对准的操作可为效率低下的，这是因为平铺块边界对准并非层特定 的。因此，在VUI中用信号发出此信息可添加不必要的复杂性。
[0048] 根据本发明的方面，可在VPS中提供平铺块边界是否对准的指示。举例来说，可将 指示平铺块是否在多层位流的层间对准的一或多个语法元素包含于VPS中。以此方式，如 在VPS中用信号发出的平铺块边界对准信息具有对于多层位流的诸层的跨层范围。
[0049] 图1为说明可利用用于并行地处理视频数据的技术的实例视频编码及解码系统 10的框图。如图1中所展示，系统10包含源装置12,其提供稍后时间将由目的地装置14解 码的经编码视频数据。详细地说，源装置12经由计算机可读媒体16将视频数据提供到目 的地装置14。源装置12及目的地装置14可包括广泛范围的装置中的任一者，包含桌上型 计算机、笔记型（即，膝上型）计算机、平板计算机、机顶盒、电话手持机（例如，所谓的"智 能"电话）、所谓的"智能"平板计算机、电视机、相机、显示装置、数字媒体播放器、视频游戏 控制台、视频流式传输装置或其类似者。在一些状况下，源装置12及目的地装置14可经配 备以用于无线通信。
[0050]目的地装置14可经由计