在视频译码中针对高效率视频译码(hevc)扩展对多个层的低复杂性支持的制作方法
【技术领域】
[0001] 本发明一般来说涉及视频译码及压缩且，明确地说，涉及可扩缩式视频译码 (SVC)〇
【背景技术】
[0002] 数字视频能力可并入到广泛范围的装置中，所述装置包含数字电视、数字直播系 统、无线广播系统、个人数字助理（PDA)、膝上型或桌上型计算机、平板计算机、电子书阅读 器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或 卫星无线电电话、所谓的"智能型电话"、视频电话会议装置、视频流装置及其类似者。数 字视频装置实施视频译码技术，例如，在由MPEG-2、MPEG-4、ITU-T H. 263、ITU-T H. 264/ MPEG-4第10部分"高级视频译码（AVC) "定义的标准、目前正在开发的高效率视频译码 (HEVC)标准及此类标准的扩展中所描述的视频译码技术。视频装置可通过实施此类视频译 码技术来发射、接收、编码、解码及/或存储数字视频信息。
[0003] 视频译码技术包含空间（图片内）预测及/或时间（图片间）预测以减少或去除 视频序列中固有的冗余。对于基于块的视频译码，可将视频切片（例如，视频帧或视频帧的 一部分）分割成视频块，其还可被称作树块、译码单元（CU)及/或译码节点。使用关于同一 图片中的相邻块中的参考样本的空间预测来编码图片的经帧内译码（I)切片中的视频块。 图片的经帧间译码（P或B)切片中的视频块可使用关于同一图片中的相邻块中的参考样本 的空间预测或关于其它参考图片中的参考样本的时间预测。图片可被称作帧，且参考图片 可被称作参考帧。
[0004] 空间预测或时间预测导致译码用于块的预测性块。残余数据表示待译码的原始块 与预测性块之间的像素差。根据指向形成预测性块的参考样本的块的运动向量及指示经译 码块与预测性块之间的差异的残余数据来编码经帧间译码块。根据帧内译码模式及残余数 据来编码经帧内译码块。为了进一步压缩，可将残余数据从像素域变换到变换域，从而产生 残余变换系数，可将残余变换系数量化。经量化的变换系数最初可布置成二维阵列，且经扫 描以便产生变换系数的一维向量，且可应用熵译码以实现甚至更多压缩。
【发明内容】
[0005] 根据一些实施例，一种经配置以译码视频信息的设备包含处理器及存储器。所述 存储器经配置以存储与第一层及第二层相关联的视频信息。处理器与存储器通信。处理器 经配置以确定所述第一层及所述第二层中的至少一者是否为默认层，且在所述处理器确定 所述第一层及所述第二层均不是所述默认层时，至少部分地限制层间预测。
[0006] 在一些实施例中，默认层为基础层。在其它实施例中，默认层为层0。在其它实施 例中，默认层为增强层。在一些实施例中，可存在一个以上默认层。
[0007] 在一些实施例中，处理器经进一步配置以接收与视频信息相关联的第一旗标，且 在所述第一旗标指示层间预测将受到限制时，确定所述第一层及所述第二中的至少一者 是否为默认层。举例来说，可在以下各者中的一或多者中传信所述第一旗标：视频参数集 (VPS)、序列参数集（SPS)、图片参数集（PPS)、切片标头及补充增强信息（SEI)消息。
[0008] 在一些实施例中，处理器经进一步配置以在所述处理器确定所述第一层及所述第 二层均不是默认层时，及在与第一层相关联的视频信息及与第二层相关联的视频信息在其 构造中均不是仅使用受约束帧内预测（CIP)时，限制层间预测。在一些实施例中，处理器经 进一步配置以在处理器确定第一层及第二层均不是默认层时，限制运动信息或残余信息的 层间预测中的至少一者。
[0009] 在一些实施例中，所述处理器经进一步配置以确定对于与所述第一层相关联的所 述视频信息是否允许层间预测；及确定对于与所述第二层相关联的所述视频信息是否部分 地允许层间预测，使得运动补偿不与所述第二层视频信息一起使用。举例来说，处理器可经 进一步配置以使用第一层视频信息来预测与当前视频块相关联的纹理信息。另外，处理器 可经进一步配置以使用第二层视频信息来预测与当前视频块相关联的运动信息及残余信 息中的一或多者。在一些实施例中，设备包括编码器。在一些实施例中，设备包括解码器。 另外，设备可包括以下各者中的至少一者：数字电视、数字直播系统、无线广播系统、个人数 字助理（PDA)、膝上型或桌上型计算机、数码相机、数字记录装置、数字媒体播放器、视频游 戏装置、视频游戏控制台、蜂窝式或卫星无线电电话及包括存储器及处理器的视频电话会 议装置。
[0010] 在另一实施例中，一种译码视频信息的方法包含：接收与第一层及第二层相关联 的视频信息；确定第一层及第二层中的至少一者是否为默认层；及在第一层及第二层均不 是默认层时，至少部分地限制层间预测。
[0011] 在另一实施例中，一种视频译码设备包含：用于接收与第一层及第二层相关联的 视频信息的装置；用于确定第一层及第二层中的至少一者是否为默认层的装置；及用于在 第一层及第二层均不是默认层时至少部分地限制层间预测的装置。
[0012] 在另一实施例中，一种非暂时性计算机可读媒体具有存储于其上的代码，所述代 码在经执行时致使设备进行以下操作：接收与第一层及第二层相关联的视频信息；确定第 一层及第二层中的至少一者是否为默认层；及在第一层及第二层均不是默认层时，至少部 分地限制层间预测。
【附图说明】
[0013] 图1为说明可利用根据本发明中所描述的方面的技术的实例视频编码及解码系 统的框图。
[0014] 图2为说明可实施根据本发明中所描述的方面的技术的视频编码器的实例的框 图。
[0015] 图3为说明可实施根据本发明中所描述的方面的技术的视频解码器的实例的框 图。
[0016] 图4为说明根据本发明的方面的三个不同维度上的可扩缩性的框图。
[0017] 图5为说明根据本发明的方面的可扩缩式视频译码（SVC)位流的实例结构的框 图。
[0018] 图6为说明根据本发明的方面的位流中的实例SVC存取单元的框图。
[0019] 图7为说明层间预测限制及裕度的概念图。
[0020] 图8为说明SVC中的多层中的块的实例的概念图。
[0021] 图9说明根据实施例的用于译码视频数据的实例方法。
[0022] 图10说明根据另一实施例的用于译码视频数据的方法。
[0023] 图11为实例视频译码器的功能框图。
【具体实施方式】
[0024] 本发明中所描述的技术一般来说涉及可扩缩式视频译码（SVC)及多视图/3D视频 译码。举例来说，所述技术可涉及高效率视频译码（HEVC)可扩缩式视频译码（SVC)扩展，且 供高效率视频译码（HEVC)可扩缩式视频译码（SVC)扩展使用或在高效率视频译码（HEVC) 可扩缩式视频译码（SVC)扩展内使用。在SVC中，可存在多个视频信息层。处于最底部层 级或最低层级的层可充当基础层（BL)或参考层（RL)，且处于最顶部的层可充当经增强层 (EL)。"经增强层"可被视为与"增强层"同义，且可互换地使用这些术语。BL与EL之间的 层可充当EL或BL中的任一者或两者。举例来说，一层可为用于在所述层下方的层（例如， 基础层或任何介入增强层）的EL，且还可充当用于在所述层上方的增强层的BL。基础层与 顶部层（或最高层）中间的每一层可用作用于较高层的层间预测的参考，且可将较低层用 作用于层间预测的参考。
[0025] 仅出于说明的目的，通过仅包含两个层（例如，例如基础层等较低层级层，及例如 经增强层等较高层级层）的实例来描述本发明中所描述的技术。应理解，本发明中描述的 实例还可扩展到具有多个基础或参考层及增强层的实例。另外，为易于解释，以下揭示内容 主要使用术语"帧"或"块"。然而，这些术语并不意味着为限制性的。举例来说，下文所描 述的技术可供例如块（例如，CU、PU、TU、宏块等）、切片、图片等不同视频单元使用。
[0026] HEVC的SVC扩展提供多回路方法，使得对于每一层，经重新构造的像素始终可用， 而无关于预测模式。另外，可通过将运动补偿应用于预测来预测每一层。通过此方法，当存 在两个以上层时，译码（例如，解码、编码）复杂性高，这是由于对于每个层执行运动补偿。
[0027] 在一些实施例中，提供既支持两个以上层、又提供低译码（例如，解码、编码）复杂 性的系统及方法。本文中所描述的技术还基于任何其它译码框架（例如，H.264/AVC)应用 于HEVC的多视图或3DV扩展及类似可扩缩式多视图及/或3DV译码情境（由于层还可被 视为视图或视图的纹理或深度部分）。
[0028] 为了在具有两个以上层的视频信息的情况下降低多回路方法的译码复杂性，可限 制用于层间预测的运动补偿回路的数目。举例来说，视频译码器或解码器可经配置以防止 在某些情形下发生的层间预测。在一些实施例中，视频译码器或解码器可经配置以确定可 用于多个层中的任一者中的图片的层间预测的经运动补偿的层的最大数目。视频译码器或 解码器可基于经运动补偿的层的所确定的最大数目限制当前层中的图片的层间预测。举例 来说，在一个实施例中，视频译码器或解码器可接收第一旗标，所述第一旗标指示可用于层 间预测的经运动补偿的层的最大数目。在一些实施例中，多个层中的任一者中的图片中的 每一者及当前层中的图片可包括存取单元中的图片。视频译码器或解码器可对于存取单元 中的每一图片确定经运动补偿的层的最大数目且基于经运动补偿的层的最大数目限制层 间预测。
[0029] 视频译码标准
[0030] 本文中所描述的某些实施例涉及针对在高级视频编码解码器的上下文中的可扩 缩式视频译码（例如，高效率视频译码（HEVC))的层间预测。更具体来说，本发明涉及在 HEVC的可扩缩式视频译码（SVC)扩展中的层间预测的改进的执行的系统及方法。在以下描 述中，描述涉及某些实施例的H. 264/AVC技术；还论述HEVC标准及有关技术。虽然本文中在 HEVC及/或H. 264标准的上下文中描述某些实施例，但所属领域的技术人员可了解，本文中 所揭示的系统及方法可适用于任何合适的视频译码标准。举例来说，本文中所揭示的实施 例可适用于以下标准中的一或多者：ITU-T H. 261、ISO/IEC MPEG-I Visual、ITU-T H. 262 或 ISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual 及 TU-T H. 264(还被称 为ISO/IEC MPEG-4AVC)(包含其可扩缩式视频译码（SVC)及多视图视频译码（MVC)扩展）。
[0031] 可扩缩式视频译码（SVC)可用以提供质量（还被称作信噪比（SNR))可扩缩性、 空间可扩缩性及/或时间可扩缩性。举例来说，在一个实施例中，参考层（例如，基础层） 包含足以按第一质量等级显示视频的视频信息，且增强层包含相对于参考层的额外视频信 息，使得参考层及增强层一起包含足以按高于第一等级的第二质量等级（例如，较低噪声、 较大分辨率、更好帧速率等）显示视频的视频信息。经增强层可具有不同于基础层的空间 分辨率。举例来说，EL与BL之间的空间纵横比可为1.0、1.5、2.0或其它不同比。换句话 说，EL的空间纵横比可等于1. 0、1. 5或2. 0乘以BL的空间纵横比。在一些实例中，EL的比 例因数可大于BL的比例因数。举例来说，EL中的图片的大小可大于BL中的图片的大小。 以此方式，EL的空间分辨率大于BL的空间分辨率可为有可能的，但并非限制。
[0032] 在H. 264的SVC扩展中，可使用针对SVC提供的不同层来执行当前块的预测。此 预测可被称作层间预测。层间预测方法可用于SVC中以便减少层间冗余。层间预测的一些 实例可包含层间帧内预测、层间运动预测、层间模式预测及层间残余预测。层间帧内预测使 用基础层中的经并置块的重新构造预测增强层中的当前块。层间模式预测使用基础层的运 动预测增强层中的运动。层间模式预测基于基础层中的模式预测增强层中的模式。层间残 余预测使用基础层的残余来预测增强层的残余。
[0033] 下文参看随附图式更充分地描述新颖系统、设备及方法的各种方面。然而，本发明 可以许多不同形式来体现，且不应被解释为限于贯穿本发明呈现的任何特定结构或功能。 确切地说，提供这些方面，以使得本发明将为透彻的且完整的，且将本发明的范围充分地传 达给所属领域的技术人员。基于本文中的教示，所属领域的技术人员应了解，本发明的范围 希望涵盖本文中所揭示的新颖系统、设备及方法的任何方面，不管其是独立实施还是与本 发明的任何其它方面相组合而实施。举例来说，可使用本文中所阐述的任何数目个方面来