用于视频信息的可缩放译码的装置和方法
【技术领域】
[0001] 本发明涉及视频译码及压缩领域，确切地说，涉及可缩放视频译码（SVC)、多视图 视频译码（MVC)或3D视频译码（3DV)。
【背景技术】
[0002] 数字视频能力可并入到多种多样的装置中，包括数字电视、数字直播系统、无线广 播系统、个人数字助理（PDA)、膝上型或桌上型计算机、数码相机、数字记录装置、数字媒体 播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、视频电话会议装置和 类似者。数字视频装置实施视频压缩技术，例如，在由MPEG-2、MPEG-4、ITU-T H. 263、ITU-T H. 264/MPEG-4第10部分高级视频译码（AVC)定义的标准、目前正在开发的高效率视频译 码（HEVC)标准及此类标准的扩展中所描述的视频压缩技术。视频装置可通过实施此些视 频译码技术而更有效地发射、接收、编码、解码和/或存储数字视频信息。
[0003] 视频压缩技术执行空间（图片内）预测及/或时间（图片间）预测来减少或去除 视频序列中固有的冗余。对于基于块的视频译码来说，视频切片（例如，视频帧、视频帧的 一部分等）可分割成视频块，视频块也可被称作树块、译码单元（CU)及/或译码节点。使 用关于同一图片中的相邻块中的参考样本的空间预测编码图片的经帧内译码（I)切片中 的视频块。图片的经帧间编码（P或B)切片中的视频块可使用相对于同一图片中的相邻块 中的参考样本的空间预测或相对于其它参考图片中的参考样本的时间预测。图片可被称作 帧，且参考图片可被称作参考帧。
[0004] 空间或时间预测导致待译码块的预测性块。残差数据表示待译码原始块与预测性 块的间的像素差。经帧间译码块是根据指向形成预测块的参考样本块的运动向量和指示经 译码块与预测块之间的差的残差数据编码的。根据帧内译码模式和残差数据来编码经帧内 译码块。为了进一步压缩，可将残差数据从像素域变换到变换域，从而产生残差变换系数， 可接着量化所述残差变换系数。可扫描最初布置成二维阵列的经量化变换系数，以便产生 变换系数的一维向量，且可应用熵编码以实现更多压缩。
【发明内容】
[0005] 可缩放视频译码（SVC)是指其中使用基础层（BL)(有时被称作参考层（RL))及一 或多个可缩放增强层（EL)的视频译码。在SVC中，基础层可携载具有基础质量水平的视频 数据。所述一或多个增强层可携载额外的视频数据以支持（举例来说）较高的空间、时间 及/或信噪比（SNR)水平。可相对于先前编码的层来定义增强层。举例来说，底层可充当 BL，而顶层可充当EL。中间层可充当EL或RL，或两者。举例来说，在中间的层可为在其下 方的层（例如，基础层或任何插入增强层）的EL，且同时充当在其上方的一或多个增强层的 RL。类似地，在HEVC标准的多视图或3D扩展中，可存在多个视图，且可利用一个视图的信 息对另一视图的信息（例如，运动估计、运动向量预测和/或其它冗余）进行译码（例如， 编码或解码）。
[0006] 在SVC中，可使用从参考层导出的信息译码（例如，编码或解码）增强层中的当前 块。例如，可使用参考层中的位于同一地点的块的信息（例如，纹理信息或运动信息）译码 增强层中的当前块（如本发明中所使用的术语"位于同一地点"可指另一层中的对应于与 当前块（例如，当前被译码的块）相同的图像的块）。在一些实施方案中，特定参考层是否 用于译码增强层可作为旗标或语法元素发信号通知。如果旗标或语法元素指示特定参考层 用于译码增强层，那么可进一步发信号通知另一旗标或语法元素以指示特定参考图片中的 什么种类的信息用于译码增强层：纹理（像素）信息、运动信息或两者。
[0007] 在某些情况下，参考层中的信息的一部分可不可用于译码增强层。例如，在一些实 施方案中，如果使用非HEVC编解码器译码参考层，那么参考层的运动信息可不可供HEVC编 解码器用于译码增强层。在此情况下，可仍使用参考层的纹理信息译码增强层，但参考层的 运动信息不可用于译码所述增强层。
[0008] 通过利用参考层中的某些类型的信息的可用性对用于译码参考层的编解码器的 类型的此相依性，可忽略经执行以确定从参考层导出什么类型的信息的一些处理（例如， 如果所述信息不可用，那么不需要检查所述信息是否用于译码增强层），因此导致提高的译 码效率及/或降低的计算复杂度。
[0009] 本发明的系统、方法及装置各自具有若干创新方面，其中没有单个方面单独负责 本文所揭示的合乎需要的属性。
[0010] 在一个方面中，一种经配置以译码视频信息的设备包含存储器及与存储器通信的 处理器。所述存储器经配置以存储与参考层及增强层相关联的视频信息，所述参考层与参 考层（RL)编解码器相关联且所述增强层与增强层（EL)编解码器相关联。所述处理器经配 置以确定与所述参考层相关联的RL编解码器是否为特定类型的编解码器，且响应于确定 RL编解码器是特定类型的编解码器，在视频位流中处理参考层的运动信息不可用于译码所 述增强层的指示。所述处理器可编码或解码所述视频信息。
[0011] 在一个方面中，一种译码（例如，编码或解码）视频信息的方法包括：确定与参考 层相关联的参考层（RL)编解码器是否为特定类型的编解码器；及响应于确定所述RL编解 码器是特定类型的编解码器，在视频位流中处理参考层的运动信息不可用于译码与增强层 (EL)编解码器相关联的增强层的指示。
[0012] 在一个方面中，一种非暂时性计算机可读媒体包括当执行时致使设备执行过程的 代码。所述过程包含存储与参考层及增强层相关联的视频信息，所述参考层与参考层（RL) 编解码器相关联且所述增强层与增强层（EL)编解码器相关联；确定与所述参考层相关联 的RL编解码器是否为特定类型的编解码器；及响应于确定所述RL编解码器是特定类型的 编解码器，在视频位流中处理参考层的运动信息不可用于译码所述增强层的指示。
[0013] 在一个方面中，一种经配置以译码视频信息的视频译码装置包括：用于存储与参 考层及增强层相关联的视频信息的装置，所述参考层与参考层（RL)编解码器相关联且所 述增强层与增强层（EL)编解码器相关联；用于确定与所述参考层相关联的RL编解码器是 否为特定类型的编解码器的装置；及用于响应于确定所述RL编解码器是特定类型的编解 码器而在视频位流中处理参考层的运动信息不可用于译码所述增强层的指示的装置。
【附图说明】
[0014] 图1A是说明可利用根据本发明中描述的方面的技术的实例视频编码及解码系统 的框图。
[0015] 图1Β是说明可执行根据本发明中描述的方面的技术的另一实例视频编码和解码 系统的框图。
[0016] 图2Α为说明可实施根据本发明中描述的方面的技术的视频编码器的实例的框 图。
[0017] 图2Β是说明可实施根据本发明中描述的方面的技术的视频编码器的实例的框 图。
[0018] 图3Α是说明可实施本发明中描述的方面的技术的视频解码器的实例的框图。
[0019] 图3Β是说明可实施根据本发明中描述的方面的技术的视频解码器的实例的框 图。
[0020] 图4说明根据本发明的一个实施例的说明译码视频信息的方法的流程图。
[0021] 图5说明根据本发明的另一个实施例的说明译码视频信息的方法的流程图。
【具体实施方式】
[0022] 本文中描述的某些实施例涉及在先进视频编码解码器的情况下的针对例如 HEVC(高效率视频译码）等可缩放视频译码的层间预测。更确切地说，本发明涉及用于改善 HEVC的可缩放视频译码（SVC)扩展中的层间预测的性能的系统及方法。
[0023] 在以下描述中，描述与某些实施例有关的H. 264/AVC技术；还论述HEVC标准和相 关技术。虽然本文中在HEVC和/或H. 264标准的背景下描述某些实施例，但所属领域的技 术人员可了解，本文中揭示的系统和方法可适用于任何合适的视频译码标准。例如，本文 中揭示的实施例可适用于以下标准中的一或多者：ITU-T H. 261、IS0/IEC MPEG-lVisual、 ITU-T Η· 262 或 IS0/IEC MPEG-2Visual、ITU-T Η· 263、IS0/IEC MPEG-4Visual 及 ITU-T H. 264(也被称作IS0/IEC MPEG-4AVC)，包含其可缩放视频译码（SVC)及多视图视频译码 (MVC)扩展。
[0024] 在许多方面，HEVC通常遵循先前视频译码标准的框架。HEVC中的预测的单元不同 于某些先前视频译码标准中的预测单元（例如，宏块）。事实上，在HEVC中不存在如在某些 先前视频译码标准中所理解的宏块的概念。宏块由基于四分树方案的阶层式结构替换，阶 层式结构可提供高灵活性以及其它可能益处。举例来说，在HEVC方案内，定义三个类型的 块，例如译码单元（CU)、预测单元（PU)和变换单元（TU)。CU可指区分裂的基本单元。可认 为CU类似于宏块的概念，但其不限定最大大小，且可允许递归分裂成四个相等大小CU以改 进内容适应性。可将PU视为帧间/帧内预测的基本单元，且其可在单一 PU中含有多个任 意形状的分区以有效地对不规则图像模式进行译码。TU可认为是变换的基本单元。可独立 于PU来对其定义；然而，其大小可能限于TU所属的CU。块结构如此分离成三个不同概念 可允许每一者根据其作用被优化，这可导致提高的译码效率。
[0025] 仅出于说明的目的，用仅包含两个层（例如，比如基础层等较低层，和比如增强层 等较高层）的实例来描述本文中揭示的某些实施例。应理解，这些实例可适用于包含多个 基础层及/或增强层的配置。此外，为了易于解释，参照某些实施例，以下揭示内容包含术 语"帧"或"块"。然而，这些术语不打算具有限制性。例如，下文描述的技术可供任何合适 的视频单元（例如，块（例如，CU、PU、TU、宏块等）、切片、帧等）使用。
[0026] 视频译码标准
[0027] 例如视频图像、TV图像、静态图像或由录像机或计算机产生的图像等数字图像可 由布置成水平和垂直线的像素或样本构成。单个图像中的像素的数目通常有数万个。每一 像素通常含有亮度及色度信息。在未压缩的情况下，将从图像编码器传达到图像解码器的 信息的数量太过巨大以致不可能实现实时图像发射为了减少待发射的信息的量，已开发出 例如JPEG、MPEG及H. 263标准等数个不同压缩方法。
[0028] 视频译码标准包含 ITU-T H. 261、IS0/IEC MPEG-lVisual、ITU-T H. 262 或 ISO/ IEC MPEG-2Visual、ITU-T Η· 263、IS0/IEC MPEG-4Visual 和 ITU-T Η· 264(也被称为 ISO/ IEC MPEG-4AVC)，包含其可缩放视频译码（SVC)和多视图视频译码（MVC)扩展。
[0029] 此外，存在一种新的视频译码标准，即高效视频译码（HEVC)，其正由ITU-T视频译 码专家组（VCEG)和IS0/IEC运动图片专家组（MPEG)的视频译码联合合作小组（JCT-VC) 进行开发。对HEVC草案10的完全引用为布罗斯（Bross)等人的文献JCTVC-L1003，"高 效率视频译码（HEVC)文本规范草案 10(High Efficiency Video Coding(HEVC)Text Specification Draft 10)"，ITU-T SG16WP3 与 IS0/IEC JTC1/SC29/WG11 的关于视频译码 的联合合作小组（JCT-VC)，第12次会议：瑞士日内瓦，2013年1月14日到2013年1月23 日。对HEVC的多视图扩展（即，MV-HEVC)及对HEVC的可缩放扩展（名为SHVC)也正分别 由JCT-3V(3D视频译码扩展开发ITU-T/IS0/IEC联合合作小组）及JCT-VC开发。
[0030] 下文参考附图更充分地描述新颖系统、设备及方法的各个方面。然而，本发明可以 许多不同形式来体现，且不应将其解释为限于贯穿本发明所呈现的任何特定结构或功能。 相反，提供这些方面以使得本发明将为透彻且完整的，并且将向所属领域的技术人员充分 传达本发明的范围。基于本文中的教示，所属领域的技术人员应了解，本发明的范围既定涵 盖无论是独立于本发明的任何其它方面而实施还是与之组合而实施的本文中所揭示的新 颖系统、设备及方法的任何方面。举例来说，可使用本文中所阐述的任何数目个方面来实施 设备或实践方法。另外，本发明的范围既定涵盖使用除本文中所阐述的本发明的各种方面 之外的或不同于本文中所阐述的本发明的各种方面的其它结构、功能性或结构与功能性来 实践的此设备或方法。应理解，可通过权利要求的一或多个要素来体现本文中所揭示的任 何方面。
[0031] 尽管本文描述了特定方面，但这些方面的许多变化及排列落在本发明的范围内。 尽管提及了优选方面的一些益处及优点，但本发明的范围既定不限于特定益处、用途或目 标。而是，本发明的方面既定广泛地适用于不同无线技术、系统配置、网络及发射协议，其中 的一些是借助于实例而在图中以及在优选方面的以下描述中说明。【具体实施方式】和图式仅 说明本发明，而不是限制由所附权利要求书和其等效物界定的本发明的范围。
【附图说明】 [0032] 若干实例。由附图中的参考标号指示的元件对应于在以下描述中由相同 参考标号指示的元件。在本发明中，具有以序数词（例如，"第一"、"第二"、"第三"等）开 始的名称的元件不一定暗示所述元件具有特定次序。而是，此些序数词仅用于指代相同或 类似类型的不同元件。
[0033] 视频译码系统
[0034] 图1A是说明可利用根据本发明中所描述的方面的技术的实例视频译码系统10的 框图。如本文中所描述地使用，术语"视频译码器"一般指代视频编码器和视频解码器两者。 在本发明中，术语"视频译码"或"译码"可一般地指代视频编码和视频解码。
[0035] 如图1A中所示，视频译码系统10包含源模块12,其产生在稍后时间由目的地模 块14解码的经编码视频数据。在图1A的实例中，源模块12和目的地模块14在单独的装 置上，具体来说，源模块12是源装置的部分，且目的地模块14是目的地装置的部分。然而， 应注意，源模块12与目的地模块14可在同一装置上或为同一装置的部分，如在图1B的实 施中所展示。
[0036] 再次参考图1A，源模块12和目的地模块14可包括广泛范围的装置中的任一者，包 含桌上型计算机、笔记本（例如，膝上型）计算机、平板计算机、机顶盒、例如所谓的"智能" 电话的电话手持机、所谓的"智能"平板、电视机、相机、显示装置、数字媒体播放器、视频游 戏控制台、视频流式传输装置或类似物。在一些情况下，源模块12和目的地模块14可经装 备以用于无线通信。
[0037] 目的地模块14可经由链路16接收待解码的经编码视频数据。链路16可包括能 够将经编码视频数据从源模块12移动到目的地模块14的任何类型媒体或装置。在图1A 的实例中，链路16可包括使得源模块12能够实时将经编码视频数据直接发射到目的地模 块14的通信媒体。经编码视频数据可根据例如无线通信协议等通信标准加以调制，且发射 到目的地模块14。通信媒体可包括任何无线或有线通信媒体，例如射频（RF)频谱或一或多 个物理传输线。通信媒体可形成分组网络（例如，局域网、广域网或全球网络，例如因特网） 的部分。通信媒体可包含路由器、交换器、基站或任何其它可以用于促进从源模块12到目 的地模块14的通信的设备。
[0038] 替代地，经编码数据可从输出接口 22输出到任选的存储装置31。类似地，可通过 输入接口 28从存储装置31存取经编码数据。存储装置31可包含多种分布式或本地存取 数据存储媒体中的任一者，例如硬盘驱动器、快闪存储器、易失性或非易失性存储器，或用 于存储经编码视频数据的任何其它合适的数字存储媒体。在另一实例中，存储装置31可对 应于文件服务器或可保持由源模块12产生的经编码视频的另一中间存储装置。目的地模 块14可经由流式传输或下载从存储装置31存取所存储的视频数据。文件服务器可为能够 存储经编码视频数据并将经编码视频数据发射到目的地装置14的任何类型服务器。实例 文件服务器包含网络服务器（例如，用于网站）、FTP服务器、网络附接存储（NAS)装置或本 地磁盘驱动器。目的地模块14可以通过任何标准数据连接（包含因特网连接）来存取经 编码的视频数据。此可包含无线通道（例如，Wi-Fi连接）、有线连接（例如，DSL、电缆调制 解调器等），或适合于存取存储在文件服务器上的经编码视频数据的两者的组合。经编码视 频数据从存储装置31的发射可为流式传输发射、下载发射或两者的组合。
[0039] 本发明的技术不限于无线应用或环境。所述技术可以应用于支持多种多媒体应用 中的任一者的视频译码，例如空中协议电视广播、有线电视发射、卫星电视发射、例如经由 因特网的流式