用于视频压缩的自适应上取样滤波器的制造方法

用于视频压缩的自适应上取样滤波器的制造方法
【专利摘要】在一个实施例中，一种用于译码视频数据的视频译码器包含处理器及存储器。所述处理器至少基于用于增强型层视频数据的预测操作模式从多个滤波器组选择一滤波器组以用于对参考层视频数据上取样，且使用所述选定的滤波器组对所述参考层视频数据上取样。所述多个滤波器组中的一些滤波器组彼此具有一些不同的滤波器特性，且所述经上取样的参考层视频数据具有与所述增强型层视频数据相同的空间分辨率。所述处理器进一步至少基于所述经上取样的参考层视频数据及所述预测操作模式来译码所述增强型层视频数据。所述存储器存储所述经上取样的参考层视频数据。
【专利说明】用于视频压缩的自适应上取样滤波器

【技术领域】
[0001] 本发明大体上涉及视频译码，包含对视频内容的编码及解码。

【背景技术】
[0002] 数字视频能力可并入到广泛范围的装置中，包含数字电视、数字直播系统、无线广 播系统、个人数字助理（PDA)、膝上型或桌上型计算机、数码相机、数字记录装置、数字媒体 播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、视频会议装置等等。数 字视频装置实施视频压缩技术，例如由MPEG-2、MPEG-4、ITU-TH. 263、ITU-T H. 264/MPEG-4 第10部分高级视频译码（AVC)、目前在开发中的高效率视频译码（HEVC)标准定义的标准和 所述标准的扩展部分中所描述的那些视频压缩技术，从而发射、接收以及存储数字视频信 肩、。
[0003] 视频压缩技术可执行空间（图片内）预测和/或时间（图片间）预测以减少或移 除视频序列中所固有的冗余。对于基于块的视频译码，可将视频切片分割为若干视频块，所 述视频块还可被称作树块、译码单元（CU)和/或译码节点。使用空间预测相对于同一图片 中的相邻块中的参考样本来编码图片的经帧内译码（I)切片中的视频块。图片的经帧间译 码（P或B)切片中的视频块可使用相对于同一图片中的相邻块中的参考样本的空间预测或 相对于其它参考图片中的参考样本的时间预测。图片可被称作帧，且参考图片可被称作参 考帧。


【发明内容】

[0004] 为了概括本发明，已在本文描述了某些方面、优点和新颖特征。将理解，不一定所 有此些优点可根据本文揭示的任何特定实施例来实现。因此，可以实现或优化如本文所教 示的一个优点或优点群组而不一定实现如可在本文中教示或暗示的其它优点的方式来体 现或实行本文揭示的特征。
[0005] 根据一些实施例，一种用于译码视频数据的视频译码器包含处理器及存储器。所 述处理器可经配置以：至少基于用于第二层视频数据的预测操作模式从多个滤波器组选择 一滤波器组以用于对第一层视频数据进行上取样，所述多个滤波器组中的一些滤波器组彼 此具有一些不同的滤波器特性；使用所述选定的滤波器组对所述第一层视频数据上取样， 所述经上取样的第一层视频数据具有与所述第二层视频数据相同的空间分辨率；及至少基 于所述经上取样的第一层视频数据及所述预测操作模式来译码所述第二层视频数据。所述 存储器可经配置以存储所述经上取样的第一层视频数据。
[0006] 前一段的视频译码器可包含以下特征中的一或多者：所述处理器可经配置以根据 所述预测操作模式是否包括帧内预测模式、帧间预测模式、残差内预测模式、残差间预测模 式或纹理基础层模式中的至少一者来选择所述滤波器组。所述处理器可经配置以在所述预 测操作模式是帧内预测模式时将第一滤波器组选择为所述选定的滤波器组，且在所述预测 操作模式是帧间预测模式时将不同于所述第一滤波器组的第二滤波器组选择为所述选定 的滤波器组。所述处理器可经配置以至少基于先前由所述处理器译码的视频数据来选择所 述滤波器组。所述第二层视频数据可包含第二层块、切片或图片。所述处理器可经配置以 从所述第一或第二层视频数据的一或多个语法元素或标头或至少基于先前由所述处理器 译码的视频数据来确定相移；及至少基于所述所确定的相移及所述第一层视频数据与所述 第二层视频数据之间的空间纵横比而从所述选定的滤波器组选择一滤波器以用于对所述 第一层视频数据上取样。所述处理器可经配置以至少基于所述第一或第二层视频数据的一 或多个语法元素或标头或先前由所述处理器译码的视频数据来确定移位距离；及在译码所 述第二层视频数据之前根据所述所确定的移位距离在像素域中相对于所述第二层视频数 据来转移所述经上取样的第一层视频数据。所述处理器可经配置以至少基于所述第二层视 频数据的块大小来选择所述滤波器组。所述不同的滤波器特性可包含以下各者中的一或多 者：不同的滤波器长度、不同的滤波器输出锐度，或不同的滤波器输出平滑度。所述处理器 可包含解码器。所述处理器可包含编码器。所述第一层视频数据可包含第一视图视频数据， 且所述第二层视频数据可包含第二视图视频数据。
[0007] 根据一些实施例，一种译码视频数据的方法可包含：至少基于用于第二层视频数 据的预测操作模式从多个滤波器组选择一滤波器组以用于对第一层视频数据进行上取样， 所述多个滤波器组中的一些滤波器组彼此具有一些不同的滤波器特性；使用所述选定的滤 波器组对所述第一层视频数据上取样，所述经上取样的第一层视频数据具有与所述第二层 视频数据相同的空间分辨率；及至少基于所述经上取样的第一层视频数据及所述预测操作 模式来译码所述第二层视频数据。
[0008] 前一段的方法可包含以下特征中的一或多者：所述方法可进一步包含根据所述预 测操作模式是否包括帧内预测模式、帧间预测模式、残差内预测模式、残差间预测模式或纹 理基础层模式中的至少一者来选择所述滤波器组。所述方法可进一步包含在所述预测操作 模式是帧内预测模式时将第一滤波器组选择为所述选定的滤波器组，且在所述预测操作模 式是帧间预测模式时将不同于所述第一滤波器组的第二滤波器组选择为所述选定的滤波 器组。所述方法可进一步包含至少基于先前译码的视频数据来选择所述滤波器组。所述第 二层视频数据可包含包括第二层块、切片或图片。所述方法可包含：从所述第一或第二层视 频数据的一或多个语法元素或标头或至少基于先前译码的视频数据来确定相移；及至少基 于所述所确定的相移及所述第一层视频数据与所述第二层视频数据之间的空间纵横比而 从所述选定的滤波器组选择一滤波器以用于对所述第一层视频数据上取样。所述方法可进 一步包含：至少基于所述第一或第二层视频数据的一或多个语法元素或标头或先前译码的 视频数据来确定移位距离；及在译码所述第二层视频数据之前根据所述所确定的移位距离 在像素域中相对于所述第二层视频数据来转移所述经上取样的第一层视频数据。所述方法 可进一步包含至少基于所述第二层视频数据的块大小来选择所述滤波器组。所述不同的滤 波器特性可包含以下各者中的一或多者：不同的滤波器长度、不同的滤波器输出锐度，或不 同的滤波器输出平滑度。所述方法可进一步包含接收从经编码视频位流提取的语法元素， 所述语法元素包括所述预测操作模式的指示。所述方法可进一步包含至少基于所述预测操 作模式而产生经编码视频位流的语法元素 。所述第一层视频数据可包含第一视图视频数 据，且所述第二层视频数据可包含第二视图视频数据。
[0009] 根据一些实施例，一种视频译码器可包含：用于至少基于用于第二层视频数据的 预测操作模式从多个滤波器组选择一滤波器组以用于对第一层视频数据进行上取样的装 置，所述多个滤波器组中的一些滤波器组彼此具有一些不同的滤波器特性；用于使用所述 选定的滤波器组对所述第一层视频数据上取样的装置，所述经上取样的第一层视频数据具 有与所述第二层视频数据相同的空间分辨率；及用于至少基于所述经上取样的第一层视频 数据及所述预测操作模式来译码所述第二层视频数据的装置。
[0010] 根据一些实施例，一种存储可执行程序指令的非暂时性计算机存储装置，所述可 执行程序指令引导用于译码视频数据的视频译码器执行过程，所述过程可包含：至少基于 用于第二层视频数据的预测操作模式从多个滤波器组选择一滤波器组以用于对第一层视 频数据进行上取样，所述多个滤波器组中的一些滤波器组彼此具有一些不同的滤波器特 性；使用所述选定的滤波器组对所述第一层视频数据上取样，所述经上取样的第一层视频 数据具有与所述第二层视频数据相同的空间分辨率；及至少基于所述经上取样的第一层视 频数据及所述预测操作模式来译码所述第二层视频数据。
[0011] 根据一些实施例，一种用于译码视频数据的视频译码器包含处理器及存储器。所 述处理器可经配置以：至少基于第一层视频数据与第二层视频数据之间的相移及空间纵横 比而从滤波器组选择一滤波器以用于对所述第一层视频数据上取样；使用所述选定的滤波 器对所述第一层视频数据上取样，所述经上取样的第一层视频数据具有与所述第二层视频 数据相同的空间分辨率；及至少基于所述经上取样的第一层视频数据来译码所述第二层视 频数据。所述存储器可经配置以存储所述经上取样的第一层视频数据。
[0012] 前一段的视频译码器可包含以下特征中的一或多者：所述处理器可经配置以至少 基于所述相移与至少基于第一层视频数据与第二层视频数据之间的空间纵横比而确定的 相位之间的比较来选择所述滤波器。所述处理器可经配置以从所述第一或第二层视频数据 的一或多个语法元素或标头确定所述相移。所述处理器可经配置以至少基于先前由所述处 理器译码的视频数据来确定所述相移。所述第一层视频数据可包含第一层块、切片或图片。 所述处理器可包含解码器。所述处理器可包含编码器。所述第一层视频数据可包含第一视 图视频数据，且所述第二层视频数据可包含第二视图视频数据。
[0013] 根据一些实施例，一种译码视频数据的方法可包含：至少基于第一层视频数据与 第二层视频数据之间的相移及空间纵横比而从滤波器组选择一滤波器以用于对所述第一 层视频数据上取样；使用所述选定的滤波器对所述第一层视频数据上取样，所述经上取样 的第一层视频数据具有与所述第二层视频数据相同的空间分辨率；及至少基于所述经上取 样的第一层视频数据来译码所述第二层视频数据。
[0014] 前一段的方法可包含以下特征中的一或多者：所述方法可包含至少基于所述相移 与至少基于第一层视频数据与第二层视频数据之间的空间纵横比而确定的相位之间的比 较来选择所述滤波器。所述方法可包含从所述第一或第二层视频数据的一或多个语法元素 或标头确定所述相移。所述方法可进一步包含至少基于先前译码的视频数据来确定所述相 移。所述第一层视频数据可包含第一层块、切片或图片。所述方法可进一步包含接收从经 编码视频位流提取的语法元素，所述语法元素包括所述相移的指示。所述方法可进一步包 含至少基于所述相移而产生经编码视频位流的语法元素。所述第一层视频数据可包含第一 视图视频数据，且所述第二层视频数据可包含第二视图视频数据。
[0015] 根据一些实施例，一种用于译码视频数据的视频译码器可包含：用于至少基于第 一层视频数据与第二层视频数据之间的相移及空间纵横比而从滤波器组选择一滤波器以 用于对所述第一层视频数据上取样的装置；用于使用所述选定的滤波器对所述第一层视频 数据上取样的装置，所述经上取样的第一层视频数据具有与所述第二层视频数据相同的空 间分辨率；及用于至少基于所述经上取样的第一层视频数据来译码所述第二层视频数据的 装直。
[0016] 根据一些实施例，一种存储可执行程序指令的非暂时性计算机存储装置，所述可 执行程序指令引导用于译码视频数据的视频译码器执行过程，所述过程可包含：至少基于 第一层视频数据与第二层视频数据之间的相移及空间纵横比而从滤波器组选择一滤波器 以用于对所述第一层视频数据上取样；使用所述选定的滤波器对所述第一层视频数据上取 样，所述经上取样的第一层视频数据具有与所述第二层视频数据相同的空间分辨率；及至 少基于所述经上取样的第一层视频数据来译码所述第二层视频数据。
[0017] 根据一些实施例，一种用于译码视频数据的视频译码器包含处理器及存储器。所 述处理器可经配置以：使用滤波器对第一层视频数据上取样，所述经上取样的第一层视频 数据具有与第二层视频数据相同的空间分辨率；在像素域中相对于所述第二层视频数据转 移所述经上取样的第一层视频数据；及至少基于所述经转移、经上取样的第一层视频数据 来译码所述第二层视频数据。所述存储器可经配置以存储所述经转移、经上取样的第一层 视频数据。
[0018] 前一段的视频译码器可包含以下特征中的一或多者：所述处理器可经配置以在所 述像素域中相对于所述第二层视频数据在垂直方向及水平方向上转移所述经上取样的第 一层视频数据。所述处理器可经配置以在所述像素域中相对于所述第二层视频数据在三个 或更多个维度上转移所述经上取样的第一层视频数据。所述处理器可经配置以：从所述第 一或第二层视频数据的一或多个语法元素或标头确定移位距离；及根据所述所确定的移位 距离在像素域中相对于所述第二层视频数据转移所述经上取样的第一层视频数据。所述处 理器可经配置以：至少基于先前由所述处理器译码的视频数据来确定移位距离；及根据所 述所确定的移位距离在所述像素域中相对于所述第二层视频数据转移所述经上取样的第 一层视频数据。所述第一层视频数据可包含第一层块、切片或图片。所述处理器可包含解 码器。所述处理器可包含编码器。所述第一层视频数据可包含第一视图视频数据，且所述 第二层视频数据可包含第二视图视频数据。
[0019] 根据一些实施例，一种译码视频数据的方法可包含：使用滤波器对第一层视频数 据上取样，所述经上取样的第一层视频数据具有与第二层视频数据相同的空间分辨率；在 像素域中相对于所述第二层视频数据转移所述经上取样的第一层视频数据；及至少基于所 述经转移、经上取样的第一层视频数据来译码所述第二层视频数据。
[0020] 前一段的方法可包含以下特征中的一或多者：所述方法可进一步包含在所述像素 域中相对于所述第二层视频数据在垂直方向及水平方向上转移所述经上取样的第一层视 频数据。所述方法可进一步包含在所述像素域中相对于所述第二层视频数据在三个或更多 个维度上转移所述经上取样的第一层视频数据。所述方法可进一步包含：从所述第一或第 二层视频数据的一或多个语法元素或标头确定移位距离；及根据所述所确定的移位距离在 像素域中相对于所述第二层视频数据转移所述经上取样的第一层视频数据。所述方法可进 一步包含：至少基于先前由所述处理器译码的视频数据来确定移位距离；及根据所述所确 定的移位距离在所述像素域中相对于所述第二层视频数据转移所述经上取样的第一层视 频数据。所述第一层视频数据可包含第一层块、切片或图片。所述方法可进一步包含：接 收从经编码视频位流提取的语法元素，所述语法元素包括移位距离的指示；及根据所述移 位距离的所述指示在所述像素域中相对于所述第二层视频数据转移所述经上取样的第一 层视频数据。所述方法可进一步包含：至少基于移位距离来确定经编码视频位流的语法元 素；及根据所述移位距离在所述像素域中相对于所述第二层视频数据转移所述经上取样的 第一层视频数据。所述第一层视频数据可包含第一视图视频数据，且所述第二层视频数据 可包含第二视图视频数据。
[0021] 根据一些实施例，用于译码视频数据的视频译码器可包含：用于使用滤波器对第 一层视频数据上取样的装置，所述经上取样的第一层视频数据具有与第二层视频数据相同 的空间分辨率；用于在像素域中相对于所述第二层视频数据转移所述经上取样的第一层视 频数据的装置；及用于至少基于所述经转移、经上取样的第一层视频数据来译码所述第二 层视频数据的装置。
[0022] 根据一些实施例，一种存储可执行程序指令的非暂时性计算机存储装置，所述可 执行程序指令引导用于译码视频数据的视频译码器执行过程，所述过程可包含：使用滤波 器对第一层视频数据上取样，所述经上取样的第一层视频数据具有与第二层视频数据相同 的空间分辨率；在像素域中相对于所述第二层视频数据转移所述经上取样的第一层视频数 据；及至少基于所述经转移、经上取样的第一层视频数据来译码所述第二层视频数据。

【专利附图】

【附图说明】
[0023] 下文参考图式描述本文揭示的各种实施例的特征。在整个图式中，参考数字被再 使用以指示参考元件之间的对应关系。提供图式以说明本文中所描述的实施例且不限制其 范围。
[0024] 图1为说明可利用本发明的技术的实例性视频译码系统的框图。
[0025] 图2是说明可经配置以实施本发明的技术的实例性视频编码器的框图。
[0026] 图3是说明可经配置以实施本发明的技术的实例性视频解码器的框图。
[0027] 图4是展示可缩放视频译码（SVC)二元空间可缩放性中的基础层图片及增强层图 片的实例像素位置的概念图。
[0028] 图5A和5B是说明增强层相对于基础层的空间像素移位的概念图。
[0029] 图6到8说明用于译码视频数据的实例方法。

【具体实施方式】
[0030] 可缩放视频译码（SVC)是指其中使用基础层（有时被称作参考层）及一或多个可 缩放增强层的视频译码。对于SVC来说，基础层可携载具有基础质量水平的视频数据。一 或多个增强层可携载额外的视频数据以支持较高的空间、时间和/或信噪SNR水平。可相 对于先前编码的层来界定增强层。
[0031] 基础层与增强层可具有不同分辨率。可将上取样滤波（有时被称作再取样滤波） 应用于基础层以便匹配增强层的空间纵横比。此过程可称为空间可缩放性。可将上取样滤 波器组应用于基础层，且可基于相位（有时被称作部分像素偏移）从所述组选择一个滤波 器。可基于基础层与增强层图片之间的空间纵横比来计算所述相位。
[0032] 在一些系统中，可针对某些视频数据使用仅一组上取样滤波器。举例来说，仅一组 上取样滤波器可用于亮度分量，且仅一个其它组上取样滤波器可用于色度分量。遗憾的是， 在对基础层上取样以匹配增强层的空间纵横比时，此类系统遭受灵活性的缺乏的问题。
[0033] 在本发明的一些实施例中，本发明的技术增加在对视频数据上取样中的灵活性及 性能。可通过（例如）基于增强层信息（例如，增强层视频数据的预测操作模式、信令和 /或块大小，或其类似者）控制或改变用于译码视频数据的上取样滤波器或通过在像素域 中相对于待译码的增强层转移滤波器的输出，而以自适应的方式有利地执行所述上取样过 程。根据本发明的方面，可个别地或组合地使用至少三个方法中的一或多者以自适应地进 行上取样。第一，可将额外的相移添加到用于上取样滤波器选择而计算出的相位。举例来 说，针对不同的分数准确度（例如第1/16或第1/12)来界定多个上取样滤波器以产生一滤 波器组，其中一滤波器对应于所述滤波器组中具有某一滤波器索引的分数位置。对于此情 况，滤波器相位可对应于或舍入为滤波器索引中的一者。第二，可将空间像素移位应用于上 取样滤波器的输出。第三，可选择性地应用多个上取样滤波器组中的一或多个不同的上取 样滤波器组。
[0034] 本发明的实施例可针对于SVC或多视图视频译码（MVC)。举例来说，所述技术可与 高效率视频译码（HEVC)可缩放视频译码（SVC)扩展或多视图/3D视频译码（MVC)扩展相 关，且与其一起或在其内使用。在SVC中，可存在多个层。在非常底部的层级或最低层级处 的层可充当基础层（BL)或参考层，且在非常顶部处的层可充当增强型层（EL)。在MVC中， 可使用术语"术语"来取代术语"层"。因此，可分别用"视图"或"多个视图"来替代对"层" 或"多个层"的参考。BL与EL之间的层可充当EL或BL中的任一者或两者。举例来说，层 可为其下方的层（例如基础层或任何介入的增强层）的EL，并且还充当其上方的增强层的 BL。出于描述的简单性起见，本发明可描述其中存在两个层（例如，BL及EL)的情况。然 而，应注意，本发明适用于对任何数目的层或视图的视频译码。此外，虽然本发明中的实例 可涉及SVC，但所述实例可进一步适用于MVC。
[0035] 在一些情况下，对于基础或增强层压缩，可一起或组合地使用两个标准（例如， HEVC及H. 264/AVC)。举例来说，HEVC、H. 264/AVC或另一编解码器可用于基础层压缩，且增 强层压缩可使用HEVC。
[0036] 图1为说明可利用本发明的技术的实例性视频译码系统10的框图。如本文中所 描述，术语"视频译码器"可指代视频编码器和视频解码器中的任一者或两者。在本发明中， 术语"视频译码"或"译码"可指代视频编码及视频解码。
[0037] 如图1中所示，视频译码系统10包含源装置12和目的地装置14。源装置12产 生经编码视频数据。因此，源装置12可被称作视频编码装置。目的地装置14可对由源装 置12产生的经编码视频数据进行解码。因此，目的地装置14可被称作视频解码装置。源 装置12及目的地装置14可为视频译码装置的实例。
[0038] 源装置12和目的地装置14可包括广泛范围的装置，包含桌上型计算机、移动计算 装置、笔记本（例如，膝上型）计算机、平板计算机、机顶盒、电话手持机（例如，所谓的"智 能"电话）、电视、相机、显示装置、数字媒体播放器、视频游戏控制台、汽车内计算机等。在 一些实例中，源装置12和目的地装置14可经装备以用于无线通信。
[0039] 目的地装置14可经由通道16从源装置12接收经编码视频数据。通道16可包括 能够将经编码视频数据从源装置12移动到目的地装置14的类型的媒体或装置。在一个实 例中，通道16可包括使得源装置12能够实时地将经编码视频数据直接发射到目的地装置 14的通信媒体。在此实例中，源装置12可根据例如无线通信协议等通信标准来调制经编 码视频数据，且可将经调制视频数据发射到目的地装置14。所述通信媒体可包括无线或有 线通信媒体，例如射频（RF)频谱或一条或一条以上物理传输线。通信媒体可形成例如局域 网、广域网或例如因特网的全球网络的基于包的网络的部分。通信媒体可包含促进从源装 置12到目的地装置14的通信的路由器、交换器、基站或其它设备。
[0040] 在另一实例中，通道16可对应于存储由源装置12产生的经编码视频数据的存储 媒体。在此实例中，目的地装置14可经由磁盘存取或卡存取而存取存储媒体。所述存储媒 体可包含多种本地存取的数据存储媒体，例如蓝光光盘、DVD、⑶-ROM、快闪存储器，或用于 存储经编码视频数据的其它合适的数字存储媒体。在进一步的实例中，通道16可包含文件 服务器或存储由源装置12产生的经编码视频的另一中间存储装置。在此实例中，目的地装 置14可经由流式传输或下载来存取存储于文件服务器或其它中间存储装置处的经编码视 频数据。文件服务器可为能够存储经编码视频数据和将所述经编码视频数据发射到目的地 装置14的类型的服务器。实例性文件服务器包含网络服务器（例如，用于网站）、文件传送 协议（FTP)服务器、网络附接式存储（NAS)装置，或本地磁盘驱动器。目的地装置14可通 过标准的数据连接（包含因特网连接）来存取经编码视频数据。数据连接的实例性类型可 包含无线通道（例如，Wi-Fi连接）、有线连接（例如，DSL、缆线调制解调器，等等），或适合 于存取存储于文件服务器上的经编码视频数据的以上两者的组合。经编码视频数据从文件 服务器的传输可为流式传输、下载传输，或两者的组合。
[0041] 本发明的技术不限于无线应用或环境。所述技术可应用于支持多种多媒体应用 (例如，空中电视广播、有线电视传输、卫星电视发射、流式视频传输（例如，经由因特网）） 中的任一者的视频译码、供存储于数据存储媒体上的数字视频的编码、存储于数据存储媒 体上的数字视频的解码，或其它应用。在一些实例中，视频译码系统10可经配置以支持单 向或双向视频传输以支持例如视频流式传输、视频回放、视频广播和/或视频电话等应用。
[0042] 在图1的实例中，源装置12包含视频源18、视频编码器20和输出接口 22。在一 些情况下，输出接口 22可包含调制器/解调器（调制解调器）和/或发射器。在源装置12 中，视频源18可包含例如视频俘获装置（例如，摄像机、含有先前俘获的视频数据的视频存 档、用以从视频内容提供者接收视频数据的视频馈送接口）和/或用于产生视频数据的计 算机图形系统的源，或此些源的组合。
[0043] 视频编码器20可对所俘获的、预先俘获的或计算机产生的视频数据进行编码。可 经由源装置12的输出接口 22将经编码视频数据直接发射到目的地装置14。还可将经编 码视频数据存储到存储媒体或文件服务器上以供稍后由目的地装置14存取以进行解码和 /或回放。
[0044] 在图1的实例中，目的地装置14包含输入接口 28、视频解码器30和显示装置32。 在一些情况下，输入接口 28可包含接收器和/或调制解调器。目的地装置14的输入接口 28经由通道16接收经编码视频数据。经编码视频数据可包含由视频编码器20产生的表示 视频数据的多种语法元素。此些语法元素可与在通信媒体上传输、存储于存储媒体上或存 储于文件服务器上的经编码视频数据包含在一起。
[0045] 显示装置32可与目的地装置14 一起集成，或可在所述目的地装置外部。在一些 实例中，目的地装置14可包含集成式显示装置，且还可经配置以与外部显示装置介接。在 其它实例中，目的地装置14可为显示装置。一般来说，显示装置32向用户显示经解码视频 数据。显示装置32可包括多种显示装置中的任一者，例如，液晶显示器（LCD)、等离子体显 示器、有机发光二极管（OLED)显示器或另一类型的显示装置。
[0046] 视频编码器20和视频解码器30可根据视频压缩标准来操作，例如目前在开发中 的高效率视频译码（HEVC)标准，且可符合HEVC测试模型（HM)。正由ITU-T视频译码专家 组（VCEG)以及IS0/IEC运动图片专家组（MPEG)的视频译码联合合作小组（JCT-VC)开发 HEVC标准。被称作"HEVC工作草案7 (HEVC Working Draft 7)"或"WD7"的HEVC标准的 最近的草案描述于布洛斯（Bross)等人的文献JCTVC-I1003 "高效率视频译码（HEVC)文 本规范草案 7 (High efficiency video Coding(HEVC)Text Specification Draft7)，'，ITU-T SG16WP3和IS0/IEC JTC1/SC29/WG11的视频译码联合合作小组（JCT-VC)第9次会议：瑞 士日内瓦，2012年4月27日到2012年5月7日，所述文献的全部内容以引用的方式并入本 文中。
[0047] 另外或替代地，视频编码器20和视频解码器30可根据例如ITU-T H. 264标准（或 者被称作MPEG4第10部分，高级视频译码（AVC))或此类标准的扩展等其它专有或产业标 准而操作。然而，本发明的技术不限于任何特定译码标准或技术。视频压缩标准和技术的 其它实例包含MPEG-2、ITU-T H. 263以及专有或开放源压缩格式，例如VP8和相关格式。在 一些实例中，可根据不同的译码标准来译码基础层及增强层。
[0048] 尽管图1的实例中未展示，但在一些方面中，视频编码器20及视频解码器30可 各自与音频编码器及解码器集成，且可包含适当的MUX-DEMUX单元或其它硬件及软件，以 处置对共同数据流或单独数据流中的音频与视频两者的编码。在一些实例中，如果适用， MUX-DEMUX单元可符合ITU H. 223多路复用器协议或例如用户数据报协议（UDP)等其它协 议。
[0049] 再次，图1说明在编码装置与解码装置之间可能不包含任何数据通信的视频译码 环境（例如，视频编码或视频解码）中的本发明的实例及技术。在其它实例中，可从本地存 储器检索数据，经由网络流式传输数据等。编码装置可编码数据且将数据存储到存储器，且 /或解码装置可从存储器检索并解码数据。在许多实例中，编码和解码是由彼此不通信而是 仅将数据编码到存储器和/或从存储器检索并解码数据的装置执行。
[0050] 视频编码器20和视频解码器30各自可经实施为例如一或多个微处理器、数字信 号处理器（DSP)、专用集成电路（ASIC)、现场可编程门阵列（FPGA)、离散逻辑、硬件或其任 何组合等多种合适电路中的任一者。当所述技术部分地在软件中实施时，一装置可将用于 软件的指令存储于合适的非暂时性计算机可读存储媒体中，且可在硬件中使用一或多个处 理器来执行所述指令以执行本发明的技术。视频编码器20和视频解码器30中的每一者可 包含于一或多个编码器或解码器中，所述视频编码器和视频解码器中的任一者可在相应装 置中被集成为组合式编码器/解码器（CODEC)的一部分。
[0051] 如所提及，视频编码器20对视频数据进行编码。所述视频数据可包括一或多个图 片。所述图片中的每一者是形成视频的部分的静态图像。在一些例子中，可将图片称作视频 "帧"。当视频编码器20对视频数据进行编码时，视频编码器20可产生位流。所述位流可 包含形成视频数据的经译码表示的位序列。所述位流可包含经译码图片和相关联的数据。 经译码图片是图片的经译码表示。
[0052] 为了产生位流，视频编码器20可对视频数据中的每个图片执行编码操作。当视频 编码器20对图片执行编码操作时，视频编码器20可产生一系列经译码图片和相关联的数 据。所述相关联的数据可包含序列参数集、图片参数集、调适参数集以及其它语法结构。序 列参数集（SPS)可含有适用于零或更多图片序列的参数。图片参数集（PPS)可含有适用于 零或更多图片的参数。调适参数集（APS)可含有适用于零或更多图片的参数。APS中的参 数可为比PPS中的参数更有可能改变的参数。
[0053] 为了产生经译码图片，视频编码器20可将图片分割为相等大小的视频块。视频块 可为样本的二维阵列。视频块中的每一者与树块相关联。在一些例子中，可将树块称作最 大译码单元（LCU)。HEVC的树块可广义上类似于先前标准（例如，H.264/AVC)的宏块。然 而，树块不一定受限于特定大小，且可包含一或多个译码单元（CU)。视频编码器20可使用 四叉树分割来将树块的视频块分割为与CU相关联的视频块，因此称为"树块"。
[0054] 在一些实例中，视频编码器20可将图片分割为多个切片。所述切片中的每一者可 包含整数数目的CU。在一些例子中，切片包括整数数目的树块。在其它例子中，切片的边界 可在树块内。
[0055] 作为对图片执行编码操作的部分，视频编码器20可对图片的每一切片执行编码 操作。当视频编码器20对切片执行编码操作时，视频编码器20可产生与所述切片相关联 的经编码数据。与所述切片相关联的经编码数据可被称作"经译码切片"。
[0056] 为了产生经译码切片，视频编码器20可对切片中的每个树块执行编码操作。当视 频编码器20对树块执行编码操作时，视频编码器20可产生经译码树块。所述经译码树块 可包括表示树块的经编码版本的数据。
[0057] 当视频编码器20产生经译码切片时，视频编码器20可根据光栅扫描次序对切片 中的树块执行编码操作（即，编码）。换句话说，视频编码器20可以以下次序对切片的树块 进行编码：越过切片中的树块的最顶行从左进行到右，随后越过树块的下一较低行从左进 行到右，且以此类推，直到视频编码器20已对切片中的树块中的每一者进行编码为止。
[0058] 作为根据光栅扫描次序对树块进行编码的结果，可已对给定树块的左上方的树块 进行编码，但尚未对给定树块的右下方的树块进行编码。因此，视频编码器20可能够在对 给定树块进行编码时存取通过对给定树块的左上方的树块进行编码而产生的信息。然而， 视频编码器20可不能够在对给定树块进行编码时存取通过对给定树块的右下方的树块进 行编码而产生的信息。
[0059] 为了产生经译码树块，视频编码器20可对树块的视频块递归地执行四叉树分割 以将视频块划分为渐进更小的视频块。较小的视频块中的每一者可与不同的CU相关联。 举例来说，视频编码器20可将树块的视频块分割为四个相等大小的子块，将子块中的一或 多者分割为四个相等大小的子子块，以此类推。经分割的CU可为其视频块被分割为与其它 CU相关联的视频块的CU。未经分割的CU可为其视频块未被分割为与其它CU相关联的视 频块的⑶。
[0060] 位流中的一或多个语法元素可指示视频编码器20可将树块的视频块进行分割的 最大倍数。CU的视频块可为正方形形状。CU的视频块的大小（即，CU的大小）的范围可 从8x8像素直到具有64x64像素或更大的树块的视频块的大小（即，树块的大小）。
[0061] 视频编码器20可根据z扫描次序对树块的每一 CU执行编码操作（即，编码）。换 句话说，视频编码器20可以所述次序对左上CU、右上CU、左下CU以及随后右下CU进行编 码。当视频编码器20对经分割的CU执行编码操作时，视频编码器20可根据z扫描次序对 与经分割的CU的视频块的子块相关联的CU进行编码。换句话说，视频编码器20可以所述 次序对与左上子块相关联的CU、与右上子块相关联的CU、与左下子块相关联的CU以及与右 下子块相关联的CU进行编码。
[0062] 作为根据z扫描次序对树块的⑶进行编码的结果，可已对给定⑶上方、左上方、 右上方、左边以及左下方的CU进行编码。尚未对给定CU的下方及右边的CU进行编码。因 此，视频编码器20可能够在对给定CU进行编码时存取通过对与给定CU相邻的一些CU进 行编码而产生的信息。然而，视频编码器20可不能够在对给定CU进行编码时存取通过对 与给定CU相邻的其它CU进行编码而产生的信息。
[0063] 当视频编码器20编码未被分割的⑶时，视频编码器20可产生用于所述⑶的一 或多个预测单元（PU)。CU的PU中的每一者可与CU的视频块内的不同视频块相关联。视 频编码器20可产生所述CU的每一 PU的所预测的视频块。PU的所预测的视频块可为样本 块。视频编码器20可使用帧内预测或帧间预测来产生PU的所预测的视频块。
[0064] 当视频编码器20使用帧内预测来产生PU的所预测的视频块时，视频编码器20可 基于与所述PU相关联的图片的经解码样本来产生的所预测的视频块。如果视频编码器 20使用帧内预测来产生CU的PU的所预测的视频块，那么CU是经帧内预测CU。当视频编 码器20使用帧间预测来产生PU的所预测的视频块时，视频编码器20可基于除了与所述PU 相关联的图片之外的一或多个图片的经解码样本来产生PU的所预测的视频块。如果视频 编码器20使用帧间预测来产生CU的PU的所预测的视频块，那么CU是经帧间预测CU。 [0065] 此外，当视频编码器20使用帧间预测来产生PU的所预测的视频块时，视频编码器 20可产生PU的运动信息。PU的运动信息可指示PU的一或多个参考块。PU的每一参考块 可为参考图片内的视频块。参考图片可为除了与PU相关联的图片之外的图片。在一些情 况下，PU的参考块还可被称作PU的"参考样本"。视频编码器20可基于PU的参考块而产 生PU的所预测的视频块。
[0066] 在视频编码器20产生了⑶的一或多个PU的所预测的视频块之后，视频编码器20 可基于⑶的PU的所预测的视频块而产生⑶的残差数据。⑶的残差数据可指示⑶的 的所预测的视频块与CU的原始视频块中的样本之间的差。
[0067] 此外，作为对未经分割的⑶执行编码操作的部分，视频编码器20可对⑶的残差 数据执行递归四叉树分割以将CU的残差数据分割成与CU的变换单元（TU)相关联的一或 多个残差数据块（即，残差视频块）。CU的每一 TU可与不同残差视频块相关联。
[0068] 视频译码器20可向与TU相关联的残差视频块应用一或多个变换以产生与TU相 关联的变换系数块（即，变换系数的块）。在概念上，变换系数块可为变换系数的二维（2D) 矩阵。
[0069] 在产生变换系数块之后，视频编码器20可对变换系数块执行量化过程。量化一般 指代将变换系数量化以可能地减少用于表示变换系数的数据量从而提供进一步压缩的过 程。量化过程可减少与变换系数中的一些或全部相关联的位深度。举例来说，η位变换系 数可在量化期间下舍入到m位变换系数，其中η大于m。
[0070] 视频编码器20可使每一⑶与量化系数（QP)值相关联。与⑶相关联的QP值可 确定视频编码器20如何量化与⑶相关联的变换系数块。视频编码器20可通过调整与⑶ 相关联的QP值来调整向与CU相关联的变换系数块应用的量化的程度。
[0071] 在视频编码器20量化变换系数块之后，视频编码器20可产生表示经量化变换系 数块中的变换系数的多组语法元素。视频编码器20可对这些语法元素中的一些语法元素 应用熵编码操作，例如上下文自适应二进制算术译码（CABAC)操作。还可使用其它熵译码 技术，例如内容自适应可变长度译码（CAVLC)、概率区间分割熵（PIPE)译码，或其它二进制 算术译码。
[0072] 由视频编码器20产生的位流可包含一连串网络抽象层（NAL)单元。NAL单元中 的每一者可为含有NAL单元中的数据的类型的指示的语法结构和含有数据的字节。举例来 说，NAL单元可含有表示序列参数集、图片参数集、经译码切片、补充性增强信息（SEI)、存 储单元定界符、填充符数据或另一类型的数据的数据。NAL单元中的数据可包含各种语法结 构。
[0073] 视频解码器30可接收由视频编码器20产生的位流。所述位流可包含由视频编码 器20编码的视频数据的经译码表示。当视频解码器30接收位流时，视频解码器30可对所 述位流执行解析操作。当视频解码器30执行所述解析操作时，视频解码器30可从所述位流 提取语法元素。视频解码器30可基于从位流提取的语法元素来重构视频数据的图片。基 于语法元素来重构视频数据的过程可一般与由视频编码器20执行以产生语法元素的过程 互逆。
[0074] 在视频解码器30提取与CU相关联的语法元素之后，视频解码器30可基于所述语 法元素而产生CU的PU的所预测的视频块。另外，视频解码器30可对与CU的TU相关联的 变换系数块进行反量化。视频解码器30可对变换系数块执行反量化以重构与CU的TU相 关联的残差视频块。在产生所预测的视频块并且重构残差视频块之后，视频解码器30可基 于所预测的视频块和残差视频块而重构⑶的视频块。以此方式，视频解码器30可基于位 流中的语法元素来重构CU的视频块。
[0075] 根据本发明的实施例，包含上取样模块130的视频编码器20可经配置以译码（例 如，编码）界定至少一个基础层及至少一个增强层的可缩放视频译码方案中的视频数据。 上取样模块130可对至少一些视频数据上取样以作为编码过程的一部分，其中例如通过在 上取样中自适应地应用相移、在上取样中应用空间改变，和/或应用不同的滤波器组以实 现（例如）如关于图6到8所描述的上取样，而以自适应的方式执行上取样。
[0076] 图2是说明可经配置以实施本发明的技术的实例性视频编码器20的框图。图2 是为了阐释的目的而提供，且不应被视为对本发明中广义上示范和描述的技术的限制。为 了阐释的目的，本发明在HEVC译码的上下文中描述视频编码器20。然而，本发明的技术可 适用于其它译码标准或方法。
[0077] 在图2的实例中，视频编码器20包含多个功能组件。视频编码器20的功能组件 包含预测处理模块100、残差产生模块102、变换模块104、量化模块106、反量化模块108、 反变换模块110、重构模块112,滤波器模块113、经解码图片缓冲器114和熵编码模块116。 预测模块100包含帧间预测模块121、运动估计模块122、运动补偿模块124和帧内预测模 块126。在其它实例中，视频编码器20可包含更多、更少或不同的功能组件。此外，运动估 计模块122与运动补偿模块124可高度集成，但出于阐释的目的而在图2的实例中分开地 表不。
[0078] 视频编码器20可接收视频数据。视频编码器20可接收从各种源接收视频数据。 举例来说，视频编码器20可从视频源18 (图1)或另一源接收视频数据。所述视频数据可表 示一系列图片。为了对视频数据进行编码，视频编码器20可对图片中的每一者执行编码操 作。作为对图片执行编码操作的部分，视频编码器20可对图片的每一切片执行编码操作。 作为对切片执行编码操作的部分，视频编码器20可对切片中的树块执行编码操作。
[0079] 作为对树块执行编码操作的部分，预测模块100可对树块的视频块执行四叉树分 割以将视频块划分为渐进更小的视频块。较小的视频块中的每一者可与不同的CU相关联。 举例来说，预测模块100可将树块的视频块分割为四个相等大小的子块，将子块中的一或 多者分割为四个相等大小的子子块，以此类推。
[0080] 与⑶相关联的视频块的大小的范围可从8X8样本直到具有最大64X64样本或 更大的树块的大小。在本发明中，"NXN"与"N乘N"可以可互换地使用，以在垂直和水平尺 寸方面指代视频块的样本尺寸，例如16X 16样本或16乘16样本。一般来说，16X 16视频 块具有在垂直方向上的十六个样本（y = 16)和在水平方向上的十六个样本（X = 16)。同 样地，NXN块一般具有在垂直方向上的N个样本和在水平方向上的N个样本，其中N表不 非负整数值。
[0081] 此外，作为对树块执行编码操作的部分，预测模块100可产生用于树块的分层四 叉树数据结构。举例来说，树块可对应于四叉树数据结构的根节点。如果预测模块100将树 块的视频块分割为四个子块，那么所述根节点在所述四叉树数据结构中具有四个子节点。 子节点中的每一者对应于与所述子块中的一者相关联的CU。如果预测模块100将子块中的 一者分割为四个子子块，那么对应于与所述子块相关联的CU的节点可具有四个子节点，所 述四个子节点中的每一者对应于与子子块中的一者相关联的CU。
[0082] 所述四叉树数据结构的每一节点可含有对应的树块或CU的语法数据（例如，语法 元素）。举例来说，四叉树中的节点可包含分裂旗标，其指示对应于所述节点的CU的视频块 是否被分割（即，分裂）为四个子块。可递归地界定CU的语法元素，且所述语法元素可取 决于CU的视频块是否被分裂为子块。其视频块未被分割的CU可对应于四叉树数据结构中 的叶节点。经译码树块可包含基于对应树块的四叉树数据结构的数据。
[0083] 视频编码器20可对树块的每一未分割的CU执行编码操作。当视频编码器20对 未分割的CU执行编码操作时，视频编码器20产生表示未分割的CU的经编码表示的数据。
[0084] 作为对⑶执行编码操作的部分，预测模块100可在⑶的一或多个I3U之间分割⑶ 的视频块。视频编码器20和视频解码器30可支持各种PU大小。假定特定CU的大小为 2NX 2N，视频编码器20和视频解码器30可支持2NX 2N或NXN的PU大小，以及按2NX 2N、 2NXN、NX2N、NXN、2NXnN、nLX2N、nRX2N或类似者的对称PU大小的帧间预测。视频编 码器20和视频解码器30还可支持用于2NXnU、2NXnD、nLX2N和nRX2N的PU大小的不 对称分割。在一些实例中，预测模块100可执行几何分割以沿不以直角与CU的视频块的侧 会合的边界来在CU的PU之间分割CU的视频块。
[0085] 帧间预测模块121可对⑶的每一 PU执行帧间预测。帧间预测可提供时间压缩。 为了对PU执行帧间预测，运动估计模块122可产生PU的运动信息。运动补偿模块124可 基于除了与所述CU相关联的图片（S卩，参考图片）之外的图片的运动信息及经解码样本来 产生所述PU的所预测的视频块。在本发明中，由运动补偿模块124产生的预测视频块可被 称为经帧间预测视频块。
[0086] 切片可为I切片、P切片或B切片。运动估计模块122和运动补偿模块124可依 据CU的PU在I切片、P切片还是B切片中而对所述PU执行不同的操作。在I切片中，所有 I3U都被帧内预测。因此，如果PU在I切片中，那么运动估计模块122和运动补偿模块124 不对PU执行帧间预测。
[0087] 如果I3U在P切片中，那么含有PU的图片与被称作"列表0"的参考图片列表相关 联。列表0中的参考图片中的每一者含有可用于对其它图片进行帧间预测的样本。当运动 估计模块122关于P切片中的PU执行运动估计操作时，运动估计模块122可搜索列表0中 的参考图片以寻找用于PU的参考块。的参考块可为最紧密地对应于PU的视频块中的样 本的一组样本,例如样本块。运动估计模块122可使用多种度量来确定参考图片中的一组 样本有多紧密地对应于PU的视频块中的样本。举例来说，运动估计模块122可通过绝对差 和（SAD)、平方差和（SSD)或其它差度量来确定参考图片中的一组样本有多紧密地对应于 I3U的视频块中的样本。
[0088] 在识别P切片中的的参考块之后，运动估计模块122可产生指示列表0中的 含有所述参考样本的参考图片的参考索引以及指不PU与参考块之间的空间移位的运动向 量。在各种实例中，运动估计模块122可根据不同的精确程度产生运动向量。举例来说，运 动估计模块122可以四分之一样本精度、八分之一样本精度或其它分数样本精度产生运动 向量。在分数样本精度的情况下，参考块值可从整数位置样本值内插在参考图片中。运动 估计模块122可将参考索引及运动向量输出为PU的运动信息。运动补偿模块124可基于 由PU的运动信息识别的参考块而产生PU的所预测的视频块。
[0089] 如果在B切片中，那么含有PU的图片可与称为"列表0"及"列表1"的两个参 考图片列表相关联。在一些实例中，含有B切片的图片可与作为列表0与列表1的组合的 列表组合相关联。
[0090] 此外，如果I3U在B切片中，那么运动估计模块122可对PU执行单向预测或双向预 测。当运动估计模块122对PU执行单向预测时，运动估计模块122可搜索列表0或列表1 的参考图片以寻找PU的参考块。运动估计|旲块122可随后广生指不列表0或列表1中的含 有参考块的参考图片的参考索引以及指不PU与参考块之间的空间移位的运动向量。运动 估计模块122可输出参考索引、预测方向指示符及运动向量作为用于所述PU的运动信息。 所述预测方向指示符可指示参考索引是否指示列表〇或列表1中的参考图片。运动补偿模 块124可基于由PU的运动信息指示的参考块而产生PU的所预测的视频块。
[0091] 当运动估计模块122对PU执行双向预测时，运动估计模块122可搜索列表0中的 参考图片以寻找PU的参考块，且还可搜索列表1中的参考图片以寻找的另一参考块。运 动估计1旲块122可随后广生指不列表0和列表1中的含有参考块的参考图片的参考图片索 引以及指示参考块与PU之间的空间移位的运动向量。运动估计模块122可将PU的参考索 引及运动向量输出为PU的运动信息。运动补偿模块124可基于由PU的运动信息指示的参 考块而产生PU的预测视频块。
[0092] 在一些情况下，运动估计模块122不将PU的整组的运动信息输出到熵编码模块 116。而是，运动估计模块122可参考另一 PU的运动信息而用信号发送PU的运动信息。举 例来说，运动估计模块122可确定PU的运动信息足够类似于相邻PU的运动信息。在此实 例中，运动估计模块122可在与PU相关联的语法结构中指示一值，所述值向视频解码器30 指示I 3U具有与相邻的PU相同的运动信息。在另一实例中，运动估计模块122可在与PU相 关联的语法结构中识别相邻的PU及运动向量差（MVD)。运动向量差指示PU的运动向量与 所指示的相邻PU的运动向量之间的差。视频解码器30可使用所指示的相邻PU的运动向 量及运动向量差来确定PU的运动向量。通过在用信号发送第二的运动信息时参考第一 PU的运动信息，视频编码器20可能够使用较少的位用信号发送第二PU的运动信息。
[0093] 作为对CU执行编码操作的部分，帧内预测模块126可对CU的PU执行帧内预测。 帧内预测可提供空间压缩。当帧内预测模块126对PU执行帧内预测时，帧内预测模块126 可基于相同图片中的其它PU的经解码样本而产生的预测数据。PU的预测数据可包含所 预测的视频块和各种语法元素。帧内预测模块126可对I切片、P切片和B切片中的PU执 行帧内预测。
[0094] 为了对I3U执行帧内预测，帧内预测模块126可使用多个帧内预测模式方向或帧内 预测方向来产生PU的多组预测数据。当帧内预测模块126使用帧内预测方向来产生PU的 一组预测数据时，帧内预测模块126可在与帧内预测方向相关联的方向和/或梯度上越过 PU的视频块来扩展来自相邻的视频块的样本。假设用于PU、CU和树块的从左到右、从 上到下编码次序，所述相邻PU可在PU的上方、右上方、左上方，或左边。帧内预测模块126 可使用各种数目的帧内预测方向（例如33种帧内预测方向），其取决于PU的大小。
[0095] 预测模块100可从由运动补偿模块124针对PU产生的预测数据或者由帧内预测 模块126针对PU产生的预测数据中选择PU的预测数据。在一些实例中，预测模块100基 于所述组预测数据的速率/失真度量来选择PU的预测数据。
[0096] 如果预测模块100选择由帧内预测模块126产生的预测数据，则预测模块100可 用信号发送用于产生PU的预测数据的帧内预测模式的方向（例如，选定的帧内预测方向）。 预测模块100可以各种方式用信号通知选定的帧内预测方向。举例来说，有可能选定的帧 内预测方向与相邻I 3U的帧内预测方向相同。换句话说，相邻PU的帧内预测方向可为当前 PU的最可能模式。因此，预测模块100可产生语法元素来指示选定的帧内预测方向与相邻 I3U的帧内预测方向相同。
[0097] 在预测模块100选择了⑶的的预测数据之后，残差产生模块102可通过从⑶ 的视频块减去CU的PU的所预测的视频块来产生CU的残差数据。CU的残差数据可包含对 应于CU的视频块中的样本的不同样本分量的2D残差视频块。举例来说，残差数据可包含对 应于CU的PU的所预测的视频块中的样本的亮度分量与CU的原始视频块中的样本的亮度 分量之间的差的残差视频块。另外，CU的残差数据可包含对应于CU的PU的所预测的视频 块中的样本的色度分量与CU的原始视频块中的样本的色度分量之间的差的残差视频块。
[0098] 预测模块100可执行四叉树分割以将CU的残差视频块分割为子块。每一未划分 的残差视频块可与CU的不同TU相关联。与CU的TU相关联的残差视频块的大小和位置可 基于或可不基于与CU的PU相关联的视频块的大小和位置。被称为"残差四叉树"(RQT)的 四叉树结构可包含与残差视频块中的每一者相关联的节点。CU的TU可对应于RQT的叶节 点。
[0099] 变换模块104可通过将一或多个变换应用于与TU相关联的残差视频块而产生⑶ 的每一 TU的一或多个变换系数块。变换系数块中的每一者可为变换系数的2D矩阵。变换 模块104可将各种变换应用于与TU相关联的残差视频块。举例来说，变换模块104可对与 TU相关联的残差视频块应用离散余弦变换（DCT)、方向性变换或概念上类似的变换。
[0100] 在变换模块104产生与TU相关联的变换系数块之后，量化模块106可量化变换系 数块中的变换系数。量化模块106可基于与CU相关联的QP值来量化与CU的TU相关联的 变换系数块。
[0101] 视频编码器20可以各种方式使QP值与CU相关联。举例来说，视频编码器20可 对与CU相关联的树块执行速率-失真分析。在速率-失真分析中，视频编码器20可通过 对树块执行编码操作来产生所述树块的多个经译码表示。当视频编码器20产生树块的不 同的经编码表示时，视频编码器20可使不同的QP值与CU相关联。在给定QP值与具有最 低的位速率和失真度量的树块的经译码表示中的CU相关联时，视频编码器20可用信号通 知给定QP值与CU相关联。
[0102] 反量化模块108及反变换模块110可分别向变换系数块应用反量化及反变换，以 从变换系数块重构残差视频块。重构模块112可将经重构的残差视频块添加到来自由预测 模块100产生的一或多个所预测的视频块的对应样本，从而产生与TU相关联的经重构视频 块。通过以此方式重构⑶的每一 TU的视频块，视频编码器20可重构⑶的视频块。
[0103] 在重构模块112重构⑶的视频块之后，滤波器模块113可执行解块操作以减少与 CU相关联的视频块中的成块假影。在执行一或多个解块操作之后，滤波器模块113可将CU 的经重构视频块存储在经解码图片缓冲器114中。运动估计模块122和运动补偿模块124 可使用含有经重构视频块的参考图片来对后续图片的PU执行帧间预测。另外，帧内预测模 块126可使用经解码图片缓冲器114中的经重构视频块来对与CU相同的图片中的其它PU 执行帧内预测。
[0104] 熵编码模块116可从视频编码器20的其它功能组件接收数据。举例来说，熵编码 模块116可从量化模块106接收变换系数块，且可从预测模块100接收语法元素。当熵编 码模块116接收数据时，熵编码模块116可执行一或多个熵编码操作以产生经熵编码数据。 举例来说，视频编码器20可对数据执行上下文自适应可变长度译码（CAVLC)操作、CABAC操 作、可变-可变（V2V)长度译码操作、基于语法的上下文自适应二进制算术译码（SBAC)操 作、概率区间分割熵（PIPE)译码操作，或另一类型的熵编码操作。熵编码模块116可输出 包含经熵编码数据的位流。
[0105] 作为对数据执行熵编码操作的部分，熵编码模块116可选择上下文模型。如果熵 编码模块116执行CABAC操作，那么所述上下文模型可指示对特定二进位具有特定值的概 率的估计。在CABAC的上下文中，术语"二进位"用于指代语法元素的二进制化版本的位。
[0106] 图3是说明可经配置以实施本发明的技术的实例性视频解码器30的框图。图3 是为了阐释的目的而提供，且不对本发明中广义上示范和描述的技术进行限制。为了阐释 的目的，本发明在HEVC译码的上下文中描述视频解码器30。然而，本发明的技术可适用于 其它译码标准或方法。
[0107] 根据本发明的实施例，包含上取样模块170的视频解码器30可经配置以译码（例 如，解码）界定至少一个基础层及至少一个增强层的可缩放视频译码方案中的视频数据。 上取样模块170可对至少一些视频数据上取样以作为解码过程的一部分，其中例如通过在 上取样中自适应地应用相移或在滤波器组中选择滤波器索引，在上取样中应用空间改变， 和/或应用不同的滤波器组以实现（例如）如关于图6到8所描述的上取样，而以自适应 的方式执行上取样。
[0108] 在图3的实例中，视频解码器30包含多个功能组件。视频解码器30的功能组件 包含熵解码模块150、预测模块152、反量化模块154、反变换模块156、重构模块158、滤波器 模块159以及经解码图片缓冲器160。预测模块152包含运动补偿模块162和帧内预测模 块164。在一些实例中，视频解码器30可执行一般与关于图2的视频编码器20所描述的编 码回合互逆的解码回合。在其它实例中，视频解码器30可包含更多、更少或不同的功能组 件。
[0109] 视频解码器30可接收包括经编码视频数据的位流。所述位流可包含多个语法元 素。当视频解码器30接收位流时，熵解码模块150可对所述位流执行解析操作。作为对位 流执行解析操作的结果，熵解码模块150可从所述位流提取语法元素。作为执行所述解析 操作的部分，熵解码模块150可对所述位流中的经熵编码语法元素进行熵解码。预测模块 152、反量化模块154、反变换模块156、重构模块158以及滤波器模块159可执行重构操作， 所述重构操作基于从位流提取的语法元素而产生经解码视频数据。
[0110] 如上文所论述，所述位流可包括一连串NAL单元。位流的NAL单元可包含序列参 数集NAL单元、图片参数集NAL单元、SEI NAL单元，等等。作为对位流执行解析操作的部 分，熵解码模块150可执行解析操作，所述解析操作从序列参数集NAL单元提取序列参数集 并对其进行解码、从图片参数集NAL单元提取图片参数集并对其进行解码、从SE I NAL单元 提取SEI数据并对其进行解码等等。
[0111] 另外，位流的NAL单元可包含经译码切片NAL单元。作为对所述位流执行解析操 作的部分，熵解码模块150可执行从经译码切片NAL单元提取经译码切片并对其进行熵解 码的解析操作。所述经译码切片中的每一者可包含切片标头和切片数据。所述切片标头可 含有与切片相关的语法元素。切片标头中的语法元素可包含识别与含有所述切片的图片相 关联的图片参数集的语法元素。熵解码模块150可对经译码切片标头中的语法元素执行熵 解码操作，例如CABAC解码操作，以恢复切片标头。
[0112] 作为从经译码切片NAL单元提取切片数据的一部分，熵解码模块150可执行从切 片数据中的经译码CU提取语法元素的解析操作。所提取的语法元素可包含与变换系数块 相关联的语法元素。熵解码模块150可随后对所述语法元素中的一些语法元素执行CABAC 解码操作。
[0113] 在熵解码模块150对未经分割的⑶执行解析操作之后，视频解码器30可对未经 分割的⑶执行重构操作。为对未经分割的⑶执行重构操作，视频解码器30可对⑶的每 一 TU执行重构操作。通过对⑶的每一 TU执行重构操作，视频解码器30可重构与⑶相关 联的残差视频块。
[0114] 作为对TU执行重构操作的部分，反量化模块154可将与TU相关联的变换系数块 反量化，即，解量化。反量化模块154可以类似于针对HEVC而提出或由H. 264解码标准界 定的反量化过程的方式将变换系数块反量化。反量化模块154可使用由视频编码器20针 对变换系数块的CU所计算的量化参数QP来确定量化程度，以及同样反量化模块154要应 用的反量化的程度。
[0115] 在反量化模块154对变换系数块进行反量化之后，反变换模块156可产生与变换 系数块相关联的TU的残差视频块。反变换模块156可将反变换应用到变换系数块以便产 生所述TU的残差视频块。举例来说，反变换模块156可向变换系数块应用反DCT、反整数变 换、反卡胡嫩-罗孚（Karhunen-Loeve)变换（KLT)、反旋转变换、反方向性变换，或另一反变 换。
[0116] 在一些实例中，反变换模块156可基于来自视频编码器20的信令来确定要应用于 变换系数块的反变换。在此些实例中，反变换模块156可基于在与变换系数块相关联的树 块的四叉树的根节点处的用信号通知的变换来确定反变换。在其它实例中，反变换模块156 可从一或多个译码特性（例如，块大小、译码模式等）来推断反变换。在一些实例中，反变 换模块156可应用级联反变换。
[0117] 在一些实例中，运动补偿模块162可通过基于内插滤波器执行内插来细化PU的所 预测的视频块。待用于具有子样本精度的运动补充的内插滤波器的识别符可包含在语法元 素中。运动补偿模块162可使用由视频编码器20在PU的所预测的视频块的产生期间所使 用的相同内插滤波器来计算参考块的子整数样本的内插值。运动补偿模块162可根据所接 收的语法信息来确定由视频编码器20使用的内插滤波器且使用所述内插滤波器来产生所 预测的视频块。
[0118] 如果使用帧内预测对PU进行编码，那么帧内预测模块164可执行帧内预测以产生 PU的所预测的视频块。举例来说，帧内预测模块164可基于位流中的语法元素来确定PU的 帧内预测模式方向或帧内预测方向。所述位流可包含帧内预测模块164可用于确定PU的 帧内预测模式的方向的语法元素。
[0119] 在一些情况下，语法元素可指示帧内预测模块164将使用另一 PU的帧内预测方向 来确定当前I3U的帧内预测方向。举例来说，当前PU的帧内预测方向与相邻PU的帧内预测 方向相同可为可能的。换句话说，相邻PU的帧内预测方向可为当前PU的最可能模式。因 此，在此实例中，位流可包含小语法元素，所述小语法元素指示PU的帧内预测方向与相邻 I3U的帧内预测方向相同。帧内预测模块164可随后使用帧内预测方向以基于空间相邻的 PU的视频块来产生的预测数据（例如，所预测的样本）。
[0120] 重构模块158可使用与⑶的TU相关联的残差视频块及⑶的PU的所预测的视频 块（即，帧内预测数据或帧间预测数据（在适用时））来重构⑶的视频块。因此，视频解码 器30可基于位流中的语法元素而产生所预测的视频块及残差视频块，且可基于所预测的 视频块及残差视频块而产生视频块。
[0121] 在重构模块158重构⑶的视频块之后，滤波器模块159可执行解块操作以减少与 所述CU相关联的成块假影。在滤波器模块159执行解块操作以减少与CU相关联的成块假 影之后，视频解码器30可将所述CU的视频块存储在经解码图片缓冲器160中。经解码图 片缓冲器160可提供参考图片以用于后续的运动补偿、帧内预测以及在显示装置（例如，图 1的显示装置32)上的呈现。举例来说，视频解码器30可基于经解码图片缓冲器160中的 视频块对其它CU的PU执行帧内预测或帧间预测操作。
[0122] 图4是展示SVC二元空间可缩放性中的基础层图片（灰色圆圈，例如第一灰色圆 圈420)及增强层图片（白色圆圈，例如第一白色圆圈410)的实例像素位置的概念图400。 可如本发明中所论述将上取样滤波应用于基础层以便匹配增强层的空间纵横比。在所说明 的实例中，增强层图片与基础层图片之间的分数像素偏移是〇. 25及0. 75。在MPEG AVC/SVC 标准中，可以1/16准确度来量化所述相位，其可产生滤波器组中的16个滤波器。
[0123] 在一些实施例中，视频译码器（例如，视频编码器20或视频解码器30)可使用上 取样滤波器相移以自适应的方式执行上取样。可将额外的相移添加到使用用于上取样滤波 器选择的典型程序而计算出的相位。举例来说，可添加额外的相移，例如1/16、_1/16(或另 一相移）。可在若干层级中的一者处调适所述额外的相移，例如序列层级、图片层级、切片层 级、瓦片层级、IXU层级、⑶层级、PU层级，或另一层级。可在IXU/⑶/PU层级语法处或使用 较高层级标头语法（例如，切片标头、图片参数集、序列参数集或视频参数集或其类似者） 用信号发送额外的相移值。
[0124] 可基于增强层及基础层的已经重构的相邻像素来导出额外的相移。另外或替代 地，可从先前重构的基础及增强层帧导出额外的相移。
[0125] 可针对亮度色彩分量或色度色彩分量或两者应用相移。可进一步在其它色彩坐标 系的一或多个维度上选择性地应用相移。所述相移可对应于滤波器组中具有某一滤波器索 引的滤波器。
[0126] 可将相位界定为用于上取样滤波器导出的周期性基函数的自变量。此基可基于余 弦。在一些实施例中，可如下通过等式1界定上取样：

【权利要求】
1. 一种用于译码视频数据的视频译码器，所述视频译码器包括： 处理器，其经配置以： 至少基于用于第二层视频数据的预测操作模式从多个滤波器组选择一滤波器组以用 于对第一层视频数据上取样，所述多个滤波器组中的一些滤波器组彼此具有一些不同的滤 波器特性， 使用所述选定的滤波器组对所述第一层视频数据上取样，所述经上取样的第一层视频 数据具有与所述第二层视频数据相同的空间分辨率，及 至少基于所述经上取样的第一层视频数据及所述预测操作模式来译码所述第二层视 频数据；及 存储器，其经配置以存储所述经上取样的第一层视频数据。
2. 根据权利要求1所述的视频译码器，其中所述处理器经配置以根据所述预测操作模 式是否包括帧内预测模式、帧间预测模式、残差内预测模式、残差间预测模式或纹理基础层 模式中的至少一者来选择所述滤波器组。
3. 根据权利要求1所述的视频译码器，其中所述处理器经配置以在所述预测操作模式 是帧内预测模式时将第一滤波器组选择为所述选定的滤波器组，且在所述预测操作模式是 帧间预测模式时将不同于所述第一滤波器组的第二滤波器组选择为所述选定的滤波器组。
4. 根据权利要求1所述的视频译码器，其中所述处理器经配置以至少基于先前由所述 处理器译码的视频数据来选择所述滤波器组。
5. 根据权利要求1所述的视频译码器，其中所述第二层视频数据包括第二层块、切片 或图片。
6. 根据权利要求1所述的视频译码器，其中所述处理器经配置以： 从所述第一或第二层视频数据的一或多个语法元素或标头或至少基于先前由所述处 理器译码的视频数据来确定相移；及 至少基于所述所确定的相移及所述第一层视频数据与所述第二层视频数据之间的空 间纵横比而从所述选定的滤波器组选择一滤波器以用于对所述第一层视频数据上取样。
7. 根据权利要求1所述的视频译码器，其中所述处理器经配置以： 至少基于所述第一或第二层视频数据的一或多个语法元素或标头或至少基于先前由 所述处理器译码的视频数据来确定移位距离；及 在译码所述第二层视频数据之前根据所述所确定的移位距离在像素域中相对于所述 第二层视频数据来转移所述经上取样的第一层视频数据。
8. 根据权利要求1所述的视频译码器，其中所述处理器经配置以至少基于所述第二层 视频数据的块大小来选择所述滤波器组。
9. 根据权利要求1所述的视频译码器，其中所述不同的滤波器特性包括以下各者中的 一或多者：不同的滤波器长度、不同的滤波器输出锐度，或不同的滤波器输出平滑度。
10. 根据权利要求1所述的视频译码器，其中所述处理器包括解码器。
11. 根据权利要求1所述的视频译码器，其中所述处理器包括编码器。
12. 根据权利要求1所述的视频译码器，其中所述视频译码器是装置的一部分，所述装 置选自由以下各者组成的群组：桌上型计算机、笔记本计算机、平板计算机、机顶盒、电话手 持机、电视、相机、显示装置、数字媒体播放器、视频游戏控制台及视频流式传输装置。
13. -种译码视频数据的方法，所述方法包括： 至少基于用于第二层视频数据的预测操作模式从多个滤波器组选择一滤波器组以用 于对第一层视频数据上取样，所述多个滤波器组中的一些滤波器组彼此具有一些不同的滤 波器特性； 使用所述选定的滤波器组对所述第一层视频数据上取样，所述经上取样的第一层视频 数据具有与所述第二层视频数据相同的空间分辨率；及 至少基于所述经上取样的第一层视频数据及所述预测操作模式来译码所述第二层视 频数据。
14. 根据权利要求13所述的方法，其进一步包括根据所述预测操作模式是否包括帧内 预测模式、帧间预测模式、残差内预测模式、残差间预测模式或纹理基础层模式中的至少一 者来选择所述滤波器组。
15. 根据权利要求13所述的方法，其进一步包括： 在所述预测操作模式是帧内预测模式时将第一滤波器组选择为所述选定的滤波器组； 及 在所述预测操作模式是帧间预测模式时将不同于所述第一滤波器组的第二滤波器组 选择为所述选定的滤波器组。
16. 根据权利要求13所述的方法，其进一步包括至少基于先前译码的视频数据来选择 所述滤波器组。
17. 根据权利要求13所述的方法，其中所述第二层视频数据包括第二层块、切片或图 片。
18. 根据权利要求13所述的方法，其进一步包括： 从所述第一或第二层视频数据的一或多个语法元素或标头或至少基于先前译码的视 频数据来确定相移；及 至少基于所述所确定的相移及所述第一层视频数据与所述第二层视频数据之间的空 间纵横比而从所述选定的滤波器组选择一滤波器以用于对所述第一层视频数据上取样。
19. 根据权利要求13所述的方法，其进一步包括： 至少基于所述第一或第二层视频数据的一或多个语法元素或标头或至少基于先前译 码的视频数据来确定移位距离；及 在译码所述第二层视频数据之前根据所述所确定的移位距离在像素域中相对于所述 第二层视频数据来转移所述经上取样的第一层视频数据。
20. 根据权利要求13的方法，其进一步包括至少基于所述第二层视频数据的块大小来 选择所述滤波器组。
21. 根据权利要求13所述的方法，其中所述不同的滤波器特性包括以下各者中的一或 多者：不同的滤波器长度、不同的滤波器输出锐度，或不同的滤波器输出平滑度。
22. 根据权利要求13所述的方法，其进一步包括接收从经编码视频位流提取的语法元 素，所述语法元素包括所述预测操作模式的指示。
23. 根据权利要求13所述的方法，其进一步包括至少基于所述预测操作模式而产生经 编码视频位流的语法元素。
24. -种用于译码视频数据的视频译码器，所述视频译码器包括： 用于至少基于用于第二层视频数据的预测操作模式从多个滤波器组选择一滤波器组 以用于对第一层视频数据上取样的装置，所述多个滤波器组中的一些滤波器组彼此具有一 些不同的滤波器特性； 用于使用所述选定的滤波器组对所述第一层视频数据上取样的装置，所述经上取样的 第一层视频数据具有与所述第二层视频数据相同的空间分辨率；及 用于至少基于所述经上取样的第一层视频数据及所述预测操作模式来译码所述第二 层视频数据的装置。
25. 根据权利要求24所述的视频译码器，其中所述用于选择的装置经配置以根据所述 预测操作模式是否包括帧内预测模式、帧间预测模式、残差内预测模式、残差间预测模式或 纹理基础层模式中的至少一者来选择所述滤波器组。
26. 根据权利要求24所述的视频译码器，其进一步包括： 用于从所述第一或第二层视频数据的一或多个语法元素或标头或至少基于先前由所 述用于译码的装置译码的视频数据来确定相移的装置；及 用于至少基于所述所确定的相移及所述第一层视频数据与所述第二层视频数据之间 的空间纵横比而从所述选定的滤波器组选择一滤波器以用于对所述第一层视频数据上取 样的装置。
27. 根据权利要求24所述的视频译码器，其进一步包括： 用于至少基于所述第一或第二层视频数据的一或多个语法元素或标头或至少基于先 前由所述用于译码的装置译码的视频数据来确定移位距离的装置；及 用于在译码所述第二层视频数据之前根据所述所确定的移位距离在像素域中相对于 所述第二层视频数据来转移所述经上取样的第一层视频数据的装置。
28. 根据权利要求24所述的视频译码器，其中所述用于选择的装置经配置以至少基于 所述第二层视频数据的块大小来选择所述滤波器组。
29. -种存储可执行程序指令的非暂时性计算机存储装置，所述可执行程序指令引导 用于译码视频数据的视频译码器执行过程，所述过程包括： 至少基于用于第二层视频数据的预测操作模式从多个滤波器组选择一滤波器组以用 于对第一层视频数据上取样，所述多个滤波器组中的一些滤波器组彼此具有一些不同的滤 波器特性； 使用所述选定的滤波器组对所述第一层视频数据上取样，所述经上取样的第一层视频 数据具有与所述第二层视频数据相同的空间分辨率；及 至少基于所述经上取样的第一层视频数据及所述预测操作模式来译码所述第二层视 频数据。
30. 根据权利要求29所述的非暂时性计算机存储装置，其中所述过程进一步包括根据 所述预测操作模式是否包括帧内预测模式、帧间预测模式、残差内预测模式、残差间预测模 式或纹理基础层模式中的至少一者来选择所述滤波器组。
31. 根据权利要求29所述的非暂时性计算机存储装置，其中所述过程进一步包括： 从所述第一或第二层视频数据的一或多个语法元素或标头或至少基于先前译码的视 频数据来确定相移；及 至少基于所述所确定的相移及所述第一层视频数据与所述第二层视频数据之间的空 间纵横比而从所述选定的滤波器组选择一滤波器以用于对所述第一层视频数据上取样。
32. 根据权利要求29所述的非暂时性计算机存储装置，其中所述过程进一步包括： 至少基于所述第一或第二层视频数据的一或多个语法元素或标头或至少基于先前译 码的视频数据来确定移位距离；及 在译码所述第二层视频数据之前根据所述所确定的移位距离在像素域中相对于所述 第二层视频数据来转移所述经上取样的第一层视频数据。
33. 根据权利要求29的非暂时性计算机存储装置，其中所述过程进一步包括至少基于 所述第二层视频数据的块大小来选择所述滤波器组。
34. -种用于译码视频数据的视频译码器，所述视频译码器包括： 处理器，其经配置以： 至少基于第一层视频数据与第二层视频数据之间的相移及空间纵横比而从滤波器组 选择一滤波器以用于对所述第一层视频数据上取样， 使用所述选定的滤波器对所述第一层视频数据上取样，所述经上取样的第一层视频数 据具有与所述第二层视频数据相同的空间分辨率，及 至少基于所述经上取样的第一层视频数据来译码所述第二层视频数据；及存储器，其 经配置以存储所述经上取样的第一层视频数据。
35. 根据权利要求34所述的视频译码器，其中所述处理器经配置以至少基于所述相移 与至少基于所述第一层视频数据与所述第二层视频数据之间的所述空间纵横比而确定的 相位之间的比较来选择所述滤波器。
36. 根据权利要求34所述的视频译码器，其中所述处理器经配置以从所述第一或第二 层视频数据的一或多个语法元素或标头确定所述相移。
37. 根据权利要求34所述的视频译码器，其中所述处理器经配置以至少基于先前由所 述处理器译码的视频数据来确定所述相移。
38. 根据权利要求34所述的视频译码器，其中所述第一层视频数据包括第一层块、切 片或图片。
39. 根据权利要求34所述的视频译码器，其中所述处理器包括解码器。
40. 根据权利要求34所述的视频译码器，其中所述处理器包括编码器。
41. 根据权利要求34所述的视频译码器，其中所述视频译码器是装置的一部分，所述 装置选自由以下各者组成的群组：桌上型计算机、笔记本计算机、平板计算机、机顶盒、电话 手持机、电视、相机、显示装置、数字媒体播放器、视频游戏控制台及视频流式传输装置。
42. -种译码视频数据的方法，所述方法包括： 至少基于第一层视频数据与第二层视频数据之间的相移及空间纵横比而从滤波器组 选择一滤波器以用于对所述第一层视频数据上取样； 使用所述选定的滤波器对所述第一层视频数据上取样，所述经上取样的第一层视频数 据具有与所述第二层视频数据相同的空间分辨率；及 至少基于所述经上取样的第一层视频数据来译码所述第二层视频数据。
43. 根据权利要求42所述的方法，其进一步包括至少基于所述相移与至少基于所述第 一层视频数据与所述第二层视频数据之间的所述空间纵横比而确定的相位之间的比较来 选择所述滤波器。
44. 根据权利要求42所述的方法，其进一步包括从所述第一或第二层视频数据的一或 多个语法元素或标头确定所述相移。
45. 根据权利要求42所述的方法，其进一步包括至少基于先前译码的视频数据来确定 所述相移。
46. 根据权利要求42所述的方法，其中所述第一层视频数据包括第一层块、切片或图 片。
47. 根据权利要求42所述的方法，其进一步包括接收从经编码视频位流提取的语法元 素，所述语法元素包括所述相移的指示。
48. 根据权利要求42所述的方法，其进一步包括至少基于所述相移而产生经编码视频 位流的语法元素。
49. 一种用于译码视频数据的视频译码器，所述视频译码器包括： 用于至少基于第一层视频数据与第二层视频数据之间的相移及空间纵横比而从滤波 器组选择一滤波器以用于对所述第一层视频数据上取样的装置； 用于使用所述选定的滤波器对所述第一层视频数据上取样的装置，所述经上取样的第 一层视频数据具有与所述第二层视频数据相同的空间分辨率；及 用于至少基于所述经上取样的第一层视频数据来译码所述第二层视频数据的装置。
50. 根据权利要求49所述的视频译码器，其中所述用于选择的装置经配置以至少基于 所述相移与至少基于所述第一层视频数据与所述第二层视频数据之间的所述空间纵横比 而确定的相位之间的比较来选择所述滤波器。
51. 根据权利要求49所述的视频译码器，其进一步包括用于从所述第一或第二层视频 数据的一或多个语法元素或标头确定所述相移的装置。
52. 根据权利要求49所述的视频译码器，其进一步包括用于至少基于先前由所述用于 译码的装置译码的视频数据来确定所述相移的装置。
53. 根据权利要求49所述的视频译码器，其中所述第一层视频数据包括第一层块、切 片或图片。
54. 根据权利要求49所述的视频译码器，其进一步包括用于接收从经编码视频位流提 取的语法元素的装置，所述语法元素包括所述相移的指示。
55. 根据权利要求49所述的视频译码器，其进一步包括用于至少基于所述相移而产生 经编码视频位流的语法元素的装置。
56. -种存储可执行程序指令的非暂时性计算机存储装置，所述可执行程序指令引导 用于译码视频数据的视频译码器执行过程，所述过程包括： 至少基于第一层视频数据与第二层视频数据之间的相移及空间纵横比而从滤波器组 选择一滤波器以用于对所述第一层视频数据上取样； 使用所述选定的滤波器对所述第一层视频数据上取样，所述经上取样的第一层视频数 据具有与所述第二层视频数据相同的空间分辨率；及 至少基于所述经上取样的第一层视频数据来译码所述第二层视频数据。
57. 根据权利要求56所述的非暂时性计算机存储装置，其中所述过程进一步包括至少 基于所述相移与至少基于所述第一层视频数据与所述第二层视频数据之间的所述空间纵 横比而确定的相位之间的比较来选择所述滤波器。
58. 根据权利要求56所述的非暂时性计算机存储装置，其中所述过程进一步包括从所 述第一或第二层视频数据的一或多个语法元素或标头确定所述相移。
59. 根据权利要求56所述的非暂时性计算机存储装置，其中所述过程进一步包括至少 基于先前译码的视频数据来确定所述相移。
60. 根据权利要求56所述的非暂时性计算机存储装置，其中所述第一层视频数据包括 第一层块、切片或图片。
61. 根据权利要求56所述的非暂时性计算机存储装置，其中所述过程进一步包括接收 从经编码视频位流提取的语法元素，所述语法元素包括所述相移的指示。
62. 根据权利要求56所述的非暂时性计算机存储装置，其中所述过程进一步包括至少 基于所述相移而产生经编码视频位流的语法元素。
63. -种用于译码视频数据的视频译码器，所述视频译码器包括： 处理器，其经配置以： 使用滤波器对第一层视频数据上取样，所述经上取样的第一层视频数据具有与第二层 视频数据相同的空间分辨率， 在像素域中相对于所述第二层视频数据转移所述经上取样的第一层视频数据，及 至少基于所述经转移、经上取样的第一层视频数据来译码所述第二层视频数据；及 存储器，其经配置以存储所述经转移、经上取样的第一层视频数据。
64. 根据权利要求63所述的视频译码器，其中所述处理器经配置以在所述像素域中相 对于所述第二层视频数据在垂直方向及水平方向上转移所述经上取样的第一层视频数据。
65. 根据权利要求63所述的视频译码器，其中所述处理器经配置以在所述像素域中相 对于所述第二层视频数据在三个或更多个维度上转移所述经上取样的第一层视频数据。
66. 根据权利要求63所述的视频译码器，其中所述处理器经配置以：从所述第一或第 二层视频数据的一或多个语法元素或标头确定移位距离；及根据所述所确定的移位距离在 所述像素域中相对于所述第二层视频数据转移所述经上取样的第一层视频数据。
67. 根据权利要求63所述的视频译码器，其中所述处理器经配置以至少基于先前由所 述处理器译码的视频数据来确定移位距离；及根据所述所确定的移位距离在所述像素域中 相对于所述第二层视频数据转移所述经上取样的第一层视频数据。
68. 根据权利要求63所述的视频译码器，其中所述第一层视频数据包括第一层块、切 片或图片。
69. 根据权利要求63所述的视频译码器，其中所述处理器包括解码器。
70. 根据权利要求63所述的视频译码器，其中所述处理器包括编码器。
71. 根据权利要求63所述的视频译码器，其中所述视频译码器是装置的一部分，所述 装置选自由以下各者组成的群组：桌上型计算机、笔记本计算机、平板计算机、机顶盒、电话 手持机、电视、相机、显示装置、数字媒体播放器、视频游戏控制台及视频流式传输装置。
72. -种译码视频数据的方法，所述方法包括： 使用滤波器对第一层视频数据上取样，所述经上取样的第一层视频数据具有与第二层 视频数据相同的空间分辨率； 在像素域中相对于所述第二层视频数据转移所述经上取样的第一层视频数据；及 至少基于所述经转移、经上取样的第一层视频数据来译码所述第二层视频数据。
73. 根据权利要求72所述的方法，其进一步包括在所述像素域中相对于所述第二层视 频数据在垂直方向及水平方向上转移所述经上取样的第一层视频数据。
74. 根据权利要求72所述的方法，其进一步包括在所述像素域中相对于所述第二层视 频数据在三个或更多个维度上转移所述经上取样的第一层视频数据。
75. 根据权利要求72所述的方法，其进一步包括： 从所述第一或第二层视频数据的一或多个语法元素或标头确定移位距离；及 根据所述所确定的移位距离在所述像素域中相对于所述第二层视频数据转移所述经 上取样的第一层视频数据。
76. 根据权利要求72所述的方法，其进一步包括： 至少基于先前译码的视频数据来确定移位距离；及 根据所述所确定的移位距离在所述像素域中相对于所述第二层视频数据转移所述经 上取样的第一层视频数据。
77. 根据权利要求72所述的方法，其中所述第一层视频数据包括第一层块、切片或图 片。
78. 根据权利要求72所述的方法，其进一步包括： 接收从经编码视频位流提取的语法元素，所述语法元素包括移位距离的指示；及 根据所述移位距离的所述指示在所述像素域中相对于所述第二层视频数据转移所述 经上取样的第一层视频数据。
79. 根据权利要求72所述的方法，其进一步包括： 至少基于移位距离而产生经编码视频位流的语法元素；及 根据所述移位距离在所述像素域中相对于所述第二层视频数据转移所述经上取样的 第一层视频数据。
80. -种用于译码视频数据的视频译码器，所述视频译码器包括： 用于使用滤波器对第一层视频数据上取样的装置，所述经上取样的第一层视频数据具 有与第二层视频数据相同的空间分辨率； 用于在像素域中相对于所述第二层视频数据转移所述经上取样的第一层视频数据的 装置；及 用于至少基于所述经转移、经上取样的第一层视频数据来译码所述第二层视频数据的 装直。
81. 根据权利要求80所述的视频译码器，其中所述用于转移的装置经配置以在所述像 素域中相对于所述第二层视频数据在垂直方向及水平方向上转移所述经上取样的第一层 视频数据。
82. 根据权利要求80所述的视频译码器，其中所述用于转移的装置经配置以在所述像 素域中相对于所述第二层视频数据在三个或更多个维度上转移所述经上取样的第一层视 频数据。
83. 根据权利要求80所述的视频译码器，其进一步包括用于从所述第一或第二层视频 数据的一或多个语法元素或标头确定移位距离的装置，其中所述用于转移的装置经配置以 根据所述所确定的移位距离来转移所述经上取样的第一层视频数据。
84. 根据权利要求80所述的视频译码器，其进一步包括用于至少基于先前由所述用于 译码的装置译码的视频数据来确定移位距离的装置，其中所述用于转移的装置经配置以根 据所述所确定的移位距离来转移所述经上取样的第一层视频数据。
85. 根据权利要求80所述的视频译码器，其中所述第一层视频数据包括第一层块、切 片或图片。
86. 根据权利要求80所述的视频译码器，其进一步包括用于接收从经编码视频位流提 取的语法元素的装置，所述语法元素包括移位距离的指示，其中所述用于转移的装置经配 置以根据所述移位距离的所述指示在所述像素域中相对于所述第二层视频数据转移所述 经上取样的第一层视频数据。
87. 根据权利要求80所述的视频译码器，其进一步包括用于至少基于移位距离而产生 经编码视频位流的语法元素的装置，其中所述用于转移的装置经配置以根据所述移位距离 在所述像素域中相对于所述第二层视频数据转移所述经上取样的第一层视频数据。
88. -种存储可执行程序指令的非暂时性计算机存储装置，所述可执行程序指令引导 用于译码视频数据的视频译码器执行过程，所述过程包括： 使用滤波器对第一层视频数据上取样，所述经上取样的第一层视频数据具有与第二层 视频数据相同的空间分辨率； 在像素域中相对于所述第二层视频数据转移所述经上取样的第一层视频数据；及 至少基于所述经转移、经上取样的第一层视频数据来译码所述第二层视频数据。
89. 根据权利要求88所述的非暂时性计算机存储装置，其中所述过程进一步包括在所 述像素域中相对于所述第二层视频数据在垂直方向及水平方向上转移所述经上取样的第 一层视频数据。
90. 根据权利要求88所述的非暂时性计算机存储装置，其中所述过程进一步包括在所 述像素域中相对于所述第二层视频数据在三个或更多个维度上转移所述经上取样的第一 层视频数据。
91. 根据权利要求88所述的非暂时性计算机存储装置，其中所述过程进一步包括： 从所述第一或第二层视频数据的一或多个语法元素或标头确定移位距离；及 根据所述所确定的移位距离在所述像素域中相对于所述第二层视频数据转移所述经 上取样的第一层视频数据。
92. 根据权利要求88所述的非暂时性计算机存储装置，其中所述过程进一步包括： 至少基于先前译码的视频数据来确定移位距离；及 根据所述所确定的移位距离在所述像素域中相对于所述第二层视频数据转移所述经 上取样的第一层视频数据。
93. 根据权利要求88所述的非暂时性计算机存储装置，其中所述第一层视频数据包括 第一层块、切片或图片。
94. 根据权利要求88所述的非暂时性计算机存储装置，其中所述过程进一步包括： 接收从经编码视频位流提取的语法元素，所述语法元素包括移位距离的指示；及 根据所述移位距离的所述指示在所述像素域中相对于所述第二层视频数据转移所述 经上取样的第一层视频数据。
95. 根据权利要求88所述的非暂时性计算机存储装置，其中所述过程进一步包括： 至少基于移位距离而产生经编码视频位流的语法元素；及 根据所述移位距离在所述像素域中相对于所述第二层视频数据转移所述经上取样的 第一层视频数据。
【文档编号】H04N19/117GK104396243SQ201380030069
【公开日】2015年3月4日 申请日期:2013年6月6日 优先权日:2012年6月8日
【发明者】瓦迪姆·谢廖金, 涂承杰, 陈建乐, 马尔塔·卡切维奇 申请人:高通股份有限公司