的实施方式中或本发明的范围内。
[0068] 如在本公开内容中使用的术语第一或第二可以用于描述各种部件，但不用于限制 部件。这些表达用于将一个部件与另一个部件区分开。例如，可以在不偏离本公开内容的范 围的情况下将第一部件称为第二部件，并且可以将第二部件称为第一部件。
[0069] 此外，本发明的实施方式中的部件被单独地示出，以说明不同的特征性功能，但这 并不意味着每个部件被配置成分离的硬件单元或一个软件单元。亦即，每个部件被单独列 举以便于描述。因此，可以将两个或更多个部件结合在一个部件中，或者可以将一个部件划 分成多个部件。集成部件的实施方式和划分部件的实施方式都落入本发明的范围内。
[0070] -些部件对于提高性能来说可以是可选的，对本发明的主要功能来说不是必需 的。可以仅使用落入本发明的范围内的本发明的主题所必需的部件来实现本发明，而不使 用只是用于增加性能的部件。
[0071] 支持多层比特流的视频编码和解码被称为可扩展视频编码。因为在多个层之间具 有很强的相关性，因此通过基于该相关性来执行预测，可以去除冗余的数据分量并且可以 提高视频编码性能。使用关于另外的层的信息来预测当前层被称为层间预测。
[0072] 多个层可以具有不同的分辨率。分辨率可以指空间分辨率、时间分辨率和图像品 质中的至少一个。为了控制层间预测期间的分辨率，可以对层进行重采样如上采样或下采 样。
[0073] 图1为示意性地示出了根据本发明的实施方式的编码装置的框图。
[0074] 根据本发明的编码装置100包括用于上层的编码单元100a和用于下层的编码单元 100b〇
[0075] 上层可以被称为当前层或增强层，而下层可以被称为具有低于上层的分辨率的分 辨率的增强层、基本层或参考层。空间分辨率、基于帧速率的时间分辨率、颜色格式和基于 量化步长的图像质量中的至少一个可以在上层与下层之间互不相同。当需要改变分辨率以 用于层间预测时，可以对层执行上采样或下采样。
[0076]用于上层的编码单元100a可以包括:划分单元110、预测单元120、变换单元130、量 化单元140、重新布置单元150、熵编码单元160、解量化单元170、逆变换单元180、滤波器单 元190和存储器195。
[0077]用于下层的编码单元100b可以包括:划分单元111、预测单元125、变换单元131、量 化单元141、重新布置单元151、熵编码单元161、解量化单元171、逆变换单元181、滤波器单 元191和存储器196。
[0078]可以通过在本发明的实施方式中描述的视频编码方法来实现编码单元，将在下面 对其进行描述，但是可以不执行一些部件的操作，以减小编码装置的复杂性或者使得能够 快速实时地进行编码。例如，当预测单元执行帧内预测时，可以执行从有限数目的帧内预测 模式中选择一个并且将所选择的一个设置为最终的帧内预测模式的方法，以用于进行实时 编码，而不是执行将所有帧内预测模式方法用来选择最佳帧内编码方法的方法。在另一示 例中，用于帧内预测或帧间预测的预测块可以具有有限的形状。
[0079] 在编码装置中处理的块的单元可以是用于执行编码的编码单元、用于执行预测的 预测单元或者用于执行变换的变换单元。可以将编码单元、预测单元和变换单元分别表示 为CU、PU和TU。
[0080] 划分单元110和划分单元111中的每个可以通过以下来对层进行划分:将层图片划 分成编码块、预测块和变换块的多个组合，并且基于预定的参考(例如成本函数)来选择编 码块、预测块和变换块的一个组合。例如，为了将层图片划分成编码单元，可以使用递归树 结构例如四叉树结构。在下文中，在本发明的实施方式中，编码块不仅可以指用于编码的 块，而且可以指用于解码的块。
[0081] 预测块可以是用于执行预测（如帧内预测或帧间预测）的单元。用于帧内预测的块 可以是具有正方形形式的块如2NX2N或NXN。作为用于帧间预测的块，存在正方形形式的 块如2N X 2N和N X N;矩形形式的块，如2N X N和N X 2N;以及通过使用非对称运动划分(AMP) 的预测块划分方法而获得的具有非对称形式的块。变换单元115可以取决于预测块的形式 而使用不同的变换方法。
[0082] 编码单元100a和编码单元100b的预测单元120和预测单元125中的每个可以包括： 用于执行帧内预测的帧内预测单元121或126;以及用于执行帧间预测的帧间预测单元122 或127。用于上层的编码单元100a的预测单元120可以进一步包括使用与下层有关的信息对 上层执行预测的层间预测单元123。
[0083] 预测单元120和125中的每个可以确定是对预测块执行帧内预测还是帧间预测。当 执行帧内预测时，基于预测块来确定帧内预测模式，并且可以基于变换块来执行用于处理 基于所确定的帧内预测模式的帧内预测的过程。可以将在所生成的预测块与原始块之间的 残差(残差块)输入至变换单元130和131。此外，用于预测的预测模式信息和运动信息等连 同残差一起通过熵编码单元130进行编码，并且可以被传输至解码装置。
[0084] 当使用脉冲编码调制(PCM)模式时，原始块可以在不执行使用预测单元120和125 的预测的情况下未改变地被编码，并且可以被传输至解码单元。
[0085] 帧内预测单元121和126中的每个可以基于位于当前块(预测目标块)附近的参考 像素来生成经帧内预测的块。在帧内预测方法中，帧内预测模式可以具有方向性预测模式 和非方向性模式，其中，方向性预测模式根据预测方向来使用参考像素，非方向性模式不考 虑预测方向。用于预测亮度信息的模式可以不同于用于预测色度信息的模式。通过预测亮 度信息所获得的帧内预测模式或者所预测的亮度信息可以用于预测色度信息。同时，如果 参考像素不可用，则可以通过将不可用的参考像素用其他像素进行替换来生成预测块。
[0086] 预测块可以包括多个变换块。如果当执行帧内预测时预测块的大小与变换块的大 小相同，则可以基于预测块的左侧的像素、左上像素和上方的像素来对预测块执行帧内预 测。然而，在帧内预测时，当预测块的大小与变换块的大小不同并且多个变换块被包括在预 测块中，则使用与变换块相邻的邻近像素作为参考像素来执行帧内预测。此处，与变换块相 邻的邻近像素可以包括与预测块相邻的邻近像素和在预测块中先前被解码的像素中的至 少一个。
[0087] 帧内预测方法可以在根据帧内预测模式将模式依赖帧内平滑(MDIS)滤波器应用 于参考像素之后生成预测块。应用于参考像素的MDIS滤波器的类型可以不同。MDIS滤波器 是应用于通过执行帧内预测而生成的经帧内预测的块的附加滤波器，并且可以用于减小在 参考像素与在执行预测后生成的经帧内预测的块之间的残差。当执行MDIS滤波时，可以根 据帧内预测模式的方向来对参考像素以及对包括在经帧内预测的块中的一些列执行不同 的滤波。
[0088] 帧间预测单元122和127中的每个可以通过参考与以下的块有关的信息来执行预 测:所述块被包括于在当前图片之前的图片和在当前图片之后的图片中的至少一个中。帧 间预测单元122和127中的每个可以包括参考图片插值单元、运动预测单元和运动补偿单 J L· 〇
[0089] 参考图片插值单元可以从存储器195或196接收参考图片信息，并且可以生成与来 自参考图片的小于整数像素的像素有关的信息。对于亮度像素，可以使用基于离散余弦变 换(DCT-based)的8抽头的插值滤波器，其不同地设置滤波器系数以生成与以1/4像素为单 位的小于整数像素的像素有关的信息。对于色度信号，可以使用基于离散余弦变换的4抽头 的插值滤波器，其不同地设置滤波器系数以生成与以1/8像素为单位的小于整数像素的像 素有关的信息。
[0090] 帧间预测单元122和127中的每个可以基于通过参考图片插值单元进行插值的参 考图片来执行运动预测。作为用于计算运动矢量的方法，可以使用各种方法如基于全搜索 的块匹配算法(FBMA)、三步搜索(TSS)算法和新三步搜索(NTS)算法。运动矢量可以具有对 应于插值的像素的1/2或1/4的运动矢量值。帧间预测单元122和127中的每个可以使用各种 帧间预测方法中的任何一个来对当前块执行预测。
[0091] 作为帧间预测方法，可以使用如以下各种方法中的任何方法：跳过法（skip method)、合并法和运动矢量预测(MVP)法。
[0092] 在帧间预测中，运动信息（即与参考索引、运动矢量和残差信号有关的信息）被进 行熵编码并且然后被传输至解码单元。当应用跳过模式时，不生成残差信号，并且因此可以 省略用于变换和量化残差信号的处理。
[0093] 层间预测单元123执行层间预测，以使用与下层有关的信息来对上层进行预测。层 间预测单元123可以使用下层的纹理信息、运动信息等来执行层间预测。
[0094] 可以通过将下层的图片设置为参考图片并且使用下层（参考层）的图片中的运动 信息对上层的当前块执行预测来执行层间预测。在层间预测中被用作参考图片的参考层的 图片可以是经采样以匹配当前层的分辨率的图片。另外，运动信息可以包括运动矢量和参 考索引。在这种情况下，针对参考层的图片的运动矢量值可以被设置为(〇,〇)。
[0095] 作为层间预测的示例，描述了使用下层的图片作为参考图片的预测方法，但是本 发明并不限于此。层间预测单元123可以另外地执行层间纹理预测、层间运动预测、层间语 法预测、层间残差预测等。
[0096]层间纹理预测可以基于参考层的纹理来得出当前层的纹理。可以对参考层的纹理 进行采样以匹配当前层的分辨率，并且层间预测单元123可以基于经采样的参考层的纹理 来预测当前层的纹理。
[0097]层间运动预测可以基于参考层的运动矢量来得出当前层的运动矢量。在这种情况 下，参考层的运动矢量可以被缩放以匹配当前层的分辨率。层间语法预测可以基于参考层 的语法来预测当前层的语法。例如，层间预测单元123可以使用参考层的语法作为当前层的 语法。此外，层间残差预测可以使用在恢复的参考层的图片与恢复的当前层的图片之间的 残差来重构当前层的图片。
[0098]生成包括残差信息（该残差信息是在由预测单元120和125中的每个生成的预测块 与预测块的重构的块之间的差异)的残差块，并且该残差块被输入到相应的变换单元130或 131〇
[0099]变换单元130和131中的每个可以使用变换方法如离散余弦变换(DCT)或离散正弦 变换(DST)来对残差块进行变换。可以基于用于生成残差块的预测块的帧内预测模式信息 以及预测块的大小信息来确定是应用DCT还是DST对残差块进行变换。亦即，变换单元130和 131中的每个可以取决于预测块的大小和预测方法而使用不同的变换方法。
[0100] 量化单元140和141中的每个可以对由相应的变换单元130和131在频域中变换的 值进行量化。量化系数可以取决于块的类型或图片的重要性而变化。由量化单元140或141 计算的值可以被提供至解量化单元170或17以及重新布置单元150或151。
[0101] 重新布置单元150和151中的每个可以重新布置经量化的残差值的系数值。重新布 置单元150或151可以使用系数扫描方法将2D块格式系数变成1D矢量格式系数。例如，重新 布置单元150或151可以使用锯齿扫描法在从DC系数到高频带的系数的范围内扫描系数，以 将2D块格式系数变成1D矢量格式系数。可以取决于变换块的大小和帧内预测模式来使用垂 直扫描法和水平扫描法而不是锯齿扫描法，其中，垂直扫描法沿列方向扫描2D块格式系数， 水平扫描法沿行方向扫描2D块格式系数。亦即，可以取决于变换块的大小和帧内预测模式 来确定使用锯齿扫描法、垂直扫描法和水平扫描法中的哪一种方法。
[0102] 熵编码单元160和161中的每个可以基于由重新布置单元150或151计算的值来执 行熵编码。例如，熵编码可以使用各种编码方法如指数哥伦布编码、上下文自适应可变长度 编码(CAVLC)和上下文自适应二进制算术编码(CABAC)来实现。
[0103] 熵编码单元160和161可以通过接收来自重新布置单元150和151以及预测单元120 和125的各种信息而基于预定的编码方法来执行熵编码，其中，所述各种信息如:编码块的 残差系数信息和块类型信息、预测模式信息、划分单元信息、预测块信息和传输单元信息、 运动矢量信息、参考帧信息、块的插值信息以及滤波信息等。此外，熵编码单元160和161可 以对从重新布置单元150和151输入的编码单元的系数值进行熵编码。
[0104] 熵编码单元160和161中的每个可以通过对帧内预测模式信息进行二进制编码来 对当前块的帧内预测模式信息进行编码。熵编码单元160和161可以包括用于二进制编码的 码字映射单元，并