为第二部件，并且类似地，第二 部件可以被称为第一部件。
[0053] 此外，本发明的实施方式中描述的部件模块被独立地示出以指示不同的特性功 能，并且其并不意指部件模块中的每个部件模块均由一个分离的硬件或一个软件形成。也 就是说，部件模块出于便于描述的目的而被布置和被包括，并且部件部分中的至少两个可 以形成一个部件部分或者一个部件可以被分成多个部件部分，并且多个部件部分可以执行 功能。部件被集成的实施方式或一些部件被分离的实施方式被包括在本发明的范围中，除 非其背离本发明的本质。
[0054] 此外，在本发明中，一些部件不是用于执行基本功能的基本部件，但是可以是仅用 于提高性能的可选部件。本发明可以使用除仅用于提高性能的部件之外的仅用于实现本发 明的本质的基本部件来实现，仅包括除仅用于提高性能的可选部件之外的基本部件的结构 包括在本发明的范围中。
[0055] 可伸缩视频编码指的是对支持比特流中的多个层的视频进行编码和解码。由于多 个层之间存在强关联，所以当通过使用这样的关联来执行预测时，可以去除数据复制元件 并且可以提高图像编码性能。在下文中，通过使用另一层的信息来预测当前层将被表示为 层间预测。
[0056] 多个层可以具有不同分辨率，并且该分辨率可以意指空间分辨率、时间分辨率和 图像品质中的至少一者。在层间预测时，可以执行对层的重采样例如上采样或下采样以便 调整分辨率。
[0057] 图1是根据本发明的实施方式的编码装置的示意性框图。
[0058] 根据本发明的编码装置100包括针对上层的编码部100a和针对下层的编码部 100b〇
[0059] 上层可以被表示为当前层或增强层，并且下层可以被表示为与上层、基本层或参 考层相比具有较低分辨率的增强层。上层和下层可以在以下方面中的至少一个方面不同： 空间分辨率、取决于帧速率的时间分辨率以及取决于颜色格式或量化大小的图像品质。当 层间预测需要分辨率改变时，可以对层执行上采样或下采样。
[0060] 上层的编码部100a可以包括划分部110、预测部120、变换部130、量化部140、重 排部150、熵编码部160、解量化部170、逆变换部180、滤波器部190和存储器195。
[0061] 下层的编码部100b可以包括划分部111、预测部125、变换部131、量化部141、重 排部151、熵编码部161、解量化部171、逆变换部181、滤波器部191以及存储器196。
[0062] 可以通过本发明的以下实施方式中描述的图像编码方法来实现编码部，但可以不 执行其一部分的操作以便降低编码装置的复杂度或用于快速实时编码。例如，针对在预测 部中执行帧内预测的实时编码，不使用从所有的帧内预测模式方法中选择最佳帧内编码方 法的方法，而是可以使用下述方法：使用有限数目的帧内预测模式中的一些帧内预测模式 并且从中选择一个帧内预测模式作为最终帧内预测模式。作为另一示例，可以有限度地使 用用于执行帧间预测或帧内预测的预测块类型。
[0063] 在编码装置中处理的块单元可以是执行编码的编码单元、执行预测的预测单元或 执行变换的变换单元。编码单元可以被称为CU，预测单元可以被称为PU并且变换单元可以 被称为TU。
[0064] 划分部110和划分部111可以根据预定准则（例如成本函数）将分层图像划分成 多个编码块、预测块和变换块的组合并且选择编码块、预测块和变换块中的一个。例如，为 了在分层图像中划分编码单元，可以使用诸如四叉树结构的递归树结构。在下文中，编码块 还可以用于意指对其执行解码的块和对其执行编码的块。
[0065] 预测块可以是对其执行诸如帧内预测或帧间预测的预测的单元。对其执行帧内预 测的块可以是诸如2NX2N或NXN的方形类型块。对于对其执行帧间预测的块，存在使用 诸如2NX2N或NXN的方形类型或诸如2NXN或NX2N的矩形类型或诸如不对称运动分割 的不对称类型的预测块划分方法。根据预测块类型，在变换部115中用于执行变换的方法 可以变化。
[0066] 编码部100a和100b的预测部120和125可以包括用于执行帧内预测的帧内预测 部121和126以及用于执行帧间预测的帧间预测部122和127。上层编码部110a的预测部 120还可以包括用于通过使用下层的信息来对上层执行预测的层间预测部123。
[0067] 预测部120和125可以确定是对预测块执行帧间预测还是帧内预测。在执行帧内 预测时，以预测块为单位确定帧内预测模式，并且可以基于所确定的帧内预测模式来以变 换块为单位执行帧内预测处理。可以将所生成的预测块与原始块之间的残差值（残差块） 输入至变换部130和131。另外，可以在熵编码部130中对用于预测的预测模式信息和运动 信息等进行编码并且将其递送至解码装置。
[0068] 在使用脉冲编码调制（PCM)编码模式的情况下，不通过预测部120和125来执行 预测，原始块在不改变的情况下被编码并被递送至编码部。
[0069] 帧内预测部121和126可以基于存在于当前块（即预测目标块）周围的参考像素 来生成帧内预测块。在帧内预测方法中，帧内预测模式可以包括用于根据预测方向来使用 参考像素的方向预测模式和不考虑预测方向的非方向预测模式。用于预测亮度信息的模式 和用于预测色度信息的模式可以不同。可以使用预测亮度信息以便预测色度信息的帧内预 测模式或所预测的亮度信息。如果参考像素不可用，则可以用其他像素来替换参考像素并 且可以通过这样来生成预测块。
[0070] 预测块可以包括多个变换块。在帧内预测时，当预测块和变换块的大小相同时，可 以基于预测块中的左侧像素、左上侧像素、上侧像素来对预测块执行帧内预测。然而，在帧 内预测时，当预测块和变换块的大小不同时，多个变换块被包括在预测块内，使用与变换块 邻近的周边像素作为参考像素以执行帧内预测。此处，与变换块邻近的周边像素可以包括 与预测块邻近的周边像素和预测块中的已解码像素中的至少一个。
[0071] 帧内预测方法根据帧内预测模式将依赖于模式的帧内平滑（MDIS)滤波器应用于 参考像素并且生成预测块。应用于参考像素的MDIS滤波器的类型可以不同。作为应用于 通过执行帧内预测而获得的帧内预测块的附加滤波器，MDIS滤波器可以用于减小存在于参 考像素与执行预测之后所生成的帧内预测块之间的残差。在MDIS滤波中，根据帧内预测模 式的方向性，针对参考像素的滤波和针对包括在帧内预测块中的一些列的滤波可以不同。
[0072] 帧间预测部122和127可以参照关于包括在当前图片的先前图片或后续图片中至 少一个中的块的信息来执行预测。帧间预测部122和127可以包括参考图片插值部、运动 预测部和运动补偿部。
[0073] 参考图片插值部可以从存储器195和196接收参考图片信息并且在参考像素中生 成等于或小于整数像素的像素信息。对于亮度像素，为了以1/4像素为单位生成等于或小 于整数像素的像素信息，可以使用具有不同滤波器系数的基于离散余弦变换（DCT)的8抽 头插值滤波器。对于色度像素，为了以1/8像素为单位生成等于或小于整数像素的像素信 息，可以使用具有不同滤波器系数的基于DCT的4抽头插值滤波器。
[0074] 帧间预测部122和127可以基于通过参考图片插值部插值的参考像素来执行运动 预测。对于用于计算运动矢量的方法，可以使用包括基于全搜索的块匹配算法（FBMA)、三 步搜索法（TSS)、新三步搜索算法（NTS)等的各种方法。基于插值像素，运动矢量可以具有 1/2像素单位或1/4像素单位的运动矢量值。帧间预测部122和127可以应用各种帧间预 测方法中的一种并且对当前块执行预测。
[0075] 作为帧间预测方法，可以使用各种方法，例如跳过方法、合并方法或用于使用运动 矢量预测器的方法。
[0076] 在帧间预测中，对运动信息即参考索引、运动矢量或残差信号等进行熵编码并且 将其递送至解码部。在应用跳过模式的情况下，由于不生成残差信息，可以省略用于残差信 号的变换处理和量化处理。
[0077] 层间预测部123执行层间预测以用于通过使用下层的信息来预测上层。层间预测 部123可以通过使用下层的纹理信息或运动信息等来执行层间预测。
[0078] 层间预测可以通过采用下层中的图片作为参考图片并且使用关于下层（即参考 层）的图片的运动信息来对上层的当前块执行预测。在层间预测中，可以针对当前层的分 辨率对用作参考图片的参考层的图片进行适当采样。另外，运动信息可以包括运动矢量和 参考索引。在这一点上，用于参考层图片的运动矢量值可以被设置成（〇,〇)。
[0079] 作为层间预测的示例，描述了用于使用下层中的图片作为参考图片的预测方法， 但不限于此。层间预测部123还可以执行层间纹理预测、层间运动预测、层间语法预测和层 间差异预测等。
[0080] 层间纹理预测可以基于参考层的纹理来得到当前层的纹理。可以针对当前层的分 辨率对参考层纹理进行适当采样，并且层间预测部123可以基于经采样的参考层纹理来预 测当前层纹理。
[0081] 层间运动预测可以基于参考层的运动矢量来得到当前层的运动矢量。在这一点 上，可以针对当前层的分辨率来适当地按比例调节参考层的运动矢量。在层间语法预测中， 可以基于参考层语法来预测当前层语法。例如，层间预测部123可以使用参考层语法作为 当前层语法。另外，在层间差异预测中，可以通过使用参考层的重构图像与当前层的重构图 像之间的差异来重构当前层的图片。
[0082] 生成包括残差信息的残差块并将残差块输入至变换部130和131，其中残差信息 是在预测部120和125中生成的预测块与其重构块之间的差值。
[0083] 变换部130和131可以通过诸如DCT (离散正弦变换）或DST (离散正弦变换）的 变换方法来对残差块进行变换。是应用DCT还是应用DST对残差块进行变换可以基于帧内 预测模式信息或关于预测块的大小信息来确定。换言之，在变换部130和131中，变化方法 可以根据预测块的大小和预测方法而变化。
[0084] 量化部140和141可以对通过变换部130和131而变换至频域的值进行量化。量 化系数可以根据块或图像的重要性而变化。可以将通过量化部140和1