基于自适应采样的分层运动估计方法和设备的制造方法
【技术领域】
[0001] -个或更多个示例性实施例设及对视频图像的运动估计，并且更具体地，设及对 缩小的图像执行的分层运动估计。
【背景技术】
[0002] 一般而言，诸如运动图像专家组(MPEG)-1、MPEG-2、MPEG-4视觉(Vi Siial)、H. 261、 H. 263和H. 264/MPEG-4先进视频编码(AVC)的图像压缩方法通过将帖划分成多个宏块，对宏 块执行预测，获得预测块，并且对原始图像块和预测块之间的差进行转换和量化来压缩图 像数据。
[0003] 存在两种类型的预测方法:帖内预测和帖间预测。帖内预测通过使用当前帖中存 在的周围块的数据对当前块执行预测。帖间预测执行基于块的运动预测，并从预先编码的 一个或更多个视频帖产生与当前块相应的预测块。
【发明内容】
[0004] 技术问题
[0005] 需要更加有效和精确地执行分层运动估计。
[0006] 解决方案
[0007] -个或更多个示例性实施例包括一种通过缩小图像来执行的分层运动估计方法。 具体地讲，当图像被缩小W便执行运动估计时，缩小的图像帖之间的相关性得到提高，因此 即使当缩小的图像被使用时运动预测效率也会得到提高。
[000引有益效果
[0009]根据W上示例性实施例中的一个或更多个示例性实施例，通过使用从原始图像帖 下采样的低分辨率图像帖来执行运动预测，并因此运动预测的复杂度降低。还通过使用在 帖之间具有高相关性的低分辨率图像帖来执行运动预测，并因此可提高运动预测的效率。 换句话说，根据一个或更多个示例性实施例，即使当通过使用具有比原始图像帖的分辨率 低的分辨率的图像帖执行运动预测时，运动预测的准确度仍会提高，从而提高运动预测的 效率。
【附图说明】
[0010]图1是根据示例性实施例的视频编码设备的框图；
[0011] 图2是根据示例性实施例的视频解码设备的框图；
[0012] 图3是用于描述根据示例性实施例的编码单元的概念的示图；
[0013] 图4是根据示例性实施例的基于编码单元的图像编码器的框图；
[0014] 图5是根据示例性实施例的基于编码单元的图像解码器的框图；
[0015] 图6是示出根据示例性实施例的根据深度的较深层编码单元W及分区的示图；
[0016] 图7是用于描述根据示例性实施例的编码单元和变换单元之间的关系的示图；
[0017] 图8是用于描述根据示例性实施例的与编码深度相应的编码单元的编码信息的示 图；
[0018] 图9是根据示例性实施例的根据深度的较深层编码单元的示图；
[0019] 图10至图12是用于描述根据示例性实施例的编码单元、预测单元和变换单元之间 的关系的示图。
[0020] 图13是用于描述根据表1的编码模式信息的编码单元、预测单元和变换单元之间 的关系的示图；
[0021 ]图14是根据示例性实施例的分层运动预测设备的框图；
[0022] 图15是用于解释根据示例性实施例的输入图像帖的下采样处理的参考示图；
[0023] 图16示出了根据示例性实施例的通过使用自适应下采样方法下采样的示例性帖；
[0024] 图17A和图17B示出了根据示例性实施例的示例性下采样的帖和将被下采样的帖；
[0025] 图18A和图18B示出了根据示例性实施例的通过使用相同的下采样方法下采样的 示例性帖；
[0026] 图19示出了根据另一示例性实施例的通过使用自适应下采样方法下采样的示例 性帖；
[0027] 图20是根据另一示例性实施例的分层运动预测设备的框图；
[0028] 图21是用于说明根据示例性实施例的通过图20的分层运动预测设备的运动矢量 调整器执行的精确调整运动矢量的处理的参考示图；
[0029] 图22是根据示例性实施例的分层运动预测方法的流程图。
[0030] 最佳实施方式
[0031] 根据一个或更多个示例性实施例，一种分层运动预测方法包括:将包括将被运动 预测的块的第一帖划分为第一像素组，并通过从划分出的第一像素组中的每一个中选择第 一位置的像素来产生将被运动预测的块的下采样的第一帖和下采样的块;将被编码然后重 建的第二帖划分为第二像素组W用于对下采样的块进行运动预测，并通过选择与从划分出 的第一像素组中的每一个的第一位置不同的第二位置的像素来产生下采样的第二帖;通过 参考下采样的第二帖对下采样的块执行运动预测，并获得下采样的块的运动矢量;基于第 一帖的下采样率扩展运动矢量。
[0032] 根据一个或更多个示例性实施例，一种分层运动预测设备包括：自适应下采样器， 被配置为将包括将被运动预测的块的第一帖划分为第一像素组，从划分出的第一像素组中 的每一个中选择第一位置的像素，产生将被运动预测的块的下采样的第一帖和下采样的 块，将被编码然后重建的第二帖划分为第二像素组W用于对下采样的块进行运动预测，并 且通过选择与划分出的第一像素组中的每一个的第一位置不同的第二位置的像素来产生 下采样的第二帖;运动预测执行器，被配置为通过参考下采样的第二帖对下采样的块执行 运动预测并获得下采样的块的运动矢量，并基于第一帖的下采样率扩展运动矢量。
[0033] 划分出的第一像素组中的每一个可包括左上方第一像素、右上方第二像素、左下 方第=像素和右下方第四像素彼此相邻的四个像素，其中，在产生下采样的第一帖的过程 中，第一位置的像素是从包括在第一帖的第一像素组中的所述四个像素中选择的，其中，在 产生下采样的第二帖的过程中，与第一位置不同的第二位置的像素是从包括在第二帖的第 二像素组中的所述四个像素中选择的。
[0034] 第一位置和第二位置可基于在第一帖和第二帖被编码之前被编码的先前帖的运 动矢量来确定。
[0035] 第一位置和第二位置可根据W下项之一来确定:包括在先前帖中的块的运动矢量 的平均值W及先前帖的全局运动矢量的水平轴方向分量和垂直轴方向分量是否具有奇数 值。
[0036] 如果所述水平轴方向分量具有奇数值，则第二位置可W是从划分出的第一像素组 中的每一个中所包括的像素中处于第一位置的像素沿水平方向移动一个像素后的位置。
[0037] 如果所述垂直轴方向分量具有奇数值，则第二位置可W是从划分出的第一像素组 中的每一个中所包括的像素中处于第一位置的像素沿垂直方向移动一个像素后的位置。 [003引扩展运动矢量的步骤可包括：当划分出的像素组中的每一个在水平方向上包括m 个像素（其中，m是整数)并在垂直方向上包括n个像素（其中，n是整数)时，将获得的运动矢 量的水平轴分量扩展m倍并将获得的运动矢量的垂直轴分量扩展n倍。
[0039] 所述分层运动预测方法还可包括:通过在与扩展后的运动矢量所指示的第二帖的 区域相应的捜索范围内确定与将被运动预测的块最相似的相应块来调整扩展后的运动矢 量。
[0040] 划分第一帖的操作可包括:不对称地划分和进行对称地划分中的一种。
[0041] 用于对第一帖进行下采样的处理可与用于对第二帖进行下采样的处理不同。
[0042] 第二帖可在第一帖被编码之前被划分。
[0043] -种非暂时性计算机可读记录介质可记录有用于执行上述方法的计算机程序。
【具体实施方式】
[0044] 现在将详细参考实施例，其示例在附图中示出，其中，相同的参考标号始终指代相 同的元件。在运方面，本示例性实施例可具有不同的形式，并且不应被解释为限于在此阐述 的描述。因此，示例性实施例通过参照附图在下面仅被描述用于解释本描述的各方面。当诸 如"…中的至少一个"的表述位于一列元素后时，修饰整列元素，而不修饰列表中的单个元 素。
[0045] 将参照图1至图13描述根据示例性实施例的基于分层数据单元的视频编码和视频 解码。此外，将参照图14至图22描述根据示例性实施例的通过使用统一的语法呈现并行处 理类型的视频编码方法和设备W及视频解码方法和设备。
[0046] 图1是根据示例性实施例的视频编码设备100的框图。
[0047] 视频编码设备100包括最大编码单元化CU)划分器110、编码单元确定器120和输出 器 130。
[004引LCU划分器110可基于图像的当前画面的LCU来划分当前画面，其中，LCU是具有最 大尺寸的编码单元。如果当前画面大于LCU，则可将当前画面的图像数据划分为至少一个 LCU。根据示例性实施例的LCU可W是尺寸为32 X 32、64 X 64、128 X 128、256 X 256等的数据 单元，其中，数据单元的形状是大于8X8并且宽度和长度为2的倍数的正方形。图像数据可 根据至少一个LCU被输出至编码单元确定器120。
[0049]根据示例性实施例的编码单元可由最大尺寸和深度表征。深度表示编码单元从 LCU被空间划分的次数，并且随着深度加深，根据深度的较深层编码单元可从LCU被划分到 最小编码单元(SCU) dLCU的深度为最高深度，SCU的深度为最低深度。由于随着LCU的深度加 深，与每个深度相应的编码单元的尺寸减小，因此与更高深度相应的编码单元可包括多个 与更低深度相应的编码单元。
[0050] 如上所述，当前画面的图像数据根据编码单元的最大尺寸被划分为LCU，并且每个 LCU可包括根据深度被划分的较深层编码单元。由于根据深度对根据实施例的LCU进行划 分，因此可根据深度对包括在LCU中的空间域的图像数据进行分层分类。
[0051] 可预先确定编码单元的最大深度和最大尺寸，其中，所述最大深度和最大尺寸限 审化CU的高度和宽度被分层划分的总次数。
[0052] 编码单元确定器120对通过根据深度对LCU的区域进行划分而获得的至少一个划 分区域进行编码，并且根据所述至少一个划分区域来确定用于输出最终编码的图像数据的 深度。换言之，编码单元确定器120通过根据当前画面的LCUW根据深度的较深层编码单元 对图像数据进行编码，并选择具有最小编码误差的深度，来确定编码深度。将确定的编码深 度和根据确定的编码深度的编码的图像数据输出到输出器130。
[0053] 基于与等于或小于最大深度的至少一个深度相应的较深层编码单元，对LCU中的 图像数据进行编码，并且基于每个较深层编码单元比较对图像数据进行编码的结果。在对 较深层编码单元的编码误差进行比较之后，可选择具有最小编码误差的深度。可针对每个 LCU选择至少一个编码深度。
[0054] 随着编码单元根据深度而被分层地划分W及随着编码单元的数量增加，LCU的尺 寸被划分。另外，即使在一个LCU中编码单元与同一深度相应，仍通过分别测量每个编码单 元的图像数据的编码误差来确定是否将与同一深度相应的每个编码单元划分到更低深度。 因此，即使当图像数据被包括在一个LCU中时，编码误差仍可根据所述一个LCU中的区域而 不同，因此编码深度可根据图像数据中的区域而不同。因此，可在一个LCU中确定一个或更 多个编码深度，并且可根据至少一个编码深度的编码单元来对LCU的图像数据进行划分。
[0055] 因此，编码单元确定器120可确定包括在LCU中的具有树结构的编码单元。根据示 例性实施例的"具有树结构的编码单元"包括LCU中包括的所有较深层编码单元中的与确定 为编码深度的深度相应的编码单元。可根据LCU的同一区域中的深度来分层地确定编码深 度的编码单元，并可在不同区域中独立地确定编码深度的编码单元。类似地，可独立于另一 区域中的编码深度来确定当前区域中的编码深度。
[0056] 根据示例性实施例的最大深度是与从LCU到SCU的划分次数有关的索引。根据示例 性实施例的第一最大深度可表示从LCU到SCU的总划分次数。根据示例性实施例的第二最大 深度可表示从LOJ到SCU的深度等级的总数。例如，当LCU的深度是0时，对LCU划分一次的编 码单元的深度可被设置为1，对LCU划分两次的编码单元的深度可被设置为2。运里，如果SCU 是LCU被划分四次的编码单元，则存在深度0、1、2、3和4的5个深度等级，并因此第一最大深 度可被设置为4，第二最大深度可被设置为5。
[0057] 可根据LCU执行预测编码和变换。还根据LCU，基于根据等于最大深度的深度或小 于最大深度的深度的较深层编码单元来执行预测编码和变换。
[0058] 由于每当根据深度对LCU进行划分时，较深层编码单元的数量增加，因此对随着深 度加深而产生的所有较深层编码单元执行包括预测编码和变换的编码。为了便于描述，在 LCU中，现在将基于当前深度的编码单元来描述预测编码和变换。
[0059] 视频编码设备100可不同地选择用于对图像数据进行编码的数据单元的尺寸或形 状。为了对图像数据进行编码，