使用高速边缘检测的视频编码方法和装置以及相关视频解码方法和装置制造方法

使用高速边缘检测的视频编码方法和装置以及相关视频解码方法和装置制造方法
【专利摘要】公开了一种使用用于确定画面的划分形状的快速边缘检测的视频编码方法和设备。具有树结构的编码单元的划分形状通过以下处理而被获得：基于通过对具有预定尺寸的采样单元进行的正交变换而获得的最大高频分量，用边缘像素和正常像素中的一种像素来替换所述采样单元并获得下采样的画面，并且重复执行将下采样的画面划分为编码单元并根据在编码单元中是否存在边缘像素来将编码单元划分为更低编码单元的处理。
【专利说明】使用高速边缘检测的视频编码方法和装置以及相关视频解 码方法和装置

【技术领域】
[0001] 本发明涉及视频编码和解码，更具体地讲，涉及用于通过对视频预先进行的预处 理确定画面的划分形状并基于所确定的画面的划分形状来对视频进行编码和解码的方法 和设备。

【背景技术】
[0002] 由于能够再现和存储高分辨率或高质量视频内容的硬件已被开发出并被出售，因 此对于能够对高分辨率或高质量视频内容进行有效编码或解码的视频编解码器的需求已 增加。现有的视频编解码器根据基于具有预定尺寸的宏块的有限编码方法对视频进行编 码。此外，现有的视频编解码器通过对宏块进行光栅扫描来对视频数据进行编码/解码。


【发明内容】

[0003] 技术问题
[0004] 本发明提供了通过对画面执行的预处理使用具有树结构的编码单元预先确定输 入画面的划分形状，而不是通过率失真最优化来确定画面的具有可变尺寸的编码单元。
[0005] 技术方案
[0006] 根据本发明的实施例，使用正交变换来产生包括正常像素和边缘像素的下采样的 画面，并且基于在下采样的画面中分布的边缘像素来将画面划分为具有树结构的编码单 J Li 〇
[0007] 有益效果
[0008] 根据本发明的实施例，输入画面的划分结构可在无需用于确定可变编码单元的尺 寸和结构的重复操作处理的情况下而被确定，从而根据本发明的实施例，降低了执行确定 画面的划分结构的处理所花费的运算量，并且提高了图像的编码处理速度。

【专利附图】

【附图说明】
[0009] 图1是根据本发明的实施例的视频编码设备的框图；
[0010] 图2A是根据本发明的实施例的对采样单元执行的正交变换处理的示例的示图；
[0011] 图2B是根据本发明的另一实施例的对当前画面和先前画面的用于下采样的采样 单元进行的正交变换处理的示例的示图；
[0012] 图3A是根据本发明的实施例的用于解释从下采样的画面确定编码单元的划分形 状的处理的参考示图；
[0013] 图3B是根据本发明的实施例的基于下采样的画面的最大编码单元的划分形状来 确定原始画面的最大编码单元的划分形状的示例的示图；
[0014] 图4示出根据本发明的实施例的画面划分处理的示例；
[0015] 图5是根据本发明的实施例的与图1的图像编码器相应的图像编码设备的框图；
[0016] 图6是示出根据本发明的实施例的根据深度的较深层编码单元和分区的示图； [0017] 图7是用于描述根据本发明的实施例的编码单元和变换单元之间的关系的示图； [0018] 图8是用于描述根据本发明的实施例的与编码深度相应的编码单元的编码信息 的示图；
[0019] 图9是根据本发明的实施例的根据深度的较深层编码单元的示图；
[0020] 图10至图12是用于描述根据本发明的实施例的编码单元、预测单元和变换单元 之间的关系的示图；
[0021] 图13是示出根据本发明的实施例的视频编码方法的流程图；
[0022] 图14是根据本发明的实施例的视频解码设备的框图；
[0023] 图15是根据本发明的实施例的与图14的图像解码器相应的视频解码设备的框 图；
[0024] 图16是示出根据本发明的实施例的视频解码方法的流程图。
[0025] 最佳模式
[0026] 根据本发明的一方面，提供了一种视频编码方法，包括：从画面获得具有预定尺寸 的采样单元；对每个采样单元执行正交变换并将每个采样单元变换为正交分量和高频分 量；通过基于高频分量用边缘像素和正常像素之一替换每个采样单元来对画面执行下采 样；将下采样的画面划分为具有预定尺寸的编码单元；通过重复执行根据边缘像素是否被 包括在编码单元中来将编码单元划分为更低编码单元的处理，确定编码单元的划分形状； 基于包括在下采样的画面中的编码单元的划分形状来将画面划分为具有树结构的编码单 元，并基于所划分的具有树结构的编码单元来对画面进行编码。
[0027] 根据本发明的另一方面，提供了一种视频编码设备，包括：正交变换器，用于从画 面获得具有预定尺寸的采样单元，对每个采样单元执行正交变换并将每个采样单元变换为 正交分量和高频分量；下采样器，用于通过基于高频分量用边缘像素和正常像素之一替换 每个采样单元来对画面执行下采样；划分形状确定器，用于将下采样的画面划分为具有预 定尺寸的编码单元，并通过重复执行根据边缘像素是否被包括在编码单元中来将编码单元 划分为更低编码单元的处理，确定编码单元的划分形状；图像编码器，用于基于包括在下采 样的画面中的编码单元的划分形状来将画面划分为具有树结构的编码单元，并基于所划分 的具有树结构的编码单元来对画面进行编码。
[0028] 根据本发明的另一方面，提供了一种视频解码方法，包括：接收并解析关于编码的 视频的比特流；从比特流提取编码单元的尺寸、关于编码单元的划分形状的信息和预测模 式信息，其中，编码单元是用于对视频的画面进行解码的数据单元；基于编码单元的尺寸和 划分形状，将编码单元划分为具有树结构的编码单元，并根据具有树结构的编码单元的预 测模式来对画面执行预测解码，其中，具有树结构的编码单元的划分形状通过以下处理来 获得：基于通过对具有预定尺寸的采样单元进行正交变换而获得的最大高频分量，用边缘 像素和正常像素之一替换所述采样单元并获得下采样的画面，并且重复执行将下采样的画 面划分为编码单元并根据在编码单元中是否存在边缘像素来将编码单元划分为更低编码 单元的处理。
[0029] 根据本发明的另一方面，提供了一种视频解码设备，包括：接收器，用于接收并解 析关于编码的视频的比特流；提取器，用于从比特流提取编码单元的尺寸、关于编码单元的 划分形状的信息和预测模式信息，其中，所述编码单元是用于对视频的画面进行解码的数 据单元；图像解码器，用于基于编码单元的尺寸和划分形状，将编码单元划分为具有树结构 的编码单元，并根据具有树结构的编码单元的预测模式来对画面执行预测解码，其中，具有 树结构的编码单元的划分形状通过以下处理来获得：基于通过对具有预定尺寸的采样单元 进行正交变换而获得的最大高频分量，用边缘像素和正常像素之一替换所述采样单元并获 得下采样的画面，并且重复执行将下采样的画面划分为编码单元并根据在编码单元中是否 存在边缘像素来将编码单元划分为更低编码单元的处理。

【具体实施方式】
[0030] 现在将参照以下附图详细描述本发明的实施例。
[0031] 大多数视频编码设备使用运动预测和补偿方法来去除时间方向的冗余。使用运动 矢量的图像压缩被用于通过发送运动矢量而非发送当前图像来实现高压缩能力。实际图像 可包括多个可具有各种运动的对象。因此，将图像划分为块并且搜索并发送划分的块的运 动矢量的基于块的运动预测和补偿方法被广泛使用。基于块的运动预测和补偿方法将输入 图像划分为块单元，并将每个块的运动表现为2D运动矢量并对所述运动进行补偿。诸如 H. 264/AVC的传统编解码器将图像划分为具有从16 X 16至4 X 4的可变尺寸的块，并执行运 动补偿。基于具有可变尺寸的块的运动补偿良好地反映出图像的特性，从而提高编码效率， 同时需要高复杂度。
[0032] H. 264/AVC帧内预测将图像划分为具有16 X 16、8 X 8、4 X 4等的各种尺寸的块， 并通过使用周边的参考像素来执行预测。H.264/AVC帧间预测将图像划分为具有16X16、 16X8、8X16、8X8、8X4、4X8、4X4等的各种尺寸的块，并通过使用先前编码的参考图 像来执行预测和补偿。为了在帧间模式和帧内模式之间选择具有最高编码效率的模式， H. 264/AVC使用基于拉格朗日函数的代价函数。作为示例,率失真函数被用作代价函数。
[0033] 在H. 264/AVC中，基本编码单元的尺寸是尺寸为16 X 16的宏块，所述宏块对于用 于高质量视频（诸如超高清晰度（UHD))而言过小，并且因而并不合适。因此，由移动图像 专家组（MPEG)和视频编码专家组（VCEG)共同建立的关于视频编码的联合协作组（JCT-VC) 正针对比传统视频编解码器更有效的标准化技术开发，进行作为高效视频编码（HEVC)的 视频编解码器的标准化。
[0034] 与传统的H. 264/AVC类似，HEVC使用矩形形状的块作为基本编码单元。HEVC不限 于传统的16X16的宏块，并可通过使用尺寸为32X32、64X64等的块来对图像进行编码。 为了在不限制尺寸的情况下对编码单元的尺寸进行可变调整。使用指示最大编码单元的划 分次数的深度以及最大编码单元。最大编码单元被称为编码树块。最大编码单元可通过 彼此重叠而不被编码。包括在单个最大编码单元中的编码单元被划分为树结构并被编码。 HEVC还基于率失真函数来确定最大编码单元的划分形状和预测模式。
[0035] 如上所述，视频编解码器大多将图像划分为具有预定尺寸的块，并确定率失真被 最优化的块的划分形状和预测模式。尽管用于运动预测和补偿的块的尺寸越小，更准确的 预测越可能，但针对每个块而将被编码的运动矢量的信息量增加，因此编码效率恶化。为了 确定率失真被最优化的块的划分形状，针对所有可用的可变块尺寸对图像进行编码并比较 根据可变块尺寸的率失真的处理是必要的，因此需要极大量的运算来确定图像的最优划分 形状。具体地讲，当具有非常大尺寸的编码单元（诸如HEVC)和诸如4X4的小编码单元可 用时，用于计算率失真的运算量极大地增加。
[0036] 因此，本发明提供了一种通过图像编码的预处理来确定图像的划分形状，而不是 通过计算根据图像的划分形状的率失真以确定图像的划分形状的方法。
[0037] 图IA是根据本发明的实施例的图像编码设备10的框图。
[0038] 参照图1A，视频编码设备10包括预处理器11、图像编码器12和输出单元13。
[0039] 预处理器11基于作为具有最大尺寸的编码单元的最大编码单元来划分画面，并 确定最大编码单元的划分形状。具体地讲，预处理器11不通过使用率失真最优化方法来确 定最大编码单元的划分形状，而是按预定采样单元对画面执行正交变换，通过用正常像素 或边缘像素替换采样单元来对画面执行下采样，根据下采样的画面中的边缘像素的位置来 将最大编码单元划分为更小的更低编码单元，并确定下采样的画面的划分形状。稍后将更 详细地描述预处理器11的确定画面的划分形状的处理。
[0040] 图像编码器12基于预处理器11确定的最大编码单元的划分形状，对包括在最大 编码单元中的编码单元执行预测编码。图像编码器12可按照预测单元对预处理器11确定 的编码单元执行编码，或者可通过再次将编码单元划分为用于预测的较小分区，对预处理 器11确定的编码单元执行预测编码。稍后将参照图5描述图像编码器12的操作。
[0041] 输出单元13将以下信息输出到比特流形状中：关于由预处理器11确定的最大编 码单元的划分形状和由图像编码器12确定的最大编码单元的编码图像数据的信息、以及 诸如编码模式的编码信息。关于最大编码单元的划分形状的信息可以是根据深度的指示是 否划分编码单元的划分标记信息。输出单元13可将关于根据画面、条带或画面组（GOP)而 定义的尺寸和可变深度的编码单元结构信息添加到比特流。
[0042] 根据实施例的可变深度可指示对于当前树结构的编码单元而可允许的最大深度、 以及具有最小尺寸的编码单元的最低深度、深度级别的数量或深度的改变量。
[0043] 根据实施例的深度级别的数量可指示可在当前树结构的编码单元中存在的根据 深度的编码单元的深度级别的数量。根据实施例的可在当前树结构的编码单元中存在的深 度的改变量可指示深度级别的可变频率次数。
[0044] 可针对每个序列、画面、条带或GOP来设置根据实施例的关于可变长度的信息。也 就是说，对于每个序列、画面、条带或G0P，关于当前树结构的编码单元中可允许的编码单元 的最大尺寸和最小尺寸中的至少一个的信息和关于可变深度的信息可被设置。
[0045] 输出单元13输出的编码信息可被分类为根据深度的编码单元的编码信息和预测 单元的编码信息。根据深度的编码单元的编码信息可包括预测模式信息和分区尺寸信息。 针对每个预测单元而发送的编码信息可包括关于帧间模式的估计方向的信息、关于帧间模 式的参考图像索引的信息、关于运动矢量的信息、关于帧内模式的颜色分量的信息、关于帧 内模式的插值方法的信息等。输出单元13输出的编码信息可包括变换索引。根据实施例 的变换索引信息可以是关于用于对当前编码单元进行变换的变换单元的结构的信息。根据 实施例的变换索引信息可指示当前变换单元是否划分为更低深度的变换单元。
[0046] 输出单元13可将关于最大编码单元的划分形状的信息和关于编码模式的信息插 入到编码的视频数据（包括视频参数集（VPS)、序列参数集（SPS)、画面参数集（PPS)和自 适应参数集（APS)以及条带头）并输出所述信息。
[0047] 图IB是根据本发明的实施例的图IA的预处理器11的具体配置的框图。
[0048] 参照图1B，预处理器11包括正交变换器14、下采样器15和划分形状确定器16。
[0049] 正交变换器14从画面获得具有预定尺寸的采样单元，对每个采样单元执行正交 变换，并将每个采样单元变换为正交分量和高频分量。根据实施例的正交变换器14可使用 哈达玛（Hadamard)变换作为正交变换。哈达玛变换作为仅使用加法和减法的简单正交变 换而能够进行快速处理。在下面现在将描述在哈达玛变换被用作正交变换的情况，但不限 于此。可使用其他正交变换。
[0050] 下采样器15通过基于高频分量用边缘像素和正常像素之一替换每个采样单元来 对画面执行下采样。例如，当正交变换器14对尺寸为2X2的采样单元执行正交变换时， 下采样器15将包括在采样单元中的最大尺寸的高频分量与预定阈值进行比较，用单个正 常像素或边缘像素替换尺寸为2X2的采样单元，从而获得下采样的画面。如果原始画面 是NXM(N和M是整数），并且被正交变换的采样单元的尺寸是nXm(n和m是整数），则下 采样器15用一个正常像素或边缘像素替换尺寸为nXm的采样单元，从而获得尺寸为（N/ m) X (M/m)的下采样的画面。
[0051] 划分形状确定器16重复执行将下采样的画面划分为具有预定尺寸的编码单元 (例如，最大编码单元），并根据在最大编码单元中是否存在边缘像素来将最大编码单元划 分为更低编码单元的处理，从而确定最大编码单元的划分形状。
[0052] 如上所述，图IA的图像编码器12通过使用由划分形状确定器16确定的包括在下 采样的画面中的最大编码单元的划分形状，确定包括在相应当前画面的最大编码单元中的 具有树结构的编码单元的结构（即，最大编码单元的划分形状）。图像编码器12基于从最 大编码单元划分的编码单元来执行预测编码。
[0053] 图2A是根据本发明的实施例的对采样单元执行的正交变换处理的示例的示图。
[0054] 参照图IB和图2A，正交变换器14从将被编码的当前画面20获得具有预定尺寸 的采样单元21。图2A示出采样单元21的尺寸为2X2的情况。采样单元21的尺寸不限 于此并可被修改。正交变换器14对尺寸为2X2的采样单元21执行哈达玛变换。如果包 括在采样单元21中的输入信号是h0、hi、h2和h3,则正交变换器14通过诸如以下算法的 哈达玛变换公式来从输入信号h0、hi、h2和h3获得正交分量F (0, 0)和高频分量F (0, 1)、 F(1，0)和 F(l，1):
[0055] {
[0056] F(0,0) = (h0+hl+h2+h3)/2
[0057] F(0, I) = (h0+hl-h2-h3)/2
[0058] F (1,0) = (h〇-hl-h2+h3)/2
[0059] F (I, I) = (h〇-hl+h2-h3)/2
[0060] }
[0061] 下采样器15将经过哈达玛变换的分量22之中的高频分量F(0, I)、F(1，0)和 F(l，1)的最大值与预定阈值th进行比较。所述预定阈值th可使用基于量化参数QP而确 定的值。作为示例，所述预定阈值th可基于诸如QP*a (α是实数）的量化参数QP来确定。
[0062] 下采样器15将高频分量之中的最大值的绝对值与阈值th进行比较，如果所述绝 对值小于阈值th，则下采样器15用单个正常像素来替换采样单元21。如果所述绝对值等 于或大于所述阈值th，则下采样器15用单个边缘像素来替换采样单元21。被替换为正常 像素的采样单元21可能与很可能是平坦区域的区域相应。被替换为边缘像素的采样单元 21可包括边缘或多个运动，并且可以是为了准确的运动预测和补偿而划分的区域。
[0063] 图2B是根据本发明的另一实施例的分别对当前画面23和先前画面25的用于进 行下采样的采样单元24和26进行的正交变换处理的示例的示图。
[0064] 预处理器11可将从当前画面23的采样单元24获得的高频分量与从先前画面25 的采样单元26获得的高频分量进行比较，并用正常像素或边缘像素来替换当前画面23的 采样单元24。
[0065] 更详细地，正交变换器14对当前画面23的采样单元24执行哈达玛变换，并获得 高频分量。正交变换器14对先前画面25的采样单元26执行哈达玛变换，并获得高频分 量。当从当前画面的23的采样单元24获得的高频分量与从当前画面25的采样单元26获 得的高频分量之间的差的绝对值的最大值小于预定阈值th时，下采样器15用单个正常像 素来替换采样单元24,当所述最大值大于所述预定阈值th时，下采样器15用单个边缘像 素来替换采样单元24。也就是说，如果通过对当前画面23的采样单元24执行哈达玛变换 而获得的高频分量是F( U，v)t((U，v)是（0，1)，（1，0)和（1，1)之一），并且通过对当前画 面25的采样单元26执行哈达玛变换而获得的高频分量是F (u，V) t-Ι，则当满足了以下等式 丨…μ I 时，下采样器15用边缘像素替换当前画面23的采样 单元24,并且当满足以下等式（Η^Χ/() I <A时，下采样器15用正常像 素来替换当前画面23的采样单元24。
[0066] 预处理器11对包括在当前画面中的所有像素执行上述采样、正交变换和下采样。 因此，如上所述，如果原始画面是NXM(N和M是整数）并且被正交变换的采样单元的尺寸 是nXm(n和m是整数），则获得（N/m)x(M/m)的下采样的画面。在基于如上所述的尺寸为 2X2的采样单元的情况下，获得（N/2) X (M/2)的下采样的画面。下采样的画面是具有正常 像素和边缘像素两种类型的像素的二值编码的图像，并且被用于确定画面的划分形状。 [0067] 划分形状确定器16通过重复执行将下采样的画面划分为具有预定尺寸的编码单 元（例如，最大编码单元）并根据在最大编码单元中是否存在边缘像素来将最大编码单元 划分为更低编码单元的处理，确定最大编码单元的划分形状。
[0068] 图3A是根据本发明的实施例的用于解释从下采样的画面确定编码单元的划分形 状的处理的参考示图。图3A示出当假设下采样的画面划分为具有预定尺寸的编码单元（例 如，最大编码单元）时将单个最大编码单元划分为具有树结构的编码单元的处理。作为示 例，假设在下采样的画面中可用的最大编码单元的尺寸为32X32。
[0069] 参照图3A，假设在最大编码单元31中存在两个边缘像素 El和E2。只要在原始最 大编码单元31中存在边缘像素，划分形状确定器16就根据先前确定的划分形状划分最大 编码单元31。如果在相应的编码单元中存在边缘像素，则划分形状确定器16将划分的编 码单元划分为更小的更低编码单元。例如，由于在最大编码单元31中存在边缘像素 El和 E2,因此划分形状确定器16对最大编码单元31进行划分并确定第一划分形状32。划分形 状确定器16将包括在最大编码单元31中的更低的第一编码单元之中的包括边缘像素 El 的第一编码单元33和包括边缘像素 E2的第一编码单元34划分为4个编码单元，并确定第 二划分形状35。划分形状确定器16将包括在最大编码单元31中的更低的第二编码单元之 中的包括边缘像素 El的第二编码单元36和包括边缘像素 E2的第二编码单元37划分为4 个编码单元，并确定第三划分形状38。这样的根据是否存在边缘像素来划分编码单元的处 理可被重复执行，直到包括边缘像素的更低编码单元是最小编码单元为止。在图3A中，如 果最小编码单元的尺寸是4X4,则最大编码单元31的划分形状可被最终确定为第三划分 形状38。
[0070] 如果划分形状确定器16可基于边缘像素确定包括在下采样的画面中的最大编码 单元31的划分形状，则原始画面的最大编码单元的划分形状可基于所述确定而被确定。
[0071] 图3B是根据本发明的实施例的基于下采样的画面的最大编码单元310的划分形 状来确定原始画面的最大编码单元320的划分形状的示例的示图。
[0072] 参照图3B，如果包括在下采样的画面中的最大编码单元310的划分形状被确定， 则划分形状确定器16可按如上所述的相同方式来确定相应原始画面的最大编码单元320 的划分形状。如果下采样的画面的最大编码单元310的尺寸为nXm，并且相应原始画面的 最大编码单元320的尺寸为NXM，则下采样的画面的最大编码单元310的划分形状可沿水 平方向扩展（N/n)，并沿垂直方向扩展（M/m)。
[0073] 图4示出根据本发明的实施例的画面划分处理的示例。
[0074] 参照图4,正交变换器14对从原始画面41获得的采样单元执行正交变换，并且下 采样器15基于从采样单元获得的高频分量用正常像素或边缘像素来替换采样单元，从而 获得下采样的画面42。划分形状确定器16将下采样的画面43划分为具有最大尺寸的最 大编码单元，并根据预定扫描顺序（例如，光栅扫描顺序）确定每个最大编码单元的划分形 状。划分形状确定器16可通过重复执行基于包括在每个最大编码单元中的边缘像素将最 大编码单元划分为更低编码单元并将更低编码单元划分为更小的更低编码单元的处理，确 定每个最大编码单元的划分形状。将最大编码单元划分为更低编码单元的操作可被重复执 行，直到边缘像素被置于先前确定的最小编码单元中。如果在原始画面中可用的最小编码 单元是aX b (a和b是整数）并且采样单元的尺寸是η Xm，则在下采样的画面中可用的最小 编码单元是（a/n) X (b/m)。划分形状确定器16可重复执行上述划分处理，直到包括在下 采样的画面中的边缘像素被包括在尺寸为（a/n) X (b/m)的最小编码单元中为止。例如，当 在原始画面中可用的最小编码单元为4X4并且采样单元的尺寸是2X2时，划分形状确定 器16可重复执行上述划分处理，直到包括在下采样的画面中的边缘像素被包括在尺寸为 2X2的编码单元中为止。
[0075] 再次参照图1A，图像编码器12基于由预处理器11确定的最大编码单元的划分形 状来对包括在最大编码单元中的编码单元执行预测编码。图像编码器12可通过使用由预 处理器11确定的编码单元作为预测单元来执行编码，并可通过将由预处理器11确定的编 码单元划分为更小的用于进行预测的分区来执行预测编码。
[0076] 图5是根据本发明的实施例的与图1的编码器12相应的图像编码设备500的框 图。
[0077] 参照图5,帧内预测器510对当前帧505之中的划分的编码单元执行帧内预测，运 动估计器520和运动补偿器525对编码单元执行运动预测和运动补偿。
[0078] 从帧内预测器510和运动补偿器525输出的每个编码单元的预测值通过频率变换 器530和量化器540被输出为量化的变换系数。量化的变换系数通过反量化器560和频率 逆变换器570被恢复为空间域中的数据，并且恢复的空间域中的数据在通过去块单元570 和环路滤波单元580后处理之后被输出为参考帧595。量化的变换系数可通过熵编码器550 被输出为比特流555。
[0079] 帧内预测器510、运动估计器520和运动补偿器525可确定具有树结构的编码单元 之中的每个编码单元的分区和预测模式，频率变换器530可确定每个编码单元中的变换单 元的尺寸。
[0080] 图6是示出根据本发明的实施例的根据深度的较深层编码单元和分区的示图。
[0081] 根据实施例的视频编码设备10使用分层编码单元以考虑图像的特征。可根据图 像的特征自适应地确定编码单元的最大高度、最大宽度和最大深度，或可由用户不同地设 置编码单元的最大高度、最大宽度和最大深度。如上所述，根据实施例的视频编码设备10 可基于根据包括在下采样的画面中的边缘而确定的最大编码单元的划分形状，确定根据深 度的编码单元的尺寸和划分形状。
[0082] 在根据实施例的编码单元的分层结构600中，编码单元的最大高度和最大宽度均 是64,最大深度是3。在这一点上，最大深度指示从最大编码单元到最小编码单元的总划分 次数。由于沿着根据实施例的编码单元的分层结构600的垂直轴深度增加，因此较深层编 码单元的高度和宽度均被划分。另外，预测单元和分区沿着编码单元的分层结构600的水 平轴被示出，其中，所述预测单元和分区是对每个较深层编码单元进行预测编码的基础。
[0083] 换言之，在编码单元的分层结构600中，编码单元610是最大编码单元，其中，深度 为〇,尺寸（即，高度乘宽度）为64X64。深度沿着垂直轴增大，存在尺寸为32X32且深度 为1的编码单元620、尺寸为16X 16且深度为2的编码单元630以及尺寸为8X8且深度为 3的编码单元640。尺寸为8X8且深度为3的编码单元640是最小编码单元。
[0084] 编码单元的预测单元和分区根据每个深度沿着水平轴被排列。换言之，如果尺寸 为64 X 64且深度为0的编码单元610是预测单元，则可将预测单元划分成包括在编码单元 610中的分区，即，尺寸为64X64的分区610、尺寸为64X32的分区612或尺寸为32X64 的分区614。由于尺寸为64X64的编码单元610不是最小编码单元，因此尺寸为32X32的 分区616未被设置。
[0085] 类似地，可将尺寸为32X32且深度为1的编码单元620的预测单元划分成包括在 编码单元620中的分区，S卩，尺寸为32X32的分区620、尺寸为32X16的分区622和尺寸 为16X32的分区624。由于尺寸为32X32的编码单元620不是最小编码单元，因此尺寸为 16X 16的分区626未被设置。
[0086] 类似地，可将尺寸为16X16且深度为2的编码单元630的预测单元划分成包括 在编码单元630中的分区，S卩，包括在编码度单元630中的尺寸为16X16的分区、尺寸为 16X8的分区632和尺寸为8X 16的分区634。由于尺寸为16X16的编码单元630不是最 小编码单元，因此尺寸为8X8的分区636未被设置。
[0087] 最后,尺寸为8X48且深度为3的编码单元640是最小编码单元和最低深度的编 码单元。编码单元640的预测单元可被划分为包括在编码单元640中的分区，S卩，包括在编 码单元640中的尺寸为8X8的分区、尺寸为8X4的分区642、尺寸为4X8的分区644以及 尺寸为4X4的分区646。
[0088] 图7是用于解释根据本发明的实施例的编码单元710和变换单元720之间的关系 的示图。
[0089] 根据实施例的视频编码设备10针对每个最大编码单元，根据具有小于或等于最 大编码单元的尺寸的编码单元对图像进行编码。可基于不大于相应编码单元的数据单元， 选择用于在编码期间进行变换的变换单元的尺寸。
[0090] 例如，在根据实施例的视频编码设备10中，如果当前编码单元710的尺寸是 64X64,则可通过使用尺寸为32X32的变换单元720来执行变换。
[0091] 此外，可通过对小于64X64的尺寸为32X32、16X16、8X8和4X4的每个变换单 元执行变换，来对尺寸为64X64的编码单元710的数据进行编码，然后可选择具有最小编 码误差的变换单元。
[0092] 图8是用于描述根据本发明的实施例的与编码深度相应的编码单元的编码信息 的示图。
[0093] 根据实施例的视频编码设备10的输出单元13可对与编码深度相应的每个编码单 元的关于分区类型的信息800、关于预测模式的信息810以及关于变换单元尺寸的信息820 进行编码，并将信息800、信息810和信息820作为关于编码模式的信息来发送。
[0094] 关于分区类型的信息800指示关于通过划分当前编码单元的预测单元而获得 的分区的形状的信息，其中，所述分区是用于对当前编码单元进行预测编码的数据单元。 例如，可将尺寸为2NX2N的当前编码单元CU_0划分成以下分区中的任意一个：尺寸为 2NX2N的分区802、尺寸为2NXN的分区804、尺寸为NX2N的分区806以及尺寸为NXN 的分区808。在这一点上，关于当前编码单元的分区类型的信息800被设置为指示尺寸为 2NXN的分区804和尺寸为NX2N的分区806之一。然而，在尺寸为2NX2N的当前编码单 元CU_0是最小编码单元时，关于当前编码单元的分区类型的信息800可包括尺寸为NXN 的分区808。
[0095] 关于预测模式的信息810指示每个分区的预测模式。例如，关于预测模式的信息 810可指示对由信息800指示的分区执行的预测编码的模式，S卩，帧内模式812、帧间模式 814或跳过模式816。
[0096] 此外，关于变换单元的尺寸的信息820指示当对当前编码单元执行变换时所基于 的变换单元。例如，变换单元可以是第一帧内变换单元822、第二帧内变换单元824、第一帧 间变换单元826或第二帧内变换单元828。
[0097] 解码侧可根据每个较深层编码单元，提取并使用用于解码的关于分区类型的信息 800、关于预测模式的信息810和关于变换单元的尺寸的信息820。
[0098] 图9是根据本发明的实施例的根据深度的较深层编码单元的示图。
[0099] 划分信息可用来指示深度的改变。划分信息指示当前深度的编码单元是否被划分 成更低深度的编码单元。
[0100] 用于对深度为〇且尺寸为2N_0 X 2N_0的编码单元900进行预测编码的预测单元 910可包括以下分区类型的分区：尺寸为2N_0X2N_0的分区类型912、尺寸为2N_0XN_0的 分区类型914、尺寸为N_0X2N_0的分区类型916和尺寸为Ν_0ΧΝ_0的分区类型918。图9 仅示出了通过对称地划分预测单元910而获得的分区类型912至918,但是分区类型不限于 此，预测单元910的分区可包括非对称分区、具有预定形状的分区和具有几何形状的分区。 [0101] 根据每种分区类型，需对尺寸为2N_0X2N_0的一个分区、尺寸为2N_0XN_0的两 个分区、尺寸为N_0X2N_0的两个分区和尺寸为Ν_0ΧΝ_0的四个分区重复地执行预测编 码。可对尺寸为2N_0X2N_0、N_0X2N_0、2N_0XN_0和Ν_0ΧΝ_0的分区执行帧内模式和帧 间模式下的预测编码。可仅对尺寸为2N_0X2N_0的分区执行跳过模式下的预测编码。
[0102] 如果在尺寸为2N_0X2N_0、2N_0XN_0和N_0X2N_0的分区类型912至916中的 一个分区类型中编码误差最小，则可不再将预测单元910划分到更低深度。
[0103] 如果在尺寸为Ν_0ΧΝ_0的分区类型918中编码误差最小，则深度可从0改变到1 以在操作920中划分分区类型918,并可对深度为2且尺寸为N_0 X N_0的编码单元930重 复地执行编码来搜索最小编码误差。
[0104] 用于对深度为1且尺寸为2N_1X2N_1 ( = Ν_0ΧΝ_0)的编码单元930进行预测编 码的预测单元940可包括以下分区类型的分区：尺寸为2N_1 X2N_1的分区类型942、尺寸 为2N_1XN_1的分区类型944、尺寸为N_1X2N_1的分区类型946以及尺寸为N_1XN_1的 分区类型948。
[0105] 如果在尺寸为N_1XN_1的分区类型948而非尺寸为2N_1X2N_1的分区类型942、 尺寸为2N_1 X N_1的分区类型944和尺寸为N_1 X 2N_1的分区类型946中编码误差最小，则 深度可从1改变到2以在操作950中划分分区类型948,并可对深度为2且尺寸为N_2 X N_2 的编码单元960重复执行编码来搜索最小编码误差。
[0106] 当最大深度是d-ι时，根据每个深度的划分信息可被设置直到深度变成d-Ι，并且 划分信息可被设置直到深度变成d-2。换言之，当编码被执行直到在与d-2的深度相应的编 码单元在操作970中被划分之后深度是d-Ι时，用于对深度为d-Ι且尺寸为2N_(d-l) X2N_ (d-1)的编码单元980进行预测编码的预测单元990可包括以下分区类型的分区：尺寸为 2N_(d-l)X2N(d-l)的分区类型992、尺寸为2N_(d-l)XN(d-l)的分区类型994、尺寸为N_ (d-l)X2N(d-l)的分区类型996和尺寸SN_(d-l)XN(d-l)的分区类型998。可对分区类 型992至998中的尺寸为2N_(d-l)X2N_(d-l)的一个分区、尺寸为2N_(d-l)XN_(d-l)的 两个分区、尺寸SN_(d-l)X2N_(d-l)的两个分区、尺寸SN_(d-l)XN_(d-l)的四个分区 重复地执行预测编码，以搜索具有最小编码误差的分区类型。
[0107] 即使当尺寸为N_(d-1) XN_(d-Ι)的分区类型998具有最小编码误差时，由于最大 深度是d-Ι，因此深度为d-Ι的编码单元CU_(d-Ι)可不再被划分到更低深度，当前最大编码 单元900的编码深度可被确定为d-Ι，并且当前最大编码单元900的分区类型可被确定为 N_ (d-1) X N (d-Ι)。此外，由于最大深度是d-Ι，因此不设置深度为d-Ι的编码单元952的划 分信息。
[0108] 由于深度为0且尺寸为2N_0X2N_0的编码单元900以及深度为1且尺寸为 2N_1 X 2N_1的编码单元930不是最小编码单元，因此尺寸为2N_0 X 2N_0的编码单元900的 预测单元910可不包括尺寸为Ν_0ΧΝ_0的分区类型，并且尺寸为2N_1X2N_1的编码单元 930的预测单元940可不包括尺寸为N_1 XN_1的分区类型。
[0109] 然而，作为最小编码单元的深度为d-ι的编码单元980的预测单元990可包括尺 寸为N_(d-1) XN_(d-Ι)的分区类型998。
[0110] 数据单元999可被称为用于当前最大编码单元的"最小单元"。根据实施例的最小 单元可以是通过将具有最低编码深度的最小编码单元划分成4份而获得的矩形数据单元。
[0111] 编码深度、预测单元的分区类型和预测模式可作为关于编码模式的信息被编码并 被发送。另外，由于编码单元需从深度0被划分到编码深度，因此仅必需将编码深度的划分 信息设置为〇,并且必需将除了编码深度以外的深度的划分信息设置为1。
[0112] 解码侧可提取并使用关于编码单元900的编码深度和预测单元的信息，以对编码 单元912进行解码。解码侧可通过使用根据深度的划分信息，将划分信息为0的深度确定 为编码深度，并且可使用关于相应深度的编码模式的信息来进行解码。
[0113] 图10至图12是用于解释根据本发明的实施例的在编码单元1010、预测单元1060 和频率变换单兀1070之间的关系的不图。
[0114] 编码单元1010是最大编码单元中的与由根据上述实施例的预处理器11使用包括 在下采样的画面中的边缘像素而确定的编码深度相应的编码单元。预测单元1060是每个 编码单元1010中的预测单元的分区。变换单元1070是每个编码单元1010的变换单元。
[0115] 当在编码单元1010中最大编码单元的深度是0时，编码单元1012和编码单元 1054的深度是1，编码单元1014、1016、1018、1028、1050和1052的深度是2,编码单元1020、 1022、1024、1026、1030、1032 和 1048 的深度是 3,编码单元 1040、1042、1044 和 1046 的深度 是4。
[0116] 在预测单元1060中，通过划分编码单元来获得一些分区1014、1016、1022、1032、 1048、1050、1052和1054。换言之，分区1014、1022、1050和1054中的分区类型的尺寸是 2NXN，分区1016、1048和1052中的分区类型的尺寸是NX 2N，分区1032的分区类型的尺寸 是NXN。仅在编码单元1032是最小编码单元时，尺寸为NXN的分区类型可被设置。编码 单元1010的预测单元和分区小于或等于每个编码单元。
[0117] 在小于变换单元1052的数据单元中的变换单元1070中，对变换单元1052的图 像数据执行变换或逆变换。另外，在尺寸或形状方面，变换单元1070中的变换单元1014、 1016、1022、1032、1048、1050、1052 和 1054不同于预测单元 1060 中的变换单元1014、1016、 1022、1032、1048、1050、1052和1054。换言之，根据实施例的视频编码/解码处理可对甚至 在同一编码单元中的数据单元独立地执行帧内预测/运动估计/运动补偿和变换/逆变 换。
[0118] 编码信息可包括关于编码单元的划分信息、关于分区类型的信息、关于预测模式 的信息和关于变换单元的尺寸的信息。表1示出根据实施例的编码信息。
[0119] [表 1]
[0120]

【权利要求】
1. 一种视频编码方法，包括： 从画面获得具有预定尺寸的采样单元； 对每个采样单元执行正交变换并将每个采样单元变换为正交分量和高频分量； 通过基于高频分量用边缘像素和正常像素之一替换每个采样单元来对画面执行下采 样； 将下采样的画面划分为具有预定尺寸的编码单元； 通过重复执行根据边缘像素是否被包括在编码单元中来将编码单元划分为更低编码 单元的处理，确定编码单元的划分形状； 基于包括在下采样的画面中的编码单元的划分形状来将画面划分为具有树结构的编 码单元，并基于所划分的具有树结构的编码单元来对画面进行编码。
2. 如权利要求1所述的视频编码方法，其中，变换的步骤包括：通过对每个采样单元执 行哈达玛变换来将每个采样单元变换为正交分量和高频分量。
3. 如权利要求1所述的视频编码方法，其中，对画面执行下采样的步骤包括：当高频分 量的最大值小于预定阈值时，用单个正常像素来替换采样单元，当高频分量的最大值大于 所述预定阈值时，用单个边缘像素来替换采样单元。
4. 如权利要求1所述的视频编码方法，其中，对画面执行下采样的步骤包括： 对与采样单元相应的先前画面的采样单元执行正交变换，并获得先前画面的采样单元 的高频分量； 当从当前画面的采样单元获得的高频分量与从先前画面的相应采样单元获得的高频 分量之间的差的绝对值的最大值小于预定阈值时，用单个正常像素来替换采样单元，当所 述最大值大于所述预定阈值时，用单个边缘像素来替换采样单元。
5. 如权利要求3或4所述的视频编码方法，其中，所述预定阈值是基于量化参数而确定 的值。
6. 如权利要求1所述的视频编码方法，其中，确定划分形状的步骤包括：当在编码单元 中存在边缘像素时，将编码单元划分为更低编码单元； 其中，将编码单元划分为更低编码单元的步骤被重复地执行，直到边缘像素被置于先 前确定的最小编码单元中。
7. 如权利要求1所述的视频编码方法，其中，对画面进行编码的步骤包括：基于下采样 的画面的尺寸与所述画面的尺寸的比率来扩大包括在下采样的画面中的编码单元的划分 形状，并将所述画面划分为具有树结构的编码单元。
8. -种视频编码设备，包括： 正交变换器，用于从画面获得具有预定尺寸的采样单元，对每个采样单元执行正交变 换并将每个采样单元变换为正交分量和高频分量； 下采样器，用于通过基于高频分量用边缘像素和正常像素之一替换每个采样单元来对 画面执行下采样； 划分形状确定器，用于将下采样的画面划分为具有预定尺寸的编码单元，并通过重复 执行根据边缘像素是否被包括在编码单元中来将编码单元划分为更低编码单元的处理，确 定编码单元的划分形状； 图像编码器，用于基于包括在下采样的画面中的编码单元的划分形状来将画面划分为 具有树结构的编码单元，并基于所划分的具有树结构的编码单元来对画面进行编码。
9. 如权利要求8所述的视频编码设备，其中，正交变换器通过对每个采样单元执行哈 达玛变换来将每个采样单元变换为正交分量和高频分量。
10. 如权利要求8所述的视频编码设备，其中，当高频分量的最大值小于预定阈值时， 下采样器用单个正常像素来替换采样单元，当高频分量的最大值大于所述预定阈值时，下 采样器用单个边缘像素来替换采样单元。
11. 如权利要求8所述的视频编码设备，其中，下采样器对与采样单元相应的先前画面 的采样单元执行正交变换，并获得先前画面的采样单元的高频分量，并且，当从当前画面的 采样单元获得的高频分量与从先前画面的相应采样单元获得的高频分量之间的差的绝对 值的最大值小于预定阈值时，下采样器用单个正常像素来替换采样单元，当所述最大值大 于所述预定阈值时，下采样器用单个边缘像素来替换采样单元。
12. 如权利要求8所述的视频编码设备，其中，当在编码单元中存在边缘像素时，划分 形状确定器将编码单元划分为更低编码单元，并重复地执行划分处理，直到边缘像素被置 于先前确定的最小编码单元中。
13. 如权利要求8所述的视频编码设备，其中，图像编码器基于下采样的画面的尺寸与 所述画面的尺寸的比率来扩大包括在下采样的画面中的编码单元的划分形状，并将所述画 面划分为具有树结构的编码单元。
14. 一种视频解码方法，包括： 接收并解析关于编码的视频的比特流； 从比特流提取编码单元的尺寸、关于编码单元的划分形状的信息和预测模式信息，其 中，编码单元是用于对视频的画面进行解码的数据单元； 基于编码单元的尺寸和划分形状，将编码单元划分为具有树结构的编码单元，并根据 具有树结构的编码单元的预测模式来对画面执行预测解码， 其中，具有树结构的编码单元的划分形状通过以下处理来获得：基于经由对具有预定 尺寸的采样单元进行正交变换而获得的最大高频分量，用边缘像素和正常像素之一替换所 述采样单元并获得下采样的画面，并且重复执行将下采样的画面划分为编码单元并根据在 编码单元中是否存在边缘像素来将编码单元划分为更低编码单元的处理。
15. -种视频解码设备，包括： 接收器，用于接收并解析关于编码的视频的比特流； 提取器，用于从比特流提取编码单元的尺寸、关于编码单元的划分形状的信息和预测 模式信息，其中，所述编码单元是用于对视频的画面进行解码的数据单元； 图像解码器，用于基于编码单元的尺寸和划分形状，将编码单元划分为具有树结构的 编码单元，并根据具有树结构的编码单元的预测模式来对画面执行预测解码， 其中，具有树结构的编码单元的划分形状通过以下处理来获得：基于经由对具有预定 尺寸的采样单元进行正交变换而获得的最大高频分量，用边缘像素和正常像素之一替换所 述采样单元并获得下采样的画面，并且重复执行将下采样的画面划分为编码单元并根据在 编码单元中是否存在边缘像素来将编码单元划分为更低编码单元的处理。
【文档编号】H04N19/96GK104396261SQ201380031818
【公开日】2015年3月4日 申请日期:2013年4月16日 优先权日:2012年4月16日
【发明者】金赞烈, 崔雄一, 金宰贤, 朴正辉 申请人:三星电子株式会社