编码方法及其装置以及解码方法及其装置与流程

本公开涉及一种视频编码和解码方法，并且更具体地，涉及根据当前画面的时间层深度确定可应用于当前画面的编码模式的方法。

背景技术：

具有高图像质量的视频在被编码时需要大量数据。然而，由于允许用于传输视频数据的带宽受到限制，所以在视频数据的传输中应用的数据速率可能受到限制。因此，为了视频数据的有效传输，需要使图像质量的劣化最小化且具有提高的压缩率的对视频数据进行编码和解码的方法。

可通过去除像素之间的空间冗余和时间冗余来压缩视频数据。由于邻近像素通常具有共同特性，所以按包括像素的数据单元发送编码信息，以去除邻近像素之间的冗余。

不直接发送包括在数据单元中的像素的像素值，而发送获得像素值所需的方法。针对每个数据单元确定预测与原始值相似的像素值的预测方法，并且将关于预测方法的编码信息从编码器发送到解码器。此外，由于预测值不完全等于原始值，所以将关于原始值与预测值之间的差的残差数据从编码器发送到解码器。

随着预测变得越精确，指定预测方法所需的编码信息增加，而残差数据的大小减小。因此，考虑编码信息和残差数据的大小来确定预测方法。特别地，从画面划分出的数据单元具有各种尺寸，并且随着数据单元的尺寸增加，预测的精度可能降低，而编码信息也降低。因此，根据画面的特征来确定块的尺寸。

此外，预测方法包括帧内预测和帧间预测。帧内预测是一种从块的邻近像素对块的像素进行预测的方法。帧间预测是一种参考包括块的画面所参考的另一画面的像素来对像素进行预测的方法。因此，通过帧内预测去除空间冗余，并且通过帧间预测去除时间冗余。

随着预测方法的数量增加，用于指示预测方法的编码信息量增加。因此，还可通过从另一块对编码信息进行预测来减小应用于块的编码信息的大小。

由于视频数据的损失被允许到人类视觉感知不识别该损失的程度，所以可通过根据变换和量化的处理对残差数据执行有损压缩来减少残差数据量。

技术实现要素：

技术问题

根据本公开，提供了一种用于根据当前画面的时间层深度来确定可应用于当前画面的编码模式的视频编码方法和视频编码装置。此外，提供了一种用于根据当前画面的时间层深度来确定可应用于当前画面的编码模式的视频解码方法和视频解码装置。此外，提供了一种记录有用于在计算机上执行根据本公开的实施例的视频编码方法和视频解码方法的程序的计算机可读记录介质。

问题的解决方案

根据本公开，提供了一种视频解码方法，包括：根据当前画面的时间层深度确定可应用于当前画面的编码模式；根据可应用于当前画面的所述编码模式生成针对包括在当前画面中的块的预测块和变换块；并且通过使用所述预测块和所述变换块来重建当前画面。

根据本公开，提供了一种包括至少一个存储器以及处理器的视频解码装置，其中，所述处理器被配置为执行存储在所述至少一个存储器中的指令，其中，所述指令涉及：根据当前画面的时间层深度来确定可应用于当前画面的编码模式；根据可应用于当前画面的所述编码模式来生成针对包括在当前画面中的块的预测块和变换块；并且通过使用所述预测块和所述变换块来重建当前画面。

根据本公开，提供了一种视频编码方法，包括：根据当前画面的时间层来确定可应用于当前画面的多个编码模式；从可应用于当前画面的所述多个编码模式确定应用于包括在当前画面中的块的编码模式；并且生成包括指示应用于包括在当前画面中的所述块的所述编码模式的信息的比特流。

根据本公开，提供了一种包括至少一个存储器以及处理器的视频编码装置，其中，所述处理器被配置为执行存储在所述至少一个存储器中的指令，其中，所述指令涉及：根据当前画面的时间层深度来确定可应用于当前画面的多个编码模式；从可应用于当前画面的所述多个编码模式确定应用于包括在当前画面中的块的编码模式；并且生成包括指示应用于包括在当前画面中的所述块的所述编码模式的信息的比特流。

提供了一种记录有用于执行视频编码方法和视频解码方法的程序的计算机可记录记录介质。

本公开的技术目标不限于上述技术目标，并且可从下文中所公开的实施例推导其他技术目标。

公开的有益效果

根据本公开，根据画面的时间层深度来确定可应用于画面的编码模式。因此，由于指示编码模式是否将被应用于包括在特定时间层深度的画面中的块的编码信息被跳过，所以可提高编码率。

附图说明

图1a是根据本公开的实施例的基于根据树结构的编码单元的图像编码装置的框图。

图1b是根据实施例的基于根据树结构的编码单元的图像解码装置的框图。

图2示出根据实施例的通过划分当前编码单元来确定至少一个编码单元的处理。

图3示出根据实施例的通过划分非正方形编码单元来确定至少一个编码单元的处理。

图4示出根据实施例的基于块形状信息和划分形状信息中的至少一个来划分编码单元的处理。

图5示出根据实施例的从奇数个编码单元中确定预设编码单元的方法。

图6示出根据实施例的当通过划分当前编码单元来确定多个编码单元时对所述多个编码单元进行处理的顺序。

图7示出根据实施例的当编码单元不能按照预设顺序被处理时确定当前编码单元将被划分为奇数个编码单元的处理。

图8示出根据实施例的通过划分第一编码单元来确定至少一个编码单元的处理。

图9示出根据实施例的当通过划分第一编码单元而确定的具有非正方形形状的第二编码单元满足预设条件时第二编码单元可被划分为的形状受到限制。

图10示出根据实施例的当划分形状信息指示正方形编码单元将不被划分为四个正方形编码单元时对正方形编码单元进行划分的处理。

图11示出根据实施例的可依据划分编码单元的处理来改变多个编码单元之间的处理顺序。

图12示出根据实施例的当编码单元被递归地划分使得多个编码单元被确定时随着编码单元的形状和尺寸改变，确定编码单元的深度的处理。

图13示出根据实施例的基于编码单元的形状和尺寸可确定的深度以及用于区分编码单元的部分索引(pid)。

图14示出根据实施例的基于画面中包括的多个预设数据单元确定多个编码单元。

图15示出根据实施例的用作用于确定画面中包括的参考编码单元的确定顺序的单元的处理块。

图16示出包括在视频序列中的多个画面的时间层深度。

图17示出根据实施例的确定应用于当前画面的多个编码模式并执行指令以根据所述多个编码模式对当前画面进行解码的视频解码装置。

图18示出由视频解码装置执行的视频解码方法的流程图。

图19示出根据实施例的确定应用于当前画面的多个编码模式并执行指令以根据所述多个编码模式对当前画面进行解码的视频编码装置。

图20示出由视频编码装置执行的视频编码方法的流程图。

图21描述根据仿射模式的预测方法。

图22示出根据位置相关预测组合模式的当前块的预测方法。

图23描述重叠块运动补偿模式的预测方法。

图24描述基于使用运动矢量差合并的模式的帧间预测。

图25描述跨分量线性模型模式以及在跨分量线性模型模式下参考的参考区域。

图26描述解码器侧运动矢量修正模式的预测方法。

图27描述多参考帧内模式。

最佳模式

根据本公开，提供了一种视频解码方法，包括：根据当前画面的时间层来确定可应用于当前画面的编码模式；根据可应用于当前画面的所述编码模式针对包括在当前画面中的块生成预测块和变换块；并且通过使用所述预测块和所述变换块来重建当前画面

具体实施方式

将参照示出本公开的实施例的附图更全面地描述这里公开的实施例的优点和特征以及实现所述优点和特征的方法。然而，本公开可以以许多不同的形式实施，并且不应被解释为限于这里阐述的实施例；相反，提供这些实施例使得本公开将是彻底和完整的，并且将向本领域普通技术人员充分地传达本公开的构思。

将简要描述这里使用的术语，并且将详细描述这里公开的实施例。

考虑这里使用的术语在本公开中的功能，从当前广泛使用的常见术语中选择这里使用的术语。然而，术语可根据本领域普通技术人员的意图、先例或新技术的出现而不同。此外，在特定情况下，术语是由本公开的申请人任意选择的，并且那些术语的含义将在详细描述的对应部分中被详细描述。因此，本公开中使用的术语不仅是术语的命名，而且基于该术语的含义和贯穿本公开的内容来定义该术语。

在本说明书中，以单数使用的表达涵盖复数的表达，除非它在上下文中具有明显不同的含义。

还应理解，当部件“包括”或“包含”元件时，除非另有定义，否则该部件还可包括其他元件，而不排除其他元件。说明书中的术语“单元”表示软件组件或硬件组件(诸如现场可编程门阵列(fpga)或专用集成电路(asic))，并且执行特定功能。然而，术语“单元”不限于软件或硬件。“单元”可被形成为在可寻址存储介质中，或者可被形成为对一个或更多个处理器进行操作。因此，例如，术语“单元”可指诸如软件组件、面向对象的软件组件、类组件和任务组件的组件，并且可包括进程、函数、属性、过程、子例程、程序代码的片段、驱动器、固件、微代码、电路、数据、数据库、数据结构、表、数组和变量。由组件和“单元”提供的功能可与较少数量的组件和“单元”相关联，或者可被划分为附加的组件和“单元”。

“当前块”指示当前被编码或解码的编码单元、预测单元和变换单元中的一个。为了便于解释，当需要对诸如预测单元和变换单元的其它类型的块进行区分时，可使用“当前编码块”、“当前预测块”和“当前变换块”。“下层块”指示从“当前块”划分出的数据单元。“上层块”指示包括“当前块”的数据单元。

在下文中，“样点”指示被分配给图像的采样位置的将被处理的数据。例如，空间域的图像中的像素值和变换域上的变换系数可以是样点。包括样点中的至少一个的单元可被定义为块。

在下文中，将参照附图详细描述实施例，使得本领域普通技术人员可容易地理解本公开。为了解释清楚，将从附图省略与描述无关的组件。

图1a是根据本公开的实施例的基于根据树结构的编码单元的图像编码装置100的框图。

图像编码装置100包括编码器110和比特流生成器120。

编码器110可首先将画面划分为一个或更多个条带或者一个或更多个并行块。然后，编码器110根据最大编码单元的尺寸将画面或者包括在该画面中的条带或并行块划分为多个最大编码单元。最大编码单元是具有32×32、64×64、128×128、256×256等尺寸的数据单元，并且可以是具有2的平方的水平尺寸和垂直尺寸的正方形数据单元。编码器110可将指示最大编码单元的尺寸的最大编码单元尺寸信息提供给比特流生成器120。比特流生成器120可使最大编码单元尺寸信息包括在比特流中。

编码器110通过划分最大编码单元来确定编码单元。根据划分编码单元是否有效，通过率失真优化来确定是否对编码模式进行划分。可生成指示是否划分编码单元的划分信息。可以以标志的形式来表示划分信息。

可以以各种方法对编码单元进行划分。例如，正方形编码单元可被划分为半宽半高的四个正方形编码单元。正方形编码单元可被划分为半宽的两个正方形编码单元。正方形编码单元可被划分为半高的两个正方形编码单元。可通过按1:2:1划分宽度或高度来将正方形编码单元划分为三个编码单元。

宽度是高度的两倍的矩形编码单元可被划分为两个正方形编码单元。宽度是高度的两倍的矩形编码单元可被划分为两个宽度皆是高度的四倍的矩形编码单元。可通过按1:2:1对宽度进行划分来将宽度是高度的两倍的矩形编码单元划分为两个矩形编码单元和一个正方形编码单元。

同样，高度是宽度的两倍的矩形编码单元可被划分为两个正方形编码单元。此外，高度是宽度的两倍的矩形编码单元可被划分为两个高度皆是宽度的四倍的矩形编码单元。同样，可通过按1:2:1对高度进行划分来将高度是宽度的两倍的矩形编码单元划分为两个矩形编码单元和一个正方形编码单元。

当可在图像编码装置100中使用两个或更多个划分方法时，可针对每个画面确定关于图像编码装置100中可使用的划分方法中的对编码单元可使用的划分方法的信息。因此，可确定针对每个画面仅使用特定方法。当图像编码装置100仅使用一种划分方法时，不单独确定关于可用于编码单元的划分方法的信息。

可通过特定划分方法对特定尺寸的编码单元进行划分。例如，当编码单元的尺寸是256×256时，编码单元可被设置为仅被划分为半高半宽的四个正方形编码单元。

当编码的划分信息指示划分编码单元时，可生成指示编码单元的划分方法的划分形状信息。当在包括编码单元的画面中仅存在一种可使用的划分方法时，可不生成划分形状信息。当与编码单元周围的编码信息相适应地确定划分方法时，可不生成划分形状信息。

如上所述，根据编码单元的最大尺寸，当前画面的图像数据被划分为最大编码单元。最大编码单元可包括从该最大编码单元分层地划分出的编码单元。可根据上层编码单元的划分形状来确定下层编码单元的形状和位置。可预先设置用于限制编码单元的划分的编码单元的最小尺寸。

编码器110对在编码单元被分层划分时的编码效率与在编码单元不被划分时的编码效率进行比较。根据比较结果，编码器110确定是否对编码单元进行划分。当确定划分编码单元更有效时，编码器110分层地对编码单元进行划分。当根据比较结果确定不划分编码单元更有效时，不对编码单元进行划分。可独立于是否划分与编码单元相邻的另一编码单元来确定是否对该编码单元进行划分。

可通过帧内预测或帧间预测来对最终被划分出的编码单元进行预测。帧内预测是一种通过使用预测单元周围的参考样点来对预测单元的样点进行预测的方法。帧间预测是一种通过从当前画面所参考的参考画面获得参考样点来对预测单元的样点进行预测的方法。

对于帧内预测，编码器110可将多种帧内预测方法应用于预测单元并选择最有效的帧内预测方法。帧内预测方法包括直流(dc)模式、平面模式、诸如垂直模式和水平模式的方向模式等。

当编码单元周围的重建样点被用作参考样点时，可针对每个预测单元执行帧内预测。然而，当编码单元中的重建样点被用作参考样点时，在预测之前重建编码单元中的参考样点，并且因此，对预测单元的预测可取决于变换单元的变换顺序。因此，当编码单元中的重建样点被用作参考样点时，可针对预测单元仅确定针对与预测单元对应的变换单元的帧内预测方法，并且可基本上对每个变换单元执行帧内预测。

编码器110可通过确定最优运动矢量和参考画面来选择最有效的帧间预测方法。对于帧间预测，编码器110可从空间上以及时间上与当前编码单元相邻的编码单元确定多个运动矢量候选，然后将最有效的运动矢量确定为运动矢量。同样，可从空间上以及时间上与当前编码单元相邻的编码单元确定多个参考画面候选，并且可从所述多个参考画面候选确定最有效的参考画面。根据实施例，可从针对当前画面预先确定的参考画面列表确定参考画面。根据实施例，为了预测精度，可将多个运动矢量候选中的最有效的运动矢量确定为预测运动矢量，并且可通过校正该预测运动矢量来确定运动矢量。可对编码单元中的每个预测单元并行地执行帧间预测。

编码器110可根据跳过模式通过仅获得指示运动矢量和参考画面的信息来重建编码单元。根据跳过模式，除了指示运动矢量和参考画面的信息之外，包括残差信号的所有编码信息被省略。由于省略了残差信号，所以可在预测精度非常高时使用跳过模式。

可根据针对预测单元的预测方法来限制被使用的分区模式。例如，仅将针对尺寸为2n×2n和n×n的预测单元的分区模式应用于帧内预测，但是另一方面，可将针对尺寸为2n×n、n×2n和n×n的预测单元的分区模式应用于帧间预测。此外，可仅将针对尺寸为2n×2n的预测单元的分区模式应用于帧间预测的跳过模式。在图像编码装置100中，可根据编码效率来修改预测方法所允许的分区模式。

图像编码装置100可基于编码单元执行变换。通过预设处理，图像编码装置100可对残差数据进行变换，其中，所述残差数据是针对包括在编码单元中的像素的原始值与预测值之间的差值。例如，图像编码装置100可通过量化以及离散余弦变换(dct)/离散正弦变换(dst)对残差数据执行有损压缩。可选地，图像编码装置100可在不进行量化的情况下对残差数据执行无损压缩。

总之，编码器110从多个帧内预测方法和帧间预测方法确定针对当前编码单元的最有效的预测方法。此外，编码器110根据基于预测结果的编码效率来确定当前编码单元的预测方法。同样，编码器110可根据基于变换结果的编码效率来确定变换方法。基于确定具有最高效率的编码单元的预测方法和变换方法的方式来最终确定编码单元的编码效率。编码器110根据最终划分出的编码单元的编码效率来确定最大编码单元的分层结构。

编码器110可通过使用基于拉格朗日乘数的率失真优化来测量编码单元的编码效率、预测方法的预测效率等。

编码器110可根据所确定的最大编码单元的分层结构来生成编码单元是否将被划分的划分信息。此外，对于被彻底划分的编码单元，编码器110可生成用于确定预测单元的分区模式信息和用于确定变换单元的变换单元划分信息。此外，当存在两种或更多种划分编码单元的方法时，编码器110可生成指示划分方法的划分形状信息连同划分信息。此外，编码器110可生成关于分别用于预测单元和变换单元的预测方法和变换方法的信息。

比特流生成器120可根据最大编码单元的分层结构以比特流的形式输出由编码器110生成的信息。

将参照图3至图12详细描述根据实施例的根据最大编码单元的树结构确定编码单元、预测单元和变换单元的方法。

图1b是根据实施例的基于根据树结构的编码单元的图像解码装置150的框图。

图像解码装置150包括接收器160和解码器170。

根据实施例的图像解码装置150的用于解码操作的诸如编码单元、预测单元、变换单元、各种类型的划分信息的各种术语的定义与上面参照图1和图像编码装置100描述的相同。此外，由于图像解码装置150的目的是重建图像数据，所以图像编码装置100中使用的各种编码方法可被应用于图像解码装置150。

接收器160接收并解析针对经过编码的视频的比特流。解码器170从解析出的比特流提取针对每个最大编码单元的解码所需的信息，并将该信息提供给解码器170。解码器170可从关于当前画面的头、序列参数集或画面参数集提取关于当前画面的编码单元的最大尺寸的信息。

此外，解码器170从解析出的比特流提取针对根据针对每个最大编码单元的树结构的编码单元的划分信息。提取出的划分信息被输出到解码器170。解码器170可通过根据提取出的划分信息对最大编码单元进行划分来确定最大编码单元的树结构。

由解码器170提取出的划分信息是关于被图像编码装置100确定为发生最小编码误差的结构的树结构的划分信息。因此，图像解码装置150可通过根据发生最小编码误差的编码方法对数据进行解码来重建图像。

解码器170可提取关于包括在编码单元中的诸如预测单元和变换单元的数据单元的划分信息。例如，解码器170可提取关于针对预测单元的最有效分区模式的信息。此外，解码器170可提取关于针对变换单元的最有效树结构的变换划分信息。

此外，解码器170可获得关于针对从编码单元划分出的预测单元的最有效预测方法的信息。此外，解码器170可获得关于针对从编码单元划分出的变换单元的最有效变换方法的信息。

解码器170根据图像编码装置100的比特流生成器120构建比特流的方式从比特流提取信息。

解码器170可基于划分信息将最大编码单元划分为具有最有效树结构的编码单元。此外，解码器170可根据关于分区模式的信息将编码单元划分为预测单元。解码器170可根据变换划分信息将编码单元划分为变换单元。

解码器170可根据关于预测方法的信息来对预测单元进行预测。解码器170可根据关于对变换单元进行变换的方法的信息对与像素的原始值与预测值之间的差对应的残差数据执行反量化和逆变换。此外，解码器170可根据预测单元的预测结果和变换单元的变换结果来重建编码单元中的像素。

图2示出根据实施例的由图像解码装置150执行的通过划分当前编码单元来确定至少一个编码单元的处理。

根据实施例，图像解码装置150可通过使用块形状信息来确定编码单元的形状，并且可通过使用划分形状信息来确定编码单元的划分方法。也就是说，可基于由图像解码装置150使用的块形状信息所指示的块形状来确定由划分形状信息指示的编码单元划分方法。

根据实施例，图像解码装置150可使用指示当前编码单元具有正方形形状的块形状信息。例如，图像解码装置150可基于划分形状信息确定是否不划分正方形编码单元，是否垂直划分正方形编码单元，是否水平划分正方形编码单元，或者是否将正方形编码单元划分为四个编码单元。参照图2，在当前编码单元200的块形状信息指示正方形形状时，解码器170可基于指示不执行划分的划分形状信息确定不对与当前编码单元200具有相同尺寸的编码单元210a进行划分，或者可确定基于指示预设划分方法的划分形状信息而划分出的编码单元210b、210c和210d。

参照图2，根据实施例，图像解码装置150可基于指示沿垂直方向执行划分的划分形状信息确定通过沿垂直方向划分当前编码单元200而获得的两个编码单元210b。图像解码装置150可确定通过沿水平方向划分当前编码单元200而获得的两个编码单元210c。图像解码装置150可基于指示沿垂直方向和水平方向执行划分的划分形状信息确定通过沿垂直方向和水平方向划分当前编码单元200而获得的四个编码单元210d。然而，正方形编码单元的划分方法不限于上述方法，并且划分形状信息可指示各种方法。下面将关于各种实施例详细描述划分正方形编码单元的预设划分方法。

图3示出根据实施例的由图像解码装置150执行的通过划分非正方形编码单元来确定至少一个编码单元的处理。

根据实施例，当图像解码装置150可使用指示当前编码单元具有非正方形形状的块形状信息时。图像解码装置150可基于划分形状信息确定是否不划分非正方形的当前编码单元或者是否通过使用预设划分方法来划分非正方形的当前编码单元。参照图3，在当前编码单元300或350的块形状信息指示非正方形形状时，图像解码装置150可基于指示不执行划分的划分形状信息确定与当前编码单元300或350具有相同尺寸的编码单元310或360不被划分，或者确定基于指示预设划分方法的划分形状信息而划分出的编码单元320a和320b、330a至330c、370a和370b、或者380a至380c。下面将关于各种实施例详细描述划分非正方形编码单元的预设划分方法。

根据实施例，图像解码装置150可通过使用划分形状信息确定编码单元的划分方法，并且在这种情况下，划分形状信息可指示通过划分编码单元生成的一个或更多个编码单元的数量。参照图3，当划分形状信息指示将当前编码单元300或350划分为两个编码单元时，图像解码装置150可通过基于划分形状信息对当前编码单元300或350进行划分来确定包括在当前编码单元300或350中的两个编码单元320a和320b或者370a和370b。

根据实施例，当图像解码装置150基于划分形状信息对非正方形的当前编码单元300或350进行划分时，可考虑非正方形的当前编码单元300或350的长边的位置。例如，图像解码装置150可考虑当前编码单元300或350的形状，通过划分当前编码单元300或350的长边来确定多个编码单元。

根据实施例，当划分形状信息指示将编码单元划分为奇数个块时，图像解码装置150可确定包括在当前编码单元300或350中的奇数个编码单元。例如，当划分形状信息指示将当前编码单元300或350划分为三个编码单元时，图像解码装置150可将当前编码单元300或350划分为三个编码单元330a、330b和330c或者380a、380b和380c。根据实施例，图像解码装置150可确定包括在当前编码单元300或350中的奇数个编码单元，并且并非所有确定的编码单元可具有相同的尺寸。例如，确定的奇数个编码单元330a、330b和330c或者380a、380b和380c中的预设编码单元330b或380b的尺寸可与其他编码单元330a和330c或者380a和380c的尺寸不同。也就是说，可通过划分当前编码单元300或350而确定的编码单元可具有多种尺寸。

根据实施例，当划分形状信息指示将编码单元划分为奇数个块时，图像解码装置150可确定包括在当前编码单元300或350中的奇数个编码单元，并且可对通过划分当前编码单元300或350生成的奇数个编码单元中的至少一个编码单元施加预设限制。参照图3，图像解码装置150可允许编码单元330b或380b的解码方法与其他编码单元330a和330c或者380a和380c的解码方法不同，其中，编码单元330b或380b在通过划分当前编码单元300或350生成的三个编码单元330a、330b和330c或者380a、380b和380c中的中心位置处。例如，与其他编码单元330a和330c或者380a和380c不同，图像解码装置150可将中心位置处的编码单元330b或380b限制为不再被划分或仅被划分预设次数。

图4示出根据实施例的由图像解码装置150执行的基于块形状信息和划分形状信息中的至少一个划分编码单元的处理。

根据实施例，图像解码装置150可基于块形状信息和划分形状信息中的至少一个，确定将正方形的第一编码单元400划分为编码单元或不对正方形的第一编码单元400进行划分。根据实施例，当划分形状信息指示在水平方向上划分第一编码单元400时，图像解码装置150可通过在水平方向上划分第一编码单元400来确定第二编码单元410。根据实施例使用的第一编码单元、第二编码单元和第三编码单元是用于理解在划分编码单元之前和在划分编码单元之后的关系的术语。例如，可通过划分第一编码单元来确定第二编码单元，并且可通过划分第二编码单元来确定第三编码单元。将理解，第一编码单元、第二编码单元和第三编码单元的结构遵循以上描述。

根据实施例，图像解码装置150可基于块形状信息和划分形状信息中的至少一个确定将确定的第二编码单元410划分为编码单元或不对确定的第二编码单元410进行划分。参照图4，图像解码装置150可基于块形状信息和划分形状信息中的至少一个将通过划分第一编码单元400而确定的非正方形的第二编码单元410划分为一个或更多个第三编码单元420a、420b、420c和420d，或者可不对非正方形的第二编码单元410进行划分。图像解码装置150可获得块形状信息和划分形状信息中的至少一个，并可通过基于获得的块形状信息和划分形状信息中的至少一个划分第一编码单元400来确定多个各种形状的第二编码单元(例如，410)，并且可基于块形状信息和划分形状信息中的至少一个，通过使用第一编码单元400的划分方法来划分第二编码单元410。根据实施例，当基于第一编码单元400的块形状信息和划分形状信息中的至少一个将第一编码单元400划分为第二编码单元410时，也可基于第二编码单元410的块形状信息和划分形状信息中的至少一个将第二编码单元410划分为第三编码单元420a、或者420b、420c和420d。也就是说，可基于每个编码单元的块形状信息和划分形状信息中的至少一个来递归地划分编码单元。下面将参照各种实施例详细描述可用于递归地划分编码单元的方法。

根据实施例，图像解码装置150可基于块形状信息和划分形状信息中的至少一个确定将第三编码单元420a、或者420b、420c和420d中的每一个划分为编码单元或不对第二编码单元410进行划分。根据实施例，图像解码装置150可将非正方形的第二编码单元410划分为奇数个第三编码单元420b、420c和420d。图像解码装置150可对奇数个第三编码单元420b、420c和420d中的预设第三编码单元施加预设限制。例如，图像解码装置150可将奇数个第三编码单元420b、420c和420d中的中心位置处的第三编码单元420c限制为不再被划分或被划分可设定的次数。参照图4，图像解码装置150可将非正方形的第二编码单元410中所包括的奇数个第三编码单元420b、420c和420d中的中心位置处的第三编码单元420c限制为不再被划分、限制为通过使用预设划分方法被划分(例如，仅被划分为四个编码单元或通过使用第二编码单元410的划分方法被划分)或者限制为仅被划分预设次数(例如，仅被划分n次(其中，n>0))。然而，对中心位置处的第三编码单元420c的限制不限于上述示例，并且应被解释为所述限制可包括用于与其他第三编码单元420b和420d不同地对中心位置处的第三编码单元420c进行解码的各种限制。

根据实施例，图像解码装置150可从当前编码单元中的预设位置获得用于对当前编码单元进行划分的块形状信息和划分形状信息中的至少一个。

根据实施例，在当前编码单元被划分为预设数量的编码单元时，图像解码装置150可选择编码单元中的一个编码单元。如下面将关于各种实施例描述的，各种方法可被用于选择多个编码单元中的一个。

根据实施例，图像解码装置150可将当前编码单元划分为多个编码单元，并且可确定预设位置处的编码单元。

图5示出根据实施例的由图像解码装置150执行的确定奇数个编码单元中的预设位置的编码单元的方法。

根据实施例，图像解码装置150可使用指示奇数个编码单元的位置的信息，以确定奇数个编码单元中的中心位置处的编码单元。参照图5，图像解码装置150可通过划分当前编码单元500来确定奇数个编码单元520a、520b和520c。图像解码装置150可通过使用关于奇数个编码单元520a至520c的位置的信息来确定中心位置处的编码单元520b。例如，图像解码装置150可通过基于指示包括在编码单元520a、520b和520c中的预设样点的位置的信息确定编码单元520a、520b和520c的位置，来确定中心位置的编码单元520b。详细地，图像解码装置150可通过基于指示编码单元520a、520b和520c的左上样点530a、530b和530c的位置的信息确定编码单元520a、520b和520c的位置，来确定中心位置处的编码单元520b。

根据实施例，指示分别包括在编码单元520a、520b和520c中的左上样点530a、530b和530c的位置的信息可包括关于编码单元520a、520b和520c在画面中的位置或坐标的信息。根据实施例，指示分别包括在编码单元520a、520b和520c中的左上样点530a、530b和530c的位置的信息可包括指示当前编码单元500中包括的编码单元520a、520b和520c的宽度或高度的信息，并且所述宽度或高度可与指示编码单元520a、520b和520c在画面中的坐标之间的差的信息对应。也就是说，图像解码装置150可通过直接使用关于编码单元520a、520b和520c在画面中的位置或坐标的信息或者通过使用关于编码单元的与坐标之间的差值对应的宽度或高度的信息来确定中心位置处的编码单元520b。

根据实施例，指示上方编码单元520a的左上样点530a的位置的信息可包括坐标(xa,ya)，指示中间编码单元520b的左上样点530b的位置的信息可包括坐标(xb,yb)，指示下方编码单元520c的左上样点530c的位置的信息可包括坐标(xc,yc)。图像解码装置150可通过使用分别包括在编码单元520a、520b和520c中的左上样点530a、530b和530c的坐标来确定中间编码单元520b。例如，当左上样点530a、530b和530c的坐标按照升序或降序被排序时，可将包括中心位置处的样点530b的坐标(xb,yb)的编码单元520b确定为通过划分当前编码单元500确定的编码单元520a、520b和520c中的中心位置处的编码单元。然而，指示左上样点530a、530b和530c的位置的坐标可指示指示画面中的绝对位置的坐标，或者可使用指示中间编码单元520b的左上样点530b相对于上方编码单元520a的左上样点530a的位置的相对位置的坐标(dxb,dyb)和指示下方编码单元520c的左上样点530c相对于上方编码单元520a的左上样点530a的位置的相对位置的坐标(dxc,dyc)。通过将包括在编码单元中的样点的坐标用作指示样点的位置的信息来确定预设位置处的编码单元的方法不限于上述方法，并且可包括能够使用样点的坐标的各种算术方法。

根据实施例，图像解码装置150可将当前编码单元500划分为多个编码单元520a、520b和520c，并且可基于预设标准选择编码单元520a、520b和520c中的一个编码单元。例如，图像解码装置150可从编码单元520a、520b和520c中选择尺寸与其他编码单元的尺寸不同的编码单元520b。

根据实施例，图像解码装置150可通过使用指示上方编码单元520a的左上样点530a的位置的坐标(xa,ya)、指示中间编码单元520b的左上样点530b的位置的坐标(xb,yb)和指示下方编码单元520c的左上样点530c的位置的坐标(xc,yc)来确定编码单元520a、520b和520c的宽度或高度。图像解码装置150可通过使用指示编码单元520a、520b和520c的位置的坐标(xa,ya)、(xb,yb)和(xc，yc)来确定编码单元520a、520b和520c各自的尺寸。

根据实施例，图像解码装置150可将中间编码单元520b的宽度确定为xb-xa并将其高度确定为yb-ya。根据实施例，图像解码装置150可将中间编码单元520b的宽度确定为xc-xb并将其高度确定为yc-yb。根据实施例，图像解码装置150可通过使用当前编码单元500的宽度或高度或者上方编码单元520a和中间编码单元520b的宽度或高度来确定下方编码单元520c的宽度或高度。图像解码装置150可基于确定的编码单元520a至520c的宽度和高度来确定具有与其他编码单元的尺寸不同的尺寸的编码单元。参照图5，图像解码装置150可将具有与上方编码单元520a和下方编码单元520c的尺寸不同的尺寸的中间编码单元520b确定为预设位置的编码单元。然而，上述由图像解码装置150执行的确定具有与其他编码单元的尺寸不同的尺寸的编码单元的方法仅与通过使用基于样点的坐标确定的编码单元的尺寸来确定预设位置处的编码单元的示例对应，并且因此，可使用通过对基于预设样点的坐标确定的编码单元的尺寸进行比较来确定预设位置处的编码单元的各种方法。

然而，确定编码单元的位置所考虑的样点的位置不限于上述的左上位置，并且可使用关于包括在编码单元中的样点的任意位置的信息。

根据实施例，图像解码装置150可考虑当前编码单元的形状，从通过划分当前编码单元确定的奇数个编码单元中选择预设位置处的编码单元。例如，在当前编码单元具有宽度大于高度的非正方形形状时，图像解码装置150可确定沿水平方向的预设位置处的编码单元。也就是说，图像解码装置150可确定沿水平方向的不同位置处的编码单元中的一个编码单元并对该编码单元施加限制。在当前编码单元具有高度大于宽度的非正方形形状时，图像解码装置150可确定沿垂直方向的预设位置处的编码单元。也就是说，图像解码装置150可确定沿垂直方向的不同位置处的编码单元中的一个编码单元，并且可对该编码单元施加限制。

根据实施例，图像解码装置150可使用指示偶数个编码单元的各个位置的信息，以确定偶数个编码单元中的预设位置处的编码单元。图像解码装置150可通过划分当前编码单元来确定偶数个编码单元，并且可通过使用关于偶数个编码单元的位置的信息来确定预设位置处的编码单元。与其相关的操作可与已经在上面关于图5详细描述的确定奇数个编码单元中的预设位置(例如，中心位置)处的编码单元的操作对应，并且因此这里不提供其详细描述。

根据实施例，当将非正方形的当前编码单元划分为多个编码单元时，可在划分操作中使用关于预设位置处的编码单元的预设信息来确定多个编码单元中的预设位置处的编码单元。例如，图像解码装置150可在划分操作中使用中心位置处的编码单元中包括的样点中所存储的块形状信息和划分形状信息中的至少一个来确定通过划分当前编码单元所确定的多个编码单元中的中心位置处的编码单元。

参照图5，图像解码装置150可将当前编码单元500划分为多个编码单元520a、520b和520c，并且可确定多个编码单元520a、520b和520c中的中心位置处的编码单元520b。此外，图像解码装置150可考虑获得块形状信息和划分形状信息中的至少一个的位置来确定中心位置处的编码单元520b。也就是说，可从当前编码单元500的中心位置处的样点540获得当前编码单元500的块形状信息和划分形状信息中的至少一个，并且当基于块形状信息和划分形状信息中的至少一个将当前编码单元500划分为多个编码单元520a、520b和520c时，可将包括样点540的编码单元520b确定为中心位置处的编码单元。然而，用于确定中心位置处的编码单元的信息不限于块形状信息和划分形状信息中的至少一个，并且可使用各种类型的信息确定中心位置处的编码单元。

根据实施例，可从包括在将被确定的编码单元中的预设样点获得用于标识预设位置处的编码单元的预设信息。参照图5，图像解码装置150可使用从当前编码单元500中的预设位置处的样点(例如，当前编码单元的中心位置处的样点)获得的块形状信息和划分形状信息中的至少一个来确定通过划分当前编码单元500确定的多个编码单元520a、520b和520c中的预设位置处的编码单元(例如，划分出的多个编码单元中的中心位置处的编码单元)。也就是说，图像解码装置150可通过考虑当前编码单元500的块形状来确定预设位置处的样点，从通过划分当前编码单元500确定的多个编码单元520a、520b和520c中确定包括可获得预设信息(例如，块形状信息和划分形状信息中的至少一个)的样点的编码单元520b，并且可对编码单元520b施加预设限制。参照图5，根据实施例，在解码操作中，图像解码装置150可将当前编码单元500的中心位置处的样点540确定为可获得预设信息的样点，并且可对包括样点540的编码单元520b施加预设限制。然而，可获得预设信息的样点的位置不限于上述位置，并且可包括编码单元520b中所包括的将被确定为用于限制的样点的任意位置。

根据实施例，可基于当前编码单元500的形状确定可获得预设信息的样点的位置。根据实施例，块形状信息可指示当前编码单元是具有正方形形状还是具有非正方形形状，并且可基于该形状确定可获得预设信息的样点的位置。例如，图像解码装置150可通过使用关于当前编码单元的宽度的信息和关于当前编码单元的高度的信息中的至少一个将位于用于将当前编码单元的宽度和高度中的至少一个对半划分的边界上的样点确定为可获得预设信息的样点。作为另一示例，在当前编码单元的块形状信息指示非正方形形状时，图像解码装置150可将与用于将当前编码单元的长边对半划分的边界相邻的样点中的一个样点确定为可获得预设信息的样点。

根据实施例，在当前编码单元被划分为多个编码单元时，图像解码装置150可使用块形状信息和划分形状信息中的至少一个来确定多个编码单元中的预设位置处的编码单元。根据实施例，图像解码装置150可从编码单元中的预设位置处的样点获得块形状信息和划分形状信息中的至少一个，并且可通过使用划分形状信息和块形状信息中的至少一个对通过划分当前编码单元生成的多个编码单元进行划分，其中，划分形状信息和块形状信息中的所述至少一个是从多个编码单元中的每个编码单元中的预设位置处的样点获得的。也就是说，可基于块形状信息和划分形状信息中的至少一个递归地划分编码单元，其中，划分形状信息和块形状信息中的所述至少一个是从每个编码单元中的预设位置处的样点获得的。上面已经关于图4描述了递归地划分编码单元的操作，并且因此这里将不提供其详细描述。

根据实施例，图像解码装置150可通过划分当前编码单元确定一个或更多个编码单元，并且可基于预设块(例如，当前编码单元)确定对所述一个或更多个编码单元进行解码的顺序。

图6示出根据实施例的当图像解码装置150通过划分当前编码单元确定多个编码单元时对所述多个编码单元进行处理的顺序。

根据实施例，图像解码装置150可基于块形状信息和划分形状信息，通过在垂直方向上划分第一编码单元600来确定第二编码单元610a和610b，通过在水平方向上划分第一编码单元600来确定第二编码单元630a和630b，或者通过在垂直方向和水平方向上划分第一编码单元600来确定第二编码单元650a至650d。

参照图6，图像解码装置150可确定按照水平方向顺序610c对通过在垂直方向上划分第一编码单元600所确定的第二编码单元610a和610b进行处理。图像解码装置150可确定按照垂直方向顺序630c对通过在水平方向上划分第一编码单元600所确定的第二编码单元630a和630b进行处理。图像解码装置150可确定根据预设顺序(例如，光栅扫描顺序或z字形扫描顺序650e)对通过在垂直方向和水平方向上划分第一编码单元600所确定的第二编码单元650a至650d进行处理，其中，根据所述预设顺序对一行中的编码单元进行处理然后对下一行中的编码单元进行处理。

根据实施例，图像解码装置150可递归地划分编码单元。参照图6，图像解码装置150可通过划分第一编码单元600来确定多个编码单元610a、610b、630a、630b、650a、650b、650c和650d，并且可递归地划分确定的多个编码单元610a、610b、630a、630b、650a、650b、650c和650d中的每一个。多个编码单元610a、610b、630a、630b、650a、650b、650c和650d的划分方法可对应于第一编码单元600的划分方法。如此，多个编码单元610a、610b、630a、630b、650a、650b、650c和650d中的每一个可被独立地划分为多个编码单元。参照图6，图像解码装置150可通过在垂直方向上划分第一编码单元600来确定第二编码单元610a和610b，并且可确定独立地划分或者不划分第二编码单元610a和610b中的每一个。

根据实施例，图像解码装置150可通过在水平方向上对左侧第二编码单元610a进行划分来确定第三编码单元620a和620b，并且可不对右侧第二编码单元610b进行划分。

根据实施例，可基于划分编码单元的操作来确定编码单元的处理顺序。换句话说，可基于紧接在被划分之前的编码单元的处理顺序来确定划分后的编码单元的处理顺序。图像解码装置150可独立于右侧第二编码单元610b来确定通过划分左侧第二编码单元610a所确定的第三编码单元620a和620b的处理顺序。因为通过在水平方向上划分左侧第二编码单元610a来确定第三编码单元620a和620b，所以可按照垂直方向顺序620c对第三编码单元620a和620b进行处理。因为左侧第二编码单元610a和右侧第二编码单元610b按照水平方向顺序610c被处理，所以可在按照垂直方向顺序620c对左侧第二编码单元610a中包括的第三编码单元620a和620b进行处理之后对右侧第二编码单元610b进行处理。基于划分之前的编码单元来确定编码单元的处理顺序的操作不限于上述示例，并且可使用各种方法按照预设顺序独立地处理被划分并被确定为各种形状的编码单元。

图7示出根据实施例的由图像解码装置150执行的当不能按照预设顺序对编码单元进行处理时确定当前编码单元将被划分为奇数个编码单元的处理。

根据实施例，图像解码装置150可基于获得的块形状信息和划分形状模式信息确定当前编码单元将被划分为奇数个编码单元。参照图7，正方形的第一编码单元700可被划分为非正方形的第二编码单元710a和710b，第二编码单元710a和710b可被独立地划分为第三编码单元720a和720b以及720c至720e。根据实施例，图像解码装置150可通过在水平方向上划分左侧第二编码单元710a来确定多个第三编码单元720a和720b，并且可将右侧第二编码单元710b划分为奇数个第三编码单元720c至720e。

根据实施例，图像解码装置150可通过确定第三编码单元720a和720b以及720c至720e是否可按照预设顺序处理，来确定是否存在奇数个划分出的编码单元。参照图7，图像解码装置150可通过递归地划分第一编码单元700来确定第三编码单元720a、720b以及720c至720e。图像解码装置150可基于块形状信息和划分形状信息中的至少一个确定以下编码单元中的任意一个是否将被划分为奇数个编码单元：第一编码单元700、第二编码单元710a和710b、或者第三编码单元720a和720b、720c至720e。例如，第二编码单元710a和710b中的位于右侧的第二编码单元可被划分为奇数个第三编码单元720c、720d和720e。第一编码单元700中包括的多个编码单元的处理顺序可以是预设顺序(例如，z字形扫描顺序730)，图像解码装置150可确定通过将右侧第二编码单元710b划分为奇数个编码单元所确定的第三编码单元720c、720d和720e是否满足用于按照预设顺序进行处理的条件。

根据实施例，图像解码装置150可确定第一编码单元700中包括的第三编码单元720a和720b以及720c、720d和720e是否满足用于按照预设顺序进行处理的条件，并且该条件与第二编码单元710a和710b的宽度和高度中的至少一个是否将沿着第三编码单元720a和720b以及720c、720d和720e的边界被对半划分有关。例如，通过将非正方形的左侧第二编码单元710a的高度对半划分所确定的第三编码单元720a和720b满足所述条件。然而，因为通过将右侧第二编码单元710b划分为三个编码单元所确定的第三编码单元720c、720d和720e的边界未将右侧第二编码单元710b的宽度或高度对半划分，所以可确定第三编码单元720c、720d和720e不满足所述条件。当如上所述不满足所述条件时，图像解码装置150可确定扫描顺序不连续，并且基于确定结果确定右侧第二编码单元710b将被划分为奇数个编码单元。根据实施例，当编码单元被划分为奇数个编码单元时，图像解码装置150可对划分出的编码单元中的预设位置处的编码单元施加预设限制。上面已经关于各种实施例描述了所述限制或所述预设位置，因此这里将不提供其详细描述。

图8示出由图像解码装置150执行的通过划分第一编码单元800来确定至少一个编码单元的处理。根据实施例，图像解码装置150可基于由接收器160获得的块形状信息和划分信息中的至少一个对第一编码单元800进行划分。正方形的第一编码单元800可被划分为四个正方形编码单元，或者可被划分为多个非正方形编码单元。例如，参照图8，当块形状信息指示第一编码单元800具有正方形形状并且划分形状信息指示将第一编码单元800划分为非正方形编码单元时，图像解码装置150可将第一编码单元800划分为多个非正方形编码单元。详细地，当划分形状信息指示通过在水平方向或垂直方向上划分第一编码单元800来确定奇数个编码单元时，图像解码装置150可将正方形的第一编码单元800划分为奇数个编码单元(例如，通过在垂直方向上划分正方形的第一编码单元800而确定的第二编码单元810a、810b和810c，或者通过在水平方向上划分正方形的第一编码单元800而确定的第二编码单元820a、820b和820c)。

根据实施例，图像解码装置150可确定包括在第一编码单元中的第二编码单元810a、810b、810c、820a、820b和820c是否满足用于按照预设顺序进行处理的条件，并且该条件与第一编码单元800的宽度和高度中的至少一个是否将沿着第二编码单元810a、810b、810c、820a、820b和820c的边界被对半划分有关。参照图8，因为通过在垂直方向上划分正方形的第一编码单元800所确定的第二编码单元810a、810b和810c的边界未将第一编码单元800的宽度对半划分，所以可确定第一编码单元800不满足用于按照预设顺序进行处理的条件。此外，因为通过在水平方向上划分正方形的第一编码单元800所确定的第二编码单元820a、820b和820c的边界未将第一编码单元800的宽度对半划分，所以可确定第一编码单元800不满足用于按照预设顺序进行处理的条件。当如上所述不满足所述条件时，图像解码装置150可确定扫描顺序不连续，并且可基于确定结果确定第一编码单元800将被划分为奇数个编码单元。根据实施例，当编码单元被划分为奇数个编码单元时，图像解码装置150可对划分出的编码单元中的预设位置处的编码单元施加预设限制。上面已经关于各种实施例描述了所述限制或所述预设位置，因此这里将不提供其详细描述。

根据实施例，图像解码装置150可通过划分第一编码单元确定各种形状的编码单元。

参照图8，图像解码装置150可将正方形的第一编码单元800或非正方形的第一编码单元830或850划分为各种形状的编码单元。

图9示出根据实施例的当通过划分第一编码单元900确定的具有非正方形形状的第二编码单元满足预设条件时图像解码装置150可将第二编码单元划分为的形状受到限制。

根据实施例，图像解码装置150可基于由接收器160获得的块形状信息和划分形状信息中的至少一个确定将正方形的第一编码单元900划分为非正方形的第二编码单元910a、910b、920a和920b。第二编码单元910a、910b、920a和920b可被独立地划分。如此，图像解码装置150可基于第二编码单元910a、910b、920a和920b中的每一个的块形状信息和划分形状信息中的至少一个，确定将第二编码单元910a、910b、920a和920b中的每一个划分为多个编码单元或者不对第二编码单元910a、910b、920a和920b中的每一个进行划分。根据实施例，图像解码装置150可通过在水平方向上对通过在垂直方向上划分第一编码单元900而确定的非正方形的左侧第二编码单元910a进行划分，来确定第三编码单元912a和912b。然而，当左侧第二编码单元910a在水平方向上被划分时，图像解码装置150可将右侧第二编码单元910b限制为不在左侧第二编码单元910a被划分的水平方向上被划分。当通过在同一方向上划分右侧第二编码单元910b来确定第三编码单元914a和914b时，因为左侧第二编码单元910a和右侧第二编码单元910b在水平方向上被独立地划分，所以可确定第三编码单元912a、912b、914a和914b。然而，这种情况与图像解码装置150基于块形状信息和划分形状信息中的至少一个将第一编码单元900划分为四个正方形的第二编码单元930a、930b、930c和930d的情况作用相同，并且在图像解码方面可能是低效的。

根据实施例，图像解码装置150可通过在垂直方向上对通过在水平方向上划分第一编码单元900而确定的非正方形编码单元920a或920b进行划分，来确定第三编码单元922a、922b、924a和924b。然而，当第二编码单元(例如，上方第二编码单元920a)在垂直方向上被划分时，出于上述原因，图像解码装置150可将另一第二编码单元(例如，下方第二编码单元920b)限制为不在上方第二编码单元920a被划分的垂直方向上被划分。

图10示出根据实施例的由图像解码装置150执行的当划分形状信息指示正方形编码单元将不被划分为四个正方形编码单元时划分正方形编码单元的处理。

根据实施例，图像解码装置150可通过基于块形状信息和划分形状信息中的至少一个划分第一编码单元1000，来确定第二编码单元1010a、1010b、1020a、1020b等。划分形状信息可包括关于划分编码单元的各种方法的信息，但是关于各种划分方法的信息可不包括用于将编码单元划分为四个正方形编码单元的信息。根据这样的划分形状信息，图像解码装置150可不将正方形的第一编码单元1000划分为四个正方形编码单元1030a、1030b、1030c和1030d。图像解码装置150可基于划分形状信息确定非正方形的第二编码单元1010a、1010b、1020a、1020b等。

根据实施例，图像解码装置150可独立地划分非正方形的第二编码单元1010a、1010b、1020a、1020b等。第二编码单元1010a、1010b、1020a、1020b等中的每一个可按照预设顺序被递归地划分，并且该划分方法可与基于块形状信息和划分形状信息中的至少一个来划分第一编码单元1000的方法对应。

例如，图像解码装置150可通过在水平方向上划分左侧第二编码单元1010a来确定正方形的第三编码单元1012a和1012b，并且可通过在水平方向上划分右侧第二编码单元1010b来确定正方形的第三编码单元1014a和1014b。此外，图像解码装置150可通过在水平方向上划分左侧第二编码单元1010a和右侧第二编码单元1010b两者来确定正方形的第三编码单元1016a、1016b、1016c和1016d。在这种情况下，可确定与从第一编码单元1000划分出的四个正方形的第二编码单元1030a、1030b、1030c和1030d具有相同形状的编码单元。

作为另一示例，图像解码装置150可通过在垂直方向上划分上方第二编码单元1020a来确定正方形的第三编码单元1022a和1022b，并且可通过在垂直方向上划分下方第二编码单元1020b来确定正方形的第三编码单元1024a和1024b。此外，图像解码装置150可通过在垂直方向上划分上方第二编码单元1020a和下方第二编码单元1020b两者来确定正方形的第三编码单元1026a、1026b、1026c和1026d。在这种情况下，可确定与从第一编码单元1000划分出的四个正方形的第二编码单元1030a、1030b、1030c和1030d具有相同形状的编码单元。

图11示出根据实施例的可根据划分编码单元的处理改变多个编码单元之间的处理顺序。

根据实施例，图像解码装置150可基于块形状信息和划分形状信息来划分第一编码单元1100。当块形状信息指示正方形形状并且划分形状信息指示在水平方向和垂直方向中的至少一个方向上划分第一编码单元1100时，图像解码装置150可通过划分第一编码单元1100来确定第二编码单元1110a、1110b、1120a、1120b。参照图11，通过仅在水平方向或垂直方向上划分第一编码单元1100而确定的非正方形的第二编码单元1110a、1110b、1120a和1120b可基于每个编码单元的块形状信息和划分形状信息被独立地划分。例如，图像解码装置150可通过在水平方向上对通过在垂直方向上划分第一编码单元1100而生成的第二编码单元1110a和1110b进行划分，来确定第三编码单元1116a、1116b、1116c和1116d，并且可通过在垂直方向上对通过在水平方向上划分第一编码单元1100而生成的第二编码单元1120a和1120b进行划分，来确定第三编码单元1126a、1126b、1126c和1126d。上面已经关于图9描述了划分第二编码单元1110a、1110b、1120a和1120b的操作，因此这里将不提供其详细描述。

根据实施例，图像解码装置150可按照预设顺序处理编码单元。上面已经关于图6描述了按照预设顺序处理编码单元的操作，因此这里将不提供其详细描述。参照图11，图像解码装置150可通过划分正方形的第一编码单元1100，确定四个正方形的第三编码单元1116a、1116b、1116c、1116d以及1126a、1126b、1126c和1126d。根据实施例，图像解码装置150可基于第一编码单元1100的划分方法确定第三编码单元1116a、1116b、1116c和1116d以及1126a、1126b、1126c和1126d的处理顺序。

根据实施例，图像解码装置150可通过在水平方向上对通过在垂直方向上划分第一编码单元1100而生成的第二编码单元1110a和1110b进行划分来确定第三编码单元1116a、1116b、1116c和1116d，并且可按照如下处理顺序1117处理第三编码单元1116a、1116b、1116c和1116d：首先在垂直方向上处理第二编码单元1110a中包括的第三编码单元1116a和1116c，然后在垂直方向上处理右侧第二编码单元1110b中包括的第三编码单元1116b和1116d。

根据实施例，图像解码装置150可通过在垂直方向上对通过在水平方向上划分第一编码单元1100而生成的第二编码单元1120a和1120b进行划分来确定第三编码单元1126a、1126b、1126c和1126d，并且可按照如下处理顺序1127处理第三编码单元1126a、1126b、1126c和1126d：首先在水平方向上处理上方第二编码单元1120a中包括的第三编码单元1126a和1126b，然后在水平方向上处理下方第二编码单元1120b中包括的第三编码单元1126c和1126d。

参照图11，可通过分别划分第二编码单元1110a、1110b、1120a和1120b来确定正方形的第三编码单元1116a、1116b、1116c和1116d以及1126a、1126b、1126c和1126d。尽管通过在垂直方向上划分第一编码单元1100而确定的第二编码单元1110a和1110b与通过在水平方向上划分第一编码单元1100而确定的第二编码单元1120a和1120b不同，但是从第二编码单元1110a和1110b以及第二编码单元1120a和1120b划分出的第三编码单元1116a、1116b、1116c和1116d以及第三编码单元1126a、1126b、1126c和1126d最终示出从第一编码单元1100划分出的相同形状的编码单元。如此，通过基于块形状信息和划分形状信息中的至少一个以不同的方式递归地划分编码单元，即使最终将编码单元确定为相同的形状，图像解码装置150也可按照不同顺序对多个编码单元进行处理。

图12示出根据实施例的当递归地划分编码单元而使得多个编码单元被确定时随着编码单元的形状和尺寸改变确定编码单元的深度的处理。

根据实施例，图像解码装置150可基于预设标准确定编码单元的深度。例如，所述预设标准可以是编码单元的长边的长度。当被划分之前的编码单元的长边的长度是划分后的当前编码单元的长边的长度的2n(n>0)倍时，图像解码装置150可确定当前编码单元的深度比划分之前的编码单元的深度增大n。在下面的描述中，具有增大的深度的编码单元被表示为更深深度的编码单元。

参照图12，根据实施例，图像解码装置150可通过基于指示正方形形状的块形状信息(例如，块形状信息可被表示为“0：square”)划分正方形的第一编码单元1200，来确定更深深度的第二编码单元1202和第三编码单元1204。假设正方形的第一编码单元1200的尺寸是2n×2n，通过将第一编码单元1200的宽度和高度划分至1/21而确定的第二编码单元1202可具有n×n的尺寸。此外，通过将第二编码单元1202的宽度和高度划分至1/2而确定的第三编码单元1204可具有n/2×n/2的尺寸。在这种情况下，第三编码单元1204的宽度和高度是第一编码单元1200的宽度和高度的1/22。当第一编码单元1200的深度为d时，宽度和高度是第一编码单元1200的宽度和高度的1/21的第二编码单元1202的深度可以是d+1，并且宽度和高度是第一编码单元的宽度和高度1/22的第三编码单元1204的深度可以是d+2。

根据实施例，图像解码装置150可通过基于指示非正方形形状的块形状信息(例如，块形状信息可被表示为指示高度长于宽度的非正方形形状的“1：ns_ver”，或者可被表示为指示宽度长于高度的非正方形形状的“2：ns_hor”)划分非正方形的第一编码单元1210或1220，来确定更深深度的第二编码单元1212或1222以及第三编码单元1214或1224。

图像解码装置150可通过划分尺寸为n×2n的第一编码单元1210的宽度和高度中的至少一个来确定第二编码单元1202、1212或1222。也就是说，图像解码装置150可通过在水平方向上划分第一编码单元1210来确定尺寸为n×n的第二编码单元1202或尺寸为n×n/2的第二编码单元1222，或者可通过在水平方向和垂直方向上划分第一编码单元1210来确定尺寸为n/2×n的第二编码单元1212。

根据实施例，图像解码装置150可通过划分尺寸为2n×n的第一编码单元1220的宽度和高度中的至少一个来确定第二编码单元1202、1212或1222。也就是说，图像解码装置150可通过在垂直方向上划分第一编码单元1220来确定尺寸为n×n的第二编码单元1202或尺寸为n/2×n的第二编码单元1212，或者可通过在水平方向和垂直方向上划分第一编码单元1220来确定尺寸为n×n/2的第二编码单元1222。

根据实施例，图像解码装置150可通过划分尺寸为n×n的第二编码单元1202的宽度和高度中的至少一个来确定第三编码单元1204、1214或1224。也就是说，图像解码装置150可通过在垂直方向和水平方向上划分第二编码单元1202来确定尺寸为n/2×n/2的第三编码单元1204、尺寸为n/2×n/2的第三编码单元1214或尺寸为n/2×n/2的第三编码单元1224。

根据实施例，图像解码装置150可通过划分尺寸为n/2×n的第二编码单元1212的宽度和高度中的至少一个来确定第三编码单元1204、1214或1224。也就是说，图像解码装置150可通过在水平方向上划分第二编码单元1212来确定尺寸为n/2×n/2的第三编码单元1204或尺寸为n/2×n/2的第三编码单元1224，或者可通过在垂直方向和水平方向上划分第二编码单元1212来确定尺寸为n/2×n/2的第三编码单元1214。

根据实施例，图像解码装置150可通过划分尺寸为n×n/2的第二编码单元1222的宽度和高度中的至少一个来确定第三编码单元1204、1214或1224。也就是说，图像解码装置150可通过在垂直方向上划分第二编码单元1212来确定尺寸为n/2×n/2的第三编码单元1204或尺寸为n/2×n/2的第三编码单元1214，或者可通过在垂直方向和水平方向上划分第二编码单元1222来确定尺寸为n/2×n/2的第三编码单元1224。

根据实施例，图像解码装置150可在水平方向或垂直方向上划分正方形编码单元1200、1202或1204。例如，图像解码装置150可通过在垂直方向上划分尺寸为2n×2n的第一编码单元1200来确定尺寸为n×2n的第一编码单元1210，或者可通过在水平方向上划分尺寸为2n×2n的第一编码单元1200来确定尺寸为2n×n的第一编码单元1220。根据实施例，当基于编码单元的最长边的长度确定深度时，通过在水平方向或垂直方向上划分尺寸为2n×2n的第一编码单元1200而确定的编码单元的深度可与第一编码单元1200、1210或1220的深度相同。

根据实施例，第三编码单元1214或1224的宽度和高度可以是第一编码单元1210或1220的宽度和高度的1/2²。当第一编码单元1210或1220的深度为d时，宽度和高度是第一编码单元1210或1220的宽度和高度的1/2的第二编码单元1212或1214的深度可以是d+1，宽度和高度是第一编码单元1210或1220的宽度和高度的1/2²的第三编码单元1214或1224的深度可以是d+2。

图13示出根据实施例的基于编码单元的形状和尺寸可确定的深度以及用于区分编码单元的部分索引(pid)。

根据实施例，图像解码装置150可通过划分正方形的第一编码单元1300来确定各种形状的第二编码单元。参照图13，图像解码装置150可通过基于划分形状信息在垂直方向和水平方向中的至少一个方向上划分第一编码单元1300来确定第二编码单元1302a和1302b、第二编码单元1304a和1304b、以及第二编码单元1306a、1306b、1306c和1306d。也就是说，图像解码装置150可基于第一编码单元1300的划分形状信息来确定第二编码单元1302a和1302b、1304a和1304b以及1306a、1306b、1306c和1306d。

根据实施例，基于正方形的第一编码单元1300的划分形状信息确定的第二编码单元1302a和1302b、第二编码单元1304a和1304b以及第二编码单元1306a、1306b、1306c和1306d的深度可基于它们的长边的长度而被确定。例如，因为正方形的第一编码单元1300的边的长度等于非正方形的第二编码单元1302a和1302b以及1304a和1304b的长边的长度，所以第一编码单元1300和非正方形的第二编码单元1302a和1302b以及1304a和1304b可具有相同的深度，例如d。然而，当图像解码装置150基于划分形状信息将第一编码单元1300划分为四个正方形编码单元1306a、1306b、1306c和1306d时，因为正方形的第二编码单元1306a、1306b、1306c和1306d的边的长度是第一编码单元1300的边的长度的1/2，所以第二编码单元1306a、1306b、1306c和1306d的深度可以是比第一编码单元1300的深度d深1的d+1。

根据实施例，图像解码装置150可通过基于划分形状信息在水平方向上划分高度长于宽度的第一编码单元1310来确定多个第二编码单元1312a和1312b以及1314a、1314b和1314c。根据实施例，图像解码装置150可通过基于划分形状信息在垂直方向上划分宽度长于高度的第一编码单元1320来确定多个第二编码单元1322a和1322b以及1324a、1324b和1324c。

根据实施例，基于非正方形的第一编码单元1310或1320的划分形状信息确定的第二编码单元1312a和1312b、第二编码单元1314a、1314b和1314c、第二编码单元1322a和1322b以及第二编码单元1324a、1324b和1324c的深度可基于它们的长边的长度而被确定。例如，因为正方形的第二编码单元1312a和1312b的边的长度是具有高度长于宽度的非正方形形状的第一编码单元1310的长边的长度的1/2，所以正方形的第二编码单元1312a和1312b的深度是比非正方形的第一编码单元1310的深度d深1的d+1。

此外，图像解码装置150可基于划分形状信息将非正方形的第一编码单元1310划分为奇数个第二编码单元1314a、1314b和1314c。奇数个第二编码单元1314a、1314b和1314c可包括非正方形的第二编码单元1314a和1314c以及正方形的第二编码单元1314b。在这种情况下，因为非正方形的第二编码单元1314a和1314c的长边的长度以及正方形的第二编码单元1314b的边的长度是第一编码单元1310的长边的长度的1/2，所以第二编码单元1314a、1314b和1314c的深度可以是比非正方形的第一编码单元1310的深度d深1的d+1。图像解码装置150可通过使用上述确定从第一编码单元1310划分出的编码单元的深度的方法，确定从具有宽度长于高度的非正方形形状的第一编码单元1320划分出的编码单元的深度。

根据实施例，当奇数个划分出的编码单元不具有相等的尺寸时，图像解码装置150可基于编码单元之间的尺寸比例来确定用于标识划分出的编码单元的pid。参照图13，奇数个划分出的编码单元1314a、1314b和1314c中的中心位置的编码单元1314b的宽度可等于其他编码单元1314a和1314c的宽度并且其高度可以是其他编码单元1314a和1314c的高度的两倍。也就是说，在这种情况下，中心位置处的编码单元1314b可包括两个其它编码单元1314a或1314c。因此，当中心位置处的编码单元1314b的pid基于扫描顺序而为1时，位于与编码单元1314b相邻位置的编码单元1314c的pid可增加2并且因此可以是3。也就是说，可能存在pid值不连续。根据实施例，图像解码装置150可基于用于标识划分出的编码单元的pid是否存在不连续，确定奇数个划分出的编码单元是否不具有相等的尺寸。

根据实施例，图像解码装置150可基于用于标识通过划分当前编码单元确定的多个编码单元的pid值来确定是否使用特定划分方法。参照图13，图像解码装置150可通过划分具有高度长于宽度的矩形形状的第一编码单元1310来确定偶数个编码单元1312a和1312b或奇数个编码单元1314a、1314b和1314c。图像解码装置150可使用指示各个编码单元的pid来识别各个编码单元。根据实施例，可从每个编码单元的预设位置处的样点(例如，左上样点)获得pid。

根据实施例，图像解码装置150可通过使用用于在编码单元之间进行区分的pid来确定划分出的编码单元中的预设位置处的编码单元。根据实施例，当具有高度长于宽度的矩形形状的第一编码单元1310的划分形状信息指示将编码单元划分为三个编码单元时，图像解码装置150可将第一编码单元1310划分为三个编码单元1314a、1314b和1314c。图像解码装置150可将pid分配给三个编码单元1314a、1314b和1314c中的每一个。图像解码装置150可对奇数个划分出的编码单元的pid进行比较，以便确定奇数个划分出的编码单元中的中心位置处的编码单元。图像解码装置150可将具有编码单元的pid中的与中间值对应的pid的编码单元1314b确定为通过划分第一编码单元1310确定的编码单元中的中心位置处的编码单元。根据实施例，当划分出的编码单元不具有相等的尺寸时，图像解码装置150可基于编码单元之间的尺寸比例确定用于在划分出的编码单元之间进行区分的pid。参照图13，通过划分第一编码单元1310生成的编码单元1314b的宽度可等于其他编码单元1314a和1314c的宽度，并且其高度可以是其他编码单元1314a和1314c的高度的两倍。在这种情况下，当中心位置处的编码单元1314b的pid是1时，位于与编码单元1314b相邻位置的编码单元1314c的pid可增加2并且因此可以是3。当如上所述pid未均匀地增大时，图像解码装置150可确定编码单元被划分为多个编码单元，其中，所述多个编码单元包括尺寸与其他编码单元的尺寸不同的编码单元。根据实施例，当划分形状信息指示将编码单元划分为奇数个编码单元时，图像解码装置150可按照奇数个编码单元中的预设位置的编码单元(例如，中心位置的编码单元)具有与其他编码单元的尺寸不同的尺寸这样的方式来划分当前编码单元。在这种情况下，图像解码装置150可通过使用编码单元的pid来确定具有不同尺寸的中心位置的编码单元。然而，预设位置的编码单元的pid以及尺寸或位置不限于上述示例，并且可使用编码单元的各种pid以及各种位置和尺寸。

根据实施例，图像解码装置150可使用预设数据单元，其中，在该预设数据单元中，开始递归地划分编码单元。

图14示出根据实施例的基于画面中包括的多个预设数据单元确定多个编码单元。

根据实施例，预设数据单元可被定义为通过使用块形状信息和划分形状信息中的至少一个开始递归地划分编码单元的数据单元。也就是说，预设数据单元可与用于确定从当前画面划分出的多个编码单元的最高深度的编码单元对应。在下面的描述中，为了便于解释，预设数据单元被称为参考数据单元。

根据实施例，参考数据单元可具有预设尺寸和预设尺寸形状。根据实施例，参考编码单元可包括m×n个样点。这里，m和n可彼此相等，并且可以是被表示为2的幂的整数。也就是说，参考数据单元可具有正方形形状或非正方形形状，并且可被划分为整数个编码单元。

根据实施例，图像解码装置150可将当前画面划分为多个参考数据单元。根据实施例，图像解码装置150可通过使用关于每个参考数据单元的划分信息来对从当前画面划分出的多个参考数据单元进行划分。划分参考数据单元的操作可与使用四叉树结构的划分操作对应。

根据实施例，图像解码装置150可预先确定当前画面中包括的参考数据单元所允许的最小尺寸。因此，图像解码装置150可确定尺寸等于或大于最小尺寸的各种参考数据单元，并且可参考确定的参考数据单元通过使用块形状信息和划分形状信息来确定一个或更多个编码单元。

参照图14，图像解码装置150可使用正方形的参考编码单元1400或非正方形的参考编码单元1402。根据实施例，可基于能够包括一个或更多个参考编码单元的各种数据单元(例如，序列、画面、条带、条带片段、最大编码单元等)来确定参考编码单元的形状和尺寸。

根据实施例，图像解码装置150的接收器160可从比特流获得针对各种数据单元中的每个数据单元的参考编码单元形状信息和参考编码单元尺寸信息中的至少一个。上面已经关于图10的划分当前编码单元1000的操作描述了确定包括在正方形的参考编码单元1400中的至少一个编码单元的操作，并且上面已经关于图11的划分当前编码单元1100或1150的操作描述了确定包括在非正方形的参考编码单元1402中的至少一个编码单元的操作。因此，这里将不提供其详细描述。

根据实施例，图像解码装置150可根据基于预设条件预先确定的一些数据单元，使用用于标识参考编码单元的尺寸和形状的pid来确定参考编码单元的尺寸和形状。也就是说，接收器160可从比特流仅获得针对每个条带、条带片段或最大编码单元的用于标识参考编码单元的尺寸和形状的pid，其中，所述条带、条带片段或最大编码单元是各种数据单元(例如，序列、画面、条带、条带片段、最大编码单元等)中的满足预设条件的数据单元(例如，尺寸等于或小于条带的数据单元)。图像解码装置150可通过使用pid确定针对满足预设条件的每个数据单元的参考数据单元的尺寸和形状。当根据具有相对小尺寸的每个数据单元从比特流获得并使用参考编码单元形状信息和参考编码单元尺寸信息时，使用比特流的效率可能不高，因此，可仅获得并使用pid，而不是直接获得参考编码单元形状信息和参考编码单元尺寸信息。在这种情况下，可预先确定与用于标识参考编码单元的尺寸和形状的pid对应的参考编码单元的尺寸和形状中的至少一个。也就是说，图像解码装置150可通过选择基于pid预先确定的参考编码单元的尺寸和形状中的至少一个，确定包括在用作用于获得pid的单元的数据单元中的参考编码单元的尺寸和形状中的至少一个。

根据实施例，图像解码装置150可使用最大编码单元中包括的一个或更多个参考编码单元。也就是说，从画面划分出的最大编码单元可包括一个或更多个参考编码单元，并且可通过递归地划分每个参考编码单元来确定编码单元。根据实施例，最大编码单元的宽度和高度中的至少一个可以是参考编码单元的宽度和高度中的至少一个的整数倍。根据实施例，可通过基于四叉树结构将最大编码单元划分n次来获得参考编码单元的尺寸。也就是说，根据各种实施例，图像解码装置150可通过基于四叉树结构将最大编码单元划分n次来确定参考编码单元，并且可基于块形状信息和划分形状信息中的至少一个来划分参考编码单元。

图15示出根据实施例的用作用于确定画面1500中包括的参考编码单元的确定顺序的单元的处理块。

根据实施例，图像解码装置150可确定从画面划分出的一个或更多个处理块。处理块是从画面划分出的包括一个或更多个参考编码单元的数据单元，并且可根据特定顺序确定处理块中包括的一个或更多个参考编码单元。也就是说，在每个处理块中确定的一个或更多个参考编码单元的确定顺序可与各种类型的用于确定参考编码单元的顺序中的一个顺序对应，并且可根据处理块变化。针对每个处理块确定的参考编码单元的确定顺序可以是各种顺序(例如，光栅扫描顺序、z字形扫描、n字形扫描、右上对角扫描、水平扫描和垂直扫描)中的一个，但不限于以上提及的扫描顺序。

根据实施例，图像解码装置150可获得处理块尺寸信息，并且可确定包括在画面中的一个或更多个处理块的尺寸。图像解码装置150可从比特流获得处理块尺寸信息，并且可确定包括在画面中的一个或更多个处理块的尺寸。处理块的尺寸可以是由处理块尺寸信息指示的数据单元的预设尺寸。

根据实施例，图像解码装置150的接收器160可根据每个特定数据单元从比特流获得处理块尺寸信息。例如，可按照诸如图像、序列、画面、条带或条带片段的数据单元从比特流获得处理块尺寸信息。也就是说，接收器160可根据各种数据单元中的每个数据单元从比特流获得处理块尺寸信息，并且图像解码装置150可通过使用获得的处理块尺寸信息确定从画面划分出的一个或更多个处理块的尺寸。处理块的尺寸可以是参考编码单元的尺寸的整数倍。

根据实施例，图像解码装置150可确定画面1500中包括的处理块1502和1512的尺寸。例如，图像解码装置150可基于从比特流获得的处理块尺寸信息确定处理块的尺寸。参照图15，根据实施例，图像解码装置150可将处理块1502和1512的宽度确定为参考编码单元的宽度的四倍，并且可将处理块1502和1512的高度确定为参考编码单元的高度的四倍。图像解码装置150可确定一个或更多个处理块中的一个或更多个参考编码单元的确定顺序。

根据实施例，图像解码装置150可基于处理块的尺寸确定画面1500中包括的处理块1502和1512，并且可确定处理块1502和1512中的一个或更多个参考编码单元的确定顺序。根据实施例，参考编码单元的确定可包括确定参考编码单元的尺寸。

根据实施例，图像解码装置150可从比特流获得一个或更多个处理块中包括的一个或更多个参考编码单元的确定顺序信息，并且可基于获得的确定顺序信息来确定针对一个或更多个参考编码单元的确定顺序。确定顺序信息可被定义为用于确定处理块中的参考编码单元的顺序或方向。也就是说，可针对每个处理块独立地确定参考编码单元的确定顺序。

根据实施例，图像解码装置150可根据每个特定数据单元从比特流获得参考编码单元的确定顺序信息。例如，接收器160可根据每个数据单元(诸如图像、序列、画面、条带、条带片段或处理块)从比特流获得参考编码单元的确定顺序信息。因为参考编码单元的确定顺序信息指示用于确定处理块中的参考编码单元的顺序，所以可针对包括整数个处理块的每个特定数据单元获得确定顺序信息。

根据实施例，图像解码装置150可基于确定的确定顺序来确定一个或更多个参考编码单元。

根据实施例，接收器160可从比特流获得参考编码单元的确定顺序信息作为与处理块1502和1512相关的信息，并且图像解码装置150可确定处理块1502和1512中包括的一个或更多个参考编码单元的确定顺序，并基于该确定顺序确定画面1500中包括的一个或更多个参考编码单元。参照图15，图像解码装置150可分别确定处理块1502和1512中的一个或更多个参考编码单元的确定顺序1504和1514。例如，当针对每个处理块获得参考编码单元的确定顺序信息时，可针对处理块1502和1512获得参考编码单元的不同类型的确定顺序信息。当处理块1502中的参考编码单元的确定顺序1504是光栅扫描顺序时，可根据光栅扫描顺序确定处理块1502中包括的参考编码单元。相反，当另一处理块1512中的参考编码单元的确定顺序1514是反向光栅扫描顺序时，可根据反向光栅扫描顺序确定处理块1512中包括的参考编码单元。

参照图1至图15描述了将视频划分为最大编码单元并将最大编码单元划分为分层树结构的编码单元的方法。参照图16至图27描述根据当前画面的时间层深度来确定可应用于当前画面的编码模式的方法。

图16示出包括在视频序列中的多个画面的时间层深度。

时间层深度指示根据画面的分层编码结构定义的时间层的时间层级。根据画面的编码顺序和画面之间的参考关系来确定分层编码结构。

在一组画面中(以下称为gop)中，在不参考其它画面的情况下首先将被编码的图像的时间层深度被确定为0。参考先前编码的上层时间层深度的画面来对下层时间层深度中的画面进行编码。例如，参考时间层深度为0或1的层中的画面来对时间层深度为2的层中的画面进行编码。因此，多个画面根据编码顺序和参考方向形成图16中所示的分层编码结构。

图16中所示的gop包括16个画面。此外，根据画面之间的编码顺序和参考关系，gop的16个画面被分类为5个时间层tl_01600、tl_11610、tl_21620、tl_31630和tl_41640。

tl_01600是最上层。tl_01600包括时间层深度为0的层。包括在tl_01600中的f01601和f161062不参考其它画面并且通过帧内预测模式被编码。

tl_11610包括时间层深度为1的层。参考tl01600的f01601和f161602对包括在tl11610中的f81611进行编码。

tl_21620包括时间层深度为2的层。参考tl_01600的f01601和f161602以及tl_11610的f81611对包括在tl_21620中的f41621和f121622进行编码。

tl_31630包括时间层深度为3的层。参考tl_01600的f01601和f161602、tl_11610的f81611以及tl_21620的f41621和f121622对包括在tl_31630中的f21631、f61632、f101633和f141634进行编码。

tl_41640是最下层。tl_4包括时间层深度为4的层。参考tl_01600的f01601和f161602、tl_11610的f81611、tl_21620的f41621和f121622以及tl_31630的f21631、f61632、f101633和f141634对包括在tl_41640中的f11641、f31642、f51643、f71644、f91645、f111646、f131647和f151648进行编码。

由于包括在tl_41640中的画面不被其他画面参考，tl_41640被称为非参考层。tl_41640的层深度被称为非参考层深度。

另一方面，未被包括在tl_41640中的画面被其它画面参考，因此，tl_41640的上层被称为参考层。tl_41640的上层的层深度被称为参考层深度。

当不存在参考画面或者当前画面与参考画面之间几乎没有相似性时，高频率地使用用于视频的编码和解码的编码模式。因此，通过帧内预测或基于具有长时间距离的参考画面来对小时间层深度的层中的画面进行编码和解码。因此，对于小时间层深度的层中的画面，应允许各种编码模式。

然而，参考具有短时间距离的画面来对大时间层深度的层中的画面进行预测。因此，由于基于具有短时间距离的参考画面对大时间层深度的层中的画面进行预测，所以可使用省略大部分编码信息的跳过模式或合并模式。因此，大量的编码模式很可能不被应用于大时间层深度的层中的画面。

因此，当对大时间层深度的层进行编码时，将低可能性的编码模式应用于大时间层深度的层中的画面，并且通过这样做，可省略对指示是否应用该编码模式的信息的编码。因此，由于根据时间层深度不允许将一些编码模式用于当前画面，所以可提高编码率。

例如，包括在tl_41640中的画面可参考包括在tl_31630中的时间上接近的画面。因此，由于包括在tl_41640中的画面和包括在tl_31630中的画面具有高相似性，所以即使当仅应用诸如上述跳过模式和合并模式的一些编码模式时，主观图像质量也不会严重劣化。也就是说，可通过设置为不允许低可能性的编码模式(诸如仿射模式、重叠块运动补偿模式)被用于tl_41640中的画面来提高编码率。同样，可通过不同地设置允许用于tl_01600、tl_11610、tl_21620和tl_31630的编码模式来提高编码率。

根据另一实施例，即使当将编码模式应用于多个层时，也可通过针对每一层不同地设置应用编码模式的块尺寸范围来提高编码率。例如，在诸如tl_01600和tl_11610的上层中，需要将划分单元编码顺序(suco)模式等应用于小尺寸的块。然而，包括在诸如tl_41640的下层中的小尺寸的块具有高可能性直接参考包括在上层的画面中的像素。因此，对于诸如tl_41640的下层，可允许特定编码模式仅被应用于大尺寸的块。

总之，可通过根据画面的时间层深度不同地设置针对画面所允许的编码模式和可应用该编码模式的块尺寸来提高编码率。

图17示出根据实施例的确定应用于当前画面的多个编码模式并执行指令以根据所述多个编码模式对当前画面进行解码的视频解码装置1700。

视频解码装置1700包括画面参数确定器1710和画面解码器1720。在图17中，虽然画面参数确定器1710和画面解码器1720被示出为单独的配置单元，但是根据实施例，画面参数确定器1710和画面解码器1720可被集成并因此被实现为同一配置单元。

在图17中，虽然画面参数确定器1710和画面解码器1720被示出为一个装置中的配置单元，但是分别负责画面参数确定器1710和画面解码器1720的功能的装置不必彼此相邻。因此，根据实施例，画面参数确定器1710和画面解码器1720可以是分布式的。

根据实施例，画面参数确定器1710和画面解码器1720可由处理器执行。根据实施例，画面参数确定器1710和画面解码器1720可由多个处理器执行。此外，指示画面参数确定器1710和画面解码器1720的功能的指令可被存储在视频解码装置1700的存储器中。

图17中所示的画面参数确定器1710和画面解码器1720中执行的功能可在图1b中所示的解码器180中执行。

画面参数确定器1710可根据当前画面的时间层深度来确定可应用于当前画面的编码模式。

根据实施例，当当前画面的时间层深度大于第一阈值深度时，画面参数确定器1720可确定不允许第一编码模式用于当前画面的编码。另一方面，当当前画面的时间层深度小于或等于第一阈值深度时，画面参数确定器1710可确定允许第一编码模式用于当前画面的编码。

根据另一实施例，当当前画面的时间层深度大于或等于第一阈值深度时，画面参数确定器1710可确定不允许第一编码模式用于当前画面的编码。另一方面，当当前画面的时间层深度小于第一阈值深度时，画面参数确定器1710可确定允许第一编码模式用于当前画面的编码。

例如，画面参数确定器1710可根据当前画面的时间层深度来确定是否可允许仿射模式用于当前画面。用于确定是否允许仿射模式的仿射阈值深度可被确定为4或3。可选地，仿射阈值深度可被确定为时间层深度的最大值或比最大值小1的值。

当不允许仿射模式用于当前画面时，画面解码器1720针对当前画面中的所有块不应用仿射模式。因此，不从比特流获得指示是否将仿射模式应用于块的仿射预测标志、仿射跳过标志、仿射合并标志等。因此，由于语法元素的省略，比特流的大小可被减小。

作为另一示例，画面参数确定器1710可根据当前画面的时间层深度来确定是否可允许空间自适应变换模式用于当前画面。用于确定是否允许空间自适应变换模式的空间自适应变换阈值深度可被确定为4或3。可选地，空间自适应变换阈值深度可被确定为时间层深度的最大值或比最大值小1的值。

当不允许空间自适应变换模式用于当前画面时，画面解码器1720针对当前画面中的所有块不应用空间自适应变换模式。因此，不从比特流获得指示空间自适应变换模式是否被应用于块的空间自适应变换标志等。类似于仿射模式的示例，省略语法元素可促使比特流的大小减小。

诸如描述仿射模式和空间自适应变换模式的实施例的方法可被应用于其它编码模式。

画面参数确定器1710可从当前画面的画面参数集获得指示是否允许第一编码模式的第一编码模式允许标志。当第一编码模式允许标志指示允许第一编码模式时，画面参数确定器1710可确定允许第一编码模式用于当前画面的编码。另一方面，当第一编码模式允许标志指示不允许第一编码模式时，画面参数确定器1710可确定不允许第一编码模式用于当前画面的编码。

当当前画面的时间层深度小于或等于第一阈值时，画面参数确定器1710可基于第一编码模式允许标志来确定是否允许第一编码模式用于当前画面。另一方面，当当前画面的时间层深度大于第一阈值深度时，画面参数确定器1710不获得第一编码模式允许标志，并且可确定不允许第一编码模式用于当前画面的编码。

画面参数确定器1710可根据从包括当前画面的序列或视频的序列参数集或视频参数集获得的第一阈值深度信息来确定第一阈值深度。之后，画面参数确定器1710可基于第一阈值深度确定是否允许第一编码模式用于当前画面的编码。

根据实施例，画面参数确定器1710可根据时间层深度确定应用第一编码模式的第一块的尺寸的范围。画面解码器1720还可通过对当前画面执行分层划分来确定多个块，并且可确定是否针对所述多个块中的与第一块的尺寸的范围对应的块应用第一编码模式。相反，画面解码器1720不针对不与第一块的尺寸的范围对应的块应用第一编码模式。

第一块的尺寸范围可由包括在块中的像素的数量来限定。例如，当第一块的尺寸范围被限定为256或更多的像素数量时，第一块的尺寸范围可包括尺寸为16×16、8×32和32×8的块。

可选地，可基于块的高度与宽度之中的较小值来确定第一块的尺寸范围。例如，当第一块尺寸范围包括高度与宽度之中的较小值为16或更大的块时，第一块尺寸范围可包括尺寸为16×16、16×32和32×16的块。

可选地，可基于块的划分深度来确定第一块的尺寸范围。当前块的划分深度指示执行块划分以从最大编码块获得当前块的次数。例如，第一块的尺寸范围包括划分深度小于或等于四的块，第一块的尺寸范围可包括从最大编码块被划分四次的块。

划分深度可包括通过四叉树划分而增加的第一划分深度以及通过垂直划分和水平划分而增加的第二划分深度。因此，可根据当前块的第一划分深度和第二划分深度来确定当前块是否被包括在第一块的尺寸范围中。

画面参数确定器1710可根据从包括当前画面的序列的序列参数集或包括当前画面的视频的视频参数集获得的第一块尺寸范围信息来获得时间层深度与第一块的尺寸范围之间的相关性。

画面解码器1720可基于第一块尺寸范围信息和根据时间层深度确定的第一块尺寸范围来确定是否允许第一编码模式用于与第一块尺寸范围对应的块。

画面参数确定器1710可将第一编码模式应用于特定时间层深度的画面，并且可将第一编码模式应用于其他时间层深度的画面。此外，对于应用第一编码模式的特定时间层深度，画面参数确定器1710可根据时间层深度不同地设置应用第一编码模式的第一块的尺寸范围。

第一块尺寸范围信息可指示应用根据时间层深度的第一编码模式的块的最小尺寸和形状中的至少一个。画面参数确定器1710可根据块的最小尺寸和形状中的至少一个来确定第一块的尺寸范围。可根据块的高度和宽度中的较小值、块的高度和宽度中的较大值、块的面积或者块的划分深度来确定块的最小尺寸。可根据块的高度与宽度之间的比率来限定块的形状。例如，画面参数确定器1710可将应用划分单元编码顺序(suco)模式的suco块尺寸范围确定为当前画面的时间层深度。suco模式是将从上层块划分出的多个下层块的编码顺序确定为正向和负向中的一个的编码模式。根据最小suco块尺寸和最大suco块尺寸来确定应用suco的块范围。画面参数确定器1710可根据当前画面的时间层深度来确定最小suco块尺寸和最大suco块尺寸。

例如，画面参数确定器1710可将时间层深度为0或1的画面的最小suco块尺寸确定为默认尺寸(例如，8×8或16×16)。画面参数确定器1710还可将时间层深度为2、3和4的画面的最小suco块尺寸确定为大于默认尺寸。此外，画面参数确定器1710可确定画面的最小suco块尺寸根据时间层深度的增加而增加。

因此，可将时间层深度为2的画面的最小suco块的高度和宽度确定为时间层深度为1的画面的最小suco块的高度和宽度的两倍以上。同样，可将时间层深度为3的画面的最小suco块的高度和宽度确定为时间层深度为2的画面的最小suco块的高度和宽度的两倍以上。

可基于包括当前画面的序列的序列参数集或包括当前画面的视频的视频参数集来确定时间层深度与最小suco块之间的相关性。时间层深度与最小suco块之间的相关性不限于本公开的实施例。

在另一示例中，画面参数确定器1710可根据当前画面的时间层深度确定仿射模式被确定的仿射块范围。画面参数确定器1710可将仿射块范围确定为最小仿射块中的像素的数量。

例如，时间层深度为0的画面的最小仿射块中的像素的数量可被确定为64。因此，可将仿射模式应用于时间层深度为0的画面的8×8尺寸的块。

此外，时间层深度为1的画面的最小仿射块的像素的数量可被确定为128。因此，可不将仿射模式应用于时间层深度为0的画面的8×8尺寸的块。然而，可将仿射模式应用于时间层深度为1的画面的16×8尺寸的块。

同样，时间层深度为2、3和4的画面的最小仿射块的像素的数量可分别被确定为256、512和1024。

作为另一示例，时间层深度为2的画面的最小仿射块中的像素的数量可被确定为64。时间层深度为3或4的画面的最小仿射块中的像素的数量可被确定为256。可将仿射模式设置为不被应用于时间层深度等于或大于5的画面。

根据实施例，画面参数确定器1710可根据时间层深度来确定在第一编码模式下使用的第一编码参数。

例如，在使用运动矢量差合并的模式中，画面参数确定器1710可根据时间层深度来确定一组运动矢量差候选。随着时间层深度越大，预测运动矢量具有越高的精度。因此，时间层深度越大，差分运动矢量的尺寸候选集中所包括的尺寸候选可越小。可选地，随着时间层深度增加，差分运动矢量的尺寸候选集中所包括的尺寸候选的数量可减少。

可选地，在解码器侧运动矢量修正模式下，画面参数确定器1710可根据时间层深度来确定修正运动矢量候选的扫描范围。如上所述，随着时间层深度增加，基本运动矢量的精度增加。因此，当时间层深度大时，运动矢量候选的扫描范围被设置得小。根据实施例，当时间层深度是非参考层深度时，画面参数确定器1710可确定不允许第一编码模式用于当前画面。相反，当时间层深度是参考层深度时，画面参数确定器1710可确定不允许第一编码模式用于生成包括在当前画面中的变换块。

例如，当当前画面的时间层深度是非参考层深度时，画面参数确定器1710可确定不允许环内整形模式用于当前画面。同样，当当前画面的时间层深度是非参考层深度时，画面参数确定器170可确定不允许重叠块运动补偿模式用于当前画面。

上述第一编码模式可以是多个预测模式中的一个。所述多个预测模式可包括仿射预测模式、位置相关预测组合模式、重叠块运动补偿模式、使用运动矢量差合并的模式、三角形块预测模式、帧内块预测模式(intrablockpredictionmode)、跨分量线性模型模式、解码器侧运动矢量修正模式、帧内子分区模式、多参考帧内模式和环内整形模式。

上述第一编码模式可以是多个变换模式中的一个。所述多个变换模式可包括多核变换模式、二次变换模式和空间变化变换模式。此外，第一编码模式可以是用于对视频进行编码和解码的块划分方法、环内滤波方法和熵编码方法中的一种。

画面解码器1720可根据可应用于当前画面的编码模式来生成针对包括在当前块中的块的预测块和变换块。此外，画面解码器1720可通过使用预测块和变换块来重建当前画面。

图18示出由图17中所示的视频解码装置1700执行的视频解码方法1800的流程图。

在操作1810，根据当前画面的时间层深度来确定可应用于当前画面的编码模式。

根据实施例，当时间层深度大于第一阈值深度时，可确定不允许第一编码模式用于当前画面的编码。相反，当时间层深度小于或等于第一阈值深度时，可确定允许第一编码模式用于当前画面的编码。

根据实施例，当时间层深度小于或等于第一阈值深度时，可从当前画面的画面参数集获得指示是否允许第一编码模式的第一编码模式允许标志。相反，当第一编码模式允许标志指示允许第一编码模式时，可确定允许第一编码模式用于当前画面的编码。

根据实施例，根据时间层深度，可确定应用第一编码模式的第一块尺寸范围。可根据时间层深度来确定应用第一编码模式的块的最小尺寸，并且可根据最小尺寸来确定第一块的尺寸范围。

根据实施例，当时间层深度是非参考层深度时，可确定不允许第一编码模式用于生成包括在当前画面中的变换块。相反，当时间层深度是参考层深度时，可确定允许第一编码模式用于生成包括在当前画面中的变换块。

根据实施例，可从包括当前画面的序列的序列参数集或包括当前画面的视频的视频参数集获得指示第一阈值深度的第一阈值深度信息。可基于根据第一阈值深度信息确定的第一阈值深度来确定是否允许第一编码模式可被允许用于对当前画面进行编码。

根据实施例，可从包括当前画面的序列的序列参数集和包括当前画面的视频的视频参数集获得指示时间层深度与第一块尺寸范围之间的相关性的第一块尺寸范围信息。

在操作1820，根据可应用于当前画面的编码模式，生成针对包括在当前画面中的块的预测块和变换块。

根据实施例，当块与第一块尺寸范围对应时，可确定是否将第一编码模式应用于块。当第一编码模式被应用于块时，可根据第一编码模式生成预测块或变换块。

根据实施例，可基于第一块尺寸范围信息和根据时间层深度确定的第一块尺寸范围来确定是否将第一编码模式应用于块。

在操作1830，通过使用预测块和变换块来重建当前画面。

上述第一编码模式可以是多个预测模式中的一个。所述多个预测模式可包括仿射预测模式、位置相关预测组合模式、重叠块运动补偿模式、使用运动矢量差合并的模式、三角形块预测模式、帧内块预测模式、跨分量线性模型模式、解码器侧运动矢量修正模式、帧内子分区模式、多参考帧内模式和环内整形模式。

上述第一编码模式可以是多个变换模式中的一个。所述多个变换模式可包括多核变换模式、二次变换模式和空间变化变换模式。此外，第一编码模式可以是用于对视频进行编码和解码的块划分方法、环内滤波方法和熵编码方法中的一种。

图18中所示的视频解码方法1800可包括可在视频解码装置1700中执行的解码处理。因此，本领域普通技术人员可容易地实现视频解码方法1800和视频解码装置1700的视频解码处理的实施例的组合。

图19示出根据实施例的确定应用于当前画面的多个编码模式并执行指令以根据所述多个编码模式对当前画面进行编码的视频编码装置1900。

视频编码装置1900包括画面参数确定器1910和画面编码器1920。在图19中，虽然画面参数确定器1910和画面编码器1920被示出为单独的配置单元，但是根据实施例，画面参数确定器1910和画面编码器1920可被集成并被实现为同一配置单元。

在图19中，虽然画面参数确定器1910和画面编码器1920被示出为一个装置中的配置单元，但是分别负责画面参数确定器1910和画面编码器1920的功能的装置不必在物理上彼此相邻。因此，根据实施例，画面参数确定器1910和画面编码器1920可以是分布式的。

根据实施例，画面参数确定器1910和画面解码器1920可由处理器执行。根据实施例，画面参数确定器1910和画面编码器1920可由多个处理器执行。此外，指示画面参数确定器1910和画面编码器1920的功能的指令可被存储在视频编码装置1900的存储器中。

画面参数确定器1910根据当前画面的时间层深度来确定可应用于当前画面的多个编码模式。

根据实施例，画面参数确定器1910可从包括当前画面的序列的序列参数集或包括当前画面的视频的视频参数集获得指示第一阈值深度的第一阈值深度信息。画面参数确定器1910可对由第一阈值深度信息指示的第一阈值深度与当前画面的时间层深度进行比较。根据比较的结果，画面参数确定器1910可确定是否允许第一编码模式用于当前画面。根据该方法，画面参数确定器1910可确定是否允许第一编码模式至第n编码模式中的每一个用于当前画面。

根据实施例，画面参数确定器1910可从包括当前画面的序列的序列参数集或包括当前画面的视频的视频参数集获得指示时间层深度与第一块尺寸范围之间的相关性的第一块尺寸范围信息。画面参数确定器1910可根据当前画面的时间层深度以及时间层深度与第一块尺寸范围之间的相关性来确定可应用第一编码模式的块尺寸范围。可由画面编码器1920根据当前块的尺寸确定可应用于当前块的多个编码模式。

根据实施例，当当前画面的时间层深度是非参考层深度时，画面参数确定器1910可确定不允许第一编码模式用于当前画面。相反，当当前画面的时间层深度是参考层深度时，画面参数确定器1910可确定允许第一编码模式用于当前画面。

画面编码器1920从可应用于当前画面的多个编码模式中确定应用于包括在当前画面中的块的编码模式。

根据实施例，当当前画面中的当前块的尺寸被包括在第一块尺寸范围中时，画面编码器1920可确定是否将第一编码模式应用于当前块。

画面编码器1920生成包括指示应用于包括在当前画面中的块的编码模式的信息的比特流。

根据实施例，当第一编码模式被允许用于当前画面时，画面编码器1920可生成指示第一编码模式是否被应用于当前块的第一编码模式信息。相反，当第一编码模式不被允许用于当前画面时，画面编码器1920不生成关于当前块的第一编码模式信息。

根据实施例，当当前块的尺寸被包括在第一块尺寸范围中时，画面编码器1920可生成指示是否将第一编码模式应用于当前块的第一编码模式信息。相反，当当前块的尺寸不被包括在第一块尺寸范围中时，画面编码器1920不生成指示是否将第一编码模式应用于当前块的第一编码模式信息。

画面编码器1920不生成关于不被允许用于当前块的编码模式的编码模式信息。如上所述，通过省略生成编码模式信息的步骤，可提高编码率。

图19中所示的视频编码装置1900可执行与图17中所示的视频解码装置1700的功能对应的编码方法。因此，本领域普通技术人员可容易地将与视频解码装置1700的解码方法对应的编码方法应用于视频编码装置1900。

图20示出由图19中所示的视频编码装置1900执行的视频解码方法2000的流程图。

在操作2010，可根据当前画面的时间层深度来确定可应用于当前画面的多个编码模式。

在操作2020，可从可应用于当前画面的多个编码模式确定应用于包括在当前画面中的块的编码模式。

在操作2030，可生成包括指示应用于包括在当前画面中的块的编码模式的信息的比特流。

图20中所示的视频编码方法2000可包括可在视频编码装置1900中执行的编码处理。因此，本领域普通技术人员可容易地实现上述视频编码方法2000和视频编码装置1900的编码处理的实施例的组合。

参照图21描述根据仿射模式的预测方法。可在图像中发现对象的放大或缩小、旋转、透视和其他不规则移动。使用仿射变换的仿射模式可被用于精确地预测对象的运动。

仿射变换指示在两个仿射空间上保留一个共线点的变换。这里，仿射空间是通过归纳欧几里得空间而获得的几何结构。在仿射空间中，不保持关于距离和角度的测量的特性，而仅保持点之间的共线性、线段之间的平行性以及同一条线上的点之间的线段的比率。也就是说，根据仿射变换，直线以及直线是否平行被保留，而直线的方向和角度、直线之间的距离以及面积不被保留。因此，当对象被放大或缩小或旋转时，可根据仿射运动补偿预测模式精确地对图像中的包括对象的区域进行预测。

参照图21简要描述仿射变换。块2100的四个顶点2102、2104、2106和2108分别与运动矢量2112、2114、2116和2118对应。通过根据运动矢量2112、2114、2116和2118对块执行仿射变换来形成仿射变换块2110。块2100中的样点可与仿射变换块2110中的样点匹配。

例如，通过对将顶点2106与块的上方中心处的样点2120连接的线的一段上的样点2122执行仿射变换而获得的样点2124位于将仿射变换块2110的由顶点2106的运动矢量2116指示的样点2126与仿射变换块2110的由样点2120的运动矢量2130指示的样点2128连接的线的一段上。仿射变换样点2124的位置可由通过根据样点2122的位置对运动矢量2112、2114、2116和2118执行线性插值而获得的运动矢量2130来确定。同样，块2100中的其它样点也可经历仿射变换并与仿射变换块2110中的样点匹配。如参照图21所描述的，可通过使用针对仿射变换生成的运动矢量来对块中的所有样点进行帧间预测。

图17的视频解码装置1700和图19的视频编码装置1900可根据画面的时间层深度来确定是否允许使用仿射变换的仿射模式。

图22示出根据位置相关预测组合模式的当前块的预测方法。在位置相关预测组合模式下，根据当前样点的位置确定用于当前样点的预测的两个或更多个参考样点。当前样点的预测值被确定为所述两个或更多个参考样点的样点值的加权平均值。根据当前样点与参考样点之间的距离来确定用于确定所述加权平均值的权重。

图22示出基于当前块2200的左参考样点和上参考样点根据位置相关预测组合模式对当前块进行预测的方法。样点2202的预测值被确定为样点2202的左参考样点2204和上参考样点2206的样点值的加权平均值。根据样点2202与左参考样点2204之间的距离以及样点2202与上参考样点2206之间的距离来确定应用于左参考样点和上参考样点2206的权重。

例如，可与样点2202与上参考样点2206之间的距离成正比地确定应用于左参考样点2204的权重。可与样点2202与左参考样点2204之间的距离成正比地确定应用于上参考样点2206的权重。因此，应用于左参考样点2204的权重可被确定为2，并且应用于上参考样点2206的权重可被确定为3。当左参考样点2204的样点值是130并且上参考样点2206的样点值是80时，样点2202的预测值被确定为100，即，根据权重的加权平均值((130×2+80×3)/(2+3)＝100)。

也通过与样点2202的方法相同的方法对当前块2200中的其它样点进行预测。

图17的视频解码装置1700和图19的视频编码装置1900可根据画面的时间层深度来确定是否允许位置相关预测组合模式。

参照图23描述重叠块运动补偿模式的预测方法。在重叠块运动预测模式下，通过使用当前块的运动矢量和与当前块相邻的块的运动矢量来获得当前块的边界处的当前样点的多个预测值。通过对所述多个预测值进行加权平均来获得当前样点的最终预测值。对于加权平均，针对当前运动矢量的权重通常大于针对邻近运动矢量的权重。

例如，对于当前块2300的左边界处的样点2302，获得当前块2300的当前运动矢量，并且从当前块2300的包括样点2302的左样点2304的左侧块获得邻近运动矢量。通过对通过当前运动矢量获得的预测值和通过邻近运动矢量获得的预测值进行加权平均来确定样点的最终预测值。

在与当前块2300的左边界和上边界两者相邻的样点2306中，获得当前块2300的当前运动矢量，从当前块2300的包括样点2306的左样点2308的左侧块获得第一邻近运动矢量，并且从当前块2300的包括样点2306的上样点2310的上方块获得第二邻近运动矢量。而且，通过对通过当前运动矢量获得的预测值、通过第一邻近运动矢量获得的预测值和通过第二邻近运动矢量获得的预测值进行加权平均来获得的样点的最终预测值。

图17的视频解码装置1700和图19的视频编码装置1900可根据画面的时间层深度来确定是否允许重叠块运动补偿模式。

参照图24详细描述基于使用运动矢量差合并的模式的帧间预测。根据图24，当前块的基本运动矢量2400是(5,-4)。然而，当由基本运动矢量2400指示的参考块不正确时，当前块的编码效率可能降低。因此，在使用运动矢量差合并的模式中，可根据校正大小2402和校正方向2404来对基本运动矢量2400进行校正。

例如，当校正大小2402是2并且校正方向2404是+x方向时，用于校正基本运动矢量2400的校正运动矢量2406被确定为(2,0)。将基本运动矢量2400和校正运动矢量2406的和矢量(7,-4)确定为当前块的运动矢量2408。因此，可通过指示当前参考块的运动矢量2408来对当前块进行预测。因此，在使用运动矢量差合并的模式中，可通过校正基本运动矢量2400来提高预测的精度。

在使用运动矢量差合并的模式中，为了减小基本运动矢量2400的校正所需的信息的大小，校正大小2402和校正方向2404各自具有数量受限的候选。例如，当从八个校正大小候选中确定了校正大小2402时，根据截断一元码指示校正大小2402的校正大小信息可由从最小1个比特到最大7个比特来表达。同样，当从四个校正方向候选(+x、-x、+y和-y)中确定了校正方向2404时，指示校正方向2404的校正方向信息可由2个比特来表达。因此，确定校正矢量2406所需的比特率被限制为9个比特。因此，在使用运动矢量差合并的模式中，由于确定校正运动矢量2406所需的比特率被限制为等于或小于预设大小，所以压缩效率可提高。

图17的视频解码装置1700和图19的视频编码装置1900可根据画面的时间层深度来确定是否允许使用运动矢量差合并的模式。

参照图25描述跨分量线性模型以及跨分量线性模型中参考的参考区域。跨分量线性模型模式是用于从相同位置处的亮度块预测色度块的预测模式。跨分量线性模型模式确定亮度样点和色度样点都被解码的参考区域，从参考区域获得亮度样点的样点值与色度样点的样点值之间的线性关系，并且根据该线性关系对色度块进行预测。

根据图25，当前块2500的左侧块、上方块和左上方块在当前块2500之前被解码。因此，在左侧方向、上方方向和左上方向上设置参考区域2510。

根据参考区域偏移来确定图25的参考区域2510的宽度。可通过从比特流获得的当前块2500的尺寸或编码信息来确定参考区域偏移。

图17的视频解码装置1700和图19的视频编码装置1900可根据画面的时间层深度来确定是否允许跨分量线性模式。

参照图26描述解码器侧运动矢量修正模式的预测方法。解码器侧运动矢量修正模式是用于在连续画面之间存在运动的连续性的假设下搜索当前块的运动矢量的帧间预测模式。因此，解码器侧运动矢量修正模式被应用于被执行双向预测的块。

根据解码器侧运动矢量修正模式，从多个运动矢量候选获得当前块的基本运动矢量。在确定了当前块的基本运动矢量之后，可通过围绕当前块的基本运动矢量指向的点进行扫描来推导匹配精度比基本运动矢量的匹配精度高的修正后的运动矢量。

可根据两个运动矢量指向的两个参考块中所包括的像素之间的绝对差之和(以下称为sad)来确定匹配精度。当根据两个运动矢量的sad较小时，确定所述两个运动矢量对于当前块具有精确的匹配精度。

因此，对基本运动矢量的sad与修正后的运动矢量候选的sad进行彼此比较，其中，在修正后的运动矢量候选中，基本运动矢量的x坐标值和y坐标值中的一些被修正。在基本运动矢量和修正后的运动矢量候选中，将具有最小sad的运动矢量候选确定为修正后的运动矢量。

例如，可首先针对第一参考画面2610和第二参考画面2620确定基本运动矢量。通过围绕由针对第一参考画面2610和第二参考画面2620的基本运动矢量指示的点2612和2622进行扫描来确定在参考块之间具有较小sad的修正后的运动矢量。可通过修正后的运动矢量对当前块2602进行预测。

图17的视频解码装置1700和图19的视频编码装置1900可根据画面的时间层深度来确定是否允许解码器侧运动矢量修正模式。

参照图27描述多参考帧内模式。在多参考帧内模式下，从根据距当前块的像素距离区分开的多个参考像素组候选中确定由当前块参考的参考像素组候选。

例如，当对当前块2700进行帧内预测时，包括在当前块2700周围的参考区域2710中的参考像素可被参考。在图27中，紧邻当前块2700的参考像素组2711、离当前块2700一个像素远的参考像素组2712、离当前块2700两个像素远的参考像素组2713和离当前块2700三个像素远的参考像素组2714被确定为当前块2700的参考像素组候选。

在所述四个参考像素组候选中，将最适合于当前块2700的预测的参考像素组候选确定为当前块的参考像素组。因此，在多参考帧内模式下，与当前块不紧邻的参考像素也可被用于当前块的帧内预测。

图17的视频解码装置1700和图19的视频编码装置1900可根据画面的时间层深度来确定是否允许多参考帧内模式。

在本说明书中提及的三角形块预测模式下，当前块被划分为两个三角形子块，并且所述两个三角形子块被彼此独立地预测。

在这里所述的帧内块预测模式下，不同于帧间模式，由运动矢量指示的参考块是从当前画面确定的。帧内块预测模式主要被应用于人工创建的屏幕内容。

在这里所述的帧内子分区模式下，当前块被划分为多个子分区，并且根据预设编码顺序来重建子分区。在通常的帧内预测模式下，通过针对所有块确定预测块和变换块来重建子分区。然而，在帧内子分区模式下，通过首先对编码顺序的第一位置处的第一分区执行预测和变换来重建第一子分区。参考重建的第一子分区来重建第二子分区。因此，帧内子分区模式的预测精度可比一般帧内预测模式的预测精度高。

图17的视频解码装置1700和图19的视频编码装置1900可根据画面的时间层深度来确定是否允许三角形块预测模式、是否允许帧内块预测模式以及/或者是否允许帧内子分区模式。

在这里所述的suco模式下，可改变从同一上层块划分出的下层块之间的编码顺序。例如，当上层块被划分为左侧块和右侧块并且参考上层块的右侧块对下层块进行预测更好时，可在suco模式下先于左侧块对右侧块进行预测。图17的视频解码装置1700和图19的视频编码装置1900可根据画面的时间层深度来确定是否允许suco模式。

在这里所述的二次变换模式下，当当前变换块被划分为多个子集时，在针对当前变换块进行初次变换之后，针对包括低频分量的左上子集执行二次变换。针对左上子集的二次变换主要是旋转变换。

在这里所述的空间自适应变换模式下，根据当前变换块的形状不同地确定变换方法。因此，当当前变换块是正方形、沿垂直方向较长的矩形和沿水平方向较长的矩形时，可不同地确定变换方法。

图17的视频解码装置1700和图19的视频编码装置1900可根据画面的时间层深度来确定是否允许多核变换模式、二次变换模式和空间自适应变换模式。

根据以上参照图1至图19描述的基于具有树结构的编码单元的视频编码方法，在树结构的每个编码单元中对空间域中的图像数据进行编码，基于根据树结构的编码单元的视频解码方法针对每个最大编码单元执行解码，并且通过这样做，空间域的图像数据被重建，并且画面以及作为画面序列的视频可被重建。重建的视频可由播放器播放，被存储在存储介质中，或者通过网络被发送。

上述本公开的实施例可被制为可由计算机执行的程序，并且可通过使用计算机可读记录介质在操作该程序的通用数字计算机中实现。

虽然利用最合适的实施例描述了本公开，但是普通技术人员根据描述将清楚地理解对本公开应用替代、修改和修正的其他实施例。换句话说，权利要求被解释为包括对实施例的所有替代、修改和修正。因此，说明书和附图中的所有描述应被解释为说明性的和非限制性的。