解码高分辨率图像的方法和装置与流程

对于优先权的要求

本申请要求在2010年6月7日在韩国知识产权局(KIPO)中提交的韩国专利申请No.2010-0053186的优先权，其整体内容通过引用被包含在此。

技术领域

本发明涉及编码和解码图像，并且更具体地，涉及可以适用于高清晰度图像的编码方法和执行该编码方法的编码设备，以及解码方法和执行该解码方法的解码设备。

背景技术：

通常，图像压缩方法执行编码，其中将一个画面划分为具有预定大小的多个块。而且，使用帧间预测和帧内预测技术来去除在画面之间的两重性，以便增大压缩效率。

一种通过使用帧间预测编码图像的方法通过去除在画面之间的时间两重性来压缩图像，并且其代表性示例是运动补偿预测编码方法。

该运动补偿预测编码通过搜索与位于当前编码的画面之前和之后的至少一个参考画面中的当前编码的块类似的区域来生成运动向量，对于通过使用生成的运动向量执行运动补偿而获得的在当前块和预测块之间的剩余值执行DCT(离散余弦变换)、量化和然后的熵编码，然后传送结果。

传统上，用于运动补偿预测的宏块可以具有各种大小，诸如16×16、8×16或8×8像素，并且对于变换和量化，使用具有8×8或4×4像素的大小的块。

然而，如上所述的用于变换和量化或运动补偿的现有块大小对于具有HD(高清晰度)或更大的分辨率的高分辨率图像的编码不适当。

具体地说，在显示低分辨率图像的小屏幕的情况下，在运动预测的精度和比特率上更有效的是，使用小大小块来执行运动预测和补偿，但是在基于具有16×16或更小的大小的块对于高分辨率的、大屏幕图像执行运动预测和补偿的情况下，在一个画面中包括的块的数目指数地增大，使得编码处理的负载和压缩的数据的数量增大，因此导致在传输比特率上的增大。

而且，当图像的分辨率增大时，具有较少的细节或没有偏离的区域也扩展。因此，当如在传统方法中那样使用具有16×16像素的大小的块来执行运动预测和补偿时，编码噪声增大。

技术实现要素：

本发明的第一目的是提供一种图像编码和解码方法，该方法可以增强对于高分辨率图像的编码效率。

而且，本发明的第二目的是提供一种图像编码和解码设备，该设备可以增强对于高分辨率图像的编码效率。

为了实现本发明的第一目的，根据本发明的一个方面的一种图像编码方法包括以下步骤：接收要编码的至少一个画面；基于在接收到的至少一个画面之间的时间频率特性来确定要编码的块的大小；以及编码具有确定的大小的块。

为了实现本发明的第一目的，根据本发明的另一个方面的一种图像编码方法包括以下步骤：通过对于具有N×N大小的预测单元执行运动补偿来生成预测块，其中N是2的幂；通过将预测单元与预测块作比较而获得剩余值；以及对于剩余值执行变换。预测单元可以具有扩展的宏块大小。预测单元当具有可变大小的代码化单元被分级地分割并且达到可允许的最大分级水平或分级深度时可以对应于叶代码化单元，并且其中，图像编码方法可以进一步包括以下步骤：传送包括最大代码化单元的大小和最小代码化单元的大小的序列参数集合(SPS)。对于剩余值执行变换的步骤可以是对于扩展的宏块执行DCT(离散余弦变换)的步骤。N可以是2的幂，并且N可以不小于8，并且不大于64。

为了实现本发明的第一目的，根据本发明的又一个方面的一种图像编码方法包括以下步骤：接收要编码的至少一个画面；基于接收到的至少一个画面的空间频率特性来确定要编码的预测单元的大小，其中，预测单元的大小是N×N像素，并且N是2的幂；以及编码具有确定的大小的预测单元。

为了实现本发明的第一目的，根据本发明的再一个方面的一种图像编码方法包括以下步骤：接收具有N×N像素的大小的扩展宏块，其中，N是2的幂；在接收到的扩展宏块的周边的块当中检测属于边缘的块；基于属于检测到的边缘的像素将扩展的宏块分割为至少一个分区；以及对于分割的至少一个分区的预定分区执行编码。

为了实现本发明的第一方面，根据本发明的一个方面的一种图像解码方法包括以下步骤：接收编码的比特流；从接收到的比特流获得要解码的预测单元的大小信息，其中，预测单元的大小是N×N像素，并且N是2的幂；通过对于接收到的比特流执行逆量化和逆变换来获得剩余值；通过对于具有与获得的大小信息相对应的大小的预测单元执行运动补偿来生成预测块；以及通过将生成的预测块与剩余值相加来重建图像。在此，预测单元可以具有扩展的宏块大小。变换剩余值的步骤可以是对于扩展的宏块执行逆DCT(离散余弦变换)的步骤。预测单元可以具有N×N像素的大小，其中，N可以是2的幂，并且N可以不小于8并且不大于64。预测单元当具有可变大小的代码化单元可以被分级地分割并且达到可允许的最大分级水平或分级深度时可以是叶代码化单元。该方法可以进一步包括以下步骤：从接收到的比特流获得要编码的预测单元的分区信息。通过对于具有与预测单元的获得的大小信息相对应的大小的预测单元执行运动补偿而生成预测块的步骤可以包括以下步骤：基于预测单元的分区信息来对于预测单元执行分区，并且对于分割的分区执行运动补偿。可以以不对称分区方案来执行分区。可以以具有除了正方形之外的形状的几何分区方案来执行分区。以沿着边缘方向的分区方案来执行分区。沿着边缘方向的分区方案包括以下步骤：在预测单元周边的块当中检测属于边缘的像素，并且基于属于检测到的边缘的像素将预测单元分割为至少一个分区。沿着边缘方向的分区可以适用于帧内预测。而且，为了实现本发明的第一目的，根据本发明的另一个方面的一种图像解码方法包括以下步骤：从接收到的比特流接收要解码的宏块的编码的比特流、大小信息和分区信息；对于接收到的比特流执行逆量化和逆变换，以获得剩余值；基于获得的宏块大小信息和分区信息将具有32×32像素、64×64像素和128×128像素中的任何一个大小的扩展宏块分割为至少一个分区；通过对于分割的至少一个分区的预定分区执行运动补偿来生成预测分区；以及将生成的预测分区与剩余值相加以由此重建图像。

为了实现本发明的第二目的，根据本发明的一个方面的一种图像编码设备包括：预测单元确定单元，该预测单元确定单元接收要编码的至少一个画面，并且基于在接收到的至少一个画面之间的时间频率特性或基于在接收到的至少一个画面之间的空间频率特性来确定要编码的预测单元的大小；以及编码器，该编码器对具有确定的大小的预测单元进行编码。

为了实现本发明的第二目的，根据本发明的一个方面的一种图像解码设备包括：熵解码器，该熵解码器对接收到的比特流进行解码以生成报头信息；运动补偿单元，该运动补偿单元通过基于从报头信息获得的预测单元的大小信息对于预测单元执行运动补偿来生成预测块，其中，预测单元的大小是N×N像素，并且，N是2的幂；逆量化单元，该逆量化单元对接收到的比特流进行逆量化；逆变换单元，该逆变换单元通过对于逆量化的数据执行逆变换来获得剩余值；以及加法器，该加法器将剩余值与预测块相加以重建图像。预测单元可以具有扩展的宏块大小。逆变换单元可以对于扩展的宏块执行逆DCT(离散余弦变换)。预测单元可以具有N×N像素的大小，其中，N可以是2的幂，并且N可以不小于4并且不大于64。预测单元当具有可变大小的代码化单元被分级的分割并且达到可允许的最大分级水平或分级深度时可以对应于叶代码化单元。运动补偿单元可以通过基于预测单元的分区信息对于预测单元执行分区来对于分割的分区执行运动补偿。可以以不对称分区方案来执行分区。可以以具有除了正方形之外的形状的几何分区方案来执行分区。可以沿着边缘方向执行分区。图像编码设备可以进一步包括帧内预测单元，该帧内预测单元对于具有与预测单元的获得的大小信息相对应的大小的预测单元执行沿着边缘方向的帧内预测。

根据上述的高分辨率图像编码/解码方法和执行该方法的设备，要编码的代码化单元或预测单元的大小被配置为32×32像素、64×64像素或128×128像素，并且基于配置的预测单元大小来执行运动预测和运动补偿和变换。而且，将具有32×32像素、64×64像素或128×128像素的大小的预测单元被分割为至少一个分区，并且然后编码。

在具有高同质或一致性的情况下，诸如在能量集中在低频的区域处或在具有相同颜色的区域处，代码化单元或预测单元被应用到编码/解码，代码化单元或预测单元的大小进一步被扩展为与扩展的宏块的大小相对应的32×32、64×64或128×128像素，使得可能可以增大具有高清(HD)、超高清或更大的分辨率的大屏幕图像的编码/解码效率。

可以通过下述方式来提高编码/解码效率：根据用于大屏幕的时间频率特性(例如，在先前和当前屏幕之间的改变或移动程度)来相对于像素区域增大或减小扩展的宏块大小或代码化单元的大小或预测单元的大小。

因此，可能可以增强对具有高清、超高清或更大的分辨率的大屏幕图像进行编码的效率，并且降低在具有高同质和一致性的区域处的编码噪声。

附图说明

图1是图示根据本发明的一个实施例的图像编码方法的流程图。

图2是图示根据本发明的另一个示例实施例的递归代码化单元结构的概念图。

图3是图示根据本发明的一个实施例的不对称分区的概念图。

图4a至4c是图示根据本发明的实施例的几何分区方案的概念图。

图5是图示在几何分区的情况下对于位于边界线上的边界像素的运动补偿的概念图。

图6是图示根据本发明的另一个示例实施例的图像编码方法的流程图。

图7是图示在图6中所示的分区处理的概念图。

图8是向帧内预测应用考虑到边缘的分区的示例的概念图。

图9是图示根据本发明的又一个示例实施例的图像编码方法的流程图。

图10是图示根据本发明的再一个示例实施例的图像编码方法的流程图。

图11是图示根据本发明的一个实施例的图像解码方法的流程图。

图12是图示根据本发明的另一个示例实施例的图像解码方法的流程图。

图13是图示根据本发明的一个实施例的图像编码设备的配置的框图。

图14是图示根据本发明的另一个示例实施例的图像编码设备的配置的框图。

图15是图示根据本发明的一个实施例的图像编码设备的配置的框图。

图16是图示根据本发明的另一个示例实施例的图像解码设备的配置的框图。

具体实施方式

可以对于本发明进行各种修改，并且本发明可以具有多个实施例。参考附图详细描述特定实施例。

然而，本发明不限于特定实施例，并且应当明白，本发明包括在本发明的精神和技术范围中包括的所有修改、等同物或替换。

词语“第一”和“第二”可以用于描述各个组件，但是组件不限于此。这些词语仅用于将一个组件与另一个相区别。例如，第一组件也可以被称为第二组件，并且第二组件可以类似地被称为第一组件。词语“和/或”包括在此描述的多个相关项目的组合或多个相关项目中的任何一个。

当组件“连接”或“耦合”到另一个组件时，该组件可以直接地连接或耦合到该另一个组件。相反，当组件直接连接或耦合到另一个组件时，没有组件插入其间。

在此使用的词语被给出来描述实施例，但是不意欲限制本发明。单数词语包括复数词语，除非另外说明。如在此使用的词语“包括”或“具有”用于指示存在如在此所述的特征、数字、步骤、操作、组件、部件或其组合，但是不排除一个或多个特征、数字、步骤、操作、组件、部件或其组合的添加的存在或可能。

除非另外限定，包括科技术语的在此使用的所有词语具有与本领域内的技术人员通常理解的相同的含义。在通常使用的词典中定义的这样的词语应当被解释为具有与在相关技术的上下文中理解的那些相同的含义，并且除非另外限定，不应当被理想地或太正式地理解。

在下文中，将参考附图更详细地描述本发明的优选实施例。为了容易说明，贯穿说明书和附图使用相同的附图标号来表示相同的组件，并且不重复其说明。

图1是图示根据本发明的一个实施例的图像编码方法的流程图。图1图示根据图像的时间频率特性来确定宏块的大小并且然后使用具有确定的大小的宏块来执行运动补偿的方法。

参见图1，编码设备接收要编码的帧(或画面)(步骤110)。可以在可以存储预定数目的帧的缓冲器中存储接收到的要编码的帧(或画面)。例如，缓冲器可以存储至少四个(第n-3、第n-2、第n-1和第n)帧。

其后，编码设备分析接收到的帧(或画面)的时间频率特性(步骤120)。例如，编码设备可以检测存储在缓冲器中的第n-3帧和第n-2帧之间的变化，可以检测在第n-2帧和第n-1帧之间的变化，并且可以检测在第n-1帧和第n帧之间的变化，以由此分析帧间时间频率特性。

然后，编码设备将所分析的时间频率特性与预设阈值作比较，并且基于比较的结果来确定要编码的宏块的大小(步骤130)。在此，编码设备可以基于存储在缓冲器中的帧当中的在时间上彼此相邻的两个帧(例如，第n-1和第n帧)之间的变化来确定宏块的大小，并且可以基于预定数目的(例如，第n-3、第n-2、第n-1和第n)帧的变化特性来确定宏块的大小。

例如，编码设备可以分析第n-1帧和第n帧的时间频率特性，并且在所分析的时间频率特性小于预设第一阈值的情况下，将宏块的大小确定为64×64像素，并且在所分析的时间频率特性值不小于预设第一阈值并且小于第二阈值的情况下，将宏块的大小确定为32×32像素，并且在所分析的时间频率特性值不小于预设第二阈值的情况下，将宏块的大小确定为16×16像素或更小。在此，该第一阈值表示在帧间帧变化小于第二阈值的情况下的时间频率特性值。在下文中，将扩展的宏块定义为具有32×32像素或更大的大小的宏块。扩展的宏块可以具有32×32像素或更大的大小，即，64×64像素、128×128像素或更大，以适合于诸如超高清或更大的高分辨率。

基于分析接收到的帧(或画面)的时间频率特性的结果，要编码的宏块的大小可以每一个画面或每一个GOP(图像组)具有预定值。

替代地，要编码的宏块的大小可以每一个画面或每一个GOP(图像组)具有预定值，而与分析接收到的帧(或画面)的时间频率特性的结果无关。

如果在步骤130中确定宏块的大小，则编码设备基于具有确定的大小的宏块而执行编码(步骤140)。

例如，如果宏块的大小被确定为64×64像素，则编码设备通过对于具有64×64像素的大小的当前宏块执行运动预测来获得运动向量，通过使用获得的运动向量执行运动补偿来生成预测块，对作为在生成的预测块和当前宏块之间的差的剩余值进行变换、量化和熵编码，并且然后传送结果。而且，关于宏块的确定的大小的信息和关于运动向量的信息也进行熵编码，并且然后被传送。

在下文中要描述的本发明的一些实施例中，可以根据由编码控制器(未示出)或解码控制器(未示出)确定的宏块的大小来完成每一个扩展的宏块编码处理，并且如上所述，该处理可以适用于运动补偿编码、变换和量化的全部或仅至少一个。而且，上述的每一个扩展宏块编码处理也可以适用于在下面要描述的本发明的一些实施例中的解码处理。

如图1中所示，在根据本发明的一个实施例的图像编码方法中，宏块用于编码，其中宏块的大小在输入帧(或画面)之间有小的变化的情况下(即，在时间频率低的情况下)增大，并且其中宏块的大小在输入帧(或画面)之间存在大的变化的情况下(即，在时间频率高的情况下)减小，使得可以增强编码效率。

上述的根据时间频率特性的图像编码/解码方法可以适用于诸如在分辨率上比高清大的超高清或更大的高分辨率。在下文中，宏块意指扩展的宏块或者仅具有现有大小32×32像素或更小的宏块。

同时，根据本发明的另一个示例实施例，取代使用扩展的宏块和扩展的宏块的大小执行编码和解码的方法，可以使用递归代码化单元(CU)来执行编码和解码。在下文中，参考图2描述根据本发明的另一个示例实施例的递归代码化单元的结构。

图2是图示根据本发明的另一个示例实施例的递归代码化单元结构的概念图。

参见图2，每一个代码化单元CU具有正方形，并且每一个代码化单元CU可以具有可变的大小，诸如2N×2N(单位：像素)。可以以代码化单元为单位来执行帧间预测、帧内预测、变换、量化和熵编码。代码化单元CU可以包括最大代码化单元LCU和最小代码化单元SCU。最大代码化单元LCU和最小代码化单元SCU的大小可以被表示为2的幂，其是8或更大。

根据本发明的另一个示例实施例的代码化单元CU可以具有递归树结构。图2图示作为最大代码化单元LCU的CU₀的边缘的大小(2N₀)是128(N₀＝64)并且最大分级水平或分级深度是5的示例。可以通过一系列标记来表示递归结构。例如，在具有分级水平或分级深度k的代码化单元CU_k的标记值是0的情况下，相对于当前分级水平或分级深度完成在代码化单元CU_k上的代码化，并且在标记值是1的情况下，具有当前分级水平或分级深度k的代码化单元CU_k被分割为四个独立的代码化单元CU_k+1，它们具有分级水平或分级深度k+1和N_k+1×N_k+1的大小。在这样的情况下，可以将代码化单元CU_k+1表示为代码化单元CU_k的子代码化单元。直到代码化单元CU_k+1的分级水平或分级深度达到可允许的最大分级水平或分级深度，可以递归地处理代码化单元CU_k+1。在代码化单元CU_k+1的分级水平或分级深度与可允许的最大分级水平或分级深度相同——例如在图2中的4——的情况下，不进一步执行分割。

可以在序列参数集合(SPS)中包括最大代码化单元LCU的大小和最小代码化单元SCU的大小。替代地，可以在序列参数集合(SPS)中包括最小代码化单元SCU的大小。最小代码化单元的大小可以表示亮度代码化单元(或代码化块)的最小大小。序列参数集合SPS可以包括最大代码化单元LCU的可允许的最大分级水平或分级深度。替代地，序列参数集合(SPS)可以包括亮度代码化单元(或代码化块)的最小大小，和在亮度代码化单元(或代码化块)的最大大小和最小大小之间的差。例如，在图2中所示的情况下，可允许的最大分级水平或分级深度是5，并且在最大代码化单元LCU的边缘的大小是128(单位：像素)的情况下，五种类型的代码化单元CU大小是可能的，诸如128×128(LCU)、64×64、32×32、16×16和8×8(SCU)。即，在给定最大代码化单元LCU的大小和可允许的最大分级水平或分级深度的情况下，可以确定可允许代码化单元CU的大小。

如上所述的根据本发明的实施例的递归代码化单元结构的使用可以提供下面的优点。

首先，可以支持比现有的16×16宏块更大的大小。如果感兴趣的图像区域保持同质，则最大代码化单元LCU可以用比当使用多个小块时更小的数目的码元来表示感兴趣的图像区域。

其次，与当使用固定大小的宏块时作比较，可以支持具有各种大小的一些最大代码化单元LCU，使得可以对于各种内容、应用和设备容易地优化编解码器。即，可以通过适当地选择最大代码化单元LCU和最大分级水平或最大分级深度来对于目标应用进一步优化分级块结构。

第三，与是否是宏块、子宏块或扩展宏块无关，使用单个单元类型，即，代码化单元(LCU)，使得可以通过使用最大代码化单元LCU大小、最大分级水平(或最大分级深度)和一系列标记来很简单地表示多级分级结构。当与大小独立的语法表示一起使用时，足以指定用于其余的代码化工具的一般化大小的语法项目，并且这样的一致性可以简化实际解析过程。分级水平的最大值(或最大分级深度)可以是任何值，并且可以大于在现有H.264/AVC编码方案中允许的值。通过使用大小独立的语法表示，可以与代码化单元CU的大小独立地以一致的方式指定所有的语法元素。可以递归地指定用于代码化单元CU的分割处理，并且可以将用于叶代码化单元的其他语法元素——分级水平的最后代码化单元——限定为具有相同的大小，而与代码化单元的大小无关。上述的表示方案在降低解析复杂度上是有效的，并且可以在允许大的分级水平或分级深度的情况下增强表示的清楚性。

如果上述的分级分割处理完成，则不进行进一步的分割，同时可以对于代码化单元分级树的叶节点执行帧间预测或帧内预测。这样的叶代码化单元用于作为用于帧间预测或帧内预测的基本单元的预测单元(PU)。

对于叶代码化单元执行分区，以便执行帧间预测或帧内预测。即，对于预测单元PU完成这样的分区。在此，预测单元PU意指用于帧间预测或帧内预测的基本单元，并且可以是具有32×32像素的现有宏块单元或子宏块单元或扩展的宏块单元。

可以以不对称分区的方式、以具有除了正方形之外的任何形状的几何分区方式或以沿着边缘方向的分区方式来执行用于帧间预测或帧内预测的上述分区。在下文中，将具体描述根据本发明的实施例的分区方案。

图3是图示根据本发明的一个实施例的不对称分区的概念图。

在用于帧间预测或帧内预测的预测单元PU的大小可以诸如M×M(M是自然数并且其单位是像素)地可变的情况下，沿着代码化单元的水平或垂直方向执行不对称分区，由此获得在图3中所示的不对称分区。在图3中，预测单元PU的大小例如是64×64像素。以不对称分区方案来执行分区。

参见图3，预测单元可以进行沿着水平方向的不对称分区，并且可以因此被分割为具有大小64×16的分区P11a和具有大小64×48的分区P21a或者被划分为具有64×48的大小的分区P12a和具有64×16的大小的分区P22a。替代地，预测单元可以进行沿着垂直方向的不对称分区，并且可以因此被分割为具有大小16×64的分区P13a和具有大小48×64的分区P23a或者被分割为具有48×64的大小的分区P14a和具有16×64的大小的分区P24a。

图4a至4c是图示根据本发明的实施例的几何分区方案的概念图。

图4a图示对于预测单元PU执行具有除了正方形之外的形状的几何分区的实施例。

参见图4a，可以相对于预测单元PU将几何分区的边界线L定义如下。通过使用X和Y轴，相对于预测单元PU的中心O将预测单元PU等同地划分为四个象限，并且从中心O向边界线L绘制垂直线，使得可以通过在预测单元PU的中心O至边界线L之间的垂直距离ρ和从X轴向垂直线逆时针作出的旋转角θ来指定在任何方向上延伸的所有边界线。

例如，在8×8块的情况下，可以使用34种模式来执行帧内预测。在此，该34种模式可以表示在当前块的任何像素中具有沿着水平方向的斜率dx和沿着垂直方向的斜率dy(dx和dy每一个是自然数)的最多34个方向。

替代地，根据块大小，可以使用不同数目的帧内模式。例如，可以使用9个帧内模式用于4×4块，使用9个帧内模式用于8×8块，使用34个帧内模式用于16×16块，使用34个帧内模式用于32×32块，使用5个帧内模式用于64×64块，并且使用5个帧内模式用于128×128块。

替代地，可以使用17个帧内模式用于4×4块，使用34个帧内模式用于8×8块，使用34个帧内模式用于16×16块，使用34个帧内模式用于32×32块，使用5个帧内模式用于64×64块，并且使用5个帧内模式用于128×128块。

图4b图示对于预测单元PU执行具有除了正方形之外的形状的几何分区的另一个示例实施例。

参见图4b，用于帧间预测或帧内预测的预测单元PU相对于预测单元PU的中心被等同地划分为四个象限，使得左上块的第二象限是分区P11b，并且由其余的第一、第三和第四象限构成的L形状的块是分区P21b。替代地，可以完成分割使得左下块的第三象限是分区P12b，并且由其余的第一、第二和第四象限构成的块是分区P22b。替代地，可以完成分割使得右上块的第一象限是分区P13b，并且由其余的第二、第三和第四象限构成的块是分区P23。替代地，预测单元PU可以被分割使得右下块的第四象限是分区P14b，并且由其余的第一、第二和第三象限构成的块是分区P24b。

如果如上所述执行L形状的分区，则在当分区时在边缘块、即左上、左下、右上或右下块中存在移动对象的情况下，可以比当完成分区以提供四个块时实现更有效的编码。根据移动对象位于四个分区中的哪个边缘块上，可以选择和使用对应的分区。

图4c图示对于预测单元PU执行具有除了正方形之外的形状的几何分区的另一个示例实施例。

参见图4c，用于帧间预测或帧内预测的预测单元PU可以被分割为两个不同的不规则区域(模式0和1)或不同大小的矩形区域(模式2和3)。

在此，参数“pos”用于指示分区边界的位置。在模式0或1的情况下，“pos”指的是从预测单元PU的对角线至分区边界的水平距离，并且在模式2或3的情况下，“pos”指的是在预测单元PU的垂直或水平等分线与分区边界之间的水平距离。在图4c中所示的情况下，可以向解码器传送模式信息。在四个模式当中，在RD(比率失真)上，可以使用消耗最小的RD成本的模式来用于帧间预测。

图5是图示在几何分区的情况下对于位于边界线上的边界像素的运动补偿的概念图。在通过几何分区将预测单元分割为区域1和区域2的情况下，假定区域1的运动向量是MV1，并且假定区域2的运动向量是MV2。

当位于区域1(或区域2)中的特定像素的上、下、左和右像素的任何一个属于区域2(或区域1)时，可以将其看作边界像素。参见图5，边界像素是属于区域2的边界的边界像素，并且边界像素B是属于区域1的边界的边界像素。在非边界像素的情况下，使用正确的运动向量来执行正常的运动补偿。在边界像素的情况下，使用通过下述方式获得的值来执行运动补偿：将来自区域1和2的运动向量MV1和MV2的运动预测值乘以加权因子，并且将这些值彼此相加。在图5中所示的情况下，使用加权因子2/3来用于包括边界像素的区域，并且使用加权因子1/3来用于不包括边界像素的另一个区域。

图6是图示根据本发明的另一个示例实施例的图像编码方法的流程图，并且图7是图示在图6中示出的分区处理的概念图。

图6图示通过在图1中所示的图像编码方法来确定预测单元PU的大小、考虑到在具有确定的大小的预测单元PU中包括的边缘将预测单元PU分割为分区并且然后对于分割的分区中的每一个执行编码的处理。在图3中，作为示例，将具有32×32的大小的宏块用作预测单元PU。

在此，考虑到边缘的分区适用于帧内预测以及帧间预测。下面给出详细的说明。

在图6中所示的步骤110至130执行与用在图1中的相同的附图标号表示的步骤相同的功能，并且不重复它们的说明。

参见图6和7，如果在步骤110至130中确定宏块的大小，则编码设备在属于在具有确定的大小的当前宏块周边的宏块的像素当中检测属于边缘的像素(步骤140)。

可以使用各种已知方法来在步骤S140中检测属于边缘的像素。例如，可以计算在当前宏块周边的周边像素之间的剩余值，或者，可以使用诸如索贝尔算法的边缘检测算法来检测边缘。

其后，编码设备通过使用属于检测到的边缘的像素来将当前宏块分割为分区(步骤150)。

为了将当前宏块分区，编码设备可以在当前宏块周边的周边块中包括的像素当中检测以检测到的边缘像素的周边像素为目标的属于边缘的像素，并且可以然后通过使用将检测到的边缘像素的周边像素与在步骤140中检测到的边缘像素连接的线来执行分区。

例如，如图7中所示，编码设备通过下述方式来检测像素211和214：在属于具有大小32×32像素的当前宏块的周边块的像素当中检测以最近像素为目标的属于边缘的像素。其后，编码设备在位于检测到的像素211周围的像素当中检测属于边缘的像素，以由此检测像素212，并且然后通过使用将像素211与像素212连接的线的延长线213将宏块分割为分区。

而且，编码设备通过在检测到的像素214的周边像素当中检测属于边缘的像素来检测像素215，并且然后通过使用将像素214与像素215连接的线的延长线将宏块分割为分区。

而且，编码设备可以在属于当前宏块210的周边块的像素当中检测属于以最接近当前宏块210的像素为目标的属于边缘的像素，然后确定经过属于检测到的边缘的像素的直线的方向，由此分割当前宏块。在此，关于经过属于边缘的像素的边缘直线的方向，根据H.264/AVC标准沿着在4×4块的帧内预测模式当中的垂直模式(模式0)、水平模式(模式1)、对角下左模式(模式3)、对角下右模式(模式4)、垂直右模式(模式5)、水平下模式(模式6)、垂直左模式(模式7)和水平上模式(模式8)的一个模式方向，可以分割当前宏块，或者可以对于相对于属于边缘的像素在彼此不同的方向上分割的分区执行编码，并且可以考虑到编码效率来确定最后的直线方向。替代地，关于经过属于边缘的像素的直线的方向，根据H.264/AVC标准沿着除了4×4块的帧内预测模式之外的、用于具有4×4像素或更大的大小的块的各种帧内预测模式的一个模式方向，可以分割当前宏块。可以包括和向解码器传送关于经过属于边缘的像素的边缘直线的信息(包括例如方向信息)。

如果通过上述方法在步骤150中将当前宏块分割为至少一个分区，则编码设备对于每一个分区执行编码(步骤160)。

例如，编码设备对于在具有64×64或32×32像素的大小的当前宏块中分割的每一个分区执行运动预测以由此获得运动向量，使用所获得的运动向量来执行运动补偿，由此生成预测分区。然后，编码设备对于作为在生成的预测分区和当前宏块的分区之间的差的剩余值执行变换、量化和熵编码，并且然后传送结果。而且，宏块的确定的大小、分区信息和运动向量信息也被熵编码并且然后被传送。

使用考虑到边缘的分区的上述帧间预测可以被配置为能够当激活使用考虑到边缘的分区的预测模式时被执行。上述的考虑到边缘的分区可以适用于帧内预测以及帧间预测。参考图8来描述向帧内预测的分区的应用。

图8是图示向帧内预测应用考虑到边缘的分区的示例的概念图。如图8中所示的使用考虑到边缘的分区的帧间预测可以被实现为在激活使用考虑到边缘的分区的预测模式的情况下被执行。在通过使用诸如上述的索贝尔算法的边缘检测算法来检测边缘后，可以通过使用下述的内插方案沿着检测到的边缘方向估计参考像素的值。

参见图8，在线E是边缘边界线、像素a和b是位于边界线E的两侧处的像素并且要进行帧间预测的参考像素是p(x,y)的情况下，可以在下面的等式中预测p(x,y)：

[等式1]

Wa＝δx-floor(δx)

Wb＝ceil(δx)-δx

P＝WaXa+WbXb

在此，δx指的是从参考像素p(x,y)的x轴坐标至边缘线E与X轴相交的位置的距离，Wa和Wb是加权因子，floor(δx)返回不大于δx的最大整数(例如，floor(1.7)＝1)，并且，ceil(δx)返回δx的四舍五入值(例如，ceil(1.7)＝2)。

可以在分区信息或序列参数集合SPS中包括关于经过属于边缘的像素的边缘边界线的信息(包括例如方向信息)，并且将该信息传送到解码器。

替代地，可以通过使用沿着与在对于帧内预测的目标块(预测单元)的每一个块大小预设的帧内预测方向当中的检测到的边缘方向类似的帧内预测方向的内插方案来估计参考像素的值。类似的帧内预测方向可以是最接近检测到的边缘方向的预测方向，并且可以提供一个或两个最接近的预测方向。例如，在8×8块的情况下，在34种帧内模式当中，可以与上述的内插方案一起使用具有与预定的边缘方向最类似的方向的帧内模式，以估计参考像素的值。在这样的情况下，可以在分区信息或序列参数集合SPS中包括关于与检测到的边缘方向类似的帧内预测方向的信息，并且将该信息传送到解码器。

替代地，可以通过下述方式来获得参考像素的值：使用与在对于帧内预测的目标块(预测单元)的每一个块大小预设的帧内预测方向当中的检测到的边缘方向类似的帧内模式来执行现有的帧内预测。类似的帧内预测模式可以是最类似于检测到的边缘方向的预测模式，并且可以提供一个或两个最类似的预测模式。在这样的情况下，可以在分区信息或序列参数集合SPS中包括关于与检测到的边缘方向类似的帧内预测模式的信息，并且将其传送到解码器。

上述的考虑到边缘的帧内预测仅当帧内预测的目标块的大小是预定大小或更大时适用，因此在帧内预测时降低了复杂度。该预定大小可以是例如16×16、32×32、64×64、128×128或256×256。

替代地，考虑到边缘的帧内预测可以仅当帧内预测的目标块的大小是预定大小或更小时适用，因此在帧内预测时降低了复杂度。该预定大小可以是例如16×16、8×8或4×4。

替代地，考虑到边缘的帧内预测可以仅当帧内预测的目标块的大小属于预定大小范围时适用，因此在帧内预测时降低了复杂度。该预定大小可以是例如4×4至16×16或16×16至64×64。

关于考虑到边缘的帧内预测所适用的目标块的大小的信息可以被包括在分区信息或序列参数集合SPS中，并且被传送到解码器。替代地，不被传送到解码器，关于考虑到边缘的帧内预测所适用的目标块的大小的信息可以在编码器和解码器之间的预先布置下被预先提供到编码器和解码器。

图9是图示根据本发明的又一个示例实施例的图像编码方法的流程图。图9图示根据图像的空间频率特性来确定预测单元PU的大小并且然后通过使用具有确定的大小的预测单元PU来执行运动补偿编码的方法。

参见图9，编码设备首先接收要编码的目标帧(步骤310)。在此，所接收到的要编码的帧可以被存储在可以存储预定数目的帧的缓冲器中。例如，该缓冲器可以存储至少四个(n-3、n-2、n-1和n)帧。

其后，编码设备分析每一个接收到的帧(或画面)的空间频率特性(步骤320)。例如，编码设备可以得出在缓冲器中存储的每一个帧的信号能量，并且可以通过分析在得出的信号能量和频谱之间的关系来分析每一个图像的空间频率特性。

然后，编码设备基于分析的空间频率特性来确定预测单元PU的大小。在此，可以按照在缓冲器中存储的帧或按照预定数目的帧来确定预测单元PU的大小。

例如，编码设备当帧的信号能量小于在频谱中预设的第三阈值时将预测单元PU的大小确定为16×16像素的大小，当帧的信号能量不小于预设的第三阈值并且小于第四阈值时将预测单元PU的大小确定为32×32像素的大小，并且当帧的信号能量不小于预设的第四阈值时将预测单元PU的大小确定为64×64像素的大小。在此，第三阈值表示图像的空间频率大于第四阈值的空间频率的情况。

虽然已经描述了通过根据每一个接收到的帧(或画面)的时间频率特性或空间频率特性利用使用扩展的宏块的宏块的大小用于编码而增强编码效率，但是也可以根据与每一个接收到的帧(或画面)的时间频率特性或空间频率特性独立地接收到的每个帧(或画面)的分辨率(大小)使用扩展的宏块来执行编码/解码。即，可以通过使用扩展的宏块对于具有比HD(高清晰度)或超高清或更高的分辨率的帧(或画面)执行编码/解码。

如果在步骤330中确定预测单元PU的大小，则编码设备基于具有预定大小的预测单元PU来执行编码(步骤340)。

例如，如果将预测单元PU的大小确定为64×64像素，则编码设备对于具有64×64像素的大小的当前预测单元PU执行运动预测以由此获得运动向量，使用获得的运动向量执行运动补偿以由此生成预测块，对于作为在生成的预测块和当前预测单元PU之间的差的剩余值执行变换、量化和熵编码，然后传送结果。而且，关于预测单元PU的确定大小的信息和关于运动向量的信息也进行熵编码，并且然后被传送。

如图9中所示，在根据本发明的一个实施例的图像编码方法中，如果输入帧(或画面)的图像同质或一致性高(即，如果空间频率低，例如，具有相同颜色的区域、能量集中到低空间频率的区域等)，则预测单元PU的大小被设置得大，例如，大于32×32像素或更大，并且如果帧(或画面)的图像同质或一致性低(即，如果空间频率高)，则预测单元PU的大小被设置得小，例如，16×16像素或更小，由此增强编码效率。

图10是图示根据本发明的再一个示例实施例的图像编码方法的流程图。图10图示下述处理：其中，通过在图9中所示的图像编码方法来确定预测单元PU的大小后，考虑到在具有确定的大小的预测单元PU中包括的边缘来将预测单元PU分割为分区，然后对于每一个分割的分区执行编码。

在图10中所示的步骤310至330执行与图9的步骤310至330相同的功能，并且因此，跳过详细说明。

参见图10，如果根据空间频率特性在步骤310至330中确定预测单元PU的大小，则编码设备在属于具有确定的大小的当前预测单元PU周边的预测单元PU的像素当中检测属于边缘的像素(步骤340)。

可以在步骤340中执行各种已知方法来检测属于边缘的像素。例如，可以通过计算在当前预测单元PU和周边的周边像素之间的剩余值并且通过使用诸如索贝尔算法的边缘检测算法来检测边缘。

其后，编码设备通过使用属于检测到的边缘的像素将当前预测单元PU分割为分区(步骤350)。

编码设备可以在当前预测单元PU周边的周边块中包括的像素当中检测以检测到的边缘像素的周边像素为目标的、属于检测到的边缘的像素，以对于当前预测单元PU执行分区，如图3中所示，并且可以然后通过使用将检测到的边缘像素的周边像素与在步骤340中检测到的边缘像素连接的线来进行分区。

替代地，编码设备可以在属于当前预测单元PU的周边块的像素当中检测仅以最接近当前预测单元PU的像素为目标的、属于边缘的像素，并且可以然后通过确定经过属于检测到的边缘的像素的直线的方向来对于当前预测单元PU执行分区。

如果通过上述的方法在步骤350中将当前预测单元PU分割为至少一个分区，则编码设备对于每一个分区执行编码(步骤360)。

例如，编码设备通过对于在具有64×64或32×32像素的大小的当前预测单元PU中的每一个分割的分区执行运动预测来获得运动向量，使用获得的运动向量执行运动补偿以由此生成预测分区，对于作为在生成的预测分区和当前预测单元PU的分区之间的差的剩余值执行变换、量化和熵编码，并且然后传送结果。而且，预测单元PU的确定的大小、分区信息和关于运动向量的信息也被熵编码并且然后被传送。

结合图5描述的考虑到边缘的分区可以适用于在图8中所示的帧内预测以及帧间预测。

图11是图示根据本发明的一个实施例的图像解码方法的流程图。

参见图11，解码设备首先从编码设备接收比特流(步骤410)。

其后，解码设备对于接收到的比特流执行熵解码，以由此获得要解码的当前预测单元PU的信息(步骤420)。在此，如果取代通过使用扩展的宏块和扩展的宏块的大小来执行编码和解码，使用上述的递归代码化单元(CU)来执行编码和解码，则预测单元PU信息可以包括最大代码化单元LCU的大小、最小代码化单元SCU的大小、可允许的最大分级水平或分级深度和标记信息。而且，解码设备同时获得用于运动补偿的运动向量。在此，预测单元PU的大小可以具有根据在如图1和9中所示的编码设备中的时间频率特性或空间频率特性而确定的大小——例如，它可以具有32×32或64×64像素的大小。解码控制器(未示出)可以从编码设备接收关于在编码设备中适用的预测单元PU的大小的信息，并且可以根据在编码设备中适用的预测单元PU的大小来执行下述的运动补偿解码、逆变换或逆量化。

解码设备通过使用预测单元PU大小(例如，32×32或64×64像素)信息和如上所述获得的运动向量信息并且通过使用预先重建的帧(或画面)来生成对于运动补偿预测的预测单元PU(步骤430)。

其后，解码设备通过将所生成的预测的预测单元PU与从编码设备提供的剩余值相加来重建当前预测单元PU(步骤440)。在此，解码设备可以通过下述方式来获得剩余值：对从编码设备提供的比特流进行熵解码，并且然后对于结果执行逆量化和逆变换，由此获得剩余值。而且，也可以基于在步骤420中获得的预测单元PU大小(例如，32×32或64×64像素)来执行逆变换处理。

图12是图示根据本发明的另一个示例实施例的图像解码方法的流程图，并且图12图示通过下述方式来按照分区解码编码的图像的处理：沿着边缘分割具有根据在图像编码设备中的时间频率特性或空间频率特性而确定的大小的宏块。

参见图12，解码设备从编码设备接收比特流。

其后，解码设备通过对于接收到的比特流执行熵解码来获得要解码的当前预测单元PU的分区信息和当前预测单元PU的分区信息(步骤520)。在此，当前预测单元PU的大小可以例如是32×32或64×64像素。而且，解码设备同时获得用于运动补偿的运动向量。在此，如果取代通过使用扩展宏块和扩展宏块的大小来执行编码和解码，使用上述的递归代码化单元(CU)来执行编码和解码，则预测单元PU信息可以包括最大代码化单元LCU的大小、最小代码化单元SCU的大小、可允许的最大分级水平或分级深度和标记信息。分区信息可以包括在不对称分区、几何分区和沿着边缘方向分区的情况下向解码器传送的分区信息。

接下来，解码设备通过使用获得的预测单元PU信息和分区信息来分割预测单元PU(步骤530)。

而且，解码设备通过使用分区信息、运动向量信息和预先重建的帧(或画面)来生成预测分区(步骤540)，并且通过将所生成的预测分区与从编码设备提供的剩余值相加来重建当前分区(步骤550)。在此，解码设备可以通过对于从编码设备提供的比特流执行熵解码、逆量化和逆变换而获得剩余值。

其后，解码设备通过下述方式来重建当前宏块：基于获得的分区信息重建在当前块中包括的所有分区，并且然后重新配置重建的分区(步骤560)。

图13是图示根据本发明的一个实施例的图像编码设备的配置的框图。

参见图13，图像编码设备可以包括预测单元确定单元610和编码器630。编码器630可以包括运动预测单元631、运动补偿单元633、帧内预测单元635、减法器637、变换单元639、量化单元641、熵编码单元643、逆量化单元645、逆变换单元647、加法器649和帧缓冲器651。在此，可以在确定适用于帧间预测或帧内预测的预测单元的大小的编码控制器(未示出)中执行或可以在附图中所示的编码器外部的单独块中执行预测单元确定单元610。在下文中，描述在编码器外部的单独块中执行预测单元确定单元610的示例。

预测单元确定单元610接收提供的输入图像，并且将其存储在内部缓冲器(未示出)中，并且然后分析存储的帧的时间频率特性。在此，缓冲器可以存储预定数目的帧。例如，缓冲器可以存储至少四个(第n-3、第n-2、第n-1和第n)帧。

预测单元确定单元610检测在缓冲器中存储的第n-3帧和第n-2帧之间的变化，检测在第n-2帧和第n-1帧之间的变化，并且检测在第n-1帧和第n帧之间的变化，以由此分析帧间时间频率特性，将分析的时间频率特性与预定阈值作比较，并且基于比较的结果来确定要编码的预测单元的大小。

在此，预测单元确定单元610可以基于在缓冲器中存储的帧当中的两个时间上相邻的帧(例如，第n-1和第n帧)的变化来确定预测单元的大小，并且可以基于预定数目的帧(例如，第n-3、第n-2、第n-1和第n帧)的变化特性来确定预测单元的大小，以便减小用于预测单元的大小信息的开销。

例如，预测单元确定单元610可以分析第n-1帧和第n帧的时间频率特性，并且可以当所分析的时间频率特性值小于预定第一阈值时将预测单元的大小确定为64×64像素，当所分析的时间频率特性值不小于预定第一阈值并且小于第二阈值时将预测单元的大小确定为32×32像素，并且当所分析的时间频率特性值不小于预定第二阈值时将预测单元的大小确定为16×16像素或更小。在此，第一阈值当帧间变化小于第二阈值时可以表示时间频率特性值。

如上所述，预测单元确定单元610向熵编码单元643提供对于帧间预测或帧内预测确定的预测单元信息，并且向编码器630提供具有确定的大小的每个预测单元。在此，预测单元信息可以包括关于用于帧间预测或帧内预测的预测单元的确定的大小的信息或预测单元类型信息。可以通过诸如序列参数集合(SPS)或画面参数集合或片分段报头或任何其他报头信息的信令信息来向解码器传送PU大小信息或PU(预测单元)类型信息。具体地说，如果使用扩展的宏块或扩展的宏块的大小来执行编码和解码，则预测块信息可以包括PU大小信息或PU(预测单元)类型信息或宏块大小信息或扩展的宏块大小索引信息。如果执行上述的递归代码化单元CU以执行编码和解码，则预测单元信息可以包括用于帧间预测或帧内预测的叶代码化单元LCU的大小信息，而不是宏块的信息，即，预测单元的大小信息，并且预测单元信息可以进一步包括最大代码化单元LCU的大小、最小代码化单元SCU的大小、可允许的最大分级水平或分级深度和标记信息。

预测单元确定单元610可以通过分析如上所述的提供的输入帧的时间频率特性来确定预测单元的大小，并且也可以通过分析提供的输入帧的空间频率特性来确定预测单元的大小。例如，如果输入帧的图像同质或一致性高，则预测单元的大小被设置得大，例如32×32像素或更大，并且如果帧的图像同质或一致性低(即，如果空间频率高)，则预测单元的大小可以被设置得低，例如，16×16像素或更小。

编码器630对于具有由预测单元确定单元610确定的大小的预测单元执行编码。

具体地说，运动预测单元631通过将所提供的当前预测单元与其编码已经被完成并且被存储在帧缓冲器651中的前一个参考帧作比较而预测运动，由此生成运动向量。

运动补偿单元633生成通过使用参考帧和从运动预测单元631提供的运动向量而预测的预测单元。

帧内预测单元635通过使用块间的像素相关性来执行帧间预测编码。帧内预测单元635执行帧内预测，帧内预测通过从在当前帧(或画面)中的块的已经编码的像素值预测像素值来获得当前预测单元的预测块。帧内预测单元635对于具有与所获得的预测单元大小信息相对应的大小的预测单元执行上述的沿着边缘方向的帧间预测。

减法器637将从运动补偿单元633提供的预测的预测单元与当前预测单元相减，以由此生成剩余值，并且变换单元639和量化单元641对于剩余值执行DCT(离散余弦变换)和量化。在此，变换单元639可以基于从预测单元确定单元610提供的预测单元大小信息来执行变换。例如，它可以执行向32×32或64×64像素的大小的变换。替代地，变换单元639可以与从预测单元确定单元610提供的预测单元大小信息独立地基于单独的变换单元(TU)来执行变换。例如，变换单元TU的大小可以是最小4×4像素至最大64×64。替代地，变换单元TU的最大大小可以是64×64像素或更大——例如，128×128像素。变换单元大小信息可以被包括在变换单元信息中，并且被传送到解码器。

熵编码单元643对报头信息进行熵编码，诸如量化的DCT系数、运动向量、确定的预测单元信息、分区信息和变换单元信息，由此生成比特流。

逆量化单元645和逆变换单元647对于由量化单元641量化的数据执行逆量化和逆变换。加法器649将逆变换的数据与从运动补偿单元633提供的预测的预测单元相加，以重建图像，并且向帧缓冲器651提供图像，并且帧缓冲器651存储重建的图像。

图14是根据本发明的另一个示例实施例的、图像编码设备的配置的框图。

参见图14，根据本发明的一个实施例的图像编码设备可以包括预测单元确定单元610、预测单元分割单元620和编码器630。编码器630可以包括运动预测单元631、运动补偿单元633、帧内预测单元635、减法器637、变换单元639、量化单元641、熵编码单元643、逆量化单元645、逆变换单元647、加法器649和帧缓冲器651。在此，可以在确定适用于帧间预测或帧内预测的预测单元的大小的编码控制器(未示出)中执行或者可以在附图中所示的在编码器外部的单独块中执行用于编码处理的预测单元确定单元或预测单元分割单元。在下文中，描述在编码器外部的单独块中执行预测单元确定单元或预测单元分割单元的示例。

预测单元确定单元610执行与用如图13中所示的相同附图标号表示的元件相同的功能，并且跳过详细描述。

预测单元分割单元620考虑到在用于从预测单元确定单元610提供的当前预测单元的当前预测单元的周边块中包括的边缘将当前预测单元分割为分区，并且然后向编码器630提供分割的分区和分区信息。在此，分区信息可以包括在不对称分区、几何分区和沿着边缘方向分区的情况下的分区信息。

具体地说，预测单元分割单元620在帧缓冲器651中读取在从预测单元确定单元610提供的当前预测单元周边的预测单元，在属于在当前预测单元周边的预测单元的像素当中检测属于边缘的像素，并且通过使用属于检测到的边缘的像素将当前预测单元分割为分区。

预测单元分割单元620可以通过计算在当前预测单元和周边的周边像素之间的剩余值或通过使用诸如索贝尔算法的已知边缘检测算法来检测边缘。

如图3中所示，预测单元分割单元620可以在用于分割当前预测单元的在当前预测单元周边的周边块中包括的像素当中检测以检测到的边缘像素的周边像素为目标的、属于检测到的边缘的像素，并且可以通过使用将检测到的边缘像素的周边像素与检测到的边缘像素连接的线来执行分区。

替代地，预测单元分割单元620可以在属于当前预测单元的周边块的像素当中检测仅以最接近当前预测单元PU的像素为目标的、属于边缘的像素，并且然后可以确定经过属于检测到的边缘的像素的直线的方向，由此分割当前预测单元。在此，作为经过属于边缘的像素的直线的方向，可以使用根据H.264标准的4×4块的帧间预测模式的任何一种。

预测单元分割单元620将当前预测单元分割为至少一个分区，并且然后向编码器630的运动预测单元631提供分割的分区。而且，预测单元分割单元620向熵编码单元643提供预测单元的分区信息。

编码器630对于从预测单元分割单元620提供的分区执行编码。

具体地说，运动预测单元631通过将所提供的当前分区与其编码已经完成并且被存储在帧缓冲器651中的前一个参考帧作比较来预测运动，由此生成运动向量，并且运动补偿单元633通过使用参考帧和从运动预测单元631提供的运动向量来生成预测分区。

帧内预测单元635通过使用块间像素相关性来执行帧内预测编码。帧内预测单元635执行帧内预测，帧内预测通过从在当前帧中的块的已经编码的像素值预测像素值来得出当前预测单元的预测块。

帧内预测单元635对于具有与获得的预测单元大小信息相对应的大小的预测单元执行上述的沿着边缘方向的帧内预测。

减法器637将当前分区和从运动补偿单元633提供的预测分区相减，以生成剩余值，并且变换单元639和量化单元641对于剩余值执行DCT(离散余弦变换)和量化。熵编码单元643对报头信息进行熵编码，诸如量化的DCT系数、运动向量、确定的预测单元信息、预测单元分区信息或者变换单元信息。

逆量化单元645和逆变换单元647逆量化和逆变换通过量化单元641量化的数据。加法器649将逆变换的数据与从运动补偿单元633提供的预测分区相加，以重建图像，并且向帧缓冲器651提供重建的图像。帧缓冲器651存储重建的图像。

图15是图示根据本发明的一个实施例的图像解码设备的配置的框图。

参见图15，根据本发明的一个实施例的解码设备包括熵解码单元731、逆量化单元733、逆变换单元735、运动补偿单元737、帧内预测单元739、帧缓冲器741和加法器743。

熵解码单元731接收压缩的比特流，并且对于其执行熵编码，由此生成量化的系数。逆量化单元733和逆变换单元735对于量化的系数执行逆量化和逆变换，由此重建剩余值。

运动补偿单元737通过下述方式来生成预测的预测单元：对于具有与使用由熵解码单元731从比特流解码的报头信息编码的预测单元PU的大小相同的大小的预测单元执行运动补偿。在此，解码的报头信息可以包括预测单元大小信息，并且预测单元大小可以是例如扩展的宏块大小，诸如32×32、64×64或128×128像素。

即，运动补偿单元737可以通过对于具有解码的预测单元大小的预测单元执行运动补偿来生成预测的预测单元。

帧内预测单元739通过使用块间像素相关性来执行帧内预测编码。帧内预测单元739执行帧内预测，帧内预测通过从在当前帧(或画面)中的块的已经编码的像素值预测像素值而获得当前预测单元的预测块。帧内预测单元739对于具有与获得的预测单元大小信息相对应的大小的预测单元执行上述的沿着边缘方向的帧内预测。

逆量化单元733将从逆变换单元735提供的剩余值与从运动补偿单元737提供的预测的预测单元相加以重建图像，并且向帧缓冲器741提供重建的图像，帧缓冲器741然后存储重建的图像。

图16是图示根据本发明的另一个示例实施例的图像解码设备的配置的框图。

参见图16，根据本发明的实施例的解码设备可以包括预测单元分割单元710和解码器730。解码器730包括熵解码单元731、逆量化单元733、逆变换单元735、运动补偿单元737、帧内预测单元739、帧缓冲器741和加法器743。

预测单元分割单元710获得其中已经通过熵解码单元731解码了比特流的报头信息，并且从获得的报头信息提取预测单元信息和分区信息。在此，分区信息可以是关于分割预测单元的线的信息。例如，分区信息可以包括在不对称分区、几何分区和沿着边缘方向分区的情况下的分区信息。

其后，预测单元分割单元710通过使用提取的分区信息将在帧缓冲器741中存储的参考帧的预测单元分割为分区，并且向运动补偿单元737提供分割的分区。

在此，可以在确定适用于帧间预测或帧内预测的预测单元的大小的解码控制器(未示出)中执行或也可以在附图中所示的解码器外部的单独块中执行用于解码处理的预测单元分割单元。在下文中，描述在解码器外部的单独块中执行预测单元分割单元的示例。

运动补偿单元737通过使用在解码的报头信息中包括的运动向量信息来对于从预测单元分割单元710提供的分区执行运动补偿，由此生成预测分区。

逆量化单元733和逆变换单元735逆量化和逆变换在熵解码单元731中熵解码的系数以由此生成剩余值，并且加法器743将从运动补偿单元737提供的预测分区与剩余值相加以重建图像，并且在帧缓冲器741中存储重建的图像。

在图16中，解码的宏块的大小可以例如是32×32、64×64或128×128像素，并且预测单元分割单元710可以基于从报头信息提取的分区信息来分割具有大小32×32、64×64或128×128像素的宏块。

虽然已经结合实施例描述了本发明，但是本领域内的技术人员可以明白，在不偏离在所附的权利要求中限定的本发明的范围和精神的情况下，可以对于本发明进行各种修改或改变。