欲限制本发明。单数词语包括复数词语，除非另外说明。如在此使用的词语“包括”或“具有”用于指示存在如在此所述的特征、数字、步骤、操作、组件、部件或其组合，但是不排除一个或多个特征、数字、步骤、操作、组件、部件或其组合的添加的存在或可能。
[0047]除非另外限定，包括科技术语的在此使用的所有词语具有与本领域内的技术人员通常理解的相同的含义。在通常使用的词典中定义的这样的词语应当被解释为具有与在相关技术的上下文中理解的那些相同的含义，并且除非另外限定，不应当被理想地或太正式地理解。
[0048]在下文中，将参考附图更详细地描述本发明的优选实施例。为了容易说明，贯穿说明书和附图使用相同的附图标号来表示相同的组件，并且不重复其说明。
[0049]图1是图示根据本发明的一个实施例的图像编码方法的流程图。图1图示根据图像的时间频率特性来确定宏块的大小并且然后使用具有确定的大小的宏块来执行运动补偿的方法。
[0050]参见图1，编码设备接收要编码的帧(或画面)(步骤110)。可以在可以存储预定数目的帧的缓冲器中存储接收到的要编码的帧(或画面)。例如，缓冲器可以存储至少四个(第n_3、第n_2、第n_l和第η)帧。
[0051]其后，编码设备分析接收到的帧(或画面)的时间频率特性(步骤120)。例如，编码设备可以检测存储在缓冲器中的第η-3帧和第η-2帧之间的变化，可以检测在第η_2帧和第η-1帧之间的变化，并且可以检测在第η-1帧和第η帧之间的变化，以由此分析帧间时间频率特性。
[0052]然后，编码设备将所分析的时间频率特性与预设阈值作比较，并且基于比较的结果来确定要编码的宏块的大小(步骤130)。在此，编码设备可以基于存储在缓冲器中的帧当中的在时间上彼此相邻的两个帧(例如，第η-1和第η帧)之间的变化来确定宏块的大小，并且可以基于预定数目的(例如，第η-3、第η-2、第η-1和第η)帧的变化特性来确定宏块的大小。
[0053]例如，编码设备可以分析第η-1帧和第η帧的时间频率特性，并且在所分析的时间频率特性小于预设第一阈值的情况下，将宏块的大小确定为64X64像素，并且在所分析的时间频率特性值不小于预设第一阈值并且小于第二阈值的情况下，将宏块的大小确定为32X32像素，并且在所分析的时间频率特性值不小于预设第二阈值的情况下，将宏块的大小确定为16X16像素或更小。在此，该第一阈值表示在帧间帧变化小于第二阈值的情况下的时间频率特性值。在下文中，将扩展的宏块定义为具有32X32像素或更大的大小的宏块。扩展的宏块可以具有32X32像素或更大的大小，即，64X 64像素、128 X 128像素或更大，以适合于诸如超高清或更大的高分辨率。
[0054]基于分析接收到的帧(或画面)的时间频率特性的结果，要编码的宏块的大小可以每一个画面或每一个GOP (图像组)具有预定值。
[0055]替代地，要编码的宏块的大小可以每一个画面或每一个GOP(图像组)具有预定值，而与分析接收到的帧(或画面)的时间频率特性的结果无关。
[0056]如果在步骤130中确定宏块的大小，则编码设备基于具有确定的大小的宏块而执行编码(步骤140)。
[0057]例如，如果宏块的大小被确定为64X64像素，则编码设备通过对于具有64X 64像素的大小的当前宏块执行运动预测来获得运动向量，通过使用获得的运动向量执行运动补偿来生成预测块，对作为在生成的预测块和当前宏块之间的差的剩余值进行变换、量化和熵编码，并且然后传送结果。而且，关于宏块的确定的大小的信息和关于运动向量的信息也进行熵编码，并且然后被传送。
[0058]在下文中要描述的本发明的一些实施例中，可以根据由编码控制器(未示出)或解码控制器(未示出)确定的宏块的大小来完成每一个扩展的宏块编码处理，并且如上所述，该处理可以适用于运动补偿编码、变换和量化的全部或仅至少一个。而且，上述的每一个扩展宏块编码处理也可以适用于在下面要描述的本发明的一些实施例中的解码处理。
[0059]如图1中所示，在根据本发明的一个实施例的图像编码方法中，宏块用于编码，其中宏块的大小在输入帧(或画面)之间有小的变化的情况下(即，在时间频率低的情况下)增大，并且其中宏块的大小在输入帧(或画面)之间存在大的变化的情况下(即，在时间频率高的情况下)减小，使得可以增强编码效率。
[0060]上述的根据时间频率特性的图像编码/解码方法可以适用于诸如在分辨率上比高清大的超高清或更大的高分辨率。在下文中，宏块意指扩展的宏块或者仅具有现有大小32X32像素或更小的宏块。
[0061]同时，根据本发明的另一个示例实施例，取代使用扩展的宏块和扩展的宏块的大小执行编码和解码的方法，可以使用递归代码化单元(CU)来执行编码和解码。在下文中，参考图2描述根据本发明的另一个示例实施例的递归代码化单元的结构。
[0062]图2是图示根据本发明的另一个示例实施例的递归代码化单元结构的概念图。
[0063]参见图2，每一个代码化单元⑶具有正方形，并且每一个代码化单元⑶可以具有可变的大小，诸如2NX2N(单位:像素)。可以以代码化单元为单位来执行帧间预测、帧内预测、变换、量化和熵编码。代码化单元CU可以包括最大代码化单元LCU和最小代码化单元SCU。最大代码化单元LCU和最小代码化单元SCU的大小可以被表示为2的幂，其是8或更大。
[0064]根据本发明的另一个示例实施例的代码化单元CU可以具有递归树结构。图2图示作为最大代码化单元IXU的CUtl的边缘的大小(2NJ是128(^= 64)并且最大分级水平或分级深度是5的示例。可以通过一系列标记来表示递归结构。例如，在具有分级水平或分级深度k的代码化单元CUk的标记值是O的情况下，相对于当前分级水平或分级深度完成在代码化单元CUk上的代码化，并且在标记值是I的情况下，具有当前分级水平或分级深度k的代码化单元CUk被分割为四个独立的代码化单元CU k+1，它们具有分级水平或分级深度k+Ι和Nk+1XNk+^大小。在这样的情况下，可以将代码化单元⑶k+1表示为代码化单元CUk的子代码化单元。直到代码化单元CU k+1的分级水平或分级深度达到可允许的最大分级水平或分级深度，可以递归地处理代码化单元CUk+1。在代码化单元CUk+1的分级水平或分级深度与可允许的最大分级水平或分级深度相同——例如在图2中的4——的情况下，不进一步执行分割。
[0065]可以在序列参数集合(SPS)中包括最大代码化单元LCU的大小和最小代码化单元SCU的大小。替代地，可以在序列参数集合(SPS)中包括最小代码化单元SCU的大小。最小代码化单元的大小可以表示亮度代码化单元(或代码化块)的最小大小。序列参数集合SPS可以包括最大代码化单元LCU的可允许的最大分级水平或分级深度。替代地，序列参数集合(SPS)可以包括亮度代码化单元(或代码化块)的最小大小，和在亮度代码化单元(或代码化块)的最大大小和最小大小之间的差。例如，在图2中所示的情况下，可允许的最大分级水平或分级深度是5，并且在最大代码化单元LCU的边缘的大小是128 (单位:像素)的情况下，五种类型的代码化单元CU大小是可能的，诸如128 X 128 (LCU)、64 X 64、32 X 32、16X16和8X8 (SOT)。即，在给定最大代码化单元IXU的大小和可允许的最大分级水平或分级深度的情况下，可以确定可允许代码化单元CU的大小。
[0066]如上所述的根据本发明的实施例的递归代码化单元结构的使用可以提供下面的优点。
[0067]首先，可以支持比现有的16X 16宏块更大的大小。如果感兴趣的图像区域保持同质，则最大代码化单元LCU可以用比当使用多个小块时更小的数目的码元来表示感兴趣的图像区域。
[0068]其次，与当使用固定大小的宏块时作比较，可以支持具有各种大小的一些最大代码化单元IXU，使得可以对于各种内容、应用和设备容易地优化编解码器。即，可以通过适当地选择最大代码化单元LCU和最大分级水平或最大分级深度来对于目标应用进一步优化分级块结构。
[0069]第三，与是否是宏块、子宏块或扩展宏块无关，使用单个单元类型，S卩，代码化单元(LCU)，使得可以通过使用最大代码化单元LCU大小、最大分级水平(或最大分级深度)和一系列标记来很简单地表示多级分级结构。当与大小独立的语法表示一起使用时，足以指定用于其余的代码化工具的一般化大小的语法项目，并且这样的一致性可以简化实际解析过程。分级水平的最大值(或最大分级深度)可以是任何值，并且可以大于在现有H.264/AVC编码方案中允许的值。通过使用大小独立的语法表示，可以与代码化单元CU的大小独立地以一致的方式指定所有的语法元素。可以递归地指定用于代码化单元CU的分割处理，并且可以将用于叶代码化单元的其他语法元素一一分级水平的最后代码化单元一一限定为具有相同的大小，而与代码化单元的大小无关。上述的表示方案在降低解析复杂度上是有效的，并且可以在允许大的分级水平或分级深度的情况下增强表示的清楚性。
[0070]如果上述的分级分割处理完成，则不进行进一步的分割，同时可以对于代码化单元分级树的叶节点执行帧间预测或帧内预测。这样的叶代码化单元用于作为用于帧间预测或帧内预测的基本单元的预测单元(PU)。
[0071]对于叶代码化单元执行分区，以便执行帧间预测或帧内预测。即，对于预测单元PU完成这样的分区。在此，预测单元PU意指用于帧间预测或帧内预测的基本单元，并且可以是具有32X32像素的现有宏块单元或子宏块单元或扩展的宏块单元。
[0072]可以以不对称分区的方式、以具有除了正方形之外的任何形状的几何分区方式或以沿着边缘方向的分区方式来执行用于帧间预测或帧内预测的上述分区。在下文中，将具体描述根据本发明的实施例的分区方案。
[0073]图3是图示根据本发明的一个实施例的不对称分区的概念图。
[0074]在用于帧间预测或帧内预测的预测单元I3U的大小可以诸如MXM(M是自然数并且其单位是像素)地可变的情况下，沿着代码化单元的水平或垂直方向执行不对称分区，由此获得在图3中所示的不对称分区。在图3中，预测单元PU的大小例如是64X64像素。以不对称分区方案来执行分区。
[0075]参见图3，预测单元可以进行沿着水平方向的不对称分区，并且可以因此被分割为具有大小64X16的分区Plla和具有大小64X48的分区P21a或者被划分为具有64X48的大小的分区P12a和具有64X16的大小的分区P22a。替代地，预测单元可以进行沿着垂直方向的不对称分区，并且可以因此被分割为具有大小16X64的分区P13a和具有大小48 X 64的分区P23a或者被分割为具有48 X 64的大小的分区P14a和具有16 X 64的大小的分区P24a。
[0076]图4a至4c是图示根据本发明的实施例的几何分区方案的概念图。
[0077]图4a图示对于预测单元执行具有除了正方形之外的形状的几何分区的实施例。
[0078]参见图4a，可以相对于预测单元PU将几何分区的边界线L定义如下。通过使用X和Y轴，相对于预测单元PU的中心O将预测单元等同地划分为四个象限，并且从中心O向边界线L绘制垂直线，使得可以通过在预测单元的中心O至边界线L之间的垂直距离P和从X轴向垂直线逆时针作出的旋转角Θ来指定在任何方向上延伸的所有边界线。
[0079]例如，在8X8块的情况下，可以使用34种模式来执行帧内预测。在此，该34种模式可以表示在当前块的任何像素中具有沿着水平方向的斜率dx和沿着垂直方向的斜率dy(dx和dy每一个是自然数)的最多34个方向。
[0080]替代地，根据块大小，可以使用不同数目的帧内模式。例如，可以使用9个帧内模式用于4X4 ±夬，使用9个帧内模式用于8X8 ±夬，使用34个帧内模式用于16X16块，使用34个帧内模式用于32 X 32 ±夬，使用5个帧内模式用于64 X 64 ±夬，并且使