专利名称：图像编码方法及其装置、图像解码方法及其装置的制作方法
技术领域：
本发明涉及图像的编码及解码。
背景技术：
现有的MPEG2、MPEG4、H. 264/AVC等基于块的视频编解码方式中，宏块大小固定为 16X16。尤其，对于H. 264/AVC，为了更加准确地进行估计或预测，有时也细分为8X8以下 的4X4块加以使用。
图1示出根据本发明一实施例的图像编码装置的框图；图2示出根据本发明一实施例的图像解码装置的框图；图3示出本发明中所提出的数据处理单位——“组”的概念；图4示出本发明中所提出的数据处理单位——“子组”的一例；图5示出本发明中所提出的数据处理单位——“子组”的另一例；图6示出根据本发明一实施例的编码模式的语法(syntax)；图7示出对各数据处理单位的编码方式的一例；图8示出根据本发明一实施例确定组编码模式的编码方法的流程图；图9示出根据本发明一实施例读取编码模式而进行解码的方法的流程图；图10示出本发明中可使用的数据处理单位的层级结构；图11示出根据本发明的另一实施例的超级宏块及宏块单位的编码模式的语法；图12示出根据本发明的另一实施例，编码模式为跳跃模式时的运动矢量估计方 式；图13示出本发明的另一实施例的对应各数量据处理单位的编解码处理顺序；图14示出本发明的另一实施例的频率系数的排列方式；图15比较根据已有编码方式及本发明的另一实施例的CBP(Coded Block Pattern，编码块样式)及与系数块大小相关的语法编码方式；图16示出本发明的另一实施例的CBP相关语法；图17示出本发明的另一实施例的B帧的编码模式；图18示出根据本发明一实施例的图像编码方法的流程图；图19示出根据本发明一实施例的图像解码方法的流程图；图20a、20b、20C、20d、20e以及20f分别示出考虑根据一实施例动态确定的数据处 理单位的图像编码装置100的变形实施例的框图；图20g示出考虑根据本发明一实施例动态确定的数据处理单位的图像编码方法 的流程图；图21针对考虑根据本发明一实施例的大型数据处理单位的运动估计，示出按照 数据处理单位的扫描方式；
9
图22示出在考虑根据本发明一实施例的大型数据处理单位的运动估计中，相邻 的相邻数据处理单位的利用可能性；图23a示出根据本发明一实施例的大型数据处理单位中简化的层级数据处理单 位；图23b示出考虑根据本发明一实施例的大型数据处理单位的语法；图24a、图24b以及图24c示出根据本发明一实施例的跳跃组的各种组成方式；图25a及图25b示出根据本发明一实施例的大型数据处理单位内的运动矢量导出 方式和小型数据处理单位的运动矢量导出方式；图26a及图26b示出针对根据本发明一实施例的大型数据处理单位的色度分量的 各种运动估计方式；图27示出针对根据本发明一实施例的大型数据处理单位的色度分量的数据处理 单位的大小的导出方式；图28示出利用考虑根据本发明一实施例的大型数据处理单位的编码块样式的方 法的流程图；图29a以及图29b示出扫描考虑根据本发明一实施例的大型数据处理单位的编码 块样式的各种方式；图30a、30b、30C、30d、30e以及图30f分别示出考虑根据一实施例动态确定的数据 处理单位的图像解码装置200的变形实施例的框图；图31a、31b、31C、31d、31e以及图31f分别示出考虑根据一实施例动态确定的数据 处理单位的图像编码方法1800的变形实施例的流程图；图32a、32b、32C、32d、32e以及图32f分别示出考虑根据一实施例动态确定的数据 处理单位的图像解码方法19100的变形实施例的流程图。
发明内容
技术问题本发明涉及基于动态确定的数据处理单位的图像编码及解码。技术方案根据本发明一实施例的图像编码方法包括如下步骤针对分类为基本块的图像， 将所述图像数据分类为包括至少一个基本块的组、及包括至少一个基本块并包括在所述组 中的子组；为了编码预定组，确定所述预定组的编码模式，该编码模式表示根据所述组、子 组及基本块中的一个数据处理单位编码预定组的数据的方式；以及根据所述确定的编码模 式编码所述预定组的数据。本发明的最佳实施方式根据本发明一实施例的图像编码方法包括如下步骤针对分类为基本块的图像， 将所述图像数据分类为包括至少一个基本块的组、及包括至少一个基本块并包括在所述组 中的子组；为了对预定组进行编码，确定所述预定组的编码模式，该编码模式表示根据所述 组、子组及基本块中的一个数据处理单位对预定组的数据进行编码的方式；以及，根据所述 确定的编码模式编码所述预定组的数据。根据一实施例的图像编码方法，可进一步包括对表示所述预定组的编码模式的标志进行编码的步骤。根据一实施例的图像编码方法的所述数据分类步骤可包括确定表示所述组中所 包括的基本块数量的组大小以及由包括在所述组中的基本块所形成的组形状的步骤。根据一实施例的图像编码方法的所述数据分类步骤可包括基于表示所述组中所 包括的子组数量的等级以及所述基本块的扫描顺序，确定所述组的子组的步骤。根据一实施例的图像编码方法的所述编码模式可以包括关于数据处理单位种类 的信息、关于所述数据处理单位大小的信息、关于预测模式的信息中的至少一个，所述关于 数据处理单位种类的信息表示所述组单位、所述子组单位、所述基本块单位中的哪一个为 用于对所述组的数据进行编码的数据处理单位，所述关于数据处理单位大小的信息表示所 述数据处理单位所包括的基本块数量，所述关于预测模式的信息表示为进行对所述数据处 理单位的运动估计而确定对应所述数据处理单位的参考信息的方式。根据一实施例的图像编码方法的所述编码模式确定步骤可以包括如下步骤按照 所述组的各个预定数据处理单位，根据至少一个预测模式进行针对所述数据处理单位的编 码；计算按照所述预定数据处理单位及预测模式的组合进行编码所引起的误差率；确定对 应于计算出的所述误差率中的最小误差率的所述预定数据处理单位的预测模式。根据一实施例的图像编码方法的所述编码模式确定步骤可以包括如下步骤比较 考虑到按照所述组内数据处理单位的预测模式的编码误差率，将对应于最小误差率的数据 处理单位及预测模式的组合确定为所述组的编码模式。根据一实施例的图像编码方法还可以包括将组单位及子组单位中一个数据进行 经频率变换的系数以多个基本块单位重新排列的步骤。根据一实施例的所述图像编码方法还可以包括对表示所述频率变换的系数是否 重新排列为基本块单位的标志进行编码的步骤。根据一实施例的所述图像编码方法还可以包括将表示用于对所述组内数据进行 频率变换的数据处理单位的标志编码的步骤。根据一实施例的所述数据分类步骤中，可以按照所述图像数据的图片、序列及组 中的一个的数据单位分别确定所述组单位大小、形状及最大等级。根据本发明一实施例的图像解码方法，包括如下步骤接收编码为基本块、包括至 少一个基本块的组、及包括至少一个基本块并包括在所述组中的子组中的一个数据处理单 位的数据进行解析；从所述解析的数据，读取表示以所述组、子组及基本块中的一个数据处 理单位对预定组的数据进行编码的方式的所述预定组的编码模式；基于所述读取的编码模 式对所述预定组的数据进行解码。根据一实施例的图像解码方法的所述编码模式读取步骤可以包括如下步骤从所 述解析的数据，读取设定为用于解码的数据处理单位的组的形状、表示包括在所述组内的 基本块的数量的组的大小以及关于所述组内子组的最大数量的最大等级信息；利用关于所 述组的形状及所述组的大小的信息，确定作为分类所述解析的图像数据而进行解码的数据 处理单位的组。根据一实施例的图像解码方法，所述组单位可以分别按照所述图像数据的图片、 序列及组中的一个数据单位进行设定。根据一实施例的图像解码方法，所述子组可以基于表示包括在所述组中的子组数量的等级及所述基本块的扫描顺序进行设定。根据一实施例的图像解码方法的所述编码模式读取步骤可以包括如下步骤从针 对所述预定组的数据提取编码模式标志，该编码模式标志表示所述预定组的编码模式；利 用所述编码模式标志读取所述预定组的编码模式。根据一实施例的图像解码方法中，所述组的编码模式可以包括关于数据处理单位 种类的信息、关于所述数据处理单位大小的信息、关于预测模式的信息中的至少一个，所述 关于数据处理单位种类的信息表示编码所述组的数据的数据处理单位为所述组、所述子 组、所述基本块中的哪一个，所述关于数据处理单位大小的信息表示所述数据处理单位所 包括的基本块数量，所述关于预测模式的信息表示为进行对所述数据处理单位的运动估计 而确定对应于所述数据处理单位的参考信息的方式。根据一实施例的图像解码方法的所述组解码步骤可以包括如下步骤基于所述编 码模式的关于所述数据处理单位种类的信息及关于大小的信息，确定所要进行解码的数据 处理单位；基于所述编码模式的关于预测模式的信息确定所述数据处理单位的预测模式； 基于所述确定的数据处理单位及预测模式，对所述组的图像数据进行解码。根据一实施例的图像解码方法中，所述编码模式可以在对所述组的编码中，按照 所述组内的数据处理单位，针对根据至少一个预测模式的预定数据处理单位的进行编码来 计算按照预测模式的编码误差率，按照所述数据处理单位，确定对应于按照所述预测模式 的编码误差率中的最小误差率的所述预定数据处理单位及预测模式的组合，按照所述组内 的数据处理单位及预测模式的组合比较编码误差率，选择具有最小误差率的数据处理单位 及预测模式的组合来设定为所述组的编码模式。根据一实施例的图像解码方法中，所述基本块单位的解码处理顺序可以为折线扫 描方式。根据一实施例的图像解码方法，还可以包括将多个基本块的进行频率变换的系数 重新排列为组单位及子组单位中的一个的步骤。根据一实施例的图像解码方法还可以包括从所述解析的数据，读取表示所述组单 位及子组单位中一个的数据进行频率变换的系数是否重新排列为基本块单位的标志的步
马聚ο根据一实施例的图像解码方法，还可以包括从所述解析的数据读取标志的步骤， 该标志为表示用于所述组内数据的频率变换的数据处理单位。根据本发明一实施例的图像编码装置，包括数据分类部，针对分类为基本块的图 像，将所述图像数据分类为包括至少一个基本块的组、及包括至少一个基本块并包括在所 述组中的子组；组编码模式确定部，为了编码所述组，确定组单位、子组单位及基本块单位 中的至少一个数据处理单位及表示根据所述至少一个数据处理单位的所述组的数据的编 码方式的所述组的编码模式；组编码部，根据所述确定的编码模式编码所述组的数据。根据本发明一实施例的图像解码装置，包括接收部，接收编码为基本块、包括至 少一个基本块的组、及包括至少一个基本块并包括在所述组中的子组中的一个数据处理单 位的数据并进行解析；组编码模式读取部，从所述解析的数据，读取表示以所述组、子组及 基本块中的一个数据处理单位编码预定组的数据的方式的所述预定组的编码模式；组解码 部，基于所述读取的编码模式解码所述预定组的数据。
根据一实施例，一旦确定表示对图像的数据处理单位的种类及运动估计方式的编 码模式，则考虑对应于编码模式的数据处理单位及运动预测模式来对图像进行编码。根据本发明一实施例利用动态确定的数据处理单位编码图像的方法还包括如下 步骤基于对应于所述确定的组的编码模式的大型数据处理单位进行用于所述输入图像的 编码的频率变换及量化；基于所述大型数据处理单位，进行用于所述输入图像的编码的运 动估计；基于所述大型数据处理单位，进行用于所述输入图像的编码的环路滤波；基于所 述大型数据处理单位，进行用于所述输入图像的编码的熵编码。根据一实施例，一旦读取表示对图像的数据处理单位的种类及运动估计方式的编 码模式，则考虑对应于编码模式的数据处理单位及运动预测模式来解码图像。根据本发明一实施例利用动态确定的数据处理单位解码图像的方法还包括如下 步骤基于对应于所述读取的组的编码模式的大型数据处理单位，进行用于所述组的数据 的解码的熵解码；基于所述大型数据处理单位，进行用于所述组的数据的解码的反量化及 逆频率变换；基于所述大型数据处理单位，进行用于所述组的数据的解码的运动估计；基 于所述大型数据处理单位，进行用于所述组的数据的解码的环路滤波。根据本发明一实施例利用动态确定的数据处理单位编码图像的装置还包括频率 变换及量化部，基于对应于所述确定的组的编码模式的大型数据处理单位进行用于所述输 入图像的编码的频率变换及量化；运动估计部，基于所述大型数据处理单位，进行用于所述 输入图像的编码的运动估计；环路滤波部，基于所述大型数据处理单位，进行用于所述输入 图像的编码的环路滤波；熵编码部，基于所述大型数据处理单位，进行用于所述输入图像的 编码的熵编码。根据本发明一实施例利用动态确定的数据处理单位解码图像的装置还包括熵解 码部，基于对应于所述读取的组的编码模式的大型数据处理单位，进行用于所述组的数据 的解码的熵解码；逆量化及逆频率变换部，基于所述大型数据处理单位，进行用于所述组的 数据的解码的逆量化及逆频率变换；运动估计部，基于所述大型数据处理单位，进行用于所 述组的数据的解码的运动估计；环路滤波部，基于所述大型数据处理单位，进行用于所述组 的数据的解码的环路滤波。在根据一实施例的所述图像编码方法或所述解码方法中，基于用于所述运动估计 的数据处理单位的大小，可以确定用于所述频率变换的数据处理单位的大小。关于根据一实施例的所述图像编码方法及所述图像解码方法的运动估计的执行， 可以基于所述大型数据处理单位确定用于顺序运动估计的对每个数据处理单位的扫描顺 序，并可以确定是否可以将位于当前数据处理单位的右侧上端的相邻数据处理单位利用为 参照块(Neighbor availability)。根据一实施例，基于所述大型数据处理单位的运动估计可以利用所述大型数据处 理单位中的正方形块形状的数据处理单位。基于所述正方形块形状的数据处理单位的用于 频率变换的数据处理单位的大小可以限制为小于等于所述正方形块形状数据处理单位的 预定大小。根据一实施例，基于所述大型数据处理单位的运动估计可以包括所述大型数据处 理单位的帧内预测，并且可以包括基于利用复平面型的帧内模式而进行的所述大型数据处 理单位的帧内预测。根据一实施例，基于所述大型数据处理单位，可以预先设定能够以帧内模式进行运动估计的数据处理单位。根据一实施例的基于所述大型数据处理单位的运动估计可以包括基于所述大型 数据处理单位的以帧内模式及帧间模式相混合形式的预测模式进行的运动估计，用于帧间 模式的运动估计的运动矢量可以基于所述大型数据处理单位进行确定。并且，可以对应于 基于所述大型数据处理单位确定的运动矢量而导出用于帧间模式的运动矢量预测器。关于根据一实施例的基于所述大型数据处理单位的运动估计，可以基于所述大型 数据处理单位确定扩展形式的跳跃模式。并且，可以确定包括有相邻的至少一个跳跃模式 的数据处理单位的跳跃组，对于包括在同一跳跃组中的所有数据处理单位同时以跳跃模式 进行运动估计。根据一实施例的基于所述大型数据处理单位的所述频率变换可以包括基于所述 大型数据处理单位的以大型块为基础的整数离散余弦变换。并且，对当前数据处理单位的 色度分量，可以以基于所述大型数据处理单位而确定的预定大小进行频率变换。为了减少 因根据一实施例的基于大型数据处理单位的频率变换而产生的计算量负担，可以采用变形 形式的频率变换。根据一实施例的基于所述大型数据处理单位的熵编码可以根据基于所述大型数 据处理单位而确定的每个数据处理单位的大小来利用层级的编码块样式(Coded Block Pattern)0根据一实施例的基于所述大型数据处理单位的熵编码对所述当前数据处理单位 可以按照基于所述当前数据处理单位的量化系数中存在非零的量化系数的概率而分类的 每个区域扫描编码块样式。可以基于所述当前数据处理单位的分类的每个区域的编码块样 式，仅扫描包含不为零的系数的区域的系数的带(Strip)。并且，表示所述包含非零的系数 的区域的系数的带的表达可以编码为包括在比特流中，在比特流的解码过程中可以读取表 示是包含不为零的系数的区域的系数带的表达。根据一实施例的所述熵编码或熵解码可以基于所述大型数据处理单位利用基于 上下文的自适应二进制算术编码(Context-based Adaptive Binary Arithmetic Code CABAC))或基于上下文的自适应可变长度编码(Context-based Adaptive Variable Length Code =CABAC)) 根据一实施例的基于所述大型数据处理单位的熵编码或熵解码可以利用针对基 于所述大型数据处理单位的帧内模式或色度成分确定为单一语境的编码块样式。根据一实施例的基于所述大型数据处理单位的环路滤波可以包括基于所述大型 数据处理单位的针对数据处理单位内部的小型数据处理单位的去块滤波的进行与否。并 且，对所述当前数据处理单位的去块滤波中，可以排除对所述当前数据处理单位内部的小 型数据处理单位的左侧边界或上端边界的去块滤波、对以预定大小的数据处理单位进行频 率变换的所述当前数据处理单位内部的小型数据处理单位的边界的去块滤波。并且，根据一实施例的所述环路滤波中，对所述当前数据处理单位的色度成分的 去块滤波中，可以排除对所述当前数据处理单位内部的小型数据处理单位的色度分量的边 界的去块滤波。根据一实施例的所述环路滤波在针对以帧间模式及帧内模式相混合的形式 进行运动估计的所述当前数据处理单位的去块滤波中，可以排除对所述当前数据处理单位 内部的小型数据处理单位的边界的去块滤波。
关于根据一实施例的所述环路滤波的执行，可以针对所述当前数据处理单位内部 的至少一个小型数据处理单位的边界，分别设定每个边界的去块滤波的强度。根据一实施例的所述环路滤波可以包括基于所述大型数据处理单位，针对大型大 小的当前数据处理单位进行的用于减小振铃效应的附加滤波。本发明包括记录有用于实现根据本发明一实施例利用动态确定的数据处理单位 的图像编码方法的程序的计算机可读取的记录介质。本发明包括记录有用于实现根据本发明一实施例利用动态确定的数据处理单位 的图像解码方法的程序的计算机可读取的记录介质。
具体实施例方式以下，说明本发明的实施例的目次，以便于理解本说明书。首先，[[I.数据处理单位的动态确定]]中将具体描述根据一实施例动态确定的 数据处理单位及编码模式。[[II.基于动态确定的数据处理单位的图像编码装置]]中，将描述根据先前动态 确定的数据处理单位及编码模式对图像进行编码的装置。有关基于根据一实施例动态确定的数据处理单位的图像编码装置的各个具体操 作，将在[[III.运动估计进程]]、[[III-1.帧内预测]]、[[III-2.帧间预测]]、[[IV.频 率变换及量化]]、[[V.熵编码]]中具体描述。[[VII.基于动态确定的数据处理单位的图像解码装置]]中将具体描述与基于根 据一实施例动态确定的数据处理单位的图像编码装置对应的基于根据一实施例动态确定 的数据处理单位的图像解码装置。[[.基于动态确定的数据处理单位的图像解码方法及图像解码方法]]中将具体 描述基于根据一实施例动态确定的数据处理单位的图像编码方法及与其对应的图像解码 方法。[[I.数据处理单位的动态确定]]图1示出根据本发明一实施例的图像编码装置的框图。根据一实施例的图像编码装置100包括数据分类部110、组编码模式确定部120、 组编码部130。当输入的图像数据以基本块为单位被分类时，数据分类部110基于基本块将图像 数据分类为包括至少一个基本块的组、及包括至少一个基本块并包括在组中的子组以及基 本块，将经分类的数据输出到组编码模式确定部120及组编码部130。基本块、组、子组为用于对图像数据进行编码处理的数据处理单位的种类。 组可具有表示基本块数量的“大小”及由包括在组中的子组所形成的“形状”的属 性。子组由表示组内的子组数量的“等级(level)”及组内的基本块之间的“扫描顺序”来 确定。可以对每个组、图片(picture)、序列(sequence)分别确定包括大小、形状、最大等 级、扫描顺序中的至少一个的组的属性。以下将结合图3具体描述组的确定方式，结合图4及图5具体描述子组的确定方 式。组编码模式确定部120确定组的编码模式，该编码模式包括有关根据用于对组进
15行编码的数据处理单位，即组单位、子组单位及基本块单位中的至少一个数据处理单位的 组内数据编码方式的信息。组编码模式确定部120的一实施例中，可以确定按照数据分类部110所分类的组、 子组、基本块中的各数据处理单位对各个组的数据进行编码而产生的误差率，并基于各个 组的各个数据处理单位的误差率确定该组的编码模式。由此，根据基于针对各个数据处理 单位的组的误差率动态确定的数据处理单位来编码图像数据。组编码模式确定部120所确定的编码模式包括关于数据处理单位种类的信息、关 于数据处理单位大小的信息、关于预测模式的信息中的至少一个，所述关于数据处理单位 种类的信息表示使用组单位、子组单位、基本块单位中的哪一个单位来对组的数据进行编 码，关于数据处理单位大小的信息表示数据处理单位所包括的基本块数量，关于预测模式 的信息表示确定为进行基于数据处理单位的运动估计所需的参照信息的方式。组编码模式确定部120可以针对组的数据按照各个数据处理单位，分别计算按照 基本块单位编码时的误差率、按照子组单位编码时的误差率、按照组单位编码时的误差率 并相互比较，将误差率最小的数据处理单位确定为该组的编码处理单位。即，针对每个组单 位、子组单位、基本块单位均进行编码及计算误差率的过程。并且，组编码模式确定部120的一实施例中，比较各个数据处理单位按照各种预 测模式编码时的误差率，从而针对各个数据处理单位分别确定误差率最小的预测模式。例如，组编码模式确定部120可以将组的数据针对每个数据处理单位均分别以跳 跃模式、帧间模式、帧内模式的预测模式进行编码，并针对各个预测模式计算编码误差率并 进行比较，将所发生的误差率最小的预测模式确定为该数据处理单位的代表预测模式。艮口， 针对每个组单位、子组单位、基本块单位均进行根据各个预测模式进行编码时的误差率比 较及基于此的预测模式确定过程。组编码模式确定部120可以针对每个数据处理单位比较预测模式的误差率，将具 有最小误差率的数据处理单位确定为针对该组的数据的代表数据处理单位。基于产生最 小误差率的代表数据处理单位及代表预测模式的组合，关于该组的代表数据处理单位的种 类、大小、代表预测模式的信息被确定为该组的编码模式。组编码部130根据组编码模式确定部120所确定的针对每个组的编码模式对由数 据分类部110输入的图像数据进行编码而输出。图像编码装置100除了对图像数据进行编 码，还可以对编码表示组编码模式的标志(flag)的组编码模式标志进行编码。根据本发明一实施例的图像编码装置100可以用基本块之间的折线扫描(zigzag scanning)方式代替基本块之间的光栅扫描方式，由此编码一个图片内的数据。根据一实施例的图像编码装置100可以将组单位及子组单位中一个数据频率变 换的系数以多个基本块单位重新排列。根据一实施例的图像编码装置100可以按照基本块 或子组单位对图像数据进行频率变换。此时，用于进行频率变换的数据处理单位可以与用 于进行运动估计的数据处理单位不一致。根据一实施例的图像编码装置100可以将表示对预定数据处理单位的数据是否 频率变换的系数按照可变的数据处理单位重新排列的标志进行编码。图2示出根据本发明一实施例的图像解码装置的框图。根据一实施例的图像解码装置200包括接收部210、组编码模式读取部220、组解码部230。基本块、组、子组、编码模式等概念与针对根据一实施例的图像编码装置100的前 述说明中相同。接收部210接收用基本块、组、子组中的一个数据处理单位编码的数据并解析，提 取要解码的信息，输出到组编码模式读取部220及组编码部230。组编码模式读取部220从接收部210所解析的数据中读取组的编码模式，并输出 到组解码部230。组编码模式读取部220可以从解析的数据读取关于组的形状、大小、最大 等级的信息，并利用所读取的组的形状及大小信息来确定预定的组。组的属性可以按照组、 图片、序列等数据单位分别设定。另一实施例的组编码模式读取部220可以从解析的数据提取表示预定组的编码 模式的组编码模式标志，并利用组编码模式标志读取预定组的编码模式。所读取的各个组 的编码模式包括对各个组的数据进行解码时要用到的关于数据处理单位的种类、大小、预 测模式等的信息。组解码部230利用从组编码模式读取部220输入的各个组的编码模式，对接收部 210所接收的各个组的数据进行解码并输出。组解码部230可以基于编码模式中关于数据处理单位的种类及大小的信息，确定 用于组的数据解码的组内数据处理单位，并基于编码模式中关于预测模式的信息确定该数 据处理单位的预测模式。组解码部230可以基于由编码模式确定的数据处理单位及预测模 式解码该组的数据。组解码部230可以根据基本块单位的折线扫描方式扫描一个图片的数据，从而读 取各个组的编码模式并进行解码。一实施例的图像解码装置200也可以将多个基本块的频率变换的系数按照组单 位及子组单位中的一个重新排列。一实施例的图像解码装置200可以对按照基本块或子组 单位分类的数据进行频率逆变换。图像解码装置200还可以从解析的数据提取表示组单位及子组单位中一个数据 频率变换的系数是否在编码过程中按照基本块单位重新排列的标志。可以基于系数重新排 列与否标志，在解码过程中将系数重新排列为组单位及子组单位中的一个。图3示出本发明中所提出的数据处理单位——“组”的概念。随着能够处理大容量数据的硬件及网络环境的构建，相比于大容量数据，现有的 宏块单位作为收录有用信息的单位有可能相对较小。例如，在SD(Standard Definition)级 以上的HD(High-Definition)级分辨率及其以上的分辨率下，由于较小的宏块，可能会使 实际适用于纹理编码的比特被分配到作为宏块模式、运动矢量等的宏块符号(macroblock symbol)的附加信息，从而导致率失真代价(Rate-Distortion Cost =RD cost)降低。本发明引入包括至少一个基本块的组单位作为数据处理单位。基本块300是包括至少一个数据的单位。例如，可以为MPEG或H. 264的8X8、 16X16宏块等。组是包括至少一个基本块的单位，其形状及表示基本块的个数的组大小可以任意 确定。例如，可以取大小为16且呈正方形形状的组310，大小为8且呈长方形形状的组320、 325，大小为13且呈菱形的组330等。这种组的形状大小，可以按照图像数据的图片、图片 序列单位设定为保持一致，也可以针对每个组均分别设定。
17
图4示出本发明中所提出的数据处理单位——“子组”的一例。组内的子组包括组内的至少一个基本块，确定子组的第一确定方式为按照等级及 扫描顺序确定的方式。图4示出呈正方形形状、组大小为16、最大等级为4的组。首先，根据组内的子组数量可以分类为等级为4的组410、420、450，等级为2的组 430、460，等级为1的组440。并且，根据组内的基本块的扫描顺序可以分类为折线扫描顺序的组410，垂直扫描 顺序的组420、430、440，光栅扫描顺序的组450、460。由此，对于大小为16、呈正方形形状的组410，若取等级4并采用折线扫描顺序来 设定子组，则可以形成大小为4、呈正方形形状的四个子组。对于组420，若取等级4并采用 垂直扫描顺序来设定子组，则可以形成大小为4、呈长方形形状的四个子组422、424、426、 428。同样地，对于组450，若取等级4并采用光栅扫描顺序来设定子组，则可以形成大小为 4、呈长方形形状的四个子组452、454、456、458。对于大小为4、呈正方形形状的组430，若取等级2并采用垂直扫描顺序来设定子 组，则可以形成大小为8、呈长方形形状的两个子组432、434。同样地，对于组460，若取等 级2并采用光栅扫描顺序来设定子组，则可以形成大小为8、呈长方形形状的两个子组462、 464。对于大小为16、呈正方形形状的组440，若取等级1并采用垂直扫描顺序来设定子 组，则可以形成大小为16、呈正方形形状的一个子组445。图4中，在每个等级中都设定有各种扫描顺序，但是也可以针对各个等级分别设 定预定的扫描顺序。并且，用于频率变换的数据处理单位可以是大小在先前定义的组、子组 的大小以下的单位。图5示出本发明中所提出的数据处理单位——“子组”的另一例。确定子组的第二确定方式为将按照组内基本块的扫描顺序所排列出的基本块的 序列根据等级加以区分的方式。图5中以呈正方形形状、组大小为16的组500、550为例， 具体描述子组的第二确定方式。呈正方形形状、组大小为16的组500，可以按照折线扫描顺序以基本块1、2、5、9、 6、3、4、7、10、13、14、11、8、12、15、16的顺序重新排列出基本块的序列510。当组500的等级 为3时，基本块序列510可以分类为包括基本块1、2、5、9、6的第一子组，包括3、4、7、10、13 的第二子组，包括基本块14、11、8、12、15、16的第三子组。由此，若将组500按照折线扫描 顺序分类为等级3的子组，则可以同时分类出组520和r子组。作为另一例，呈正方形形状、组大小为16的组550，可以按照逆折线扫描顺序以基 本块4、8、3、2、7、12、16、11、6、1、5、10、15、14、9、13的顺序重新排列出基本块的序列560。当 组550的等级为4时，基本块序列560可以分类为包括基本块4、8、3、2的第一子组，包括7、 12、16、11的第二子组，包括基本块6、1、5、10的第三子组，包括基本块15、14、9、13的第四子 组。由此，若将组550按照逆折线扫描顺序分类为等级4的子组，则可以如同组570分类子 组。图6示出根据本发明一实施例的编码模式的语法(syntax)。示出在根据一实施例的图像解码装置200的组编码模式读取部220中，根据表示 预定组的编码模式的语法来读取组编码模式的过程的流程图。
在步骤610中，组编码模式读取部220确认表示预定组的数据是否被编码为组单 位的跳跃模式的标志GroUp_SKIP。若“GroUp_SKIP”标志值为1，则对该组的数据以组单位 的跳跃模式进行解码(步骤620)。若“Group_SKIP”标志值为0，则移动到步骤630。在步骤630，组编码模式读取部220判断是否设定了根据等级的子组。若是，则组 编码模式读取部220检查子组单位的解码方式(步骤640)。若没有设定子组，则组编码模 式读取部220检查基本块单位的解码方式(步骤650)。在优选实施例中，等级应大于1，并小于组大小。因为，若等级为1，就是与组相同 的数据处理单位。组编码模式读取部220确认表示相应组的数据是否被编码为子组单位的跳跃模 式的标志Subgroup_SKIP (步骤640)。若“Subgroup_SKIP”标志值为1，则组编码部230以 子组单位的跳跃模式进行解码(步骤660)。若“Subgr0up_SKIP”标志值为0，则组编码部 230以跳跃模式之外的预测模式进行子组单位的解码(步骤670)。为了保证针对组单位的跳跃模式的差异性，在优选实施例中，不能使所有子组的 “Subgroup_SKIP”标志值都设定为1。在优选实施例中，对于子组单位的解码Subgr0Up_M0de，一般模式根据等级及扫描 顺序进行确定。此时，等级应当小于或等于最大等级。组编码模式读取部220确认表示相应组的数据是否被编码为基本块单位的跳跃 模式的标志Unit_SKIP (步骤650)。若“Unit_SKIP”标志值为1，则组编码部230以基本块 单位的跳跃模式进行解码(步骤680)。若“Unit_SKIP”标志值为0，则组编码部230以跳 跃模式之外的预测模式进行基本块单位的解码(步骤690)。在优选实施例，为了保证针对子组单位或组单位的跳跃模式的差异性，在优选实 施例中，不能使所有基本块的“Unit_SKIP”标志值都设定为1。图7示出按照数据处理单位的编码方式的一示例。根据情况，可以任意地确定组内的按照数据处理单位的编码方式。以下，将描述正 方形形态、组大小为4、最大等级为2的组710的按照数据处理单位的编码方式的一示例。大小为4、最大等级为2的组710中，当等级为2时，根据扫描顺序可以设定垂直扫 描顺序的子组720、光栅扫描顺序的子组730，当等级为1时设定子组740。对基本块700的编码方式中，可采用16X 16跳跃模式作为跳跃模式(Unit_Skip)。 此外，在基本块700的编码方式中，可采用16X16、8X8、4X4帧内模式和16X16、16X8、 8X16、8X8、4X8、8X4、4X4帧间模式中的一个作为一般模式(Unit_Mode)。作为对子组720、730的编码方式，对等级为1的子组740的编码方式中，一般模式 (Subgroup_Mode)可采用32X32帧间模式和32X32帧内模式中的一个。对子组720、730 的编码方式中，一般模式(Subgroup_Mode)可采用16X32帧间模式和32X16帧间模式中 的一个。对组710的编码模式，可设定32X32跳跃模式作为跳跃模式(Group_SKIP)。图8示出根据本发明一实施例的确定组的编码模式的编码方法的流程图。参照图8，将描述对于按照数据处理单位的编码模式，确定最佳数据处理单位和预 测模式的方式。流程图800是关于为了确定预定组的编码模式，图像编码装置100，特别是，图像编码模式确定部120进行的进程的流程图。基于从所要编码的数据获得的关于组的形状、大小、最大等级的信息，确定所要编 码的数据中的预定组(步骤810)。可以按图片、序列和组为单位设定组的形状、大小、最大 等级信息。然后，执行按照数据处理单位的编码。首先，以组单位的跳跃模式执行编码(步骤820)，计算率失真代价(Rate Distortion Cost)作为组单位的跳跃模式的编码引起的误差率(步骤830)。例如，计算对 于32X32组的32X32跳跃模式的编码引起的RD代价。执行基本块单位的编码(步骤840)。可分别以跳跃模式，帧内模式、帧间模式执行 基本块单位的编码。由于对组内的每个基本块都要执行基本块单位的编码，所以重复执行 步骤840，重复次数与相应于组的大小的组内的基本块的数量相同。计算根据基本块单位的编码引起的RD代价(步骤850)。例如，在以16X 16跳跃 模式、16X 16/8X8/4X4 帧内模式、16X 16/16X8/8X 16/8X8/4X8/8X4/4X4 帧间模式 等按照基本块单位编码的结果而计算出的RD代价中，搜索到具有最小RD代价的基本块单 位。即，选择相应于基本块单位的最小RD代价的基本块大小和预测模式的组合。执行子组(sub-group)单位的编码(步骤860)。为了设定子组而确认等级 (level)(步骤862)，确认扫描顺序(步骤864)，对相关等级的每个子组执行编码(步骤 860)。可以分别以帧内模式、帧间模式执行子组单位的编码。由于对组内的每个子组都要 执行子组单位的编码，所以根据等级，重复执行步骤862、864、860，重复次数与等级数相同。计算根据子组单位的编码引起的RD代价(步骤870)。对于每个子组，确定帧 内模式、帧间模式的编码中RD代价最小的最佳预测模式；在所有子组中，确定RD代价 最小的子组和预测模式的组合。例如，根据等级，32X32帧间模式/32X32帧内模式或 16 X 32/32 X 16帧间模式等按照子组单位编码的结果而计算出的RD代价中，搜索到具有最 小RD代价的子组单位。即，选择相应于子组单位的最小RD代价的子组大小和预测模式的 组合。图像编码模式确定部120对在步骤830计算的组单位的RD代价、在步骤850选择 的基本块单位组合的RD代价、在步骤870选择的子组单位组合的RD代价进行比较，选择最 低RD代价(步骤880)。图像编码模式确定部120，基于与在步骤880选择的最低RD代价对应的数据处理 单位或数据处理单位的大小和预测模式组合，确定相关组的编码模式(步骤890)。例如，组 的编码模式包括有关组单位、子组单位、基本块单位中的哪个单位的数据处理单位的种类 的信息；有关数据处理单位的大小(32X32、32X16、16X32、16X16、16X8、8X16、8X8、 4X8,8X4,4X4)的信息；有关预测模式(跳跃模式、帧内模式、帧间模式等)的信息。图9示出根据本发明的一实施例的读取编码模式来进行解码的方法的流程图。流程图900示出图像解码装置200，特别是组编码模式读取部220为了预定组的解 码而读取组的编码模式的进程的流程图组编码模式读取部220从所要解码的数据获得关于组的形状、大小、最大等级的 信息，从而确定所要解码的数据中的预定组(步骤910)。可按图片、序列(sequence)或组 单位设定有关组的形状、大小、最大等级的信息。
组编码模式读取部220确认表示预定组是否以组单位的跳跃模式被编码的标志 Group_Skip (步骤920)。当确认结果是组单位的跳跃模式时，对于相关组按跳跃模式进行 解码(步骤930)。当确认结果，不是组单位的跳跃模式时，转到步骤940。在步骤940，组编码模式读取部220确定组的等级。如果确认结果，子组没有按等 级设定，则组编码模式读取部220检查基本块单位的解码方式(步骤990)。当确定等级时， 组编码模式读取部220确认子组的等级(步骤960)，并确定扫描顺序(步骤970)。组编码 模式读取部220对根据等级和扫描顺序确定的子组执行解码(步骤950)。由于对组内的每 个子组都要进行解码，所以重复执行子组的解码过程(步骤960、970、950)，重复次数与组 内的等级的数量相同。组编码模式读取部220确认表示基本块单位的预测模式的标志Unitjnode (步骤 990)。根据确认结果，依照所确定的预测模式，组编码模式读取部220对相关基本块执行 解码(步骤980)。如果“Subgroup_SKIP”标志值为0，则组编码模式读取部220依照步骤 670以将跳跃模式除外的预测模式对相关子块执行解码。由于对组内每个基本块都要进行 解码，所以重复执行基本块的解码过程(步骤990、980)，重复次数与组大小相同。以下，将详细描述对于在本发明提供的基于组、子组、基本块的动态数据处理单位 的编码和解码的各种实施例。在本发明的一实施例中，帧间模式的运动矢量估计方式的一个实施例为可将当前 数据处理单位的所有周围数据处理单位的运动矢量的中间值(median value)确定为当前 数据处理单位的运动矢量。在本发明的一实施例中，可考虑组、子组、基本块等的大小来分别确定帧间模式的 运动矢量估计方式。例如，根据数据处理单位的大小，可不同地设定将要参照的周围块的大 小、种类。在本发明的一实施例中，帧内模式的运动矢量估计方式的示例为，可参照处于 当前数据处理单位的任意角度或方向的相邻五个像素，将五个相邻像素值的加权平均值 (weighted average)预测为当前像素值。在本发明的一实施例中，帧内模式的运动估计方式的示例为，可按照用于将预定 组频率转换处理的数据处理单位重新排列预定组的数据，以用作参照像素。帧内模式的估 计方式的另一示例为，可利用梯度(gradation，▽)来表示运动矢量的χ轴变化量和y轴的
变化量。32X32帧内模式的块的运动估计方式的一个示例为，可利用运动矢量等的两个估 计信号的加权平均来估计当前块。通过按照像素将更大加权值给予最近的参照像素的方式 来获得加权平均。在本发明的一实施例中，可将表示组单位的跳跃模式的标志集合为图片单位而一 次性处理。在优选的实施例中，仅对B图片一次性处理表示组单位的跳跃模式的标志。本发明的一实施例中，提出作为与跳跃模式相对比的方式的导出当前数据处理单 位的信息的方式。例如，不是通过信号传输(signaling)，而是导出运动矢量和纹理信息 (texture information)。此外，可以信号传输(signaling)运动矢量信息，而导出纹理信 息，或者可以信号传输(signaling)纹理信息，而导出运动矢量信息。可以进行仅信号传输 (signaling)DC信息的预测模式。按照量化参数(Quantization parameter, Qp)可以定义多种的运动信息导出方式。在本发明的一实施例中，跳跃模式的数据处理单位可构成层级结构 (hierarchical structure)。例如，如果跳跃模式的32 X 32块内的16 X 16块也是跳跃模 式，则可以设定表示32X32跳跃标志和16X16跳跃标志的层级结构的标志。此外，可以形 成作为跳跃模式的基本块的集合的组。根据本发明的实施例中，为了应对逐渐增加的视频内容的分辨率，可通过将现有 的宏块的大小扩展为更有效率的大小来提高视频压缩性能。以下，参照图10至图17，与现有的H. 264音视频(A/V)编解码方式相比，详细 描述将本发明中提供的组、子组、基本块的层级概念实现为32X32数据的超宏块(super macroblock，表示为“SMB”或“S-MB”)单位、16X16宏块(以下，表示为“MB”)单位、8X8 宏块单位的层级结构的本发明的另一实施例。图10示出在本发明中可用的数据处理单位的层级结构。数据处理单位的层级结构1000可具有3层结构。第一层1010是具最大大小的 32X32超宏块，可以具有例如，一个32X32跳跃模式的情况、一个32X32帧间模式的情况、 包括两个32X 16帧间模式的情况、包括两个16X32帧间模式的情况、包括四个16X 16帧 间模式的情况。对于第一层1010，可以执行16X16块、8X8块和4X4块单位的频率转换。第二层1020对应于从第一层1010的超宏块中划分的16X16宏块。例如，第二层 1020的16X16宏块可以具有例如，一个16X16帧内模式的情况、一个16X16跳跃模式的 情况、一个16 X 16帧间模式的情况、包括两个16X8帧间模式的情况、包括两个8 X 16帧间 模式的情况、包括四个8X8帧间模式的情况。对于第二层1020可以执行8X8块和4X4 块单位的频率转换。第三层1030对应于从第二层1020中的划分的8X8块。例如，第三层1030的8X8 宏块可以具有一个8X8跳跃模式的情况、一个8X8帧间模式的情况、包括两个8X4帧间 模式的情况、包括两个4X8帧间模式的情况、包括四个4X4帧间模式的情况。对于第三层 1030可以执行4X4块单位的频率转换。根据本发明提供的宏块的扩展型结构，不仅能够以用于大容量的视频数据的 32X32超宏块模式进行编解码，也能够以8X8以下的宏块模式进行处理。此外，在本发明 提供的宏块的扩展型层级结构中，由于跳跃模式或帧内模式、16X16以下的宏块单位等的 处理可以采用与现有的编解码方式相同的方式，因此可以减少构建新的编解码系统所需要 的费用和时间。图11示出根据本发明的另一实施例的基于超宏块和宏块单位的编码模式的语法 (syntax)0根据图像解码装置200的另一实施例，组编码模式读取部220为了判断当前组的 编码模式，首先确认表示是否以超宏块单位的跳跃模式编码的标志SMB_SKIP(步骤1110)。 如果“SMB_SKIP”值为1，则组解码部230以32X32超宏块单位的跳跃模式执行通过运动估 计的解码(步骤1120)。如果“SMB_SKIP”值为0，则组编码模式读取部220判断当前组是否以超宏块单位 编码(步骤1130)。如果根据步骤1130的判断，不是跳跃模式，而是以预测模式进行了超 宏块单位的编码，则将该判断结果传送到组解码部230，组解码部230根据“SMB_mode”，以
2232X32帧间模式、32X16帧间模式、16X32帧间模式、16X16帧间模式的超宏块单位执行 通过运动估计的解码(步骤1140)。根据优选实施例，通过16X16帧间模式的超宏块单位的运动估计方式可以与现 有的通过16X 16帧间模式的宏块单位的运动估计方式相同。如果根据步骤1130的判断，判断出当前组没有以超宏块单位帧间模式编码，则组 编码模式读取部220确认表示组是否以宏块单位的跳跃模式编码的标志MB_SKIP (步骤 1150)。如果根据步骤1150的判断，以宏块单位的跳跃模式进行了编码，则将该判断结果 传送给组解码部230，组解码部230根据“MB_SKIP”以16 X 16超宏块单位执行通过跳跃模 式的运动估计的解码(步骤1160)。如果根据步骤1150的判断，不是以宏块单位的跳跃模式进行了编码，则将该判断 结果传送给组解码部230，组解码部230根据“MB_SKIP”以16X16帧内模式、16 X 16帧间 模式、16X8帧间模式、8X 16帧间模式、8X8帧间模式等宏块单位或小于8X8宏块的子宏 块单位执行解码(步骤1170)。图12示出根据本发明的另一实施例的在编码模式为跳跃模式的情况下的运动矢 量估计方式。根据另一实施例的图像编码装置100和图像解码装置200，为了预测作为跳跃模 式的块的运动矢量，可以使用基于超宏块单位的运动矢量估计方式或基于宏块单位的运动 矢量估计方式。基于超宏块单位的运动矢量估计方式的一个示例为，32X32跳跃模式的超宏块可 以利用周围块的运动矢量来估计运动矢量。周围块可以是超宏块或者宏块。例如，根据以 下数学式1预测超宏块的运动矢量。[数学式1]MV = Median (MVa, MVb，MVc)MedianC )函数是输出所输入的中间值的函数。即，超宏块的运动矢量MV 1020被 确定为周围块的左侧块的运动矢量MVa 1220、上端块的运动矢量MVbl225、右侧上端块的 运动矢量MVc 1230中具有中间值的运动矢量。基于宏块单位的运动矢量估计方式的一个示例为，16X16跳跃模式的宏块可以利 用周围块的运动矢量来估计宏块的运动矢量。例如，根据以下的数学式2、3、4和5可以预 测宏块的运动矢量。[数学式2]MVO = Median (MVa, MVb，MVc)[数学式3]MVl = Median (MVO, MVc，MVd)[数学式4]MV2 = Median (MVe, MVO，MVl)[数学式5]MV3 = Median (MVO, MVl，MV2)16X16 跳跃模式的宏块 MVO 1240, MVl 1245, MV2 1250、MV3 1255 被确定为各自的周围的块中的左侧块的运动矢量、上端块的运动矢量、右侧上端块的运动矢量中的具有 中间值的运动矢量。即，MVO 1240根据数学式2被确定为MVa 1260, MVb 1265, MVc 1270 的中间值，MVl 1245根据数学式3被确定为MVO 1240,MVc 1270,MVd 1275的中间值，MV2 1250根据数学式4被确定为MVe 1280,MVO 1240,MVl 1245的中间值，MV3 1255根据数学 式5被确定为MV2 1250, MVO 1240, MVl 1245的中间值。根据另一实施例的图像编码装置100可以将表示运动矢量估计方式是超宏块单 位的运动矢量估计还是宏块单位的运动矢量估计的标志有规则地插入到片段(slice)或 预定数据单位。根据另一实施例的图像解码装置200可以从片段或预定数据单位提取有关 运动矢量估计方式的标志，并将该标志用于超宏块或宏块的运动矢量估计。图13示出本发明的另一实施例的按照数据处理单位的编解码处理顺序。在本发明中，为了支持具有三层层级结构的扩展的宏块模式，在图像的编码或解 码步骤中代替沿水平方向按照宏块扫描的光栅扫描方式1310而引入按照16X16宏块折线 型扫描顺序1320。例如，当前宏块可以是，在如块1330的16X16宏块的集合中的一个(16 X 16MB) 块、包括在如块1340的32 X 32超宏块(32X32S-MB)中的宏块、包括在如块1350的32 X 16 或16 X 32超宏块对(32X 16/16X32S-MB)中的宏块、包括在如块1370的32 X 16或16X32 半超宏块(half-super macroblock) (32X 16/16X 32S_MB_half)中的宏块、如块 1360 的 16X16 宏块(16X 16MB)等。本发明的图像编码装置100的组编码模式确定部120，对于每个32 X 32超宏块，通 过比较一个32X32超宏块的情况和四个16 X 16宏块的情况的RD代价来确定以32X32超 宏块模式和16X16宏块模式中的一个进行编码。由于通过宏块的折线型扫描方式，不需要大幅改变现有的编码或解码系统的结 构，而仅改变扫描方式来进行使用，因此可以利用现有的编码或解码方式来容易地实现本 发明。此外，利用如块1370的32X 16或16X 32半超宏块或如1360的16X 16宏块等来 可以容易地处理不符合超宏块单位的图像的边界部分。图14示出本发明的另一实施例的频率系数的排列方式。本发明中，在图像编码过程和解码过程中，将16 X 16块的频率系数1400根据交织 方式可以重新排列为8X8宏块1450。能够以8X8宏块单位对重新排列为8X8宏块单位 的系数进行熵编码或熵解码。将16X16块的系数以交织方式重新排列的方式的一个示例为，根据16X16块的 系数位置，将16X16块的系数重新排列为左侧上端、右侧上端、左侧下端、右侧下端的8X8 宏块。根据系数的重新排列顺序，16X16块中的2X2块的系数中，左上端的系数被布置 到左侧上端的8X8宏块1460。S卩，16X 16块的系数1410被布置为左侧上端的8X8宏块 1460的系数1462。此外，16X16块中的2X2块的系数中，右侧上端的系数被布置到右侧上端的8X8 宏块1470。S卩，16X 16块的系数1430被布置为右侧上端的8X8宏块1470的系数1472。同样地，16X16块中的2X2块的系数中，左侧下端的系数被布置到左下端的8X8宏块1480。S卩，16X 16块的系数1420被布置为左侧下端的8X8宏块1480的系数1482。最后，16X16块中的2X2块的系数中，右侧下端的系数被布置到右侧下端的8X8 宏块1490。S卩，16X 16块的系数1440被布置为右侧下端的8X8宏块1490的系数1492。图15将现有编码方式与根据本发明的另一实施例的与编码块样式(CBP，Coded Block Patten)和系数块大小相关的语法编码方式相比较。一般考虑编码块样式(CBP)的系数的编码方式1510将确认CBP值(步骤1520)， 如果CBP值为0，则结束考虑CBP的系数的编码过程。如果CBP值不为0，则对表示系数块 大小的标志TFlag进行编码(步骤1530)，通过对当前系数编码(步骤1540)来完成考虑 CBP的系数的编码。如果与现有的编码方式相同地列出频率以8X8或4X4块单位被转换 的系数，则“TFlag”标志可以表示是8X8单位的系数还是4X4块单位的系数。根据本发明提供的考虑编码块样式的编码方式1550，确认CBP值(步骤1520)， 如果CBP值为0，则结束考虑CBP的系数的编码。如果CBP值不为0，则对表示当前系数是 8X8还是4X4块单位的系数的标志TFlagS进行编码(步骤1560)，如果基于“TFlagS”标 志的值的判断结果(步骤1570)，当前系数是4X4块单位的系数，则对系数进行编码(步骤 1590)来结束系数的编码。如果基于“TFlagS”标志的值的判断结果(步骤1570)，当前系数不是4X4块单 位的系数，则对表示当前系数是8X8还是16X16系数的标志(Tflagie)进行编码(步骤 1580)，对当前系数进行编码(步骤1590)来结束系数的编码。因此，本发明利用与排列有频率变换的系数的数据处理单位相关的两个标志 (TflagS、Tflagie)，执行基于可变的块大小的通过频率变换的编码和通过频率逆变换的解码。对于频率变换，本发明的一实施例不仅可以引入频率变换的系数的排列块的大 小，还可以引入整数单位的频率变换。通过8X8交织方式系数块可以减少块结束(E0B，End of Block)长度。此外，当“TfalgS”标志值为1时，用于16X 16帧间模式的开销(overhead) 仅附加地需要1比特。由于各种大小的块导致能量压缩效率增加，因此频率转换的频度也 可能降低。图16示出与本发明的另一实施例的CBP相关的语法。根据本发明的另一实施例的图像编码装置200引入层级结构的CBP编码方式。针 对非跳跃模式的宏块，对表示CBP信息是否已被编码的标志(MB_CBP_flag)进行编码(步 骤1600)。如果基于“MB_CBP_flag”标志的判断结果(步骤1610)，“MB_CBP_flag”标志值 为0，则由于不需要更多的附加信息，因此结束CBP编码过程。如果基于“MB_CBP_flag”标 志的判断结果(步骤1610)，"MB_CBP_flag"标志值为1，则执行对于相关宏块的CBP的编 码(步骤1620)。根据本发明的另一实施例的图像解码装置200可通过提取插入到所接收的数据 中的“MB_CBP_flag”标志来判断对作为解码对象的宏块是否需要CBP的解码。图17示出根据本发明的另一实施例的B帧的编码模式。本发明的图像编码装置100和图像解码装置200可以引入超宏块单位的直接模式 (S-MB DERECT mode)作为用于B帧的编码模式。如果当前超宏块的编码模式是直接模式， 则应执行纹理编码。
例如，32 X 32超宏块1710的每个16 X 16宏块1720、1730、1740、1750所包含的表 示是否是CBP编码的标志MB_CBP_FLAG表示相关宏块1720、1730、1740、1750是跳跃模式还
是直接模式的编码。即，由于“MB_CBP_FLAG，，标志为1的宏块1720,1750是直接模式的宏块1760、 1790，所以可以按与遵循H. 264标准的直接模式相同的运动估计方式估计运动矢量。相反，由于“MB_CBP_FLAG”标志为0的宏块1730、1740是直接模式的宏块1770、 1780，所以不需要更多的用于运动矢量的估计的信息。图像编码装置100和图像解码装置200的另一示例为可以基于量化参数、分辨率、 序列特性确定用于动态范围划分方式的块单位。此外，不仅沿水平方向、垂直方向，还可以 沿各种方向分类数据处理单位。上述的三层的层级结构中，第一等级不仅包括跳跃模式和帧间模式的超宏块，还 可以包括帧内模式和帧间模式组合的预测模式的超宏块。可以按照图片、序列、片段、宏块等各种数据单位设定编码模式或数据处理单位， 最大或最小基本块大小以及分层等级来表示编码模式或数据处理单位。数据处理单位的层 级结构的二元树(binary tree)结构可分化到η元树结构。在图像编码装置100和图像解码装置200的另一示例中，可以按照用于运动估计 的块的大小、用于频率变换的块的大小、用于去块滤波(deblocking filtering)的块的大 小的顺序，将块的大小顺序地维持为小或相同。此外，可以统一地或分别地表示用于运动估 计的数据处理单位和用于频率变换的数据处理单位。由任意组形成的帧内或帧间模式的宏块可形成为包括任意数量的基本块的组。此 时，可以基于组的大小执行块的预测，或着可以基于组的大小执行频率转换。组可以由任意数量的跳跃模式的宏块形成。图18示出根据本发明的一实施例的图像编码方法的流程图。在步骤1810，按照包括组、子组和基本块的扩展的概念分类以基本块分类的图像 数据。组可以具有表示基本块的数量的大小、形状和最大等级的属性，可以按等级和扫描顺 序设定子组。在步骤1820，确定组的编码模式，该组的编码模式包括关于用于对组进行编码的 作为数据处理单位的组单位、子组单位和基本块单位中的至少一个的信息以及关于通过所 述至少一个数据处理单位对组的数据进行编码的方式的信息。可以基于误差率来确定组的编码模式。其中，该误差率产生于按照组内的各个数 据处理单位执行的对于组的数据的编码。对于每个组，通过将组单位的编码误差率、组内的 所有子组的编码误差率中的最低误差率、组内的所有基本块的编码误差率中的最低误差率 相比较来选择最佳的数据处理单位和预测模式。每个组的编码模式包括有关相关组的最佳 数据处理单位和预测模式的信息。在步骤1830，根据确定的编码模式对每个组的数据进行编码。不仅表示图像数据 和每个组的编码模式的信息，还有关于组内的频率变换的系数是否按预定数据单位重新排 列的信息、CBP编码信息等可被编码并插入到传送数据。图19示出根据本发明的一实施例的图像解码方法的流程图。在步骤1910，接收以基本块、组和子组中的一个数据单位编码的数据，从接收的数据解析解码所需的信息。从接收的数据解析将成为解码对象的图像数据，且还可解析图像 的解码所必需的参数。在步骤1920，从在步骤1910解析的数据读取预定组的编码模式，其中，该预定组 的编码模式表示通过组、子组和基本块中的一个数据处理单位对预定组的数据进行编码的 方式。为了确定组，从解析的数据提取并读取表示组的大小、形状、最大等级的信息。如 果组被确定，提取并读取每个组的编码模式。在步骤1930，对与读取的编码模式对应的预定组的数据进行解码。利用从预定组的编码模式提取并读取的关于以哪个数据处理单位进行解码的信 息、关于相关数据处理单位的大小和形状的信息、关于运动估计的信息，对预定组的数据进 行解码。[[ II .基于动态确定的数据处理单位的图像编码装置]]图20a、图20b、图20c、图20d、图20e和图20f分别示出根据一实施例的考虑动态 确定数据处理单位的图像编码装置100的变形的实施例的框图。为了根据基于在组编码模式确定部120所确定的组的编码模式的数据处理单位 和预测模式，对组的数据进行编码，根据一实施例的图像编码装置100的组编码部130执行 频率变换和量化、包括帧内预测和帧间预测的运动估计、环路滤波(in-loop filtering)、
熵编码。根据一实施例的图像编码装置100动态地确定组的数据处理单位。因此，组的数 据处理单位可以是组、子组、基本块的层级结构中的一个。由于根据一实施例的图像编码装置100动态地确定的数据处理单位可以不是现 有的图像编码格式中定义的数据处理单位，所以需要与现有的图像编码进程具有区别的独 有的进程。例如，当使用大小大于16X16或8X8宏块的大型数据处理单位时，组编码部 130应通过考虑大型数据处理单位的进程来执行图像编码操作。图20a示出当针对根据一实施例的图像编码装置100的组编码部130应用考虑大 型数据处理单位的频率变换和量化时的框图。根据一实施例的图像编码装置100的组编码部130的第一实施例包括考虑大型数 据处理单位的频率变换和量化部2003、包括帧内预测部和帧间预测部的运动估计部133、 环路滤波部137和熵编码部139。为了以基于组编码模式确定部120所确定的编码模式的大型数据处理单位执行 频率变换和量化，根据组编码部130的第一实施例的考虑大型数据处理单位的频率变换和 量化部2001执行基于大型数据处理单位的整数离散余弦变换和量化。为了以基于组编码模式确定部120所确定的编码模式的大型数据处理单位执行 频率变换和量化，根据组编码部130的第一实施例的考虑大型数据处理单位的频率变换和 量化部2001对大型数据处理单位的色度分量执行离散余弦变换和量化。为了减少由基于大型数据处理单位的离散余弦变换可能增加的计算量的负荷，根 据组编码部130的第一实施例的考虑大型数据处理单位的频率变换和量化部2001可以执 行能够进行低复杂度的计算的离散余弦变换。图20b示出当针对根据一实施例的图像编码装置100的组编码部130应用考虑大型数据处理单位的运动估计进程时的框图。根据一实施例的图像编码装置100的组编码部130的第二实施例，包括频率变换 和量化部131、通过考虑大型数据处理单位的进程的运动估计部2003、环路滤波部137和熵 编码部139。基于考虑大型数据处理单位的进程，可以执行帧内预测和帧间预测。根据组编码部130的第二实施例的考虑大型数据处理单位的进程的运动估计部 2003，通过考虑基于组编码模式确定部120所确定的编码模式的大型数据处理单位，能够 预先确定用于运动估计的大型数据处理单位和用于频率变换的大型数据处理单位的组合。 优选地，用于频率变换的数据处理单位的大小应小于用于运动估计的数据处理单位的大 小。根据组编码部130的第二实施例的考虑大型数据处理单位的进程的运动估计部 2003通过考虑大型数据处理单位能够确定用于每个数据处理单位的运动估计的扫描方式 和可以将相邻块用作参照块的可能性(Neighbor availability)。根据组编码部130的第二实施例的考虑大型数据处理单位的进程的运动估计部 2003考虑大型数据处理单位，为了节省表示编码模式的比特的传送量，可以利用仅采用正 方形的数据处理单位的简约的编码模式。图20c是示出当针对根据一实施例的图像编码装置100的组编码部130应用考虑 大型数据处理单位的帧内预测时的框图。根据一实施例的图像编码装置100的组编码部130的第3实施例包括频率变换和 量化部131、考虑大型数据处理单位的帧内预测部2004、帧间预测部135、环路滤波部137和 熵编码部139。根据组编码部130的第三实施例的考虑大型数据处理单位的帧内预测部2004可 以附加的定义对预定大型数据处理单位执行帧内预测的帧内模式。为了大型数据处理单位的更准确的运动估计，根据组编码部130的第三实施例 的考虑大型数据处理单位的帧内预测部2004在帧内模式中引入利用复平面(complex plain)的预测模式。根据组编码部130的第三实施例的考虑大型数据处理单位的帧内预测部2004可 以限定能够进行帧内预测的大型数据处理单位的种类。图20d是示出当针对根据一实施例的图像编码装置100的组编码部130应用考虑 大型数据处理单位的帧间预测时的框图。根据一实施例的图像编码装置100的组编码部130的第四实施例包括频率变换和 量化部131、帧内预测部134、考虑大型数据处理单位的帧间预测部2005、环路滤波部137和 熵编码部139。根据组编码部130的第四实施例的考虑大型数据处理单位帧间预测部2005可引 入帧间预测和帧内预测混合存在的混合模式作为大型数据处理单位的预测模式。根据组编码部130的第四实施例的考虑大型数据处理单位帧间预测部2005按照 大型数据处理单位确定运动矢量(MV)，并基于此可导出运动矢量预测器(MVP)。根据组编码部130的第四实施例的考虑大型数据处理单位帧间预测部2005能够 新引入对于大型数据处理单位的跳跃模式，并设定包括多个跳跃模式的数据处理单位的跳 跃组。可以对属于跳跃组的跳跃模式的所有数据处理单位一并执行跳跃(skip)处理。
28
图20e是示出当针对根据一实施例的图像编码装置100的组编码部130应用考虑 大型数据处理单位的环路滤波时的框图。根据一实施例的图像编码装置100的组编码部130的第五实施例包括频率变换和 量化部131、包括帧内预测和帧间预测的运动估计部133、环路滤波部2007和熵编码部139。根据组编码部130的第五实施例的考虑大型数据处理单位的环路滤波部2007确 定关于大型数据处理单位内部的小型处理单位的边界(boundary)的滤波，并且可以调节 滤波强度。根据组编码部130的第5实施例的考虑大型数据处理单位的环路滤波部2007可 以执行用于减小大型数据处理单位内部的振铃效应(ringing effect)的环路滤波。图20f是示出当针对根据一实施例的图像编码装置100的组编码部130应用考虑 大型数据处理单位的熵编码时的框图。根据一实施例的图像编码装置100的组编码部130的第六实施例包括频率变换和 量化部131、包括帧内预测和帧间预测的运动估计部133、环路滤波部137和考虑大型数据 处理单位的熵编码部2009。根据组编码部130的第六实施例的考虑大型数据处理单位的熵编码部2009定义 关于大型数据处理单位的编码块样式。此外，熵编码部2009基于在数据处理单位内存在非 0的编码块样式的概率，扫描编码块样式。根据组编码部130的第六实施例的考虑大型数据处理单位的环路滤波部2007针 对大型数据处理单位应用基于上下文的自适应二进制算术编码(CABAC)或基于上下文的 可变长度编码(CAVLC)。根据组编码部130的第六实施例的考虑大型数据处理单位的环路滤波部2007可 以对大型数据处理单位设定编码块样式的新的上下文。上述的组编码部130的第一实施例至第六实施例是按照每个编码过程通过考虑 大型数据处理单位来执行的独有的进程。以下，将参照图20g描述，在图像编码的全部过程 中的基于大型数据处理单位中的一个的大型块对图像序列进行编码的方法。图20g示出考虑根据本发明一实施例动态确定的数据处理单位的图像编码方法 的流程图。根据一实施例的图像编码方法2000，利用层级结构的块2020中与预定编码模式 对应的块来执行对输入图像序列2010的编码。块的层级结构2020与参照图10描述的组、 子组、基本块的层级结构相同。根据一实施例的图像编码方法2000经过频率变换和量化步骤S2030、运动估计步 骤s2040、环路滤波步骤s2080、熵编码步骤s2090输出图像比特流s2098。运动估计步骤 s2040包括基于预定进程2050的帧内预测步骤s2060和帧间预测步骤s2070。根据一实施例的图像编码方法s2000考虑大型块，因此频率变换和量化步骤 S2030、用于运动估计的处理2050、帧内预测步骤S2060、帧间预测步骤s2070、环路滤波步 骤S2080、熵编码步骤S2090也可以执行考虑大型块的独有进程。例如，频率变换和量化步骤S2030的考虑大型块的独有进程可以包括基于大型块 的整数离散余弦变换和量化2032、对于大型块的色度分量的离散余弦变换和量化2034、用 于基于大型块的离散余弦变换的低复杂度计算2036中的至少一个。
用于运动估计的进程2050的考虑大型块的独有进程可以包括用于运动估计的大 型块和用于频率变换的大型块的组合2052、用于运动估计的块扫描方式和相邻块参照可能 性20M、层级结构的大型块的简化模式2056中的至少一个。帧内预测步骤S2060的考虑大型块的独有进程可以包括基于大型块的帧内模式 的引入2062、用于帧内预测的复平面的引入2064、能够预测的帧内模式的确定2066中的至 少一个。帧间预测步骤S2070的考虑大型块的独有进程可以包括帧内模式和帧间模式混 合的预测模式的引入2072、大型块的运动矢量(MV)的确定方式和运动矢量估计器(MVP)的 导出方式2074、大型块的新的跳跃模式和跳跃块的引入2076中的至少一个。环路滤波步骤S2080的考虑大型块的独有进程可以包括对于大型块内部的边界 是否进行滤波和滤波强度确定2082、大型块内部的振铃效应减少滤波2084中的至少一个。熵编码步骤S2090的考虑大型块的独有进程可以包括对于大型块的编码块样式 (CBP)的引入和编码块样式扫描方式2092、考虑大型块的基于上下文的自适应二进制算术 编码(CABAC)或基于上下文的可变长度度编码(CAVLC)的引入2094、对于大型块的编码块 样式的上下文(context)设定方式2096中的至少一个。参照图20a至图20g描述的考虑大型数据处理单位的图像编码装置100或图像编 码方法2000，没有大改现有的图像编码格式，而是通过添加或替换来应用考虑大型数据处 理单位的独有进程来对图像进行编码。以上，参照图20a至图20g仅对图像编码进行了描述，但是优选地，考虑大型数据 处理单位的独有进程也可以应用到与图像编码相应的图像解码。因此，将在以下详细描述 的每个过程的独有进程不仅可以应用于图像编码，还可以应用于图像解码。[[III.运动估计进程]]以下，将详细描述根据一实施例的图像编码装置100的组编码部130的运动估计 部133的独有进程和根据一实施例的图像编码方法2000的用于运动估计的进程2050。此 外，与根据一实施例的图像编码装置100对应的图像解码装置也能应用以下的用于运动估 计的进程。根据一实施例的用于运动估计的进程特征在于用于运动估计的大型数据处理单 位和用于频率变换的数据处理单位的组合、用于运动估计的块扫描方式和相邻块的相邻块 参照可能性、大型块的简化模式。第一，随着用于运动估计的数据处理单位扩大到现有的16X16或8X8宏块以上， 用于运动估计的数据处理单位的最大大小以下的范围内，用于频率变换的数据处理单位与 用于运动估计的数据处理单位成比例地扩大。S卩，当用于运动估计的数据处理单位是32X32或16X16宏块时，基于用于运动估 计的数据处理单位的用于频率变换的数据处理单位可被组合为32X32、16X16、8X8、4X4 块中的一个。第二，以下将参照图21和图22详细描述用于运动估计的块扫描方式和相邻块的 相邻块参照可能性。图21示出根据本发明一实施例的考虑大型数据处理单位的用于运动估计的各个 数据处理单位的扫描方式。如同前参照图13描述超宏块的单位的扫描方式，通过折线扫描方式检索一个帧1320内的大型数据处理单位的编码模式。如同图13，帧1320内部的超宏块沿横向和竖向整齐排列，从而各个块以64 X 64大 型块单位排列。根据一实施例的运动估计方式，除如图13所示的排列方式之外，还可应用 于如同图21的帧2100内的超宏块没有整齐排列的情况。例如，帧2100的第一扫描对象2110可以不是正方形的超宏块。以折线型扫描的 正方形超宏块2140不是必须要整齐地排列。虽然超宏块2120和超宏块2130是相邻块，但 是它们没有沿一列排列。此外，即使无法以正方形的超宏块(32X32S-MB，32X 16/16X32S-MB)形式扫描， 但是在能够以长方形的超宏块(32X 16/16X32S-MB_half)形式扫描的位置，以16X 16宏 块2140单位扫描。当扫描对象块如帧同1320整齐排列时，能够采用与现有的相邻预测和上下文 (context)相同的方式，将相邻块利用于参照块。但是扫描对象块如同帧2100没有整齐排 列时，由于参照块随情况变动，所以可将当前块的运动向量预测器或帧内预测器设定为指 向最邻近位置的相同大小的块。仅正方形的块(32X32S-MB，32X 16/16X32S-MB，16X16MB)能被设定的简化模 式中，可以控制附加的产生的计算复杂度(complexity)和信令(signaling)。图22示出根据本发明的一实施例的考虑大型数据处理单位的运功估计中，邻近 的相邻数据处理单位的利用可能性。作为数据处理单位的示例，利用了现有的16 X 16MB宏 土夬2200和32 X 32超宏块2250。运动矢量预测器(MVP)和帧内预测执行中，可根据是否为已扫描的周围块和位置 索引(index)单位来确定能否将上端右侧的相邻块用作参照块(以下，称作相邻块参照可 會旨性(neighbor availability)) 0图22中，通过参照正方形的块用作数据处理单位时的情况，仅描述相邻块参照可 能性。将一个帧内的块分类为能够按作为最小数据单位的4X4块参照上端右侧的邻近块 的第一块群2202、仅在4X4索引的情况下无法参照上端右侧的邻近块的第二块群2204、仅 在8X8索引的情况下无法参照上端右侧的邻近块的第二块群2206、仅在16X 16索引的情 况下无法参照上端右侧的邻近块的第四块群2208。例如，在现有16X16 宏块 2200 的情况下，4X4 块 a” a2、a3、b” b2、b3、c” c2、c3、 屯、d2相当于能够参照上端右侧的邻近块的第一块群2202。4X4块 、b4、c4、d4相应于仅 在4X4块的情况下无法参照上端右侧的邻近块的第二块群2204。4X4块d2相应于仅在 8X8块的情况下无法参照上端右侧的邻近块的第三块群2206。因此，现有16 X 16宏块2200的情况下，关于邻近块参照可能性，可分类为第一块 群2202、第二块群2204、第三块群2206。根据一实施例引入大型数据处理单位的情况下，为了确定参照块，除4X4或8X8 索引之外，添加了 16X16索引。因此，可以存在仅在16X16索引的情况下无法参照上端右 侧的邻近块的第四块群2208。在32X 32 超宏块 2250 的情况下，4X4 块 A” A2、A3、B” B2、 、C” C2、C3、D” D3、E” E2、E^> 、F2> F^> G-^> G2> G^> H-^> Η3> I> 工2、工3、Ji、J2、J3、> Κ2^ K^> L-^> L^> M-^> Μ2> M^> Ni、N^> 0-^>
02、03、Pp P3相应于能够参照上端右侧的邻近块的第一块群2202。
4X4 块 A4、B4、C4、D4、E4、F4、G4、H4、14、J4,K4, L4,M4,N4,04、P4 相应于仅在 4X4 块的 情况下无法参照上端右侧的邻近块的第二块群2204。4X4块D2、H2、L2、P2相应于仅在8X8 块的情况下无法参照上端右侧的邻近块的第三块群2206。另外，4X4块队相应于仅在16X 16块的情况下无法参照上端右侧的邻近块的第 四块群2208。上端右侧的邻近块的参照可能性可用作用于确定运动矢量估计器或帧内预测器 的条件或运动矢量估计器或帧内预测器的导出函数的输入变量。因此，当根据一实施例引 入大型数据处理单位时，作为用于确定运动矢量估计器或帧内预测器的条件或运动矢量估 计器或帧内预测器的导出函数的输入变量，可添加基于16X16索引的上端右侧的邻近块 参照可能性。第三，以下将参照图23a和图2 描述仅对正方形的数据处理单位应用的简化的 编码模式。图23a示出根据本发明的一实施例的大型数据处理单位中简化的层级数据处理 单位。根据图10所述的数据处理单位中的层级结构1000，根据一实施例的数据处理单 位包括正方形的块(32X32、16X16、8X8、4X4)和长方形的块(32X 16、16X32、16X8、 8X16、8X4、4X8)。根据数据处理单位的层级结构1000，可以进行基于各种数据处理单位 的编码。根据一实施例的图像编码装置100，可被简化为仅包括正方形块的数据处理单位 的层级结构2310。第一层2310可以包括帧内模式的32X32超宏块、跳跃模式的32X32超宏块、帧 间模式的32 X 32超宏块、16 X 16宏块。能够以32 X 32、16 X 16、8 X 8、4X 4块单位中的至少 一个单位对第一层2310进行频率变换。第二层2320可以包括帧内模式的16X 16宏块、跳跃模式的16X16宏块、帧间模 式的16X16宏块、帧间模式的8X8宏块。能够以16X16、8X8、4X4块单位中的至少一个 单位对第二层2320进行频率变换。第三层2330可以包括跳跃模式的8X8宏块、帧间模式的8X8宏块、帧间模式的 4X4宏块。能够以8X8、4X4块单位中的至少一个单位对第三层2330进行频率变换。根据简化的数据处理单位的层级结构2310，分别存在相同的大小或形状的帧间模 式或帧内模式的块。此外，由于编码模式的数量减少，因此可节省表示编码模式的比特。图2 示出根据本发明一实施例的考虑大型数据处理单位的语法。语法2350包 括根据预定数据处理单位的编码模式的各种信息。“1110如”值2352表示编码模式。“1~时_丨叔/1^(1”值23讨表示参照索引和运动矢量的 变化。“transform_size_flag”值2358表示用于频率变换的数据处理单位。“residual ()，， 值2360表示关于残差分量的信息。根据简化的数据处理单位的层级结构2310，可以节省“mode”值2352的比特。此 外，如果限制用于根据编码模式的频率变换的数据处理单位的大小，则可以改变语法2350 中"coded_block_pattern，，值 2356 禾口 "transform_size_flag，，值 2358。[[ III-1.帧内预测]]
根据一实施例的图像编码装置100的帧内预测部2004和根据一实施例的图像编 码方法2000的帧内预测步骤S2060可以引入考虑大型数据处理单位的独有的进程。第一，添加基于大型块的帧间模式2062。例如，可以添加帧内模式的32X32超宏 块、帧内模式的16X16宏块。第二，可以引入用于更加精巧的帧内预测的利用复平面的预测模式。第三，可以个别地确定表示按照各个数据处理单位可以进行帧内预测的编码模 式。[[ III-2.帧间预测]]根据一实施例的图像编码装置100的帧间预测部2005和根据一实施例的图像编 码方法2000的帧间预测步骤S2070可以引入考虑大型数据处理单位的独有的进程。第一，对任意的大型数据处理单位可以设定帧内模式和帧间模式混合的预测模 式。此外，按大型数据处理单位内的下位数据处理单位，可以混合设定帧内模式或帧间模 式。第二，新定义针对大型数据处理单位的跳跃模式，可以引入包括至少一个跳跃模 式的数据处理单位的跳跃模式。例如，通过以下的图2 至2 提供跳跃模式的32X32超 宏块、包括多个跳跃模式的32X32超宏块跳跃组。图Ma、图24b和图2 示出根据本发明的一实施例的跳跃模式的各种构成方式。 为了便于说明，利用32X32超宏块作为图Ma、图24b和图Mc的大型数据处理单位。根据一实施例的图像编码和图像解码，对于作为跳跃模式的块进行跳跃处理时， 可以将相邻的作为跳跃模式的块组合为跳跃组并对该跳跃组同时进行跳跃处理。因此， 当扫描一个帧时读取到跳跃组，应判断邻近的块是否为包括在同一跳跃组中的跳跃模式的 块。因此，需要用于表示预定块是否为跳跃模式以及是否包括于跳跃组的标志。在图 Ma、图24b和图2 示出的一实施例为，使用跳跃模式标志作为表示预定块是跳跃模式以 及是否包括于跳跃组的标志。如果跳跃模式标志为“0”，则表示相关块是非跳跃模式的块； 如果跳跃模式标志为“2”，则表示相关块是跳跃组的开始块；如果跳跃模式标志为“1”，则 表示相关块是属于跳跃组的块。关于根据一实施例的跳跃模式，为了检索作为帧内的跳跃模式的块并扫描跳跃 组，可以选定跳跃组的位置。此外，可以限制包括相邻的跳跃模式的块的跳跃组的最大大 小。因此，基于根据一实施例的大型数据处理单位的帧间预测中，能够以跳跃组的位 置固定以及大小被固定的情况(图Ma的帧M00)，跳跃组的位置固定以及以任意大小形 成的情况(图24b的帧2440)、跳跃组可位于所有位置以及以任意大小形成的情况(图2 的帧2470)处理跳跃。图2 的第一帧MOO中，跳跃组的大小被固定为64X64块。因此，为了检索跳跃 组，对于每个64X64块检索位于左侧上端的32X32超宏块是否是跳跃模式即可。例如， 32X32超宏块M12的跳跃模式标志表示为“0”，所以不是跳跃模式，可以确认包括超宏块 2412的64X 64块MlO不是跳跃组。作为64X64块MlO的下一扫描顺序，检索64 X 64块M20的左侧上端超宏块，如果跳跃模式标志为“0”，可以确认64X64块M20也不是跳跃组。由于超宏块M32的跳跃模式标志表示为“2”，所以超宏块M32被确认为是跳跃模 式的开始块。由于第一帧MOO的跳跃组的大小被固定为64X64块，因此将超宏块M32包 括在左侧上端的64X64块M30是跳跃组。此外，可以预测64X64块M30内的其它超宏 块2434等均是标志为“1”的跳跃模式的块。当参照图2 而示出的固定位置和固定大小的跳跃组时，由于只要确认固定位置 的32X32块的跳跃模式标志为“0”还是“2”，就可以确认相邻块是否为跳跃模式，所以当仅 从编码端发送固定位置的相关块的跳跃模式标志时，解码端接收并能够识别相关帧的所有 块是否为跳跃模式。虽然图24b的帧M40中，跳跃组的大小未固定，但是跳跃组的开始位置已被固定。 即，跳跃组可以从位于每个64 X 64块的左侧上端的32 X 32块开始，因此当扫描帧M40时， 只要确认位于每个64X64块的左侧上端的32X32块的跳跃模式标志为“0”还是“2”即 可。例如，当扫描出64X64块M50的左侧上端的32X32块的跳跃模式标志为“0”时，确 认64X64块M50不是跳跃组。另外，若扫描位于其它64 X 64块的左侧上端的32 X 32块2461，因为其跳跃模式标 志为“2”，因此确定从32X32块M61开始的跳跃组M60。通过扫描相邻于32X32块M61 的右侧方向及下端方向的32X32块的跳跃模式标志，可以确认跳跃模式标志连续为“1”的 32 X 32 ±夬 2462、2463、2464、2465、2466、2467、2468、2469 和 32X32|fe2461 属于同一个跳跃 组 2460。而且，扫描帧M40的过程中需要确认固定位置的32 X 32块的跳跃模式标志，但是 无需对通过先前扫描已确认包含于预定跳跃组的块进行扫描。例如，虽然由于32X32块 M63、2467、M69分别位于个别64X64块的左侧上端，因此是需要扫描跳跃模式标志的固 定位置的块，但是根据先前的扫描顺序，已确认为是属于跳跃组对60的块。于是，不扫描 32 X 32块2463、2467、2469，而扫描下一个位置。参照图Mb，当跳跃组为示例的固定位置及固定大小时，从编码端发送固定位置的 32X32块的跳跃模式标志以及跳跃组的大小，并在解码端接收。解码端可以读取相关帧的 块的跳跃模式标志，从而识别相关块是否是跳跃模式。虽然是固定位置的块，但是由于跳跃 模式标志为“ 1”，所以表示属于其它跳跃组的块，无需单独收发跳跃模式标志。图Mc的帧M70没有固定跳跃组的大小，也没有固定跳跃组开始的位置。因此， 当扫描帧M70时，所有32X32块的跳跃模式标志都需要确认。例如，32X32块对72的跳跃模式标志为“0”，因此下一个顺序扫描最为靠近的 32X32块对74。根据扫描的进行过程，依次扫描所有的32 X 32块，直到检索出跳跃模式标 志为“2”的32X32块。另外，如果扫描出跳跃模式标志为“2”的32X32块2482，则应确定从32X32块 2482开始的跳跃组M80。扫描相邻于32X32块M82的右侧方向及下端方向的32X32块 的跳跃模式标志，可确认跳跃模式标志连续为“1”的32X32块都和32X32块M82包含于 相同的跳跃组M80。确定跳跃组M80之后，无需扫描属于跳跃组M80的32X32块而直接跳过，对不 属于跳跃组M80的下一个32X32块M92进行扫描。同样地，可以确定以32X32块M92开始的跳跃组M90。参照图Mc，当跳跃组为示例的固定位置及任意大小时，从编码端可以发送所有位 置的32X32块的跳跃模式标志及跳跃组的大小，从而在解码端接收。编码端利用跳跃模式 标志，可以识别相关帧的每个块是否为跳跃模式。但是，已确认为包含其它跳跃组的32X32 块无需单独收发跳跃模式标志。因此，本发明根据参照图Ma、Mb、2k叙述的各种实施例，其跳跃模式的块可以 按组进行跳跃处理，因此能够节约用于表示各个块的跳跃模式的比特；且无需扫描所有块 就能有效地检索出跳跃模式。第三，根据帧间预测的运动矢量(MV)能够以大型数据处理单位确定，运动矢量预 测器(MVP)也能够以大型数据处理单位导出。图2 及2 示出根据本发明的一实施例的大型数据处理单位内的运动矢量导出 方式和小型数据处理单位的运动矢量导出方式。以大型数据处理单位导出根据一实施例的帧间预测产生的运动矢量(MV)及运动 矢量预测器(MVP)。但是，在图2 及2 中公开了一种无需添加大型数据处理单位的个别 的编码模式，而通过利用现有的数据处理单位(16X16宏块)的运动矢量来导出大型数据 处理单位(16X16宏块的组，即32X 32块)的运动矢量的方法。例如，对于根据一实施例的大型数据处理单位的32X32超宏块2500的帧间预测， 可以估计或导出针对作为帧间模式的32X32超级宏块(帧间32X32)的运动矢量mvs。另外，在没有单独定义大型数据处理单位的编码模式的图像编码或图像解码过程 中，可以利用宏块的运动矢量来导出超宏块的运动矢量。例如，当16X 16 宏块 2502、2504、2506、2508 的运动矢量分别为 mv0、Hiv1、mv2、mv3 时，可以利用mvQ导出mVl、mV2、mV3。作为示例，可根据以下数学式6预测mvi、mv2、mv3。[数学式6]Iiiv1 = mv2 = mv3 = f (mv0)，(在此，f (χ) = median (χ, neighbors))median (χ, y)函数是求χ及y的中间值的函数，输入变量“neighbors”表示相邻 的大型数据处理单位的代表运动矢量。16X16宏块的运动矢量可以估计为代表16X16宏 块2502的运动矢量Hivci及相邻的32X32块的代表运动矢量的中间值。因此，根据图25a，无需按照16X 16宏块测量所有的运动矢量，可将一个运动矢量 视为每个16 X 16宏块的运动矢量，并且可由16 X 16宏块的运动矢量预测32X32超级宏块 单位的运动矢量mvs。在图25a，为了在编码端与解码端之间执行32X32块的运动矢量的信号传输 (signaling)，需要传送用于信号传输(signaling) —个宏块的运动矢量mV(1 (或是32 X 32 块的运动矢量mvs)的附加标志。而且，解码端通过利用所接收的运动矢量的三次导出过程， 能够导出没有信号传输的其余运动矢量Hiv1、mv2、mv3。图25b中提出利用16 X 16宏块运动矢量来估计32 X 32块的运动矢量的另一个方 式。另一个预测方式是将32X32块2510子采样为16X 16宏块，利用子采样的块的运动矢 量来估计32X32块的运动矢量。例如，左侧上端像素2512、右侧上端像素2514、左侧下端像素2516、右侧下端像素 2518能够分别依次映射到左侧上端宏块2522、右侧上端宏块25 、左侧下端宏块25 、右侧下端宏块25 ，从而产生子采样的16 X 16宏块2522、2524、25洸、2528。子采样的16\16宏块2522、2524、25洸、2528的各个运动矢量11^(/、mv/、mv2'、 mv3'可通过如下公式导出。[数学式7]mv0 ‘ = Iiiv1 ‘ = mv2 ‘ = mv3 ‘因此，16X16 宏块 2522、2524、25洸、2528 的各个运动矢量 mvQ'、Hiv1 ‘、mv2 ‘、 mv3'，只要测量出其中一个运动矢量，则其余运动矢量也可以导出来。可由16X16 宏块 2522、2524、25洸、2528 的代表运动矢量 MV( = mv/ = mv2'= mv3' =mv0')预测32X32块2510的运动矢量。或者，利用运动矢量预测器来预测运动 矢量(MV)，其中，该运动矢量预测器利用Hivc/、mv/、mv2'、mv3'。因此，在图25b，为了 在编码端与解码端之间执行32X32块的运动矢量的信号传输(signaling)，需要传输用于 信号传输(signaling) —个宏块的运动矢量Owc/ ^mv1'、mv2'、mv3'中的一个)的信令 的附加标志。[[IV.频率变换及量化]]根据一实施例的图像编码装置100的频率变换和量化部2001及根据一实施例的 图像编码方法2000的频率变换和量化步骤S2030可以引入考虑大型数据处理单位的独有 进程。根据一实施例的图像编码或图像解码中，由于按照编码模式的数据处理单位可能 比现有的宏块大小大，所以除了作为现有频率变换的数据处理单位的8X8或4X4以外，可 以引入其它的数据处理单位。据此，根据一实施例的图像编码及图像解码，(i-1)可以引入8X8或4X4以外的 基于大型块的整数离散余弦变换和量化；(i_2)对于基于大型块的色度分量的离散余弦变 换，考虑到色彩标准，数据处理单位的大小根据亮度可能会产生变化。并且，(iD为了减 少基于大型块的离散余弦变换产生的计算负担，可以引入用于低复杂度计算的变形形态的 离散余弦变换。图26a及26b示出根据本发明的一实施例的用于大型数据处理单位的色度分量的 多种运动估计方式。在后面说明(i_2)对于基于大型块的色度分量的离散余弦变换2034。 亮度和色差信号(YUV)色彩标准格式包含YUV 420格式及YUV 444格式。图26a用于说明 对于YUV 420格式的按照预测模式的频率变换方式，图26b用于说明对于YUV 444格式的 按照预测模式的频率变换方式。以对于亮度分量按照预测模式的数据处理单位为32X32 超级宏块为示例。图^a的框图沈00作为考虑到大型数据处理单位的频率变换及量化部2001的一 实施例，示出对于YUV 420格式的色度分量，可按照预测模式使用的频率变换方式。YUV 420格式是分配于各个Y分量、U分量、V分量的比特量的比率为4 1 1， 被分配到相当于U、V分量的各个色度分量的比特量是被分配到相当于Y分量的亮度分量的 比特量的四分之一以下。由此，优选地将色度分量的数据处理单位的大小设定成对于亮度 分量的数据处理单位大小的四分之一以下。例如，优选地将用于色度分量的频率变换的数 据处理单位的最大大小设成32X32块的四分之一，即16X 16块。对于帧内模式沈10，(i)执行8X8块的帧内方向预测沈12之后，执行4X4离散余弦变换及2 X 2哈达姆(Hadamard)变换沈14，即在执行8 X 8频率变换的现有方式中可增 加(ii) 16X16块的帧内方向预测沈16后，执行16X16离散余弦变换沈18的新数据处理单位。并且，对于帧间模式沈20，执行NXM块的帧间预测沈22之后，⑴执行4X4离散 余弦变换及2 X 2哈达姆(Hadamard)变换2624，即在执行8 X 8频率变换的现有方式时可同 时增加(ii)执行16X 16离散余弦变换沈观的新数据处理单位。根据帧内模式沈10或帧间模式沈20的运动估计以及频率变换之后，通过量化 2630及熵编码沈40，可以对根据一实施例的大型数据处理单位的色度分量执行编码。图^b的框图沈50是考虑到大型数据处理单位的频率变换和量化部2001的另一 个实施例，示出对于YUV 444格式的色度分量，可按照预测模式适用的频率变换方式。YUV 444格式中，分别分配于Y分量、U分量、V分量的比特量的比率为4 4 4， 因此分别分配于色度分量的比特和分配于亮度分量的比特相同。例如，对于亮度分量的数 据处理单位的最大大小为32X32块，因此对于色度分量的数据处理单位的最大大小也可 能为32X32块。对于帧内模式沈60，(i)执行8X8块的帧内方向预测沈61之后，执行4X4离散 余弦变换及2 X 2哈达姆(Hadamard)变换2662，即在执行8 X 8频率变换的现有方式中可增 加(ii)执行16X 16块的帧内方向预测沈63后，执行16X 16离散余弦变换沈64的新数 据处理单位；(iii)执行32X32块的帧内方向预测沈65之后，执行32X32离散余弦变换 2666的新数据处理的单位。并且，对于帧间模式沈70，在执行NXM块的帧间预测沈72之后，(i)在执行4X4 离散余弦变换及2X2哈达姆(Hadamard)变换2624，即在执行8X8频率变换的现有方式 中，可增加(ii)执行16X16离散余弦变换沈观的新数据处理单位。根据帧内模式沈60或帧间模式沈70的运动估计以及频率变换之后，通过量化 2680及熵编码沈90，可以对根据一实施例的大型数据处理单位的色度分量执行编码。图27示出详细整理根据参照图26a及26b示出的框图沈00、2650的预测模式和 频率变换块的关系的表格。据此，可按照各个预测模式，根据对于亮度分量的频率变换块的 大小导出对于色度分量的频率变换块的大小。图27示出对于根据本发明的一实施例的大型数据处理单位的色度分量，导出其 数据处理单位的大小的方式。对于(i_l)基于大型块的整数离散余弦变换及量化2032及 (i-2)对基于大型块的色度分量的离散余弦变换2034将在后面描述。对于YUV 420格式，用于色度分量的频率变换块的大小为用于亮度分量的频率变 换块的四分之一以下。但是，频率变换块的最小大小为8X8块。对于YUV 420格式，用于帧内模式亮度分量的离散余弦变换的数据处理单位包含 32X32、16X16、8X8、4X4。因此，当用于YUV 420格式的帧内模式的亮度分量的离散余弦 变换块为32X32块时，导出的相关色度分量的离散余弦变换块可以为16 X 16块。而且，当 用于YUV 420格式的帧内模式的亮度分量的离散余弦变换块为16X16、8X8、4X4块时，导 出的相关色度分量的离散余弦变换块可以是作为最小数据单位的8X8块。对于YUV 420格式，用于帧间模式亮度分量的离散余弦变换的数据处理单位包含 16X16、8X8、4X4。因此，当用于YUV 420格式的帧间模式的亮度分量的离散余弦变换块为16X16、8X8、4X4块时，导出的相关色度分量的离散余弦变换块可以是作为最小数据 单位的8X8块。对于YUV 444格式帧内模式，用于色度分量的频率变换块的大小可能与用于亮度 分量的频率变换块相同。同样地，频率变换块的最小大小为8X8块。对于YUV 444格式，用于帧内模式亮度分量的离散余弦变换的数据处理单位包含 32X32、16X16、8X8、4X4。因此，当用于YUV 444格式的帧内模式的亮度分量的离散余 弦变换块为32X32块及16X16块时，分别导出的相关色度分量的离散余弦变换块可以为 32X 32 ±夬及 16X16 块。并且，当用于YUV 444格式帧内模式亮度分量的离散余弦变换的数据处理单位为 8X8、4X4块时，导出的相关色度分量的离散余弦变换块可以为最小数据单位的8X8块。用于YUV 444格式帧间模式亮度分量的离散余弦变换的数据处理单位包含 16X16、8X8、4X4。因此，当用于YUV 444格式帧间模式亮度分量的离散余弦变换块为 16X16块时，导出的相关色度分量的离散余弦变换块可以为16X16块。而且，当用于YUV 444格式帧间模式亮度分量的离散余弦变换块为8X8、4X4块时，导出的相关色度分量的 离散余弦变换块可以为最小数据单位的8X8块。由此，从用于亮度分量离散余弦变换的数据处理单位可以导出用于色度分量的数 据处理单位。仅利用YUV色彩标准格式中的YUV420格式及YUV444格式说明按照预测模 式的频率变换，但是根据一实施例动态确定的数据处理单位的图像编码及图像解码不限于 YUV420格式及YUV444图像格式。[[ V .环路滤波]]根据一实施例的图像编码装置100的环路滤波部2007及根据一实施例的图像编 码方法2000的频率变换和量化步骤S2080可以引入考虑到大型数据处理单位的独有处理。根据一实施例的图像编码或图像解码的大型数据处理单位的大小有可能大于现 有宏块的大小，因此需要考虑对大型数据处理单位内部的滤波。由此，关于根据一实施例的考虑到大型数据处理单位的环路滤波的独有进程可以 包含确定是否对于大型数据处理单位内部的小型数据处理单位边界进行滤波及对每个边 界的滤波强度的确定方式；减少根据大型数据处理单位编码的振铃效应的滤波。根据一实施例，考虑到大型数据处理单位的环路滤波中，确定是否关于大型数据 处理单位内部的小型数据处理单位边界进行滤波及对每个边界的滤波强度的确定方式可 以通过现有图像编码或图像解码中的环路滤波所使用的环路滤波关联标志，进行如下说 明。根据现有方式，对于每个16X16宏块或8X8宏块，判断是否对边界进行执行 环路滤波。例如，现有HJ64图像编解码格式中设定环路滤波关联标志。环路滤波关联 标志包含表示对当前宏块及相邻左侧宏块之间的边界是否执行环路滤波的第一标志 ("fIlterLeftMbEdgeFlag")；及表示对当前宏块及相邻上端宏块之间的边界是否执行环 路滤波的第二标志(“filterTopMbEdgeFlag”)。并且，为了减少在16X16或8X8宏块内部中通过基于8X8或4X4块的频率变 换产生的块效应(block artifact)，循环过滤关联标志包含表示在16X 16或8X8宏块中 是否执行环路滤波的第三标志(“filteHnternalEdgeflag”)。
38
而且，环路滤波关联标志包含能够表示对色度分量的块边界是否执行环路滤波的 第四标志(“chromaEdgeflag，，)。根据一实施例的图像编码或图像解码用比16 X 16或8 X 8宏块大的大型数据处理 单位进行编码，因此，为了利用现有的环路滤波关联标志，在用于执行循环过滤的条件中添 加是否为大型数据处理内部。例如，根据一实施例的图像编码或图像解码中，若当前边界为大型数据处理单位 内部的边界，则将第一、第二、第四标志设为“O”;若当前边界为大型数据处理单位的外部边 界，则将第一、第二、第四标志设为“1”。即，将环路滤波关联标志可设成对包含于大型数据 处理单位内部的宏块不执行环路滤波。并且，在根据一实施例的图像编码或图像解码的环路滤波中，当通过16X 16宏块 进行频率变换时，第三标志可以被设成“O”。即，在16X16宏块单位的编码模式中以16X16 宏块进行频率变换时，可将环路滤波关联标志设成对16X 16宏块内部不进行环路滤波，以 减少频率变换弓I起的块效应。对于帧内模式及帧间模式混合的预测模式的宏块时，环路滤波关联标志可 包含表示对互不相同预测模式的相邻块之间的边界是否执行环路滤波的第五标志 (“mixedModeEdgeFlag，，)。大型数据处理单位的内部中可以存在帧内模式及帧间模式相邻的块，因此根据一 实施例的图像编码或图像解码的环路滤波中，第五标志的条件可添加当前数据处理单位是 否为大型处理数据单位。而且，每个大型数据处理单位的小型数据处理单位的边界可个别 地设定环路滤波强度。根据一实施例的图像编码机图像解码以大型数据处理单位执行各种进程，因此除 了块效应之外还可能产生振铃效应。因此，根据一实施例的图像编码及图像解码的环路滤 波中，可执行用于减少根据大型数据处理单位的编码的振铃效应的滤波。[[VI.熵编码]]根据一实施例的图像编码装置100的熵编码部2009及根据一实施例的图像编码 方法2000的熵编码步骤S2090可以引入考虑到大型数据处理单位的独有进程。根据一实施例，考虑到大型数据处理单位的用于熵编码或解码的独有进程包含 考虑到大型数据处理单位的层级编码块样式(coded block pattern :CBP)及编码块样式的 扫描方式的引入2092 ；考虑到大型数据处理单位的基于上下文的自适应二进制算术编码 (CABAC)或基于上下文的自适应变长编码(CAVLC)的引入2094 ；对于帧内模式或色度分量 的数据处理单位的、对于编码块样式的单一上下文的引入2096。图观示出利用根据本发明一实施例的考虑到大型数据处理单位的编码块样式的 方法的流程图。根据一实施例的熵编码及熵解码不仅可以利用针对作为现有编码块样式的8X8 块的编码块样式(CBP8)，还可以利用考虑到大型数据处理单位的层级编码块样式。例如，当根据一实施例的数据处理单位的编码模式为32X32超宏块的帧间模式 (Inter_32 X 32)、32 X 16超宏块的帧间模式(Inter_32 X 16)、16 X 32超宏块的帧间模式 (Inter_16X32)等的大于等于16X 16块的帧间模式的数据处理单位的编码模式时，添加 对16 X 16块的编码块样式(CBP16)。因此，可以根据包含CBP16及CBP8的层级编码块样式执行熵编码或解码。因此，对于 hter_32X32、Inter_32X16, Inter_16X32 的编码模式的熵编码， 应从CBP16开始编码(步骤2800)。首先，在步骤观10判断对于亮度分量的CBP16 (Luma_ CBP16)是否为“1”，若为“0”则结束用于熵编码的纹理处理操作。若对于亮度分量的 CBP16(Luma_CBP16)为“ 1 ”，则在步骤观20对表示数据处理单位大小的标志(Tr_type)进 行编码之后，在步骤观30中对CBP8进行编码。在步骤观40中执行对亮度分量的纹理处理。
在步骤观50判断对色度分量的CBP16 (Chroma_CBP16)是否为“ 1 ”，在步骤观60执 行对于色度分量的纹理处理。根据一实施例，利用CBP16的熵编码方法的流程图观00示出针对大于等于16 X 16 块的帧间模式的数据处理单位的编码模式添加对16X16块的编码块样式(CBP16)的情况， 但是在数据处理单位附加地被变形时也可以存在考虑到数据处理单位的变形的编码块样 式。图^a及图29b示出扫描根据本发明的一实施例的考虑到大型数据处理单位的编 码块样式的多种方式。对于考虑到大型数据处理单位的编码块样式(CBP)的扫描方式2092 将在后面描述。根据一实施例的熵编码扫描数据处理单位四00，并检索不为“0”的编码块样式。 现有扫描方式以交叉方式扫描8X8正方形块。根据一实施例的熵编码引入以从数据处理单位四00的左侧上端朝向右侧下端的 对角线为中心，折线往返并扫描的方式。位于数据处理单位四00内的左侧上端的编码块样 式不为0的概率高，因此可以提高对不为0的有效比特进行编码的熵编码的效率。为了根据一实施例的编码块样式的扫描效率，可将数据处理单位四00划分为多 个边界四10、2920、四30、2940、四50、2960、四70。优选地，根据折线扫描方式，在边界之间区 域的带中检索不为0的编码块样式(表示有“X”的位置)，并且仅对包含有不为0的编码块 样式的带进行编码。S卩，根据一实施例的编码块样式的扫描方式扫描数据处理单位四00，并对在边界 2910之前的第一区域、边界四10及四20之间的第一区域、边界四20及四30之间的第三 区域、边界四30及四40之间的第四区域、边界四40及四50之间的第五区域、边界四50及 2960之间的第六区域、边界四60及四70之间的第七区域、边界四70之后的第八区域中包 含有非“0”编码块样式的区域的带进行编码。一实施例中，通过图29a和图29b分别示出为了节约传输比特，表示包含非“0”编 码块样式的区域的带的两种方式。图^a中定义“有效带”及“结束带”，可表示从有效带的区域到结束带的区域中至 少一个区域的带为有效数据。图^b中定义“结束带”，可表示直至“结束带”的区域，至少 一个区域的数据为有效数据。对于图^a，为了确定数据处理单位四00的编码块样式的扫描区域，在语法上分 别定义表示有效带及结束带的标志即可。在有效带的区域及结束带的区域之间即使存在无 效带，也无需表示无效带的标志，更无需表示未结束的带的标志。因此，对于一数量据处理 单位四00的传输比特仅需要两个比特。该两个比特与编码块样式关联，分别表示有效带及 结束带的标志。
对于图^b，为了确定数据处理单位四00的编码块样式的扫描区域，在语法上仅 定义表示结束带的标志即可。不需要表示结束带的区域之前的未结束的带的标志。因此， 对于一数量据处理单位四00的传输比特，仅需要用于表示结束带的标志的一个比特，该一 个比特与编码块样式关联。随着大型数据处理单位的编码模式的引入，根据一实施例的熵编码可以定义对帧 内模式或色度分量的大型数据处理单位的新编码块样式及新编码块样式的单一上下文。例如，根据一实施例的大型数据处理单位编码模式可以新包含32X32超宏块的 帧内模式化{61~_32\32、16\16宏块的帧内模式化{61~_16\16、用于16\16宏块的色度分 量的帧内模式Cr_16X16、Cb_16X16。帧内模式的大型数据单位中内部的所有数据都为0的概率非常小。因此，与利用 相邻数据处理单位的上下文相比较，当前数据处理单位的编码块样式的上下文，按各个大 型数据处理单位设定对编码块样式的一个上下文。与对现有帧间模式的8X8宏块的编码块样式的上下文相同的方式设定帧间模式 的编码块样式的上下文。因此，利用作为帧间模式的相邻8X8宏块的上下文，可以确定当 前8X8宏块的上下文。根据一实施例的解码端中，通过基于大型数据处理单位的熵解码对编码的图像比 特流进行解码时，需要考虑到大型数据处理单位的熵解码。例如，根据一实施例的解码端通 过利用按照16X 16宏块的编码块样式的熵解码来恢复图像。[[W.动态确定通过数据处理单位的图像解码装置]]图30a、30b、30C、30d、30e及30f示出分别根据一实施例而考虑到动态确定的数据 处理单位的图像解码装置200的变形实施例的框图。为了在根据一实施例的图像解码装置200应用大型数据处理单位，组解码部230 考虑到大型数据处理单位，通过熵解码、逆量化及逆频率变换、帧内预测及运动补偿、环路 滤波，生成恢复图像。接收部210可以接收从图像编码装置100传输的图像比特流，组编码模式读取部 220可以从图像比特流读取编码模式。可从语法、标志等读取编码模式。组解码部230基于 所读取的编码模式对组数据进行编码。为了考虑到动态确定的数据处理单位的解码，根据一实施例的组解码部230可以 执行区别于现有图像编解码格式的独有进程。考虑到动态确定的数据处理单位中的大型数 据处理单位的独有进程与参照图21至图29b说明的技术相对应。以下，说明对组解码部 230的各个过程的独有进程。图30a示出对于根据一实施例的图像解码装置200的组解码部230应用考虑到大 型数据处理单位的熵解码时的框图。根据一实施例的图像解码装置200的组解码部230的第一实施例包含考虑到大型 数据处理单位的熵解码部3010、帧内预测部及运动补偿部233、逆量化及逆频率变换部237 及环路滤波部239。根据组解码部230的第一实施例的考虑到大型数据处理单位的熵解码部3010可 以通过基于从组编码模式读取部220读取的编码模式的大型数据处理单元，执行熵解码。 熵解码部3010中执行的熵解码是对在[[VI.熵编码]]中所述的熵编码的比特流进行解码的操作。参照图28至图29b说明的编码块样式可应用于根据一实施例的熵解码部3010。 可通过沿着非“0”编码块样式产生的概率高的方向扫描并编码获得读取的编码块样式。根据组解码部230的第一实施例的考虑到大型数据处理单位的熵解码部3010为 了根据大型数据处理单执行熵解码，对大型数据处理单位可以利用基于上下文的自适应二 进制算术编码(CABAC)或基于上下文的自适应变长编码(CAVLC)。根据组解码部230的第一实施例的考虑到大型数据处理单位的熵解码部3010可 以对基于大型数据处理单位的编码块样式新设定的上下文进行解码。图30b示出对根据一实施例的图像解码装置200的组解码部230应用考虑到大型 数据处理单位的运动估计进程时的框图。根据一实施例的图像解码装置200的组解码部230的第二实施例包含熵解码部 231、根据考虑到大型数据处理单位的处理的帧内预测部及运动补偿部3030、逆量化及逆频 率变换部237、及环路滤波部239。根据组解码部230的第二实施例的根据考虑到大型数据处理单位的进程的帧内 预测部及运动补偿部3030可以通过基于从组编码模式读取部220读取的编码模式的大型 数据处理单位，根据进程执行运动估计或补偿。根据一实施例，考虑到大型数据处理单位的 进程已在[[III.运动估计处理]]中进行了说明。根据一实施例的数据处理单位可以通过用于运动估计的大型数据处理单位及用 于频率变换的数据处理单位的组合来确定。根据组解码部230的第二实施例的根据考虑到大型数据处理单位的进程的帧内 预测部及运动补偿部3030可以利用用于对考虑到大型数据处理单元而确定的每个数据处 理单位的运动估计的扫描方式及相邻块的相邻块参照可能性。已参照图13、21及图22描 述了用于按照数据处理单位的运动估计的扫描方式及相邻块的相邻块参照可能性的优选 实施例。根据组解码部230的第二实施例的根据考虑到大型数据处理单位的进程的帧内 预测部及运动补偿部3030可以利用仅使用正方形形态的大型数据处理单位的简化的编码 模式。已参照图23a及2 描述简化的编码模式的优选实施例。图30c示出对根据一实施例的图像解码装置200的组解码部230应用考虑到大型 数据处理单位的帧内预测时的框图。根据一实施例的图像解码装置200的组解码部230的第三实施例包含熵解码部 231、考虑到大型数据处理单位的帧内预测部3040及运动补偿部235、逆量化及频率逆变换 部237、环路滤波部239。优选地，根据[[III-I帧内预测]]中所述的一实施例的独有进程 对图像进行编码时，在图像解码装置200中也基于[[III-I帧内预测]]中所述的进程进行 解码。根据组解码部230的第三实施例的考虑到大型数据处理单位的帧内预测部3040 可以利用对预定的大型数据处理单位增加的帧内模式。例如，帧内预测部3040可以利用帧 内模式的32X32超宏块、帧内模式的16X 16超宏块等。为了实现更加准确的大型数据处理单位的运动估计，根据组解码部230的第三实 施例的考虑到大型数据处理单位的帧内预测部3040可以引入在帧内模式中利用复平面(complex plain)的预测模式。根据组解码部230的第三实施例，考虑到大型数据处理单位的帧内预测部3040可 以仅利用有限种类的大型数据处理单位来执行帧内预测。图30d示出对根据一实施例的图像解码装置200的组解码部230应用考虑到大型 数据处理单位的运动补偿时的框图。根据一实施例的图像解码装置200的组解码部230的第四实施例包含熵解码部 231、帧内预测部234及考虑到大型数据处理单位的运动补偿部3050、逆量化及逆频率变换 部237、环路滤波部239。优选地，对于通过根据一实施例的大型数据处理单位编码的图像， 优选地，基于根据一实施例的[[II -2帧间预测]]中所述的独有进程执行运动估计及运动 补偿。根据组解码部230的第四实施例的考虑到大型数据处理单位的运动补偿部3050 能够引入可以混合帧间模式及帧内模式的混合模式作为大型数据处理单位的预测模式。根据组解码部230的第四实施例的考虑到大型数据处理单位的运动补偿部3050 可以利用按照大型数据处理单位确定的运动矢量(MV)及运动矢量预测器(MVP)。根据组解码部230的第四实施例的考虑到大型数据处理单位的运动补偿部3050 可以利用按大型数据处理单位定义的新跳跃模式，并对包含多个跳跃模式的数据处理单位 的跳跃组同时进行跳跃处理。图30e示出对根据一实施例的图像解码装置200的组解码部230应用考虑到大型 数据处理单位的逆量化及逆频率变换时的框图。根据一实施例的图像解码装置200的组解码部230的第五实施例包含熵解码 部231 ；帧内预测部及运动补偿部233、考虑到大型数据处理单位的逆量化及逆频率变换部 3070 ；及环路滤波部239。优选地，考虑到大型数据处理单位的逆量化及逆频率变换部3070 执行根据[[IV.频率变换及量化]]中所述的一实施例的频率变换及量化方法的逆过程。根据组解码部230的第五实施例的考虑到大型数据处理单位的逆量化及逆频率 变换部3070为了通过大型数据处理单位执行逆量化及逆频率变换，可以执行基于大型数 据处理单位的整数离散余弦逆变换及逆量化。根据组解码部230的第五实施例的考虑到大型数据处理单位的逆量化及逆频率 变换部3070为了通过大型数据处理单位执行逆频率变换及逆量化，可以对大型数据处理 单位的色度分量执行余弦逆转换及逆量化。根据组解码部230的第五实施例的考虑到大型数据处理单位的逆量化及逆频率 变换部3070为了减少因基于大型数据处理单位的离散余弦逆变换可能增加的计算量的负 担，可以执行指向低复杂度计算的离散余弦逆变换。图30f示出对根据一实施例的图像解码装置200的组解码部230应用考虑到大型 数据处理单位的环路滤波时的框图。根据一实施例的图像解码装置200的组解码部230的第六实施例包含熵解码部 231、帧内预测部及运动补偿部233、逆量化及逆频率变换部237、考虑到大型数据处理单 位的环路滤波部3090。优选地，考虑到大型数据处理单位的环路滤波部3090执行与根据 [[V .环路滤波]]中所述的一实施例的环路滤波所对应的操作。根据组解码部230的第六实施例的考虑到大型数据处理单位的环路滤波部2007可以确定是否对大型数据处理单位内部的小型处理单位的边界进行滤波。并且，可以对大 型数据处理单位内部的小型处理单位按照边界调整滤波强度。根据组解码部230的第六实施例的考虑到大型数据处理单位的环路滤波部2007 为了减少大型数据处理单位内部的振铃效应，可以执行环路滤波。参照图30a至30f而说明的组解码部230的第一实施例至第六实施例，根据读取 的编码模式，可以利用现有32X32、16X16、8X8块之外的数据处理单位对组的数据进行 编码。特别是，考虑到大型数据处理单位而改变现有图像编解码格式的语法，由此对现有图 像编解码格式可以应用根据大型数据处理单位的多种处理。[[W.通过动态确定的数据处理单位的图像编码方法及图像解码方法]]图31a、31b、31C、31d、31e及31f示出分别根据一实施例的考虑到动态确定数据处 理单位的图像编码方法1800的变形实施例的流程图。对于图31a、31b、31c、31d、31e及31f，共同之处在于在步骤1810中，以基本块分类 的图像数据分类为包含组、子组及基本块的扩展概念。并且，在步骤1820中确定为对组进 行编码而利用的有关数据处理单位的信息及组的编码模式。在此，组的编码模式可以包含 考虑到大型数据处理单位的编码模式。在步骤1830中，为对组进行编码，可以执行频率变换及量化、运动估计、环路滤 波、熵编码过程。参照图31a至31f，叙述用于组的编码的按各个过程的独有进程。图31a示出对于根据本发明一实施例的图像编码方法1800的组编码步骤1830应 用考虑到大型数据处理单位的频率变换及量化时的流程图。在步骤1831中，通过根据考虑到大型数据处理单位的编码模式的频率变换及量 化，对组的数据进行编码。为了考虑到大型数据处理单位的频率变换及量化，可以执行基 于大型块的整数离散余弦变换及量化2032、对于大型块的色度分量的离散余弦变换及量化 2034、用于基于大型块的离散余弦变换的低复杂度计算2036中的至少一个。图31b示出对于根据本发明一实施例的图像编码方法1800的组编码步骤1830应 用考虑到大型数据处理单位的处理的运动估计时的流程图。在步骤1833中，通过根据考虑到大型数据处理单位的编码模式的运动估计，对组 的数据进行编码。为了考虑到大型数据处理单位的运动估计处理，可以执行用于运动估计 的大型块及用于频率变换的大型块的组合2052、用于运动估计的块扫描方式及相邻块的相 邻块参照可能性20M、大型块的简化模式2056中的至少一个。图31c示出对于根据本发明一实施例的图像编码方法1800的组编码步骤1830应 用考虑到大型数据处理单位的帧内预测时的流程图。在步骤1834中，通过根据考虑到大型数据处理单位的编码模式的帧内预测，对组 的数据进行编码。为了考虑到大型数据处理单位的帧内预测，可以执行基于大型块的帧内 模式2062、用于帧内预测的复平面的引入2064、能够预测的帧内模式的确定2066中的至少一个。图31d示出对于根据本发明一实施例的图像编码方法1800的组编码步骤1830应 用考虑到大型数据处理单位的帧间预测时的流程图。在步骤1835中，通过根据考虑到大型数据处理单位的编码模式的帧间预测，对组 的数据进行编码。为了考虑到大型数据处理单位的帧间预测，可以执行帧内模式及帧间
44模式混合的预测模式的引入2072、大型块的运动矢量(MV)的确定方式及运动矢量预测器 (MVP)的导出方式2074、大型块的新跳跃模式及跳跃组的引入2076中的至少一个。图31e示出对于根据本发明一实施例的图像编码方法1800的组编码步骤1830应 用考虑到大型数据处理单位的环路滤波时的流程图。在步骤1837中，通过根据考虑到大型数据处理单位的编码模式的环路滤波，对组 的数据进行编码。为了考虑到大型数据处理单位的环路滤波，可以执行确定对于大型块内 部的边界是否进行滤波及滤波强度确定2082、大型块内部的振铃效应减少滤波2084中的 至少一个。图31f示出对于根据本发明一实施例的图像编码方法1800的组编码步骤1830应 用考虑到大型数据处理单位的熵编码时的流程图。在步骤1839中，通过根据考虑到大型数据处理单位的编码模式的熵编码，对组的 数据进行编码。为了考虑到大型数据处理单位的熵编码，可以执行对于编码块样式(CBP) 的引入及编码块样式扫描方式2092、考虑到大型块的基于上下文的自适应二进制算术编码 (CABAC)或基于上下文的自适应变长编码(CAVLC)的引入2094、对于大型块的编码块样式 的上下文设定2096中的至少一个。图32a、32b、32C、32d、3&及32f是示出分别根据一实施例的考虑到动态确定数据 处理单位的图像解码方法1900的变形实施例的流程图。对于图3^i、32b、32c、32d、3&及32f，共同之处在于，在步骤1910中接收图像比 特流，并进行解析。接收的图像比特流包含以基本块、组、子组单位编码的数据。并且，在步 骤1920中读取表示组的编码方式的组的编码模式。组的编码模式可以包含组的数据处理 单位、及帧内模式、帧间模式、跳跃模式等的运动估计模式。步骤1930中，为对组进行解码，可以执行熵解码、逆频率变换及逆量化、运动估计 及补偿、环路滤波过程。参照图3 至32f，叙述用于对组进行解码的按各个过程的独有进程。图3 是示出对于根据一实施例的图像解码方法1900的组解码步骤1930应用考 虑到大型数据处理单位的熵解码时的流程图。在步骤1931中，通过考虑到大型数据处理单位的熵编码，对组的数据进行解码。 为了执行考虑到大型数据处理单位的熵解码，可以利用基于大型数据处理单位的编码块样 式。考虑到大型数据处理单位的熵编码可以利用对大型数据处理单位的基于上下文的自适 应二进制算术编码(CABAC)或基于上下文的自适应变长编码(CAVLC)。为了执行考虑到大型数据处理单位的熵解码，可以利用对基于大型数据处理单位 的编码块样式新设定的上下文，对编码块样式进行解码。图32b是示出对于根据一实施例的图像解码方法1900的组解码步骤1930应用考 虑到大型数据处理单位的运动估计处理时的流程图。在步骤1933中，根据考虑到大型数据处理单位的进程执行运动估计或补偿，对组 的数据进行解码。可以通过用于运动估计的大型数据处理单位及用于频率变换的数据处理 单位的组合来确定根据一实施例的数据处理单位。可以利用用于考虑到大型数据处理单位 而确定的按照数据处理单位的运动估计的扫描方式及相邻块的相邻块参照可能性。根据一实施例、为了帧内估计及运动补偿而考虑到大型数据处理单位的进程可以利用仅使用正方形形态的大型数据处理单位的简化的编码模式。图32c是示出对于根据一实施例的图像解码方法1900的组解码步骤1930应用考 虑到大型数据处理单位的帧内预测时的流程图。在步骤1934中，通过根据考虑到大型数据处理单位的编码模式的帧内预测对组 的数据进行解码。根据一实施例，考虑到大型数据处理单位的帧内预测步骤可以利用对大 型数据处理单位附加的帧内模式。考虑到大型数据处理单位的帧内模式可以引入利用复平 面(complex plain)的预测模式。考虑到大型数据处理单位的帧内预测可以仅对有限种类 的大型数据处理单位执行。图32d是示出对于根据一实施例的图像解码方法1900的组解码步骤1930应用考 虑到大型数据处理单位的运动补偿时的流程图。在步骤1935中，通过根据考虑到大型数据处理单位的编码模式的运动补偿对组 的数据进行解码。为了考虑到大型数据处理单位的运动补偿，可以利用帧间预测及帧内预 测混合的混合模式作为大型数据处理单位的预测模式。为了运动补偿，可以利用按照大型数据处理单位确定的运动矢量(MV)及运动矢 量预测器(MVP)。可以利用按照大型数据处理单位定义的新跳跃模式，并且对于包含多个跳 跃模式处理单位的跳跃组进行跳跃处理。图3 是示出对于根据一实施例的图像解码方法1900的组解码步骤1930应用考 虑到大型数据处理单位的逆量化及逆频率变换时的流程图。在步骤1937中，通过根据考虑到大型数据处理单位的编码模式的逆量化及逆频 率变换，对组的数据进行解码。为了考虑到大型数据处理单位的逆量化及逆频率变换，可以执行基于大型数据处 理单位的整数离散余弦逆变换及逆量化。对大型数据处理单位的色度分量可以执行离散余 弦逆变换及逆量化。为了减少根据基于大型数据处理单位的离散余弦逆变换可能增加的计 算量的负担，可以执行倾向于低复杂度计算的离散余弦逆变换。图32f是示出对于根据一实施例的图像解码方法1900的组解码步骤1930应用考 虑到大型数据处理单位的环路滤波时的流程图。在步骤1939中，通过考虑到大型数据处理单位的环路滤波，对组的数据进行解码。为了执行考虑到大型数据处理单位的环路滤波，可以确定是否对大型数据处理单 位内部的小型处理单位的边界是否执行滤波。并且，可以调节对大型数据处理单位内部的 小型数据处理单位按照边界的滤波强度。而且，为了减少大型数据处理单位内部的振铃效 应，可以执行环路滤波。另外，如前所述，本发明的实施例可以用计算机能够执行的程序实现，并且利用计 算机可读的记录介质，可在运行所述程序的通用数据计算机上实现。而且，所述计算机可 读的记录介质包含如磁性存储介质(例如只读存储器、软盘、硬盘等)、光记录介质(例如 ⑶-ROM、DVD)及载波(例如通过因特网的传输)的存储介质。到此为止，以优选实施例为中心描述本发明。对于属于本发明的技术领域的拥有 一般知识的人应理解，在不超过本发明的本质特性的范围内可以以变形形态实现。因此，公 开的实施例应以限定的观点去考虑，而应该以阐明的目的的观点考虑。本发明的范围不以说明书的内容作限定，而以权利要求书的内容作限定，在与其等同的范围内的所有的不同 都应解释为包含于本发明。
权利要求
1.一种图像编码方法，其特征在于包括如下步骤针对分类为基本块的图像数据，将所述图像数据分类为包括至少一个基本块的组、及 包括至少一个基本块并包括在所述组中的子组；为了编码预定组，确定所述预定组的编码模式，该编码模式表示根据所述组、子组及基 本块中的一个数据处理单位对预定组的数据进行编码的方式；以及 根据所述确定的编码模式对所述预定组的数据编码。
2.如权利要求1所述的图像编码方法，其特征在于所述图像编码方法还包括对表示所 述预定组的编码模式的标志进行编码的步骤。
3.如权利要求1所述的图像编码方法，其特征在于所述数据分类步骤包括确定表示所 述组中所包括的基本块数量的组大小以及由包括在所述组中的基本块所形成的组形状的步骤。
4.如权利要求1所述的图像编码方法，其特征在于所述数据分类步骤包括基于表示所 述组中所包括的子组数量的等级以及所述基本块的扫描顺序，确定所述组的子组的步骤。
5.如权利要求1所述的图像编码方法，其特征在于所述编码模式包括关于数据处理单 位种类的信息、关于所述数据处理单位大小的信息、关于预测模式的信息中的至少一个，所 述关于数据处理单位种类的信息表示所述组单位、所述子组单位、所述基本块单位中的哪 一个为用于对所述组的数据进行编码的数据处理单位，所述关于数据处理单位大小的信息 表示所述数据处理单位所包括的基本块数量，所述关于预测模式的信息表示为进行对所述 数据处理单位的运动估计而确定对应所述数据处理单位的参照信息的方式。
6.如权利要求1所述的图像编码方法，其特征在于所述编码模式确定步骤包括如下步骤按照所述组的各个预定数据处理单位，根据至少一个预测模式进行针对所述数据处理 单位的编码；计算按照所述预定数据处理单位及预测模式的组合进行编码所引起的误差率； 确定对应于计算出的所述误差率中的最小误差率的所述预定数据处理单位的预测模式。
7.如权利要求6所述的图像编码方法，其特征在于所述编码模式确定步骤包括如下步骤比较考虑到按照所述组内数据处理单位的预测模式的编码误差率，将与最小误差率对 应的数据处理单位及预测模式的组合确定为所述组的编码模式。
8.如权利要求1所述的图像编码方法，其特征在于所述图像编码方法还包括将组单位 及子组单位中一个数据经频率变换的系数以多个基本块单位重新排列的步骤。
9.如权利要求1所述的图像编码方法，其特征在于所述图像编码方法还包括对表示用 于对所述组内数据进行频率变换的数据处理单位的标志进行编码的步骤。
10.如权利要求1所述的图像编码方法，其特征在于所述数据分类步骤中，按照所述图 像数据的图片、序列及组中的一个的数据单位分别确定所述组单位大小、形状及最大等级。
11.如权利要求1所述的图像编码方法，其特征在于所述编码步骤包括如下步骤 基于对应于所述确定的组的编码模式的大型数据处理单位进行用于所述输入图像的编码的频率变换及量化；基于所述大型数据处理单位，进行用于所述输入图像的编码的运动估计； 基于所述大型数据处理单位，进行用于所述输入图像的编码的环路滤波； 基于所述大型数据处理单位，进行用于所述输入图像的编码的熵编码。
12.如权利要求11所述的图像编码方法，其特征在于所述编码步骤中，基于用于所述 运动估计的数据处理单位的大小，确定用于所述频率变换的数据处理单位的大小。
13.如权利要求11所述的图像编码方法，其特征在于所述进行运动估计的步骤包括通 过基于所述大型数据处理单位的运动估计进程进行帧内预测或帧间预测，基于所述大型数据处理单位的运动估计进程为以下运动估计进程中的至少一个 依照用于基于所述大型数据处理单位的顺序运动估计的确定的按数据处理单位的扫 描顺序的运动估计处理；为了基于所述大型数据处理单位的所要执行的对所述输入图像的运动估计，确定位于 当前数据处理单位的右侧上端的相邻数据处理单位的参照可能性的运动估计进程；基于所述大型数据处理单位，利用所述大型数据处理单位中的正方形块形状的数据处 理单位的运动估计进程。
14.如权利要求11所述的图像编码方法，其特征在于所述进行运动估计的步骤包括基 于所述大型数据处理单位进行帧内预测的步骤，基于所述大型数据处理单位的帧内预测包括以下帧内预测中的至少一个 基于复平面型帧内模式以所述大型数据处理单位进行的帧内预测； 基于所述大型数据处理单位，以为了能够以帧内模式进行运动估计而预先设定的数据 处理单位进行的帧内预测；以及基于所述大型数据处理单位，以帧内模式及帧间模式相混合形式的预测模式进行的帧 内预测。
15.如权利要求11所述的图像编码方法，其特征在于所述进行运动估计的步骤包括基 于所述大型数据处理单位进行帧间预测的步骤，基于所述大型数据处理单位的帧间预测包括以下帧间预测中的至少一个 确定用于针对当前数据处理单位的帧间模式的运动估计的运动矢量的帧间预测； 基于所述大型数据处理单位，导出对应于所述运动矢量的运动矢量预测器的帧间预 测；以及基于所述大型数据处理单位确定扩展形式的跳跃模式，从而对包括有相邻的至少一个 跳跃模式的数据处理单位的跳跃组同时进行跳跃处理的帧间预测。
16.如权利要求11所述的图像编码方法，其特征在于所述进行频率变换及量化的步骤 包括进行以下变换中的至少一个基于所述大型数据处理单位的以大型块为基础的整数离散余弦变换； 基于所述大型数据处理单位而对当前数据处理单位的色度分量进行的频率变换；以及 为了减少考虑所述大型数据处理单位的频率变换所产生的计算量负担而采用变形形 式的频率变换。
17.如权利要求11所述的图像编码方法，其特征在于所述进行熵编码的步骤中进行以 下项目中的至少一个利用针对当前数据处理单位进行频率变换及量化而产生的量化系数，基于所述大型数据处理单位根据按照数据处理单位的大小来层级确定的编码块样式；根据基于所述当前数据处理单位的量化系数中存在非零的量化系数的概率的顺序的 编码块样式的扫描；基于所述大型数据处理单位变形的基于上下文的自适应二进制算术编码或基于上下 文的自适应可变长度编码；基于所述大型数据处理单位，针对帧内模式或色度分量的大型数据处理单位的编码块 样式确定的单一上下文。
18.如权利要求11所述的图像编码方法，其特征在于所述进行环路滤波的步骤中，基 于所述大型数据处理单位确定以下去块滤波中至少一种滤波的进行与否针对大型数据处理单位内部的小型数据处理单位边界的去块滤波； 针对以预定数据处理单位进行频率变换的所述大型数据处理单位内部的小型数据处 理单位的边界的去块滤波；针对所述大型数据处理单位内部的小型数据处理单位的色度分量的边界的去块滤波；以及针对以帧间模式及帧内模式相混合的形式进行运动估计的所述大型数据处理单位内 部的小型数据处理单位的边界的去块滤波，针对所述大型数据处理单位内部的至少一个小型数据处理单位的边界，分别设定按照 边界的去块滤波的强度，基于所述大型数据处理单位，针对大型大小的当前数据处理单位进行用于减小振铃效 应的附加滤波。
19.一种图像解码方法，其特征在于包括如下步骤接收编码为基本块、包括至少一个基本块的组、及包括至少一个基本块并包括在所述 组中的子组中的一个数据处理单位的数据并进行解析；从所述解析的数据，读取表示以所述组、子组及基本块中的一个数据处理单位编码预 定组的数据的方式的所述预定组的编码模式；基于所述读取的编码模式解码所述预定组的数据。
20.如权利要求19所述的图像编码方法，其特征在于所述编码模式读取步骤包括如下 步骤从所述解析的数据，读取设定为用于解码的数据处理单位的组的形状、表示包括在所 述组内的基本块的数量的组的大小以及关于所述组内子组的最大数量的最大等级信息；利用关于所述组的形状及所述组的大小的信息，确定作为分类所述解析的图像数据而 进行解码的数据处理单位的组。
21.如权利要求20所述的图像解码方法，其特征在于所述组单位分别按照所述图像数 据的图片、序列及组中的一个数据单位进行设定。
22.如权利要求19所述的图像解码方法，其特征在于所述子组基于表示包括在所述组 中的子组数量的等级及所述基本块的扫描顺序进行设定。
23.如权利要求19所述的图像解码方法，其特征在于所述编码模式读取步骤包括如下 步骤从针对所述预定组的数据提取编码模式标志，该编码模式标志表示所述预定组的编码模式；以及利用所述编码模式标志读取所述预定组的编码模式。
24.如权利要求19所述的图像解码方法，其特征在于所述组的编码模式包括关于数 据处理单位种类的信息、关于所述数据处理单位大小的信息、关于预测模式的信息中的至 少一个，所述关于数据处理单位种类的信息表示编码所述组的数据的数据处理单位为所述 组、所述子组、所述基本块中的哪一个，所述关于数据处理单位大小的信息表示所述数据处 理单位所包括的基本块数量，所述关于预测模式的信息表示为进行对所述数据处理单位的 运动估计而确定与所述数据处理单位对应的参照信息的方式。
25.如权利要求M所述的图像解码方法，其特征在于所述组解码步骤包括如下步骤 基于所述编码模式的关于所述数据处理单位种类的信息及关于大小的信息，确定所要进行解码的数据处理单位；基于所述编码模式的关于预测模式的信息确定所述数据处理单位的预测模式；以及 基于所述确定的数据处理单位及预测模式，解码对于所述组的图像数据。
26.如权利要求M所述的图像解码方法，其特征在于所述编码模式中，在对所述组的 编码中，按照所述组内的数据处理单位，针对根据至少一个预测模式的预定数据处理单位 进行编码来计算按照预测模式下的编码误差率，对按照所述数据处理单位，确定对应于按照所述预测模式下的编码误差率中的最小误 差率的所述预定数据处理单位及预测模式的组合，按照所述组内的数据处理单位及预测模式的组合比较编码误差率，选择具有最小误差 率的数据处理单位及预测模式的组合来设定为所述组的编码模式。
27.如权利要求19所述的图像解码方法，其特征在于所述基本块单位的解码处理顺序 为折线扫描方式。
28.如权利要求19所述的图像解码方法，其特征在于所述图像解码方法还包括将多个 基本块的进行频率变换的系数重新排列为组单位及子组单位中的一个的步骤。
29.如权利要求20所述的图像解码方法，其特征在于所述图像解码方法还包括从所 述解析的数据读取标志的步骤，该标志为表示用于所述组内数据的频率变换的数据处理单 位。
30.如权利要求19所述的图像解码方法，其特征在于所述解码步骤包括如下步骤基于对应于所述读取的组的编码模式的大型数据处理单位，进行用于所述组的数据的 解码的熵解码；基于所述大型数据处理单位，进行用于所述组的数据的解码的逆量化及频率逆变换； 基于所述大型数据处理单位，进行用于所述组的数据的解码的运动估计； 基于所述大型数据处理单位，进行用于所述组的数据的解码的环路滤波。
31.如权利要求30所述的图像解码方法，其特征在于所述解码步骤中基于用于所述运 动估计的数据处理单位的大小来确定用于所述频率变换的数据处理单位的大小。
32.如权利要求30所述的图像解码方法，其特征在于所述进行运动估计的步骤利用以 下项目中的至少一个为基于所述大型数据处理单位确定的顺序运动估计、按照数据处理单位确定的扫描顺序；基于所述大型数据处理单位确定的、位于当前数据处理单位的右侧上端的相邻数据处 理单位的参考可能性；所述大型数据处理单位中仅利用正方形块形状的数据处理单位的简化模式。
33.如权利要求30所述的图像解码方法，其特征在于所述进行运动估计的步骤包括基 于所述大型数据处理单位进行帧内预测的步骤，所述帧内预测步骤利用以下项目中的至少一个来进行用于所述组的数据的解码的运 动估计基于复平面型帧内模式以所述大型数据处理单位进行的帧内预测； 基于所述大型数据处理单位，为了能够以帧内模式进行运动估计而预先设定的数据处 理单位；基于所述大型数据处理单位，帧内模式及帧间模式相混合形式的预测模式。
34.如权利要求30所述的图像解码方法，其特征在于所述进行运动估计的步骤包括基 于所述大型数据处理单位进行帧间预测的步骤，所述帧间预测步骤包括利用以下项目中的至少一个来进行帧间预测的步骤 为针对基于所述大型数据处理单位确定的当前数据处理单位的帧间模式的运动估计 而确定的运动矢量；基于所述大型数据处理单位，对应于所述运动矢量而导出的运动矢量预测器；以及 包括基于所述大型数据处理单位确定的扩展形式的跳跃模式以及相邻的至少一个跳 跃模式的数据处理单位的跳跃组。
35.如权利要求30所述的图像解码方法，其特征在于所述进行逆量化及频率逆变换的 步骤进行以下变化中的至少一个基于所述大型数据处理单位的以大型块为基础的整数离散余弦逆变换； 基于所述大型数据处理单位的对大型数据处理单位的色度成分进行的逆频率变换； 为了减少考虑所述大型数据处理单位的逆频率变换所产生的计算量负担而采用变形 形式的逆频率变换。
36.如权利要求30所述的图像解码方法，其特征在于所述进行熵解码的步骤利用以下 项目中的至少一个基于所述大型数据处理单位，根据每个数据处理单位的大小来确定的层级编码块样式；基于所述大型数据处理单位的量化系数中存在不为零的量化系数的概率扫描的编码 块样式；对根据考虑所述大型数据处理单位的基于上下文的自适应二进制算术编码或基于上 下文的自适应可变长编码来熵编码的数据进行熵解码；基于所述大型数据处理单位，针对帧内模式或色度成分的大型数据处理单位的以单一 上下文确定的编码块样式。
37.如权利要求30所述的图像解码方法，其特征在于所述进行环路滤波的步骤中，基 于所述大型数据处理单位确定以下去块滤波中至少一种滤波的进行与否针对大型大小的当前数据处理单位内部的小型数据处理单位的去块滤波；针对以预定大小的数据处理单位进行频率变换的所述当前数据处理单位内部的小型数据处理单位的边界的去块滤波；针对所述当前数据处理单位内部的小型数据处理单位的色度成分的边界的去块滤波；以及针对以帧间模式及帧内模式相混合的形式进行运动估计的所述当前数据处理单位内 部的小型数据处理单位的边界的去块滤波，针对所述当前数据处理单位内部的至少一个小型数据处理单位的边界，分别设定按照 边界的去块滤波的强度，基于所述大型数据处理单位，针对大型大小的当前数据处理单位进行用于减小振铃效 应的附加滤波。
38.一种图像编码装置，其特征在于包括数据分类部，针对分类为基本块的图像数据，将所述图像数据分类为包括至少一个基 本块的组、及包括至少一个基本块并包括在所述组中的子组；组编码模式确定部，为了编码所述组，确定组单位、子组单位及基本块单位中的至少一 个数据处理单位及表示根据所述至少一个数据处理单位的所述组的数据的编码方式的所 述组的编码模式；组编码部，根据所述确定的编码模式编码所述组的数据。
39.一种图像解码装置，其特征在于包括接收部，接收编码为基本块、包括至少一个基本块的组、及包括至少一个基本块并包括 在所述组中的子组中的一数量据处理单位的数据并进行解析；组编码模式读取部，从所述解析的数据，读取表示以所述组、子组及基本块中的一数量 据处理单位编码预定组的数据的方式的所述预定组的编码模式； 组解码部，基于所述读取的编码模式解码所述预定组的数据。
40.如权利要求38所述的图像编码装置，其特征在于所述组编码部包括频率变换及量化部，基于对应于所述确定的组的编码模式的大型数据处理单位进行用 于所述输入图像的编码的频率变换及量化；运动估计部，基于所述大型数据处理单位，进行用于所述输入图像的编码的运动估计；环路滤波部，基于所述大型数据处理单位，进行用于所述输入图像的编码的环路滤波；熵编码部，基于所述大型数据处理单位，进行用于所述输入图像的编码的熵编码。
41.如权利要求39所述的图像解码装置，其特征在于所述组解码部包括熵解码部，基于对应于所述读取的组的编码模式的大型数据处理单位，进行用于所述 组的数据的解码的熵解码；逆量化及逆频率变换部，基于所述大型数据处理单位，进行用于所述组的数据的解码 的逆量化及逆频率变换；运动估计部，基于所述大型数据处理单位，进行用于所述组的数据的解码的运动估计；以及环路滤波部，基于所述大型数据处理单位，进行用于所述组的数据的解码的环路滤波。
42.一种计算机可读取的记录介质，记录有用于实现权利要求1的图像编码方法的程序。
43. 一种计算机可读取的记录介质，记录有用于实现权利要求19的图像解码方法的程序。
全文摘要
本发明涉及基于动态确定的数据处理单位的图像编码及解码。本发明公开如下的图像编码方法针对分类为基本块的图像数据，将图像数据分类为包括至少一个基本块的组、及包括至少一个基本块并包括在组中的子组，为了编码预定组，确定组的编码模式，该编码模式表示根据组、子组及基本块中的一个数据处理单位编码预定组的数据的方式，并根据所确定的编码模式编码组的数据。图像编码过程中的各个具体过程考虑组的编码模式而进行。
文档编号H04N7/26GK102124739SQ200980131662
公开日2011年7月13日 申请日期2009年6月3日 优先权日2008年6月13日
发明者千岷洙, 李再出, 李教爀, 李相来, 陈建乐 申请人:三星电子株式会社