专利名称：使用基于对象边缘的分区进行编码和解码的方法和设备的制作方法
技术领域：
与本发明 一致的方法和设备涉及对图像进行编码和解码，更具体地讲，涉及一种在对宏块进行帧间预测的各种形状中产生分区，执行帧间预测，并且基于帧间预测的结果对图像编码/解码的方法和设备。
背景技术：
在压缩图像的传统方法(例如，MPEG-1 、 MPEG-2和MPEG-4H.264/MPEG-4先进一见频编码(AVC)中，画面#皮划分为预定图<象处理单元(例如，宏块)，以对图像进行编码。随后，使用帧间预测或帧内预测来对每一宏块进行编码。接下来，在通过考虑编码的宏块的数据大小和原始宏块的失真而选择合适的编码模式之后对宏块进行编码。
间冗余被减小，并且图像被压缩。运动估计编码使用至少一个参考画面来估计每个块的当前画面的运动，并且基于运动估计的结果来预测当前块。
用于当前块的运动估计预测编码在参考画面的指定搜索范围内使用预定估计函数来搜索最类似于当前块的块。当找到最类似的块时，当前块与参考画面的最类似块之间的残余被发送，以增加数据可压缩性。在运动估计编码中，各种块(例如，16x16、 8x16、 8xg等)可用作基本单元。这将参照图1和图2进行详细描述。
图1和图2示出传统基本运动估计块。与传统MPEG-2不同，MPEG-4H.264/MPEG-4AVC可使用各种大小的块来作为运动估计块。参照图1，各种运动估计才莫式(例如，16x16 110、 16x8 120、 8x 16 130和8x8 140^皮用作基本块。当运动估计模式8x8 140被用作基本块时，使用图2中显示的子模式210、 220、 230和240之一来估计8x8块142、 144、 146和148的运动。也就是，从16 x 16到4 x 4的所有的七个大小的块可以是基本运动估计模式。
在帧间预测编码中，宏块预测越精确，残余数据的减少越多，这增加了图像编码的可压缩性。然而，除了矩形形状之外，各种其他形状可包括在图像中。在这种情况下，如果宏块被通常分割为矩形形状并且被预测，则宏块不被精确预测，引起可压缩性的降低。因此，需要一种用于将宏块分割为各种类型的分区并有效地执行帧间预测的方法和i殳备。
发明内容
技术方案
本发明提供一种用于将当前块分割为各种类型的分区，并且更精确地执行帧间预测的方法和设备，以及记录有用于执行该方法的程序的计算机可读记录介质。
有益效果
根据本发明，当前块被分割为除了矩形形状之外的各种类型的分区以执行帧间预测，从而更精确地执行预测，并且由于基于精确预测来对当前块进行编码，增加了图像数据的压缩率。
此外，尽管当前块被分割为各种类型的分区，但是不需要对当前块的分区映射的附加编码，从而增加了图像数据的可压缩性。
通过结合附图对本发明的示例性实施例进行的详细描述，本发明的上述
和其他特点将会变得更加清楚，其中
图1和图2示出传统基本运动估计块；
图3是根据本发明实施例的图像编码设备的框运动矢量；
图4B是用于解释根据本发明实施例的帧间预测方法的示图4C是用于解释根据本发明的另 一实施例的帧间预测方法的示图5示出根据本发明实施例的宏块模式；
图6是根据本发明实施例的图像编码设备的框图7是示出根据本发明实施例的图像编码方法的流程图8是根据本发明实施例的图像解码设备的框图9是根据本发明的另 一 实施例的图像解码设备的框图；图10是示出根据本发明实施例的图像解码方法的流程图。最佳实施方式
根据本发明的一方面，提供一种图像编码方法，包括通过参照至少一个参考画面来搜索用于获得当前块的分区信息的参考块；基于从参考块获得的分区信息来分割当前块，并对包括在当前块中的多个分区中的每一个执行帧间预测；基于帧间预测的结果对当前块进行编码。
对当前块进行编码的步骤可包括从当前块中减去通过帧间预测产生的预测块，并且产生残余块；对残余块进行编码。
对当前块进行编码的步骤还可包括搜索指示对用于获得分区信息的标志信息或者关于宏块模式的信息进行编码的参考块，基于从参考块获得的分区信息来分割当前块，并且对包括在当前块中的多个分区的每一个执行帧间预测。
执行帧间预测的步骤可包括通过参照参考块来对多个分区的至少一个#^亍帧间预测。
根据本发明的另一方面，提供一种图像编码设备，包括分区产生单元，通过参照至少一个参考画面来搜索用于获得当前块的分区信息的参考块，并基于从参考块获得的分区信息来分割当前块；预测单元，对包括在当前块中的多个分区中的每一个执行帧间预测；编码单元，基于帧间预测的结果对当前块进行编码。
根据本发明的另一方面，提供一种图像解码方法，包括接收图像数据，并且对接收的图像数据进行解码；根据通过解码产生的用于参考块的运动矢量来搜索参考画面，获得关于当前块的分区信息，并才艮据分区信息来分割当前块；使用通过解码产生的多个分区的运动矢量来对通过分割产生的多个分区的每一个执行帧间预测；基于帧间预测的结果来重构当前帧。
根据本发明的另一方面，提供一种图像解码设备，包括解码单元，接收图像数据，并且对接收的图像数据解码；分区产生单元，根据通过解码产生的参考块的运动矢量来搜索参考画面，获得关于当前块的分区信息，并且根据分区信息来分割当前块；预测单元，使用通过解码产生的多个分区的运动矢量来对通过分割产生的多个分区的每一个执行帧间预测；重构单元，基于帧间预测的结果来重构当前块。分区信息可包括基于对象边缘的分区。
根据本发明的另 一方面，提供一种记录有用于执行图像编码方法的程序
的计算才几可读i己录介质。
具体实施例方式
下面，将参照显示本发明示例性实施例的附图来更加全面地描述本发明。 图3是根据本发明实施例的图像编码设备的框图。参照图3，图像编码
设备300包括分区产生单元310、预测单元320和编码单元330。
分区产生单元310参照至少一个参考画面来搜索用于获得关于当前块的
分区信息的参考块，并且基于从通过搜索找到参考块获得的分区信息来分割
当前块。
分区产生单元310搜索参考画面的确定范围，并且发现包括关于当前块 的分区信息的参考块。分区产生单元310根据率失真(R-D)代价来发现包括适 合于编码当前块的最优分区信息的参考块。与搜索运动估计类似，分区产生 单元310在搜索范围内移动每个像素的参考块，产生分区信息，基于产生的 分区信息来分割当前块，并且当执行编码时，选^^具有最佳R-D代价的参考 块。
分区产生单元310可根据参考画面和当前画面中包括的对象的边缘来设 置当前块的分区。更详细地，分区可以是基于对象边缘的分区。包括在块中 的像素的值在对象的边缘的任一侧上具有不同值。因此，如果根据预定阈值 像素的值被分为多个组，则对象的边缘的任一侧上的像素被分为不同组以产 生基于对象边缘的分区。
图4A示出参考块402和用于获得根据本发明实施例的分区信息的参考 块402的运动矢量408。参照图4A，如果当前块400被分割为各种类型的分 区404和406以防止不精确的传统帧间预测，则当执行编码时关于当前块的 分割类型的信息(即，分区信息)需要被单独编码。
然而，由于分区信息通常具有大量数据，因此尽管当前块400被分割为 各种类型的块，并且被精确预测，图像编码的可压缩性也被减小。
为了解决这个问题，在本发明中，不单独编码分区信息，而是在参考画 面410中搜索参考块402,并且获得关于当前块400的分区信息。很可能包 括在与当前画面420时间上相邻的参考画面410中的图像类似于当前画面420的图像，从而很可能具有类似于当前块400的分区信息的参考块402被包括 在参考画面410中。在本实施例中，相邻画面之间的相似性用于验证近似结 果，包括在参考画面410中的参考块402的分区信息可被认为与关于当前块 400的分区信息相同。当前块400根据该分区信息被分割以产生多个分区404 和406。
参照回图2,预测单元320对由分区产生单元310产生的分区404和406 执行帧间预测。具有除了矩形形状之外的随意形状的分区404和406被用于 搜索参考画面410，并且预测单元320发现参考画面410中与分区404和406 最类似的分区，基于搜索结果来预测每个分区。
图4B是用于解释才艮据本发明实施例的帧间预测方法的示图。参照图4B, 预测单元320对包括在当前块400中的分区404和406执行运动估计以执行 帧间预测。包括在参考画面410中的分区414是对分区404执行运动估计的 结果。包括在参考画面410中的分区416是对分区406执行运动估计的结果。
在本实施例中，预测单元320搜索与包括参考块402的参考画面410相 同的画面，并且对当前块400的分区404和406 ^丸行运动估计。然而，可在 不同的画面中搜索参考块402以及分区414和416。
图4C是用于解释根据本发明的另一实施例的帧间预测方法的示图。在 参照图4B的先前实施例中，需要三个运动矢量来对分区404和406执行运动 估计。三个运动矢量是用于参考块402的MV抓408、用于分区404的MV, 422 和用于分区406的MV2 428。
通常，如果当前块400被分割为n(n是大于2的自然数)个分区，则由于 用于指定参考块402的运动矢量408是需要的附加矢量以使用图4B中显示的 帧间预测方法来执行运动估计，因此需要n+l个运动矢量。
因此，为了减小运动矢量402的附加增加，可从参考块402预测包括在 当前块400中的至少一个分区。参照图4C，从包括在参考块402中的分区424 来预测分区404。在这种情况下，由于用于参考块402的MV分^408与用于 分区404的MV, 422相同，因此需要两个运动矢量来执行帧间预测。
参照回图2，编码单元330基于预测单元320的巾贞间预测结果来对当前 块400进行编码。
编码单元330对当前块400的分区执行帧间预测，产生当前块400的预 测块，从当前块400减去预测块，并且产生残余块。编码单元330对残余块执行离散余弦变换，产生频域的系数，对系数进行熵编码，并且产生比特流。
编码单元330对执行帧间预测所需的运动矢量进行编码，并将运动矢量 插入到比特流。当执行图4A和图4B中显示的帧间预测时，编码的运动矢量 包括用于参考块402的运动矢量和用于每个分区的运动矢量412和418。当 执行图4C中显示的帧间预测时，编码的运动矢量的数量小于图4A和图4B 中显示的数量。编码单元330对用于帧间预测的用于参考块402的运动矢量 422和分区(不参考参考块402)的运动矢量428进行编码，并将编码的运动矢 量插入比特流。
编码单元330对指示使用图4A至图4C中显示的帧间预测方法来编码当 前块400的信息进行编码。本发明提供与通过将当前块分割为矩形形状获得 的传统帧间预测模式不同的新的帧间预测模式。这将参照图5进行详细描述。
图5示出根据本发明实施例的宏块模式。参照图5,宏块模式 "SKIP/DIRECT"、 "INTER—16 x 16"、 "INTER—16 x 8"、 "INTER一8 x 16"、 "INTER—8 x 8Sub"和"INTRA"被通常使用在MPEG-4 H.264/MEPG-4 AVC 中。在本实施例中，新的宏块才莫式"INTER—0MP16 x 8"和"INTER—0MP8 x 16"被添加到传统宏块模式。根据基于对象边缘的分区将当前块分割为两个 分区(例如新的宏块模式宏块模式"INTER—16x8"、 "INTER—8 x 16")以执 行帧间预测。使用与在宏块模式INTER—16 x 8"中使用的相同方法来预测宏块 模式"INTER—OMP16 x 8"的运动矢量。使用与在宏块才莫式INTER—8 x 16"中 使用的相同方法来预测宏块模式"INTER—OMP8x 16"的运动矢量。
在本实施例中，宏块模式"INTER—OMP16 x 8"和"INTER—OMP8 x 16" 是宏块模式的示例，宏块模式从参考块获得关于当前块的分区信息，将当前 块分割为分区，并且对每个分区执行帧间预测。
通过仅使用标志信息而无需重新建立宏块模式来将本发明的帧间预测方 法与传统帧间预测方法进行区分。例如，指示使用图4A至图4C中显示的帧 间预测方法来对当前块进行编码的标志信息被添加到通过对当前块编码产生
行识别。
图6是根据本发明实施例的图像编码设备600的框图。参照图6,图像 编码设备600包括分区产生单元610、帧间预测单元620、编码单元630、帧 存储器640、帧内预测单元650、滤波器660和重构单元670。图像编码设备600包括图3中显示的图像编码设备300。将图像编码设备300与600进行比 较，图3中显示的分区产生单元310、预测单元320和编码单元310分别对 应于分区产生单元610、帧间预测单元620和编码单元630。
分区产生单元610搜索存储在帧存储器640中的参考画面"0，并且搜 索参考块402以获得关于当前块400的分区信息。分区产生单元610基于分 区信息来分割当前块400以产生执行帧间预测的多个分区。已经描述了分区 基于包括在图像中的对象的边缘。
帧间预测单元620对在分区产生单元610中产生的多个分区执行帧间预 测。帧间预测单元620使用在分区产生单元610中产生的每个分区来搜索存 储在帧存储器640中的先前编码的画面，对分区执行运动估计，并且基于通 过运动估计产生的运动矢量来执行运动补偿，从而产生当前块的预测块。
帧内预测单元650使用包括在与当前块相邻的先前编码的区域中的像素 来对当前块执4亍帧内预测。
块进行编码。编码单元630从当前块中减去预测块，产生残余块，并且对残 余块执行离散余弦变换。通过离散余弦变换产生的离散余弦系数被熵编码并 且被插入到比特流中。
编码单元630对用于本发明的帧间预测的运动矢量进行编码，并将运动 矢量插入到比特流中。图4A和图4B中显示的运动矢量被编码并被插入到比 特流中。指示使用本发明的帧间预测方法对当前块进行帧内预测的信息(例 如，宏块才莫式或标志信息)一皮编码并^皮插入到比特流中。
重构单元670对在编码单元630中编码的残余块进行解码，将解码的残 余块与预测块相加，并重构当前块。滤波器660对重构的当前块进行去块滤 波，并且将去块滤波的当前块存储在帧存储器640中。
图7是示出根据本发明实施例的图像编码方法的流程图。参照图7，图 像编码设备300或600搜索参考块以通过参照至少一个参考画面来获得当前 块的分区信息(操作710)。在时间上相邻的参考画面中搜索并且获得用于对当 前块进行帧间预测的分区信息。以上已经描述了分区信息是关于基于对象边 缘的分区的信息。
图像编码设备300或600基于从在操作710找到的参考块获得的分区信 息来将当前块分割为多个分区Ot喿作720)。图像编码设备300或600对在操作720产生的多个分区的每一个执行帧 间预测(操作730)。图像编码设备300或600对每个区执行运动估计，计算运 动矢量，并且基于计算的运动矢量来执行运动补偿。可通过参照通过获得分 区信息找到的参考块来预测多个分区的至少一个。
图像编码设备300或600基于在操作730产生的预测块来对当前块进行 编码(操作740)。图像编码设备300或600从当前块中减去预测块，产生残余 块，并且对产生的残余块进行编码。图像编码设备300或600对用于帧间预 测的运动矢量进行编码，并将编码的运动矢量插入到比特流中。指示使用本 发明的帧间预测方法来对当前块进行编码的标志信息或宏块模式或关于宏块 的信息被编码，并一皮插入到比特流中。
图8是根据本发明实施例的图像解码设备800的框图。参照图8，图像 解码设备800包括解码单元810、分区产生单元820、预测单元830和重构单 元840。
解码单元810接收图像数据，并对接收的图像数据进行解码，从而产生 当前块的残余块，并且产生用于对当前块进行帧间预测的运动矢量。运动矢 量包括用于获得当前块的分区信息所需的参考块的运动矢量以及对包括在当 前块中的每个分区进行帧间预测的运动矢量。
作为对图像数据解码的结果，确定指示使用图4A至图4C中显示的帧间 预测方法对当前块进行帧间预测的标志信息或宏块模式是否包括在图像数据 中，并且确定执行以下描述的根据本发明的解码方法是否终止。
分区产生单元820使用参考块的运动矢量从参考块获得关于当前块的分 区信息。分区产生单元820根据参考块的运动矢量来搜索参考画面，发现参 考块，并且将关于参考块的分区信息用作关于当前块的分区信息。分区产生 单元820基于分区信息来分割当前块，从而产生多个分区。
预测单元830对多个分区的每一个执行帧间预测。如上所述，产生了用 于包括在当前块中的多个分区的每一个的帧间预测的运动矢量。预测单元830 使用运动矢量来对多个分区执行帧间预测以产生预测块。当参照参考块对多 个分区的至少一个进行预测编码时，使用参考块的运动矢量来执行帧间预测。
重构单元840将通过预测单元830中的帧间预测产生的预测块与通过解 码单元810中的解码产生的残余块相加，并且重构当前块。
图9是根据本发明的另一实施例的图像解码设备900的框图。参照图9,图像解码设备900包括解码单元910、分区产生单元920、帧间预测单元930、 重构单元940、帧存储器950、帧内预测单元960和滤波器970。图像解码设 备900包括图8中显示的图像解码设备800。将图像解码设备800与900进 行比较，图8中显示的解码单元810、分区产生单元820、预测单元830和重 构单元840对应于图9中显示的解码单元910、分区产生单元920、帧间预测 单元930和重构单元940。
解码单元910接收图像数据，并对接收的图像数据进行解码，从而产生 对当前块进行帧间预测所需的运动矢量以及残余块。运动矢量包括获得关于 当前块的分区信息所需的参考块的运动矢量以及包括在当前块中的每一分区 的运动矢量。以上已经描述了分区可基于对象的边缘。
分区产生单元920根据通过在解码单元910中的解码产生的参考块的运 动矢量来搜索存储在帧存储器950中的参考画面，获得关于参考块的分区信 息，并且通过将参考块的分区信息用作关于当前块的分区信息来分割当前块。
帧间预测单元930对通过分区产生单元920中分割当前块产生的多个分 区执行帧间预测。帧间预测单元930使用多个分区的运动矢量来搜索存储在 帧存储器950中的先前解码的画面，基于搜索的结果执行运动估计，并且对 多个分区的每一个4丸行帧间预测。
帧内预测单元960使用包括在与当前块相邻的先前编码的区域中的像素 来对当前块执行巾贞内预测。重构单元940将由帧间预测单元930和帧内预测 单元960通过预测产生的预测块添加到残余块，并且重构当前块。滤波器970 对重构的当前块进行去块滤波，并且将去块滤波的当前块存储在帧存储器950 中。
图10是示出根据本发明实施例的图像解码方法的流程图。参照图10, 图像解码设备800或900接收图像数据并对接收的图像数据进行解码(操作 1010)。图像解码设备800或900对图像数据进行解码，并且产生当前块的残 余数据以及对当前块进行帧间预测所需的运动矢量。运动矢量包括用于获得 关于当前块的分区信息的参考块的运动矢量以及包括在当前块中的每一分区 的运动矢量。
图像解码设备800或900使用在操作IOIO中产生的用于参考块的运动矢 量来搜索参考块，并且从找到的参考块获得关于当前块的分区信息(操作 1020)。图像解码设备800或卯O使用分区信息来将当前块分割为多个分区。图像解码设备800或900对在操作1020中产生的多个分区执行帧间预测 (操作1030)。图像解码设备800或900使用在操作1010中产生的每个分区的 运动矢量来对多个分区执行帧间预测。
图像解码设备800或900将在操作1030中产生的当前块的预测块与在操 作1010中产生的残余块相加，并且重构当前块(操作1040)。
本发明还可实现为计算机可读记录介质上的计算机可读代码。计算机可 读记录介质是可存储其后可由计算机系统读取的数据的任何数据存储装置。 计算机可读记录介质的例子包括只读存储器(ROM)、随机存取存储器(RAM)、 CD-ROM、磁带、软盘和光学数据存储装置。在其他实施例中，计算机可读 记录介质的其他例子包括载波(例如，通过互联网的数据传输)。计算机可读记 录介质也可分布在网络连接的计算机系统上，从而计算机可读代码以分布方 式寻皮存4诸和4丸4亍。
尽管已经参照其示例性实施例具体显示和描述了本发明，但是本领域的 普通技术人员将理解，在不脱离由权利要求限定的本发明的精神和范围的情 况下，可以对其进行形式和细节上的各种改变。
权利要求
1、一种图像编码方法，包括通过参照至少一个参考画面来搜索参考块；从参考块获得分区信息；基于分区信息分割当前块，并对包括在当前块中的多个分区中的每一个执行帧间预测；基于帧间预测的结果对当前块进行编码。
2、 如权利要求1所述的方法，其中，分区信息包括基于对象边缘的分区。
3、 如权利要求l所述的方法，其中，对当前块进行编码的步骤包括 从当前块中减去通过帧间预测产生的预测块，并且产生残余块； 对残余块进行编码。
4、 如权利要求3所述的方法，其中，对当前块进行编码的步骤还包括 对用于参考块的运动矢量以及用于对多个分区执行帧间预测的运动矢量进行编码。
5、 如权利要求4所述的方法，其中，对当前块进行编码的步骤还包括 搜索指示对用于获得分区信息的标志信息或者关于宏块模式的信息进行编码的参考块，基于从参考块获得的分区信息来分割当前块，并且对包括在 当前块中的多个分区执行帧间预测。
6、 如权利要求l所述的方法，其中，执行帧间预测的步骤包括 通过参照参考块来对多个分区的至少一个执行帧间预测。
7、 一种图像编码设备，包括分区产生单元，搜索参考块，从参考块获得当前块的分区信息，并且基 于分区信息分割当前块；预测单元，对包括在当前块中的多个分区执行帧间预测； 编码单元，基于帧间预测的结果对当前块进行编码。
8、 如权利要求7所述的设备，其中，分区信息包括基于对象边缘的分区。
9、 如权利要求7所述的设备，其中，编码单元从当前块中减去由帧间预 测产生的预测块，产生残余块，并且对残余块进行编码。
10、 如权利要求9所述的设备，其中，编码单元对用于参考块的运动矢 量以及用于对多个分区执行帧间预测的运动矢量进行编码。
11、 如权利要求9所述的设备，其中，编码单元搜索指示对用于获得分 区信息的标志信息或者关于宏块模式的信息进行编码的参考块，基于从参考 块获得的分区信息来分割当前块，并且对包括在当前块中的多个分区执行帧 间预测。
12、 如权利要求7所述的设备，其中，预测单元通过参照参考块来对多 个分区的至少 一个扭^亍帧间预测。
13、 一种图像解码方法，包括 接收图像数据，并且对接收的图像数据进行解码； 根据通过解码产生的用于参考块的运动矢量来搜索参考画面，获得关于当前块的分区信息，在分割中根据分区信息来分割当前块；使用通过解码产生的多个分区的运动矢量来对通过分割产生的多个分区冲丸4亍帧间预测；基于帧间预测的结果来重构当前帧。
14、 如权利要求13所述的方法，其中，分区信息包括基于对象边缘的分区。
15、 如权利要求13所述的方法，其中，执行帧间预测的方法包括 通过参照参考块来对多个分区的至少一个执行帧间预测。
16、 如权利要求13所述的方法，其中，重构当前块的步骤包括测块相加，并且重构当前块。
17、 一种图像解码设备，包括解码单元，接收图像数据，并且对接收的图像数据解码； 分区产生单元，根据通过解码产生的用于参考块的运动矢量来搜索参考画面，获得关于当前块的分区信息，并且在分割中根据分区信息来分割当前块；预测单元，使用通过解码产生的多个分区的运动矢量来对通过分割产生 的多个分区执行帧间预测；重构单元，基于帧间预测的结果来重构当前块。
18、 如权利要求17所述的设备，其中，分区单元包括基于对象边缘的分区。
19、 如权利要求17所述的设备，其中，预测单元通过参照参考块来对多个分区的至少 一个才丸4亍帧间预测。
20、 如权利要求17所述的设备，其中，重构单元将通过对图像数据解码 产生的当前块的残余块与通过帧间预测产生的预测块相加，并且重构当前块。
21、 一种记录有用于执行权利要求1的方法的程序的计算机可读记录介质。
全文摘要
提供了一种用于对图像编码和解码的方法和设备。该图像编码方法包括通过参照至少一个参考画面来搜索用于获得当前块的分区信息的参考块；基于从参考块获得的分区信息来分割当前块，并且对包括在当前块中的多个分区中的每一个执行帧间预测；基于帧间预测的结果对当前块进行编码。
文档编号H04N7/32GK101682778SQ200880019174
公开日2010年3月24日 申请日期2008年6月5日 优先权日2007年6月8日
发明者李教爀, 李相来, 陈建乐, 韩宇镇 申请人:三星电子株式会社