专利名称：图像编码方法和设备以及图像解码方法和设备的制作方法
技术领域：
本发明涉及一种图像编码方法、一种图像解码方法、一种图像编码设备、以及 一种图像解码设备。
背景技术：
在HJ64/AVC中，从左上位置的一个开始宏块开始，按照光栅扫描顺序对一个 帧中的宏块(MB)进行编码。逐一连续地对每个MB进行编码，而不管已编码的MB的 速率-失真(R-D)成本如何。图1示出了 HJ64/AVC用于实现帧内预测的光栅扫描顺 序。粗体的宏块是HJ64/AVC中的开始宏块。每幅图像仅存在一个开始MB。
由于可使用多核处理架构，期望提高HJ64/AVC中所使用的帧内预测算法的并 行性，以及找到视频帧的最优预测路径，以提高帧内编码和压缩性能。发明内容
本发明提供了一种适合于HJ64/AVC的基于MB自适应的帧内预测。
根据本发明的一个方面，可以从至少一个帧内编码的开始宏块(种子宏块)开 始，接着是帧内预测的宏块，来对帧进行编码，其中，使用预定预测延伸模式(spread pattern)(这里也被称作生长模式(growth pattern))，包括每当前MB —个或多个相邻MB 的同时预测。
术语“相邻”这里仅指与当前MB具有公共边缘的MB，不管这些MB在当前 MB的之上、之下、左侧或者右侧。
此外，根据一个方面，具有高R-D成本(编码成本)的宏块自处理起被保持， 直到至少一个相邻边缘准备好并可用于预测为止。因此，针对这些MB的预测较简单并 可以以较低编码成本实现。这种类型的MB这里被称作“保持-MB”。
由于编码器和解码器需要使用相同的种子MB和预测顺序，因此这二者是预定 的。例如，通过标准种子MB和预测顺序对于编码和解码器是隐含已知的。在一个实施 例中，生长模式是，对于每个当前MB，选择三个相邻MB用于下次预测周期(图像的边 缘上除外)。
根据本发明的一个方面，编码包括步骤根据选择的预定方向确定编码成本为 高(例如，高于阈值)的至少一个MB，以及基于确定，标记所述至少一个MB用于延期 预测(deferred prediction)。因此，跳过所述至少一个MB的编码，而对其他MB进行编 码，直到对所述至少一个标记的MB的至少一个另一相邻MB进行编码为止。然后，基 于(目前至少两个)已编码的相邻MB，对所述至少一个标记的MB进行预测。
保持-MB是一种对其使用预定生长模式并不是最优的例外MB，而通常预定生 长模式提供良好编码效率。通过将这些MB标记为保持-MB用于延期预测，引入了灵活 的元素，以使得预定生长模式的构思更灵活。
根据本发明的一个方面，同时根据多个种子宏块对帧进行编码，其中，种子宏块可以是可帧内预测的。由于所提出的帧内预测方法可以移除编码帧内宏块的预测依赖 性，因此，该方法可以高效地在多核平台上实现，例如，多核CPU平台、GPGPU、单元处理器等。
所提出的方法的优点是，其在编码性能方面更高效，并且更适合于在并行处理 架构上实现。
根据本发明的一个方面，一种用于编码图像数据的方法，包括以下步骤
根据相应相邻MB预测MB，其中，预测从至少一个开始点MB (或种子MB)开 始，并且根据预定生长模式，将任何一个MB的预测方向选择为左、右、上或下；
根据选择的预测方向确定编码成本高于阈值的至少一个MB ；
基于所述确定，标记所述至少一个MB用于延期预测，并且跳过所述至少一个 MB的编码；
除了所述标记用于延期预测的至少一个MB以外，对图像的其他MB进行编码， 包括根据所述预测确定残差数据的步骤和编码残差数据的步骤；
在所述至少一个标记的MB的至少一个其他相邻MB被编码之后，预测所述至少 一个标记的MB;以及
对图像的标记MB进行编码，其中，所获得的编码数据包括所述标记。
根据另一方面，一种用于对编码图像数据进行解码的方法包括以下步骤
提取针对至少一个开始点MB的数据；
提取针对一个或多个其他MB的残差数据；
提取针对其他MB中的至少一个的指示，所述指示是用于延期预测的标记；
对所述其他MB进行解码，其中，从所述开始点MB开始，并且按照预定生长 模式的顺序继续，所述预定生长模式包括左、右、上和下的预测方向，解码包括步骤 根据生长模式从一个或多个已解码的相邻MB中预测所述其他MB，以及加入所述残差数 据，其中，跳过标记用于延期预测的所述至少一个MB的预测；
针对标记用于延期预测的所述至少一个MB，确定另一相邻MB被解码；以及
基于所述确定，根据至少一个标记的MB的残差数据以及至少两个可用解码的 相邻MB，对所述至少一个标记的MB进行解码。
根据另一方面，一种用于编码图像数据的设备包括
第一预测装置，用于根据相应相邻MB预测MB，其中，预测从至少一个开始点 MB开始，并且根据预定生长模式，选择任何一个MB的预测方向，该预定生长模式包括 沿着左、右、上和下方向的预测；
第一确定装置，用于根据选择的预测方向确定编码成本高于阈值的至少一个 MB ；
标记装置，用于基于所述确定，标记所述至少一个MB用于延期预测；
第一编码器，用于除了所述标记用于延期预测的至少一个MB以外，对图像的 其他MB进行编码，包括根据所述预测确定残差数据的残差确定装置，和用于编码残 差数据的第一编码装置，其中，第一编码器跳过标记用于延期预测的至少一个MB;
第二确定装置，用于确定所述至少一个标记的MB的至少一个其他相邻MB被编 码；6
第二预测装置，用于在编码所述至少一个标记的MB的至少一个其他相邻MB之 后，预测所述至少一个标记的MB;以及
第二编码装置，用于对图像的标记MB进行编码，其中，所获得的编码数据包 括所述标记。
根据又一方面，一种用于对编码图像数据进行解码的设备包括
提取装置，用于提取针对至少一个开始点MB的数据、提取针对一个或多个其 他MB的残差数据、提取针对其他MB中的至少一个的指示，所述指示是用于延期预测的 标记；
第一解码器，用于对所述其他MB进行解码，其中，从所述开始点MB开始，并 且按照预定生长模式的顺序继续，所述预定生长模式包括左、右、上和下的预测方向， 其中，解码器包括
第一确定装置，用于根据所述指示确定标记用于延期预测的所述至少一个MB 的预测和重构要延期，第一解码器包括预测装置，用于根据生长模式从一个或多个已 解码的相邻MB中预测所述其他MB，以及重构装置，用于加入所述残差数据，其中， 基于来自所述确定装置的信号，跳过标记用于延期预测的所述至少一个MB的预测和重 构；
第二确定装置，用于针对标记用于延期预测的所述至少一个MB，确定所述第一 解码器已对另一相邻MB进行解码；以及
第二解码器，用于基于所述确定，根据至少一个标记的MB的残差数据以及至 少两个可用解码的相邻MB，对所述至少一个标记的MB进行解码。
根据一个方面，编码图像或视频信号包括针对MB的延期帧内预测的至少一个 指示。
在所附权利要求、以下说明书以及附图中公开了本发明的有利实施例。
参照附图描述本发明的示例实施例，在附图中
图1是帧内预测中使用在HJ64/AVC中的光栅扫描顺序；
图2是帧中示例性的多个种子MB (开始宏块)的位置；
图3是针对从种子MB开始的帧内预测的示例生长模式；
图4是通过从多个种子MB开始的生长模式的图像位置的覆盖；
图5是延期保持-MB的原理；
图6是编码方法的流程图7是解码方法的流程图8是编码设备的示例框图；以及
图9是解码设备的示例框图。
具体实施方式
本发明的一个原理是，同时预测图像(例如，视频帧)的多个宏块，而不是一次 仅对一个MB进行编码，来执行帧内预测。每个已编码的MB的(达到4个)邻域MB可以使用它们公共边缘进行预测。引入保持-MB机制以使得能够自动延期应必须以高 R-D成本编码的MB的预测，直到更多邻域边缘是可用的。因此，可以获得更好的压缩 效率。
在一个实施例中，不使用一个种子宏块来执行帧内预测，而选择多个宏块作为 图像的种子宏块。每个编码种子MB的4个邻域MB可以使用它们公共边缘进行预测。 注意，这里等同地使用术语“种子MB”、“开始MB”、“种子开始MB”、以及“种 子开始点”。
在HJ64/AVC中，仅每个帧的一个MB (在左上位置处)用作种子MB。在本发 明的一个实施例中，选择多个种子MB来同时执行帧内预测。种子MB可以在帧中随机 分布、或通过规则来选择、或是预定的。选择的种子MB越多，引入越多的并行性。在 图2中，在具有W*H个MB的图像中示出了简单种子MB设置作为示例。阴影MB是 样本种子MB。每幅图像的种子MB数目取决于图像大小以及用于并行处理的可用处理 能力。对于当今的普通图像大小和并行处理器而言，种子MB的示例数目在15与25之 间。
由于编码器和解码器需要使用相同的预测顺序，因此，生长模式是预定的。生 长模式对于编码器和解码器可以是隐含已知的，例如，该生长模式可以是标准化的。在 一个实施例中，生长模式是，对于每个当前MB，选择三个相邻MB用于下个预测周期。
在一个实施例中，各种不同的生长模式是预定的，以及编码器选择一个具体生 长模式，并向解码器发送指示，以指示哪个生长模式被用于编码。同样应用于种子MB 及其位置。
图3示出了示例生长模式。生长模式定义了预测延伸的空间方向。在图3所示 的生长模式中，预测沿着种子宏块R的所有方向(上、下、左、右)均勻延伸。在图3a) 中示出了生长模式的第一步骤。从种子MB R开始，沿着左、右、上和下方向预测全部 4个相邻MB (或邻域MB) A、B、C、D。由于采用并行处理，根据种子MB R同时预 测所有这些相邻MB。使用方向预测，包括上预测和左预测(不同于HJ64/AVC中的预 测)。通常，将每个预测的MB与其原始(“父”或参考)MB进行比较，确定差值(残 差)，并且对残差进行编码。为了用作用于预测其他MB的参考，然后重构MB。
在图3b)所示的第二步骤中，第一代MB A-D (原始的或重构的)中的每一个用 作用于预测第二代MB的参考。每个第二代MB根据与其具有公共边缘的第一代MB进 行预测。如果存在与第二代MB具有公共边缘的两个第一代MB，则不同的编码模式是 可能的。将三种不同模式的编码成本进行比较，使用具有最低编码成本的解决方案。
在该示例生长模式中，优选地预测方向是径向的。即，在C右侧的MB C1根据 C来预测。在C下方并在D右侧的MB C2根据C、根据D或根据C和D来预测。例 如，不同的帧内编码模式的比较揭示了根据C的预测比根据D的预测更经济(S卩，获得较 少数据)。这取决于局部图像内容。因此，C2是根据C预测的，产生残差并编码残差， 以及在编码中包括帧内编码模式指示。这确保了 MB的正确解码。按照相同方式，其他 第二代MBA^ Bp D1^ A2、B2、C2> D2根据其相应的父MB来预测。作为示例，具 有两个相邻的第一代MB A、B的第二代MBA2可以使用这两个相邻的第一代MB A、B 来预测，这获得空间对角(左上)帧内预测。因此，在图3b)所示的第二步骤中，先一代的每个重构MB用于预测当前一代的两个或多个MB。
在图3c)所示的第三步骤中，第二代MBA1, A2、B1, B2、D2用于预测第三代 MB An、A12> A13、Bn、B12、B130 注意，在图3c)中，仅示出了单个种子开始点R的 生长模式的一部分，而省略了一些第二代MB Cp C2、D10同样，每个下一代MB可获 得当前一代的一个或两个相邻MB，每个下一代MB可以根据所述一个或两个相邻MB预 测。因此，同样在图3b)所示的第三步骤中，以及同样在图3d)中的后续步骤中，前一 代的每个重构MB可以用于预测当前一代的两个或多个MB。根据图像内容，先前重构 的MB仅能够用于预测一个MB，或者根本不用于预测MB。
上述方法的一般优点在于，可以同时执行下一代预测，这是由于这些预测彼此 独立。同时预测的数目根据以下方程而增加
权利要求
1.一种用于编码图像数据的方法，包括以下步骤-根据相应相邻宏块来预测(P)宏块，其中，同时预测多个宏块，预测从至少一个开 始点宏块开始，并根据预定生长模式，将任意一个宏块的预测方向选择为左、右、上或 下，生长模式定义了预测沿哪个空间方向延伸；-根据选择的预测方向确定(Cit1)编码成本高于阈值的至少一个宏块； -基于所述确定，标记(m)所述至少一个宏块用于延期预测，并且跳过所述至少一个 宏块的编码；-对图像中除标记用于延期预测的所述至少一个宏块以外的其他宏块进行编码(e)， 包括根据所述预测确定(d)残差数据的步骤和编码(。残差数据的步骤； -确定所标记的所述至少一个宏块的至少一个其他相邻宏块已被编码； -在所标记的所述至少一个宏块的至少一个其他相邻宏块已被编码之后，预测(ρ)所 标记的所述至少一个宏块；以及-对图像的所标记的宏块进行编码(e)，其中，所获得的编码数据包括所述标记。
2.根据权利要求1所述的方法，在针对当前宏块确定相邻宏块已被编码的步骤之前， 还包括步骤确定相邻宏块被标记用于延期预测，并且当前宏块使用与相邻宏块相同的 预测方向，以及基于所述确定，还标记当前宏块用于延期预测。
3.根据权利要求1所述的方法，还包括步骤根据当前图像计算(Ce)所述编码成本 阈值，其中，如果在宏块级别上导出编码成本阈值，则根据先前的编码成本阈值以及先 前宏块的速率_失真成本来计算所述编码成本阈值。
4.一种用于对编码图像数据进行解码的方法，包括以下步骤 -提取(es)针对至少一个开始点宏块的数据；-提取(ef)针对一个或多个其他宏块的残差数据；-提取(e)针对其他宏块中的至少一个的指示，所述指示是用于延期预测的标记； -对所述开始点宏块以及其他宏块进行解码(dec)，其中，从所述开始点宏块开始解 码，并且按照预定生长模式的顺序进行解码，所述预定生长模式包括左、右、上和下的 预测方向，生长模式定义了预测沿哪个空间方向延伸，所述解码包括步骤根据生长模 式从一个或多个已解码的相邻宏块中同时预测(pf)多个所述其他宏块，以及添加(rf)所述 残差数据，其中，跳过标记用于延期预测的所述至少一个宏块的预测；-针对标记用于延期预测的所述至少一个宏块，确定另一相邻宏块被解码；以及 -基于所述确定，根据所标记的所述至少一个宏块的残差数据以及至少两个可用的已 解码的相邻宏块，对所标记的所述至少一个宏块进行解码(pd、rd)。
5.根据权利要求1或4所述的方法，其中，所述至少一个开始点宏块不在图像的边缘上。
6.根据权利要求1或4所述的方法，还包括步骤对所述编码图像数据进行熵编码， 以及在所述图像解码之前对熵编码的图像数据进行熵解码。
7.根据权利要求1或4所述的方法，其中，编码或解码从两个或多个开始点宏块同时 开始。
8.根据权利要求1或4所述的方法，其中，同时执行至少两个宏块的预测，所述至少 两个宏块与先前编码或解码的宏块的上、下、左或右相邻。
9.根据权利要求1或4所述的方法，其中，预定生长模式用于选择下个要预测的 宏块，以及预定生长模式包括针对当前宏块选择沿着上、下、左和右方向的三个相邻宏 块。
10.—种用于编码图像数据的设备(ENC)，包括_第一预测装置(P1),用于根据相应相邻宏块同时预测多个宏块，其中，预测从至少 一个开始点宏块开始，并且根据预定生长模式，选择任意一个宏块的预测方向，该预定 生长模式包括沿着左、右、上和下方向的预测，其中，生长模式定义了预测沿哪个空间 方向延伸；_第一确定装置(DT1),用于根据选择的预测方向确定编码成本高于阈值的至少一个 宏块；-标记装置(M)，用于基于所述确定，标记所述至少一个宏块用于延期预测；-第一编码器(E1),用于对图像中除了标记用于延期预测的所述至少一个宏块以外的 其他宏块进行编码，包括根据所述预测确定残差数据的残差确定装置(DTn J，和用于 编码残差数据的残差编码装置(E1),其中，第一编码器(E1)跳过标记用于延期预测的所 述至少一个宏块；_第二确定装置(DT2),用于确定所标记的所述至少一个宏块的至少一个其他相邻宏 块已被编码；_第二预测装置(P2),用于在所标记的所述至少一个宏块的至少一个其他相邻宏块已 被编码之后，预测所标记的所述至少一个宏块；以及_第二编码装置(E2),用于对图像的所标记的宏块进行编码，其中，所获得的编码数 据包括所述标记。
11.根据权利要求10所述的设备，还包括第三确定装置(DT3),针对当前宏块确定 使用相同预测方向的相邻宏块已被标记用于延期预测；以及第二标记装置(M2)，基于所 述确定，标记当前宏块用于延期预测。
12.根据权利要求10所述的设备，还包括熵编码器，用于对所述编码图像数据进 行熵编码。
13.—种用于对编码图像数据进行解码的设备，包括-提取装置(Es、En E1),用于提取至少一个开始点宏块的数据、提取一个或多个其 他宏块的残差数据，并提取所述其他宏块中的至少一个的指示，所述指示是用于延期预 测的标记；-第一解码器(DEC1),用于对所述宏块进行解码，其中，从所述开始点宏块开始 解码，并且按照预定生长模式的顺序同时对多个所述其他宏块进行解码，所述预定生长 模式包括沿着左、右、上和下方向的预测，其中，生长模式定义了预测沿着哪个方向延 伸，并且解码器包括_第一确定装置(DTd)，用于根据所述指示来确定标记用于延期预测的所述至少一个 宏块的预测和重构要延期；预测装置(Pf)，用于根据生长模式从一个或多个已解码的相 邻宏块中预测所述其他宏块；以及重构装置(Rf)，用于添加所述残差数据，其中，基于 来自所述第一确定装置(DTd)的信号(SK)，跳过标记用于延期预测的所述至少一个宏块 的预测和重构；-第二确定装置(DT)，用于针对标记用于延期预测的所述至少一个宏块，确定所述 第一解码器已对另一相邻宏块进行了解码；以及-第二解码器(DEC2、Pd、Rd)，用于基于所述确定，根据至少一个标记的宏块的残 差数据以及至少两个可用的已解码的相邻宏块，对所述至少一个标记的宏块进行解码。
14.根据权利要求13所述的设备，还包括熵解码器，用于在所述图像解码之前对 熵编码的图像数据进行熵解码。
15.根据权利要求10或13所述的设备，其中，编码或解码从两个或多个开始点宏块 同时开始。
16.根据权利要求10或13所述的设备，其中，同时执行至少两个宏块的预测，所述 至少两个宏块与先前编码或解码的宏块的上、下、左或右相邻。
17.根据权利要求10或13所述的设备，其中，预定生长模式用于选择下个要预测的 宏块，以及预定生长模式包括针对当前宏块选择沿着上、下、左和右方向的三个相邻宏 块。
全文摘要
公开了一种用于编码图像数据的方法。在视频/图像编码中，通常按照光栅扫描顺序、从一个种子MB开始进行帧内编码宏块(MB)。本发明改善了帧内预测，以优化多核处理器的使用。编码从每帧多个帧内编码的种子MB开始，并继续对相邻MB进行编码。使用预定预测延伸模式(生长模式)，预定预测延伸模式包括每MB两个或多个相邻MB的同时预测。具有高编码成本的相邻MB被称作“保持-MB”，并保持不被处理，直到其他相邻边缘可用于预测为止。编码包括标记具有高编码成本的MB用于延期预测。跳过该MB，而对其他MB进行编码。当编码其他相邻MB时，基于相邻MB预测标记的MB。由于解码器接收延期标记并使用相同生长模式，该解码器遵循编码器，并进行正确的预测和解码。
文档编号H04N7/32GK102025986SQ20101027717
公开日2011年4月20日 申请日期2010年9月7日 优先权日2009年9月10日
发明者张辉, 李玉猛, 杨继珩 申请人:汤姆森许可贸易公司