专利名称：在分层视频编码中的空间预测方法和设备的制作方法
技术领域：
示例性实施例总体涉及一种分层(layered)视频编码(也被称为分级 (hierarchical)视频编码)方法和设备，更具体地说，涉及一种在分层视频编码中的空间预测方法和设备。
背景技术：
通常，编解码器技术已被用于压缩音频数据和视频数据。特别在大量数据被处理的视频处理技术中，对于编解码器技术的依赖性非常高。同时，由于在编解码器技术中用于评价性能的重要因素之一是压缩效率，因此，已进行了许多努力来通过编解码器提高数据压缩率。广泛用于视频处理的编解码器可处理4:2 0视频或比特深度为8位的视频。同时， 对新的编解码器的研究正在进行，所述新的编解码器可处理高清晰度视频，其中，所述高清晰度视频的视频格式被扩展到4 2 2或4 4 4视频，或者所述高清晰度视频的比特深度被扩展到16位。另外，已进行了大量研究以使所述新的编解码器能够对具有所有可能的视频格式或比特深度的输入视频进行有效地编码和解码。
发明内容
技术问题示例性实施例的一方面在于解决至少上述问题和/或缺点，并提供至少下述优点。因此，示例性实施例的一方面在于提供一种用于在分层视频编码中对产生的残差图像进行有效地编码的空间预测方法和设备。示例性实施例的另一方面在于提供一种用于在分层视频编码中对输入视频进行编码以提高其压缩效率的空间预测方法和设备。技术方案根据示例性实施例的一方面，提供了一种用于在分层视频编码中对残差图像进行编码的空间预测方法，所述方法包括考虑包括在残差图像中的块中与第一块邻近的至少一个邻近块的活动性，将默认模式、水平模式和垂直模式中的至少一个选为空间预测模式； 对第一块的像素和按照选择的至少一个或多个空间预测模式之一构造的预测块的像素之间的差进行编码。所述至少一个邻近块包括位于第一块的左侧的第一邻近块以及位于第一块的上方的第二邻近块。根据示例性实施例的另一方面，提供了一种用于在分层视频编码中对残差图像进行编码的空间预测设备，所述设备包括块活动性确定单元，考虑包括在残差图像中的块中与第一块邻近的至少一个邻近块的活动性，将默认模式、水平模式和垂直模式中的至少一个选为空间预测模式；空间预测单元，对第一块的像素和按照选择的至少一个或多个空间预测模式之一构造的预测块的像素之间的差进行编码。所述至少一个邻近块包括位于第一块的左侧的第一邻近块以及位于第一块的上方的第二邻近块。
有益效果在示例性实施例中，在分层视频编码期间，使用从输入图像和从基层恢复的视频之间的差产生的残差图像中存在的像素或块之间的空间相关性，来执行空间预测，从而提高输入视频的压缩率。
通过以下结合附图进行的描述，特定示例性实施例的以上和其它方面、特征和优点将更明显，其中图1是示出应用了示例性实施例的分层视频编码器的示图；图2是示出应用了示例性实施例的分层视频解码器的示图；图3是示出根据示例性实施例的用于执行空间预测的第二编码器109的结构的示图；图4至图6是示出根据示例性实施例的基于执行空间预测所需要的邻近块的位置和像素的空间预测的示例的示图；图7是示出根据示例性实施例的空间预测方法的示图。在整个附图中，相同的附图标号将被理解为表示相同的元件、特征和结构。
具体实施例方式现在将参照附图详细描述示例性实施例。在下面的描述中，诸如详细配置和组件的特定细节仅被提供以帮助全面理解示例性实施例。另外，为了清楚和简明，省略对公知功能和构造的描述。当诸如"...中的至少一个”的措辞位于元素列表之后时，所述措辞修饰的是整个元素列表而不是修饰列表中的个别元素。在对示例性实施例的以下描述中，分层视频处理系统被视为用于处理低分辨率视频和高分辨率视频两者的视频处理系统。然而，示例性实施例可被应用于任何用于处理低分辨率视频和高分辨率视频两者的视频处理系统。分层视频处理系统使用原始视频支持低分辨率视频和高分辨率视频。例如，低分辨率视频可包括逐行扫描视频，而高分辨率视频可包括隔行扫描视频。示例性实施例针对以下处理在分层视频编码期间，使用残差图像中存在的块之间的空间相关性来执行空间预测，从而提高输入视频的压缩率，其中，从输入视频和从基层的视频恢复的视频(以下，“恢复视频”)之间的差产生残差图像。基层的视频可以是低分辨率视频，而输入视频可以是高分辨率视频。现在，将参照附图详细描述根据示例性实施例的分层视频编码方法和设备。图1示出分层视频编码器，图2示出分层视频解码器。虽然为了方便在图1和图 2中示出了 2层结构，但是示例性实施例可被应用于普通M层结构(其中M> 2)。图1的分层视频编码器和图2的分层视频解码器通过提高数据压缩率在数据传输/接收期间执行提高传输效率的操作。分层视频编码器接收高分辨率视频，输出编码的低分辨率视频和残差图像。在进行编码之前的残差图像被定义为通过输入的高分辨率视频和在分层视频编码器恢复的高分辨率视频之间的差获得的像素值。
分层视频解码器接收从分层视频编码器提供的编码的基层低分辨率视频和编码的增强层残差图像，并输出恢复的低分辨率视频和恢复的高分辨率视频。首先，参照图1，分层视频编码器包括下采样器101、第一编码器103、上采样器 105、加法/减法单元107和第二编码器109。下采样器101通过对输入视频100或高分辨率视频进行下采样来产生基层的视频或低分辨率视频，并将产生的低分辨率视频提供给第一编码器103。第一编码器103通过对提供的低分辨率视频进行编码来产生第一比特流130，并将产生的第一比特流130提供给图2的分层视频解码器。第一编码器103恢复编码的低分辨率视频的比特流，并将第一恢复视频提供给上采样器105。上采样器105通过对提供的第一恢复视频执行与下采样的反向处理相应的上采样，产生第二恢复视频，并将产生的第二恢复视频提供给加法/减法单元107。加法/减法单元107从输入视频100减去提供的第二恢复视频，并将与输入视频100和第二恢复视频之间的差相应的残差图像提供给第二编码器109。第二编码器109通过对提供的残差图像进行编码来产生第二比特流150，并将产生的第二比特流150提供给图2的分层视频解码器。在分层视频编码器的结构中，第一编码器103相应于用于对低分辨率视频进行编码的基层，而第二编码器109相应于用于处理高分辨率视频的增强层，这是优选的但不是必要的。参照图2，分层视频解码器包括第一解码器201、上采样器203、第二解码器205和加法/减法单元207。第一解码器201从图1的分层视频编码器接收与低分辨率或低清晰度视频相应的第一比特流130，恢复输入的第一比特流130，并将第一恢复视频提供给上采样器203。上采样器203通过对提供的第一恢复视频进行上采样来产生第二恢复视频，并将产生的第二恢复视频提供给加法/减法单元207。第二解码器205从图1的分层视频编码器接收与残差图像相应的第二比特流150， 通过对输入的第二比特流执行与图1的第二编码器109中的编码相应的解码，来产生恢复的残差图像，并将恢复的残差图像提供给加法/减法单元207。加法/减法单元207将恢复的残差图像与提供的第二恢复视频相加，并将与恢复的残差图像和提供的第二恢复视频的和相应的第三恢复视频200提供给用户。第三恢复视频200相应于高分辨率或高清晰度视频。在图1的分层视频编码的情况下，即使是通过从输入视频100减去从基层恢复的第二恢复视频而获得的残差图像也不仅具有图像间(inter-picture)时间相关性还具有图像内(intra-picture)空间相关性。原因是残差图像通常由通过在图1的下采样器101 中进行的低通滤波而去除的高频分量组成，残差图像的高低分量仍然具有空间相关性。基于此，示例性实施例提供一种新的方法以通过有效地使用残差图像的高频分量中存在的空间相关性来提高输入视频100的压缩率。为此，在示例性实施例中，根据图3至图7，第二编码器109使用残差图像的高频分量中存在的空间相关性来执行空间预测。图3示出根据示例性实施例的用于执行空间预测的第二编码器109的结构。参照图3，根据示例性实施例的第二编码器109包括块活动性确定单元301、空间预测模式确定单元303和空间预测单元305。为了残差图像的空间预测，块活动性确定单元301将残差图像划分为块，对于被划分的块中的每个块，使用关于邻近块的信息(例如，邻近块中的像素的活动性)来选择将被应用于当前块的至少一个空间预测模式。空间预测模式包括水平模式，用于在水平方向上执行空间预测；垂直模式，用于在垂直方向上执行空间预测；默认模式，用于使用预设特定值代替邻近块中的像素来执行空间预测。空间预测模式确定单元303在由块活动性确定单元301选择的至少一个或多个空间预测模式中确定最佳模式。空间预测单元305根据确定的最佳模式对残差图像中的当前块执行空间预测。空间预测模式确定单元303不包括在分层视频解码器中。相反，分层视频解码器相应于由分层视频编码器确定的最佳模式来执行用于对比特流进行解码的最少操作。以下将描述用于执行空间预测的装置301至305的详细操作。块活动性确定单元301使用关于在如图4中示出的当前块X的附近形成的块A和块B的信息(以下条件1至5之一)，确定输入的残差图像中的块A和块B的活动性，根据确定结果选择将被应用于当前块X的至少一个空间预测模式。图4至图6示出根据示例性实施例的基于执行空间预测所需要的邻近块的位置和像素的空间预测的示例。虽然以示例的方式在图4至图6中使用8X8的块，但是块的大小不限于此。通常，示例性实施例可被应用于NXN的块。如图4中所示，位于当前块X的左侧的邻近块A和位于当前块X的上方的邻近块 B被用于空间预测。更具体地说，在当前块X的邻近块A和B的像素中，在块A内的与当前块X邻近的像素A1-A8和在块B内的与当前块X邻近的像素B1-B8被用于空间预测。在用于在水平方向上执行空间预测的水平模式中，如图5所示，使用块A的像素 A1-A8生成8X8的预测块，在用于在垂直方向上执行空间预测的垂直模式中，如图6所示， 使用块B的像素B1-B8生成8X8的预测块。这些预测块在空间预测单元305中被用作块 X的空间预测值。返回图3的块活动性确定单元301，块活动性确定单元301使用如图4所示的块A 和块B中的像素A1-A8和像素B1-B8以及块A和块B的编码模式信息，来如下确定块A和块B的活动性。块根据它们的活动性被划分为高活动性块和低活动性块。以下条件1至5之一被用作确定块活动性的标准。在使用任何一个条件的情况下，如果块A和块B中给定的块 K (包括像素A1-A8的块和包括像素B1-B8的块)满足该条件，则块K被确定为具有低活动性，否则，块K被确定为具有高活动性。条件1 块K中的所有像素的值为0。条件2 块K的编码块模式(CBP)值为0。条件3 块K处于跳过(SKIP)模式。条件4 在块K中的用于空间预测的像素的值都相等(例如，Kl = K2 = K3 = K4 =K5 = K6 = K7 = K8)。条件5:如果在块K中的用于空间预测的像素的值之间的差小于阈值TH，则可由以下公式表示关系8Yj\Km-K\<TH( 1 )
；=1块活动性确定单元301使用条件1至5之一确定包括块K的块A和块B的块活动性，根据块A和块B的块活动性选择将被应用于在残差图像中对当前块X进行空间预测的至少一个空间预测模式，其中，以示例的方式如表1确定空间预测模式。表 1
_块活动性__空间预测模式_
块A =低活动性默认
块B =低活动性___
块A=高活动性默认、水平
块B=低活动性__
块A =低活动性默认、垂直
块B =高活动性__
块A=高活动性默认、水平、垂直块B=高活动性_如表1所示，如果块A和块B都被确定为低活动性块，则块活动性确定单元301将默认模式选为当前块X的空间预测模式。如果块A被确定为高活动性块，块B被确定为低活动性块，则块活动性确定单元301将默认模式和水平模式选为当前块X的空间预测模式。 如果块A被确定为低活动性块，块B被确定为高活动性块，则块活动性确定单元301将默认模式和垂直模式选为当前块X的空间预测模式。如果块A和块B都被确定为高活动性块， 则块活动性确定单元301将默认模式、水平模式和垂直模式选为当前块X的空间预测模式。块活动性确定单元301在逐块的基础上将关于选择的空间预测模式的信息提供给空间预测模式确定单元303。由于如表1所示空间预测模式的类型根据邻近块的块活动性被改变，因此块活动性确定单元301甚至针对取决于邻近块的活动性条件的空间预测模式选择性地执行熵编码。例如，如果块A和块B都被确定为低活动性块，则由于仅默认模式被选为空间预测模式，因此块活动性确定单元301不发送关于空间预测模式的信息。如果块A被确定为高活动性块，块B被确定为低活动性块，则由于默认模式和水平模式这两个模式被选择，因此块活动性确定单元301使用1比特表示模式信息。类似地，即使块A被确定为低活动性块，块B被确定为高活动性块，由于默认模式和垂直模式这两个模式被选择，因此块活动性确定单元301也使用1比特表示模式信息。另外，如果块A和块B都被确定为高活动性块，则由于默认模式、水平模式和垂直模式这三个模式被选择，因此块活动性确定单元301使用2比特表示模式信息(默认=00、水平=10、垂直=01)。空间预测模式确定单元303考虑残差图像的压缩率和失真度，在选择的至少一个或多个空间预测模式中确定最佳模式。选择最佳模式的方法遵循视频编码器中通常使用的最佳模式判决方法。例如，可使用基于压缩率和失真度的最佳模式判决方法，所述方法被用在MPEG-4或H. 264视频压缩编解码器中。空间预测模式确定单元303可使用比特率R和失真度D，计算由以下的等式(2)定义的RD代价。比特率R相应于当以选择的至少一个空间预测模式执行编码时产生的比特率。失真度D相应于原始视频和当以选择的至少一个空间预测模式执行编码和解码时恢复的视频之间的失真度。RD 代价=RX λ+D (2)其中，D指示原始视频和恢复视频之间的平方误差和(SSE)，λ指示预定常量。空间预测模式确定单元303针对选择的至少一个空间预测模式计算RD代价，将计算出的RD代价为最小值的空间预测模式确定为最佳模式。空间预测单元305根据确定的最佳模式，对残差图像中的当前块执行空间预测。 例如，如果确定的最佳模式是默认模式，则空间预测单元305计算预设值(诸如，作为示例的128)和当前块的每个像素值之间的差，而不使用块A或块B，并通过对计算出的差进行编码来执行空间预测。如果针对残差图像中的当前块确定的最佳模式是水平模式，则空间预测单元305构造如图5所示的用于空间预测的预测块，计算当前块中的像素和构造的预测块中的像素之间的差，通过对计算出的差进行编码来执行空间预测。如果针对残差图像中的当前块确定的最佳模式是垂直模式，则空间预测单元305构造如图6所示的用于空间预测的预测块，计算当前块中的像素和构造的预测块中的像素之间的差，通过对计算出的差进行编码来执行空间预测。图7示出根据示例性实施例的空间预测方法。参照图7，如果在操作501输入残差图像，则在操作503，块活动性确定单元301将残差图像划分为块。在操作505，针对包括在残差图像中的每个块，块活动性确定单元301使用条件1 至5之一，确定当前块X的邻近块A和邻近块B的块活动性，随后根据确定的块A和块B的活动性选择至少一个空间预测模式，所述活动性被映射到如表1所定义的空间预测模式。另外，针对包括在残差图像中的每个块，包括在分层视频编码器中的空间预测模式确定单元303使用等式( 在选择的至少一个或多个空间预测模式中确定最佳模式。在操作507，针对包括在输入的残差图像中的每个块，空间预测单元505根据确定的最佳模式构造用于空间预测的预测块，计算当前块X中的像素和预测块中的像素之间的差，并通过对计算出的差进行编码来执行空间预测。结果，在示例性实施例中，在分层视频编码期间，使用残差图像中存在的像素或块之间的空间相关性，执行空间预测，从而提高输入视频的压缩率，其中，从输入图像和从基层恢复的视频之间的差产生残差图像。虽然参照本发明构思的特定示例性实施例示出并描述了本发明构思，但是本领域的技术人员将理解，在不脱离由权利要求及其等同物限定的本发明的精神和范围的情况下，可对其进行形式和细节上的各种改变。
权利要求
1.一种用于在分层视频编码中对残差图像进行编码的空间预测方法，包括 基于包括在残差图像中的块中与第一块邻近的至少一个邻近块的活动性，将默认模式、水平模式和垂直模式中的至少一个选为空间预测模式；对第一块的像素和基于空间预测模式构造的预测块的像素之间的差进行编码； 其中，所述至少一个邻近块包括位于第一块的左侧的第一邻近块和位于第一块的上方的第二邻近块。
2.如权利要求1所述的空间预测方法，还包括确定作为最佳模式的空间预测模式。
3.如权利要求1所述的空间预测方法，其中，通过第一邻近块和第二邻近块中的预定块的像素活动性、编码块模式(CBP)和跳过模式信息中的至少一个来确定第一邻近块和第二邻近块的活动性。
4.如权利要求3所述的空间预测方法，其中，第一邻近块中的预定块包括与第一块的左侧邻近的像素，第二邻近块中的预定块包括与第一块的上方邻近的像素。
5.如权利要求3所述的空间预测方法，其中，选择的步骤包括如果确定的第一邻近块和第二邻近块的活动性低于阈值，则选择默认模式； 如果确定的第一邻近块的活动性高于阈值，确定的第二邻近块的活动性低于阈值，则选择默认模式和水平模式；如果确定的第一邻近块的活动性低于阈值，确定的第二邻近块的活动性高于阈值，则选择默认模式和垂直模式；如果确定的第一邻近块和第二邻近块的活动性高于阈值，则选择默认模式、水平模式和垂直模式。
6.如权利要求2所述的空间预测方法，其中，编码的步骤包括 基于确定的最佳模式构造预测块；计算第一块的像素和预测块的像素之间的差； 对计算出的差进行编码。
7.如权利要求6所述的空间预测方法，其中，构造预测块的步骤包括 如果确定的最佳模式是默认模式，则构造包括预定默认值的预测块；如果确定的最佳模式是水平模式，则构造包括与第一块邻近的第一邻近块的像素的预测块；如果确定的最佳模式是垂直模式，则构造包括与第一块邻近的第二邻近块的像素的预测块。
8.一种用于在分层视频编码中对残差图像进行编码的空间预测设备，包括块活动性确定单元，基于包括在残差图像中的块中与第一块邻近的至少一个邻近块的活动性，将默认模式、水平模式和垂直模式中的至少一个选为空间预测模式；空间预测单元，对第一块的像素和按照空间预测模式构造的预测块的像素之间的差进行编码；其中，所述至少一个邻近块包括位于第一块的左侧的第一邻近块和位于第一块的上方的第二邻近块。
9.如权利要求8所述的空间预测设备，还包括空间预测模式确定单元，确定作为最佳模式的空间预测模式。
10.如权利要求8所述的空间预测设备，其中，通过第一邻近块和第二邻近块中的预定块的像素活动性、编码块模式(CBP)和跳过模式信息中的至少一个来确定第一邻近块和第二邻近块的活动性。
11.如权利要求10所述的空间预测设备，其中，第一邻近块中的预定块包括与第一块的左侧邻近的像素，第二邻近块中的预定块包括与第一块的上方邻近的像素。
12.如权利要求10所述的空间预测设备，其中，如果确定的第一邻近块和第二邻近块的活动性低于阈值，则块活动性确定单元选择默认模式；如果确定的第一邻近块的活动性高于阈值，确定的第二邻近块的活动性低于阈值，则块活动性确定单元选择默认模式和水平模式；如果确定的第一邻近块的活动性低于阈值，确定的第二邻近块的活动性高于阈值，则块活动性确定单元选择默认模式和垂直模式；如果确定的第一邻近块和第二邻近块的活动性高于阈值，则块活动性确定单元选择默认模式、水平模式和垂直模式。
13.如权利要求9所述的空间预测设备，其中，空间预测单元基于确定的最佳模式构造预测块；计算第一块的像素和预测块的像素之间的差；对计算出的差进行编码。
14.如权利要求13所述的空间预测设备，其中，在构造预测块中，如果确定的最佳模式是默认模式，则空间预测单元构造包括预定默认值的预测块；如果确定的最佳模式是水平模式，则空间预测单元构造包括与第一块邻近的第一邻近块的像素的预测块；如果确定的最佳模式是垂直模式，则空间预测单元构造包括与第一块邻近的第二邻近块的像素的预测块。
全文摘要
一种用于在分层视频编码中对残差图像进行编码的空间预测方法。所述空间预测方法包括考虑包括在残差图像中的块中与第一块邻近的至少一个邻近块的活动性，将默认模式、水平模式和垂直模式中的至少一个选为空间预测模式；对第一块的像素和按照选择的至少一个或多个空间预测模式之一构造的预测块的像素之间的差进行编码。所述至少一个邻近块包括位于第一块的左侧的第一邻近块和位于第一块的上方的第二邻近块。
文档编号H04N7/34GK102474620SQ201080031244
公开日2012年5月23日 申请日期2010年7月12日 优先权日2009年7月10日
发明者崔雄一, 赵大星 申请人:三星电子株式会社