专利名称：一种可伸缩编码方法
一种可伸缩编码方法
技术领域：
本发明涉及视频编码领域，特别是涉及一种适用于重建跨层预测编码中的可伸缩 编码方法。
背景技术：
在广播和监控领域中，不同用户对显示分辨率，视频质量和传输宽带有各自不同 的需求。因此传统的单层视频编码器需要扩展成多层视频编码器，从而能在压缩后的同一 个视频流内提供不同的视频格式和画质，这样则可以满足不同用户的需求。基于此，JVT(JointVideo team)提出了 H. 264/AVC扩展版-SVC(ScalabeVideo
Coding)。SVC在时域、空域和图像质量三个方面实现了分层编码。其中最重要的是空域 分层编码，主要是利用不同分辨率视频层之间的空域相关性，以基带层(即低分辨率视频 层)经过插值的重建图像、相应语义或者残差为预测值以达到进一步提高增强层(即高 分辨率视频层)的压缩效率，同时对增强层的画质影响几乎可以忽略不计，这样可以非常 有效地节省传输宽带。不过以上这些空域分层编码的优点都是基于率失真优化RD0(Rate Distortion Optimization)实现的，因此需要大量的计算。并且为了确保单环解码的特点， SVC限制了重建跨层预测编码的范围，当基带层中的宏块为帧内编码时才可以使用。因此， 适用于可分层编码的8X8块重建跨层预测的提出是可以弥补SVC的这些不足的。但是对 于增强层的视频层来说，仅仅8X8重建跨层预测模式并不能保证精细的画面质量。因此有必要提出一种新的技术方案来解决上述问题。
发明内容本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施 例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部 分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。本发明的目的在于提供一种可伸缩的编码方法，其利用4X4重建跨层预测模式 进行跨层预测，提高了画面的精度。根据本发明的目的，本发明提供一种，其包括对增强层的当前宏块进行层内帧内 预测和层内帧间预测以确定最佳预测模式及最佳预测模式下得到的SATD值S;获取用于跨 层预测的上采样后的基带层重建图像的亮度矩阵和色度矩阵，计算所述亮度矩阵中所述当 前宏块在8X8重建跨层预测模式下的SATD值Ssv。；当S < Ssv。，则用所述最佳预测模式对 当前宏块进行预测编码，否则计算所述亮度矩阵中所述当前宏块中每个8X8像素的亮度 块在4X4重建跨层预测模式下的SATD值S' 8X8以及在8X8重建跨层预测模式下的SATD 值S8X8，当S' 8X8< S8X85. |S8X8-S' 8X8|彡T8X8时，对当前宏块下每个8X8像素的亮度 块利用4X4重建跨层预测模式进行预测编码，并对当前宏块下每个8X8像素的色度块利 用8X 8重建跨层预测模式进行预测编码，否则对当前宏块下每个8 X 8像素的亮度块利用 8 X 8重建跨层预测模式进行预测编码，并对当前宏块下每个8 X 8像素的色度块利用8 X 8重建跨层预测模式进行预测编码，其中T8X8为由当前量化系数计算出来的门限。进一步的，根据下式计算需要预测的亮度块中每个点的跨层预测误差diff (x, y) = 0 (x，y) _P (x, y)其中diff (x，y)为当前亮度块中坐标(x，y)像素的跨层预测误差，0(x, y)为增 强层中亮度块中相应的原始亮度值，P(x，y)是相应的上采样后的基带层的重建图像的亮度 值，需要预测的亮度块的各个点的跨层预测误差组成一失真矩阵，利用哈达玛矩阵对所述 失真矩阵进行变换，取变换后矩阵中各个元素的绝对值，将所有的绝对值相加得到该亮度 块对应的SATD值。更进一步的，利用4X4的哈达码矩阵对4X4像素的亮度块所得到的失真矩阵进 行哈达玛变化以得到当前4X4像素的亮度块的SATD值S4X4，计算当前8X8像素的亮度块 中另外3个4X4亮度块SATD值S4X4，利用所述4个4X4像素的亮度块SATD值S4X4的和 得到当前8X8像素的亮度块在4X4重建跨层预测模式下的SATD值S' 8X8。更进一步的，利用当前宏块中4个8X8像素的亮度块的SATD值S8X8的和得到当 前宏块的重建跨层预测模式下的SATD值Ssv。。更进一步的，对增强层进行层内帧内预测和帧间预测以得到相应的SATD值，其中 最小的SATD值对应的预测模式为最佳预测模式。进一步的，对基带层进行编码和重建以获取基带层编码帧的亮度和色度重建矩 阵，并对上述亮度和色度重建矩阵使用上采样滤波器插值得到用于跨层预测的所述高分辨 尺寸的基带层的重建图像的亮度和色度矩阵。进一步的，所述4 X 4重建跨层预测模式将每个8 X 8像素的亮度块分成4个4 X 4 像素的亮度块进行预测。进一步的，所述8X8重建跨层预测模式将每个宏块分成4个8X8像素的亮度块 进行预测编码。进一步的，在增强层的宏块的8X8像素块语义中加入一位标识来表示当前8X8 像素的亮度块是否按照4X4重建跨层预测模式编码，若当前8X8像素的亮度块是按照 4X4重建跨层预测模式编码，则所述标识为1或0中的一个值，否则为1或0中另一个值。进一步的，所述4X4重建跨层预测模式能在增强层的I帧、I场、P帧、P场、B帧 或B场中使用。与现有技术相比，本发明通过对同层预测编码的残差经哈达玛变换再绝对值求和 (SATD(Sum of Absolute Transformed Difference))值和跨层预测编码的 SATD 的值进行 比较得出选用同层预测编码还是跨层预测编码方式，如选用跨层预测编码方式还需进一步 判定宏块是利用4 X 4重建跨层预测模式进行预测编码还是利用8 X 8重建跨层预测模式进 行预测编码，这样则使得在预测的增强层能够到达最高的精确度。
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用 的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本 领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它 的附图。其中
5
图1为本发明中可伸缩编码方法在一个实施中的流程图；和图2为本发明的一个实施例中的宏块的分块模式的示意图。
具体实施方式本发明的详细描述主要通过程序、步骤、逻辑块、过程或其他象征性的描述来直接 或间接地模拟本发明技术方案的运作。为透彻的理解本发明，在接下来的描述中陈述了很 多特定细节。而在没有这些特定细节时，本发明则可能仍可实现。所属领域内的技术人员 使用此处的这些描述和陈述向所属领域内的其他技术人员有效的介绍他们的工作本质。换 句话说，为避免混淆本发明的目的，由于熟知的方法和程序已经容易理解，因此它们并未被 详细描述。此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中 的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一 个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。此外，表示一个或多 个实施例的方法、流程图或功能框图中的模块顺序并非固定的指代任何特定顺序，也不构 成对本发明的限制。本发明提供的一种可伸缩编码方法，其首先判定增强层即高分辨视频层内预测和 跨层预测的绝对变换差和，即 SATD(Sum of Absolute Transformed Difference)值，SATD 值小的预测方式被选用来作为宏块的预测方式，如选用跨层预测编码时，还需要判断每个 8X8像素的亮度块决定用4X4重建跨层预测模式还是用8X8重建跨层预测模式，并将在 增强层的最佳预测模式下获取的SATD值S与8X8像素的亮度块在8X8重建跨层预测模 式获取的SATD值Ssv。进行比较以判定是使用层内标准编码模式对当前宏块进行预测还是 使用4X4重建跨层预测模式或8X8重建跨层预测模式。其具体方法可参见图1所示。图1为本发明中可伸缩编码方法在一个实施例中的流程图。所述方法包括步骤110，对增强层的当前宏块进行层内帧内预测和层内帧间预测以确定最佳预 测模式及最佳预测模式下得到的SATD值S。最佳预测模式可以根据所述层内帧内预测和层内帧间预测的SATD值确定。即对 增强层的当前宏块进行层内帧内预测和层内帧间预测以得到当前宏块的SATD值，其中最 小的SATD值对应的预测模式为最佳预测模式。这里将所述最佳模式下得到的当前宏块的 SATD值记为S，由上可知，这里的SATD值S为增强层层内预测得到的SATD值。一般的，每帧图像由若干不叠加的宏块组成，而每个宏块由一个16X16亮度像素 和附加的一个8X8Cb、一个8X8Cr彩色像素块组成。其每一个16X 16亮度像素在本发明 中称为一 16 X 16像素的亮度块，且每一个16 X 16像素的亮度块进一步可分为4个8 X 8像 素的亮度块，而每个8 X 8像素的亮度块又可以分为4个4 X 4像素的亮度块，如图2所示。 为了计算所述当前宏块的SATD值，可以先求出每个8X8像素的亮度块的SATD的值，然后 根据每个8X8像素的亮度块的SATD值的和得到16X 16像素的亮度块的值。由于在进行 视频压缩的过程中，通常计算宏块的SATD值只计算对应亮度块的SATD值，所以，这里将当 前亮度块的SATD值记为当前对应宏块的SATD值。在一个实施例中，选用8 X 8像素的亮度块进行计算，首先计算所述8 X 8像素的亮 度块中每个像素点的跨层预测误差得
6
diff (x, y) = 0 (x，y) _P (x，y)其中diff (x，y)为当前亮度块中坐标(x，y)像素的跨层预测误差，0(x，y)为增强 层中亮度块中相应的原始亮度值，P(x, y)是相应上采样后的基带层的重建图像的亮度值。 这样根据所述亮度块中每个像素点的diff (x，y)便得到一个8X8的失真矩阵Diff (x，y)， 然后利用一个8X8的哈达玛矩阵对所述失真矩阵进行变换得到矩阵H(DifT(x，y))，取变 换后矩阵H(DifT(x，y))中各个元素的绝对值，将所有的绝对值相加得到该亮度块对应的
satd 值为:SATDI °步骤120，获取用于跨层预测的所述增强层尺寸下的基带层的重建图像的亮度和 色度矩阵。通常在分层编码的过程中，由于基带层的计算量比较小，获取基带层比较容易， 所以在基带层的基础上来跨层预测增强层。这里，首先对基带层进行编码和重建以获取基 带层编码帧的亮度和色度重建矩阵，并对上述亮度和色度重建矩阵使用上采样滤波器插值 得到用于跨层预测编码的所述增强层尺寸下的基带层的重建图像的亮度和色度矩阵。步骤130，计算所述亮度矩阵中所述当前宏块在8X8重建跨层预测模式下的SATD 值Ssv。。同样这里宏块的SATD值Ssv。仍是计算该宏块对应的亮度块的SATD值得到的。在一个实施例中，所述8X8重建跨层预测模式将每个宏块分成4个8X8像素的 亮度块进行预测编码以得到4个亮度块的SATD值S8X8，然后得到的4个亮度块的SATD值 S8X8的和则为宏块对应的SATD值Ssvc。步骤140，判断S < Ssvc是否成立。也就是比较层内预测编码时得到的当前宏块 SATD值和跨层预测编码时得到的当前宏块SATD的值，一般的，如果层内预测编码时得到的 当前宏块SATD值比较小则说明层内预测编码时产生的误差比跨层预测编码时产生的误差 小，则此时会选用层内预测编码，否则考虑跨层预测编码。步骤150，当S < Ssvc时，则用所述最佳编码模式对当前宏块进行预测编码，即选择 增强层层内帧内预测和层内帧间预测中较佳的预测模式进行预测编码，这样产生的效果会 比较好。步骤160，当S > Ssvc时，则计算当前宏块的每个8X8像素的亮度块在4X4重建 跨层预测模式下SATD值S' 8X8以及在8X8重建跨层预测模式下得到的SATD值S8X8。所述4X4重建跨层预测模式将每个8X8像素的亮度块分成4个4X4像素的亮 度块进行预测编码，而8X8重建跨层预测模式将每个宏块分成4个8X8像素的亮度块进 行预测编码。在一个实施例中，利用所述4X4重建跨层预测模式将每个8X8像素的亮度块分 成4个4X4亮度块进行预测编码具体为首先计算4X4像素的亮度块中每个像素点的跨 层预测误差diff (x, y) = 0(x, y)-P(x, y)其中diff(x，y)为当前4X4像素的亮度块中坐标为(x，y)的像素的跨层预测误 差，0(x，y)为增强层中4X4像素的亮度块中相应的原始亮度值，P(x，y)是相应基带层的重 建图像的亮度值；这样根据每个像素点的diff (x，y)便得到一个4X4的失真矩阵Diff (x， y)，然后利用一个4X4的哈达玛矩阵对所述失真矩阵进行变换得到矩阵H(Diff (x，y))，选 取的所述4X4的哈达玛矩阵可以如下
权利要求
一种可伸缩编码方法，其特征在于，其包括对增强层的当前宏块进行层内帧内预测和层内帧间预测以确定最佳预测模式及最佳预测模式下得到的SATD值S；获取用于跨层预测的上采样后的基带层重建图像的亮度矩阵和色度矩阵，计算所述亮度矩阵中所述当前宏块在8×8重建跨层预测模式下的SATD值Ssvc；当S＜Ssvc，则用所述最佳预测模式对当前宏块进行预测编码，否则计算所述亮度矩阵中所述当前宏块中每个8×8像素的亮度块在4×4重建跨层预测模式下的SATD值S′8×8以及在8×8重建跨层预测模式下的SATD值S8×8；当S′8×8＜S8×8且|S8×8 S′8×8|≥T8×8时，对当前宏块下每个8×8像素的亮度块利用4×4重建跨层预测模式进行预测编码，并对当前宏块下每个8×8像素的色度块利用8×8重建跨层预测模式进行预测编码，否则对当前宏块下每个8×8像素的亮度块利用8×8重建跨层预测模式进行预测编码，并对当前宏块下每个8×8像素的色度块利用8×8重建跨层预测模式进行预测编码，其中T8×8为由当前量化系数计算出来的门限。
2.根据权利要求1所述的可伸缩编码方法，其特征在于根据下式计算需要预测的亮 度块中每个点的跨层预测误差diff(x,y) =0(x,y)-P(x, y)其中diff (x，y)为当前亮度块中坐标为(x，y)的像素的跨层预测误差，0(x, y)为增 强层中亮度块中相应的原始亮度值，P(x，y)是相应的上采样后的基带层的重建图像的亮度 值，需要预测的亮度块的各个点的跨层预测误差组成一失真矩阵，利用哈达玛矩阵对所述 失真矩阵进行变换，取变换后矩阵中各个元素的绝对值，将所有的绝对值相加得到该亮度 块对应的SATD值。
3.根据权利要求2所述的可伸缩编码方法，其特征在于利用4X4的哈达码矩阵对 4X4像素的亮度块所得到的失真矩阵进行哈达玛变化以得到当前4X4像素的亮度块的 SATD值S4X4，计算当前8X8像素的亮度块中另外3个4X4亮度块SATD值S4X4，利用所述 4个4X4像素的亮度块SATD值S4X4的和得到当前8X8像素的亮度块在4X4重建跨层预 测模式下的SATD值S' 8X8。
4.根据权利要求2所述的可伸缩编码方法，其特征在于利用当前宏块中4个8X8像 素的亮度块的SATD值S8X8的和得到当前宏块的重建跨层预测模式下的SATD值Ssv。。
5.根据权利要求2所述的可伸缩编码方法，其特征在于对增强层进行层内帧内预测 和帧间预测以得到相应的SATD值，其中最小的SATD值对应的预测模式为最佳预测模式。
6.根据权利要求1所述的可伸缩编码方法，其特征在于对基带层进行编码和重建以 获取基带层编码帧的亮度和色度重建矩阵，并对上述亮度和色度重建矩阵使用上采样滤波 器插值得到用于跨层预测的所述高分辨尺寸的基带层的重建图像的亮度和色度矩阵。
7.根据权利要求1所述的可伸缩编码方法，其特征在于所述4X4重建跨层预测模式 将每个8X8像素的亮度块分成4个4X4像素的亮度块进行预测。
8.根据权利要求1所述的可伸缩编码方法，其特征在于所述8X8重建跨层预测模式 将每个宏块分成4个8X8像素的亮度块进行预测编码。
9.根据权利要求1所述的可伸缩编码方法，其特征在于在增强层的宏块的8X8像素块语义中加入一位标识来表示当前8 X 8像素的亮度块是否按照4 X 4重建跨层预测模式编 码，若当前8X8像素的亮度块是按照4X4重建跨层预测模式编码，则所述标识为1或0中 的一个值，否则为1或0中另一个值。
10.根据权利要求8所述的可伸缩编码方法，其特征在于所述4X4重建跨层预测模 式能在增强层的I帧、I场、P帧、P场、B帧或B场中使用。
全文摘要
本发明提供一种可伸缩编码方法，其包括对增强层的当前宏块进行层内帧内预测和层内帧间预测以确定最佳预测模式及最佳预测模式下得到SATD值S；获取用于跨层预测的上采样后的基带层重建图像的亮度矩阵和色度矩阵，计算所述亮度矩阵中所述当前宏块在8×8重建跨层预测模式下的SATD值Ssvc；当S＜Ssvc，则用所述最佳预测模式对当前宏块进行预测编码，否则计算所述亮度矩阵中所述当前宏块中每个8×8像素的亮度块在4×4重建跨层预测模式下的SATD值S′8×8以及在8×8重建跨层预测模式下的SATD值S8×8，并选择预测模式对当前宏块下每个8×8像素的亮度块进行预测编码，且对当前宏块下每个8×8像素的色度块进行预测编码。
文档编号H04N7/26GK101977316SQ20101052059
公开日2011年2月16日 申请日期2010年10月27日 优先权日2010年10月27日
发明者陈玉 申请人:无锡中星微电子有限公司