专利名称：一种增强层帧内预测方法和编解码设备的制作方法
技术领域：
本发明涉及通信领域中的视频处理技术，具体涉及一种增强层帧内预测方法和编解码设备。
背景技术：
随着多媒体技术的发展和多媒体应用的迅速推广，视频图像压缩标准和技术得到了广泛的关注，特别是由MPEG(活动图像专家组)和ITU(国际电信联盟)两个标准组织联合形成的标准制定工作组JVT制定的H.264，由于其先进的技术特点和较好的压缩性能，不但已经在会议电视、可视电话、流媒体、HDDVD、视频监控、数字电视、3G等领域得到应用，而且还具有广阔的应用前景。
H.264的压缩处理框架如附图1所示。
在图1中，压缩处理的基本处理单位为16×16宏块，采用了多帧参考、帧内预测、多宏块模式、4×4整数变换和量化、环滤波、1/4象素运动预测、CAVLC和CABAC熵编码等先进技术，其压缩效率比MPEG-2、H.263、MPEG-4 ASP提高一倍多。
H.264分层编码标准中的基本层兼容H.264 main profile，采用了MCTF(Motion compensation temporal filter，基于运动补偿的时间滤波)的算法框架，可以较好地实现spatial(空间)分层、temporal(时间)分层、quality或SNR(质量)分层、complexity(复杂度)分层等功能。JVT(Joint video team，MPEG与ITU-T联合标准制定工作组)SVC(视频分层编码)的最新参考模型为JSVM3(Joint scalable video model，联合视频分层编码模型)。
H.264的一个主要特点是采用了多方向的INTRA(视频编码中的帧内编码模式)预测方法，即采用了多种预测模式的帧内预测方法，如亮度预测包括16×16宏块的帧内预测和4×4宏块的帧内预测两种预测单位，其中16×16的宏块帧内预测包括vertical、horizontal、DC(余弦变换系数中的低频分量)和Plane四种预测模式；4×4宏块的帧内预测包括Vertical、Horizontal、DC、DiagonalDown-Left、Diagonal Down-Right、Vertical-Left、Horizontal-Down、Vertical-Right和Horizontal-Up九种预测模式，分别如附图2和附图3所示。再如色度预测是以8×8宏块大小为单位进行的，包括Vertical、Horizontal、DC和Plane四种预测模式，类似于16×16宏块INTRA亮度预测，具体如图4所示。
从图2、图3、图4中可以看出，在INTRA prediction(帧内预测)方面，JSVM3基本层采用H.264的INTRA预测方法，即通过利用当前帧中当前编码宏块的周围已编码宏块的信息来对当前宏块进行预测。
JSVM3增强层在H.264的INTRA预测方法的基础上又增加了一种新的预测方法，即I_BL。I_BL利用当前帧中当前宏块在低层的对应宏块的每个像素值对当前宏块进行帧内预测，具体如图5所示。I_BL预测方法的编码效率还有待于进一步的改进。
H.264 INTRA预测技术都是利用当前帧已编码的周围块信息预测当前编码块，但在增强层编码中，除了I_BL外，JSVM3增强层INTRA预测主要采用了H.264 INTRA预测技术，在H.264 INTRA方向预测方法中，在当前宏块/块的上边或左边象素不可得时，就不考虑该边方向的预测，如在DC预测中，在当前宏块/块上边和左边象素不可得时，就用预定值如128作为预测参考值，使预测结果的准确性差，从而使分层编码的增强层INTRA预测编码的编码效率差。
发明内容
本发明的目的在于，提供一种增强层帧内预测方法和编解码设备，通过利用低层宏块/块的重构像素值，以实现提高增强层帧内预测准确性、提高编码效率的目的。
为达到上述目的，本发明提供的一种增强层帧内预测方法，包括a、确定增强层当前宏块/块中需要参加增强层帧内预测的不可得边；b、确定与当前宏块/块位置相关的低层宏块/块；c、将所述低层宏块/块的重构象素值作为所述当前宏块/块的预测参考值，对所述当前宏块/块进行帧内预测。
所述不可得边包括上边、和/或左边。
所述不可得边包括上边时，所述低层宏块/块的重构像素值为上边的重构像素值、或下边的重构像素值、或任意行的重构像素值、或至少一行重构像素值的线性计算结果；所述不可得边包括左边时，所述低层宏块/块的重构像素值为左边的重构像素值、或右边的重构像素值、或任意列的重构像素值、或至少一列重构像素值的线性计算结果。
所述与当前宏块/块位置相关的低层宏块/块为与当前宏块/块位置相同的低层宏块/块、和/或与当前宏块/块位置相同的低层宏块/块邻接的低层宏块/块。
所述宏块/块为16×16的基于视频编码中的帧内编码模式的宏块、或8×8的基于视频编码中的帧内编码模式的块、或4×4的基于视频编码中的帧内编码模式的块。
所述增强层帧内预测为Vertical预测模式、或Horizontal预测模式、或DC预测模式、或Diagonal Down-Left预测模式、或Diagonal Down-Right预测模式、或Vertical-Left预测模式、或Horizontal-Down预测模式、或Vertical-Right预测模式、或Horizontal-Up预测模式的帧内预测、或Plane预测模式的帧内预测。
本发明还提供一种编解码设备，包括获取预测参考值模块和帧内预测模块；获取预测参考值模块确定当前宏块/块中需要参加增强层帧内预测的不可得边，并确定与当前宏块/块位置相关的低层宏块/块，将所述低层宏块/块的重构象素值作为所述当前宏块/块的预测参考值传输至帧内预测模块；帧内预测模块用所述获取预测参考值模块传输来的预测参考值对所述当前宏块/块进行帧内预测。
所述不可得边包括上边、和/或左边。
所述不可得边包括上边时，所述低层宏块/块的重构像素值为上边的重构像素值、或下边的重构像素值、或任意行的重构像素值、或至少一行重构像素值的线性计算结果；所述不可得边包括左边时，所述低层宏块/块的重构像素值为左边的重构像素值、或右边的重构像素值、或任意列的重构像素值、或至少一列重构像素值的线性计算结果。
所述与当前宏块/块位置相关的低层宏块/块为与当前宏块/块位置相同的低层宏块/块、和/或与当前宏块/块位置相同的低层宏块/块邻接的低层宏块/块。
通过上述技术方案的描述可知，本发明通过充分利用与增强层当前宏块/块位置相关的低层宏块/块的重构像素值，使本发明在实现增强层帧内预测、且当前宏块/块中需要参加帧内预测的边不可得时，能够选取与增强层当前宏块/块的不可得边有密切关系的低层宏块/块的重构像素值来进行帧内预测，避免了使用预定值如128而引起的预测结果准确性差的现象，使本发明能够在不增加增强层帧内预测复杂度的同时，尽可能的使增强层帧内预测的结果更加逼近真实值；本发明中的当前宏块/块的帧内预测参考值可以为与当前宏块/块位置相同的低层宏块/块中的重构像素值，也可以为与当前宏块/块位置相同的低层宏块/块邻接的低层宏块/块中的重构像素值，而且可以为低层宏块/块中的上边、左边、任意行、任意列的重构像素值、至少一行/列的重构像素值的线性计算结果，使本发明的增强层帧内预测方法和编解码设备的实现方式灵活；从而通过本发明提供的技术方案实现了提高增强层帧内预测准确性、提高视频编码效率的目的。
图1是H.264的压缩处理框架示意图；图2是现有技术中的H.264的16×16宏块的亮度预测方法示意图；图3是现有技术中的H.264的4×4宏块的亮度预测方法示意图；图4是现有技术中的H.264的8×8宏块的色度预测方法示意图；图5是现有技术中的I_BL预测模式示意图；图6是本发明的增强层帧内预测原理图。
具体实施例方式
在对增强层的当前宏块/块进行帧内预测、且当前宏块/块中参加帧内预测的边不可得时，如果能够采用与增强层当前宏块/块的边有密切关系的低层宏块/块的重构像素值来替代不可得边进行帧内预测，则能够避免使用预定值如128作为预测参考值而引起的预测准确性差的现象，从而能够有效提高增强层当前宏块的帧内预测的准确性、提高视频编码效率。
因此，本发明的增强层帧内预测方法和编解码设备的核心均在于确定增强层当前宏块/块中需要进行增强层帧内预测的不可得边，确定与当前宏块/块位置相关的低层宏块/块，将所述低层宏块/块的重构象素值作为所述当前宏块/块的预测参考值，对所述当前宏块/块进行帧内预测。
下面基于本发明的核心思想对本发明提供的技术方案做进一步的描述。
由于增强层当前宏块/块的边的重构像素值与相关的低层宏块/块的边的重构像素值有密切的关系，而且，在对增强层当前宏块/块进行帧内预测时，低层宏块/块的重构像素值是可得的，所以，本发明在对增强层当前宏块/块进行帧内预测、且当前宏块/块参加帧内预测的边不可得时，充分利用了低层宏块/块的重构像素值。
本发明中的宏块/块为基于视频编码中的帧内编码模式的宏块/块，且进行帧内预测的宏块/块可以为16×16的宏块，可以为8×8的块，也可以为4×4的块。
在增强层当前宏块/块为16×16的宏块或8×8的块时，本发明的帧内预测可包括DC预测模式的帧内预测、vertical预测模式的帧内预测、horizontal预测模式的帧内预测和Plane预测模式的帧内预测。
在增强层当前块为4×4的块时，本发明的帧内预测可包括Vertical预测模式的帧内预测、Horizontal预测模式的帧内预测、DC预测模式的帧内预测、Diagonal Down-Left预测模式的帧内预测、Diagonal Down-Right预测模式的帧内预测、Vertical-Left预测模式的帧内预测、Horizontal-Down预测模式的帧内预测、Vertical-Right预测模式的帧内预测、Horizontal-Up预测模式的帧内预测这9种预测模式中的一种或多种。
本发明中与增强层当前宏块/块位置相关的低层宏块/块可以为与当前宏块/块在增强层位置相同的低层宏块/块，也可以为与当前宏块/块在增强层位置相同的低层宏块/块的邻接低层宏块/块。
本发明的增强层帧内预测方法的实现原理如附图6所示。
图6中，对增强层第K层的n×n的当前宏块/块进行帧内预测时，如果该当前宏块/块参加帧内预测的边中存在不可得边如最上边、最左边，则需要利用与当前宏块/块位置相关的第K-1层的低层宏块/块的重构像素值来进行增强层当前宏块/块的帧内预测。
低层宏块/块在第K-1层中的位置，应与当前宏块/块在第K层的位置相关，即低层宏块/块可以为与当前宏块/块在第K层的位置相同的低层宏块/块，低层宏块/块也可以为与当前宏块/块在第K层的位置相同的低层宏块/块的邻接低层宏块/块。
如果增强层当前宏块/块参加帧内预测的不可得边为当前宏块/块的上边，则当前宏块/块的帧内预测的预测参考象素值可以为第K-1层中，与当前宏块/块位置相同的低层宏块/块的最上边的重构像素值；可以为第K-1层中，与当前宏块/块位置相同的低层宏块/块的任意一行的重构像素值；可以为第K-1层中，与当前宏块/块位置相同的低层宏块/块的至少一行的重构像素值的线性计算结果；也可以为第K-1层中，与当前宏块/块位置相同的低层宏块/块的最上边邻接的低层宏块/块的最下边的重构像素值；也可以为第K-1层中，与当前宏块/块位置相同的低层宏块/块的最上边邻接的低层宏块/块的任意一行的重构像素值；还可以为与当前宏块/块位置相同的低层宏块/块的最上边邻接的低层宏块/块的至少一行的重构像素值的线性计算结果。
如果增强层当前宏块/块参加帧内预测的不可得边为当前宏块/块的左边，则当前宏块/块的帧内预测的预测参考象素值可以为第K-1层中，与当前宏块/块位置相同的低层宏块/块的最左边的重构像素值；可以为第K-1层中，与当前宏块/块位置相同的低层宏块/块的任意一列的重构像素值；可以为第K-1层中，与当前宏块/块位置相同的低层宏块/块的至少一列的重构像素值的线性计算结果；也可以为第K-1层中，与当前宏块/块位置相同的低层宏块/块的最左边邻接的低层宏块/块的最右边的重构像素值；也可以为第K-1层中，与当前宏块/块位置相同的低层宏块/块的最左边邻接的低层宏块/块的任意一列的重构像素值；还可以为与当前宏块/块位置相同的低层宏块/块的最左边邻接的低层宏块/块的至少一列的重构像素值的线性计算结果。
图6中，第K层当前宏块/块的不可得边为上边和左边。此时，这两条不可得边情形的预测参考象素值可分别从上述描述的情形中组合选取。
图6中n的取值可以为16或8或4。
从图6中可以看出，本发明主要是在增强层当前宏块/块进行帧内预测、且当前宏块/块中参加帧内预测的边不可得时，将与当前宏块/块位置相关的低层宏块/块中的重构像素值作为当前宏块/块的预测参数值，对当前宏块/块进行帧内预测，本发明的帧内预测的其它实现过程与H.264 INTRA预测过程基本相同，由此可以看出，本发明没有增加帧内预测过程中的计算复杂度。因此，本发明针对现有的H.264 INTRA预测过程来说，提高了增强层帧内预测结果的准确性、提高了编解码设备的编码效率。
本发明提供的编解码设备设置有获取预测参考值模块和帧内预测模块。
获取预测参考值模块主要用于在确定当前宏块/块中需要参加增强层帧内预测的边中存在不可得边时，确定与当前宏块/块位置相关的低层宏块/块，并将低层宏块/块的重构像素值作为当前宏块/块的预测参考值传输至帧内预测模块。这里的不可得边可以为当前宏块/块的上边、左边，低层宏块/块的位置、低层宏块/块中作为预测参考值的重构像素值、帧内预测具体包括的预测模式均如上述方法中的描述，在此不再详细描述。
帧内预测模块主要用于接收获取预测参考值模块传输来的预测参考值，并根据其接收的预测参考值对当前宏块/块进行帧内预测。
帧内预测模块实现帧内预测的其它过程与H.264 INTRA预测过程基本类似，在此不再详细描述。
虽然通过实施例描绘了本发明，本领域普通技术人员知道，本发明有许多变形和变化而不脱离本发明的精神，本发明的申请文件的权利要求包括这些变形和变化。
权利要求
1.一种增强层帧内预测方法，其特征在于，包括如下步骤a、确定增强层当前宏块/块中需要参加增强层帧内预测的不可得边；b、确定与当前宏块/块位置相关的低层宏块/块；c、将所述低层宏块/块的重构象素值作为所述当前宏块/块的预测参考值，对所述当前宏块/块进行帧内预测。
2.如权利要求1所述的一种增强层帧内预测方法，其特征在于，所述不可得边包括上边、和/或左边。
3.如权利要求2所述的一种增强层帧内预测方法，其特征在于所述不可得边包括上边时，所述低层宏块/块的重构像素值为上边的重构像素值、或下边的重构像素值、或任意行的重构像素值、或至少一行重构像素值的线性计算结果；所述不可得边包括左边时，所述低层宏块/块的重构像素值为左边的重构像素值、或右边的重构像素值、或任意列的重构像素值、或至少一列重构像素值的线性计算结果。
4.如权利要求1、2或3所述的一种增强层帧内预测方法，其特征在于，所述与当前宏块/块位置相关的低层宏块/块为与当前宏块/块位置相同的低层宏块/块、和/或与当前宏块/块位置相同的低层宏块/块邻接的低层宏块/块。
5.如权利要求1或2或3所述的一种增强层帧内预测方法，其特征在于，所述宏块/块为16×16的基于视频编码中的帧内编码模式的宏块、或8×8的基于视频编码中的帧内编码模式的块、或4×4的基于视频编码中的帧内编码模式的块。
6.如权利要求1或2或3所述的一种增强层帧内预测方法，其特征在于，所述增强层帧内预测为Vertical预测模式、或Horizontal预测模式、或DC预测模式、或Diagonal Down-Left预测模式、或Diagonal Down-Right预测模式、或Vertical-Left预测模式、或Horizontal-Down预测模式、或Vertical-Right预测模式、或Horizontal-Up预测模式的帧内预测、或Plane预测模式的帧内预测。
7.一种编解码设备，其特征在于，所述编解码设备中设置有获取预测参考值模块和帧内预测模块；获取预测参考值模块确定当前宏块/块中需要参加增强层帧内预测的不可得边，并确定与当前宏块/块位置相关的低层宏块/块，将所述低层宏块/块的重构象素值作为所述当前宏块/块的预测参考值传输至帧内预测模块；帧内预测模块用所述获取预测参考值模块传输来的预测参考值对所述当前宏块/块进行帧内预测。
8.如权利要求7所述的一种编解码设备，其特征在于，所述不可得边包括上边、和/或左边。
9.如权利要求8所述的一种编解码设备，其特征在于所述不可得边包括上边时，所述低层宏块/块的重构像素值为上边的重构像素值、或下边的重构像素值、或任意行的重构像素值、或至少一行重构像素值的线性计算结果；所述不可得边包括左边时，所述低层宏块/块的重构像素值为左边的重构像素值、或右边的重构像素值、或任意列的重构像素值、或至少一列重构像素值的线性计算结果。
10.如权利要求7或8或9所述的一种增强层帧内预测方法，其特征在于，所述与当前宏块/块位置相关的低层宏块/块为与当前宏块/块位置相同的低层宏块/块、和/或与当前宏块/块位置相同的低层宏块/块邻接的低层宏块/块。
全文摘要
本发明提供一种增强层帧内预测方法和编解码设备，其核心均在于确定增强层当前宏块/块中需要进行增强层帧内预测的不可得边，确定与当前宏块/块位置相关的低层宏块/块，将所述低层宏块/块的重构象素值作为所述当前宏块/块的预测参考值，对所述当前宏块/块进行帧内预测。本发明通过充分利用与增强层当前宏块/块位置相关的低层宏块/块的重构像素值，避免了使用预定值如128而引起的预测结果准确性差的现象；本发明在不增加增强层帧内预测复杂度的同时，尽可能的使增强层帧内预测的结果更加逼近真实值；从而实现了提高增强层帧内预测准确性、提高编码效率的目的。
文档编号H04N7/32GK1863317SQ20051011274
公开日2006年11月15日 申请日期2005年10月12日 优先权日2005年10月12日
发明者熊联欢, 谢清鹏, 林四新, 王樟, 刘阿军 申请人:华为技术有限公司