专利名称：三维视频帧内预测方法及编解码方法
技术领域：
本发明属于数字信号处理领域，特别是三维视频数据压缩和图像/视频编解码领域，更进一步地涉及去除三维视频中视间冗余的帧内预测方法及编解码方法
背景技术：
随着三维视频技术的发展，人们利用普通平板显示器体验三维场景成为可能。当前，从研究领域到工业界，三维视频技术的进一步发展吸引了越来越多的关注，各种标准化组织做了大量的工作，令三维视频更具实际应用性。早在上世纪九十年代，多视档次就已经存在于MPEG-2中[I]。在那之后，MPEG于2001年成立了致力于发展三维音视频生成技术的三维音视频小组(3DAV) [2] [3]。最近，一些面向三维视频应用的国际标准和表达格式相继建立起来。其中一种发展成熟的技术是利用多视点渲染一个三维场景，各个视点视频通过现存的视频编解码器(如H. 264/AVC)独立编解码[4]。由于大量的视间统计冗余的存在，通过应用混合时间/视间预测模型，H. 264/MPEG-4AVC提出了多视点视频编码标准(MVC)。MVC支持利用单一码流直接编码多视点中的同步信息，并且通过探索视点间的冗余信息降低码率。该标准模型于2008年完成[6]。在H.264/AVC中，立体增强信息[7]能够在传统的H. 264/AVC码流中标注出三维视频，该方案具有高兼容性和低复杂度的优点。中国音视频编解码标准(AVS)同样构建了自己的三维方案，包括AVS立体档次和立体拼接方案。此外，完整的三维视频系统包括三维内容获取，编码，传输，显示。欧洲信息社会技术(1ST) [8] [9] [10]的先进三维电视系统技术(ATTEST)项目构建了三维视频处理链，其中有效的数据表示是这一项目中的最重要问题之一。实际上，当前存在许多种三维视频格式，如联播式，立体交织式，二维+深度式，多视点视频编码式，分层深度视频等。这些细节的讨论可以在[11]中找到。根据经验，立体交织格式中的两个视点经过下采样后在一帧中显示出来，相对于其他格式可以达到编码效率和编码复杂度之间的很好的平衡，同时与传统编码标准(如H. 264/AVC，AVS)之间保持了很高的兼容性。这些特征都有利于三维视频的应用。然而，由于第一视点和第二视点是通过两个摄像机在同一时刻从同一场景的不同角度获取，两个视点间存在着很大的相关性，生成的交织帧内存在着许多视间冗余信息。参考文献[I] “Generic coding of moving pictures and associated audioinformation-Part 2 video,” ITU-T Rec. H. 222. 0&IS0/IEC13818-1(MPEG2 Systems)，ITU-T and IS0/IEC JTCl，1994[2]“R印ort on 3DAV exploration，，，IS0/IEC JTC/SC29/WG11,N5878, July 2003.[3]M. Jose, “MPEG 3DAV AhG activities report,，，65th MPEG Meeting,Trondheim, Norway,2003.[4] “Advance video coding for generic audio-visual services,” ITU-TRecommendation H. 264&IS0/IEC 14496-10AVC,2003.[5] S. Shinya, K. Hideaki and Y. Ohtani，“Real-time free-viewer frommulti-view video plus depth representation coded byH. 264/AVC MVC extension,，’in3DTV Conference The True Vision—Capture，Transmission and Display of 3D video,2009.
[6] Y. Chen, Μ. M. Hannuksela，L. Zhu, A. Hallapuro, M. Gabbouj, H. Li，“Codingtechniques in multiview video coding andjoint multiview video model，，，in PictureCoding Symposium, May,2009.[7] “SEI message to indicate stereo video information in progressiveH.264 streams，”IS0/IEC JTC1/SC29/WG11, JVT-L023, July 19-23，2004.[8]ATTEST,2002-2004. European IST-2001-34396 project. 2002-2004.[9]DISTIMA,1992-1995. European Race 2045.project 1992-1995.[10]PAN0RAMA,1995-1998. European ACTS AC092 project. 1995-1998.[11] A. Vetro, S. Yea and A. Smolic，“Towards a 3D Video Format forAuto-Stereoscopic Displays”， in SPIE Conf.onApplications of Digital ImageProcessing XXXI，Vol. 7073，September 2008.
发明内容
本发明要解决的技术问题是在传统混合编码框架下改进三维视频帧内预测方法，提高三维视频/图像编码的压缩效率。本发明提供的技术方案如下方案I :一种三维视频帧内预测方法，应用于同一帧中含有不同视点图像的交织模式下的三维视频，其特征在于，所述方法包括如下步骤(流程参见图I)a)将该帧中不同视点图像抽离出来；b)编码至少一个视点图像；c)根据已编码的视点图像构建虚拟帧作为参考图像；d)编码当前视点图像时，参考上一步构建的参考图像，进行差异搜索，得到差异向量和残差矩阵。方案2 :作为方案I的一种优选实现，其特征在于，在步骤a)中，对所述帧进行预处理，使之转化为垂直拼接模式。例如对于水平双拼模式，把第二视点图像移到帧的下半部；对于垂直双拼模式，不执行任何操作。方案3 :作为方案2的一种优选实现，其特征在于，所述步骤c)中虚拟帧的构建方法为在虚拟帧的底部，对应于预处理后帧的当前视点图像区域，用编码后的其他视点图像进行填充，其余的区域用默认值填充。默认值可以是任意数字。本发明同时提供了一种三维视频帧内预测编码方法，方案如下方案4 :一种三维视频帧内预测编码方法，应用于同一帧中含有不同视点图像的交织模式下的三维视频，其特征在于，所述方法包括如下步骤(参见图2)a)开始编码一个宏块；b)根据重构的相邻块和当前块进行帧内方向预测；c)根据已编码视点的重构图像和当前块，利用方案I所述方法进行帧内差异预测，获取差异向量和残差矩阵；
d)通过率失真优化方法得到最优帧内预测模式和帧内预测残差矩阵；e)对残差矩阵进行变换和量化；f)对量化矩阵和编码模式熵编码；g)输出码流文件。本发明同时提供了相应的三维视频帧内补偿解码方法，方案如下方案5 :—种和方案4对应的三维视频帧内补偿解码方法，其特征在于，所述方法包括(流程参见图3)a)开始解码一个宏块；b)根据码流文件解析帧内模式；c)解析差异向量和残差矩阵；d)对残差矩阵进行反量化、反变换；e)根据帧内已解码的其他视点图像构建虚拟参考图像；f)根据差异向量，反变换残差矩阵，虚拟参考图像进行帧内差异补偿；g)输出重构的宏块。本发明的有益效果本发明提出了一种新的帧内差异预测方法，通过帧内差异估计提高预测精度。本发明不仅能够明显提高常用码率范围内三维视频/图像编码的压缩效率，同时计算复杂度相对较低，适合实际应用。
下面结合附图对本发明的具体实施方式
作进一步详细的说明，其中图I三维视频帧内差异预测方法流程2三维视频帧内预测编码方法流程3三维视频帧内补偿解码方法流程4预处理过程(a)下采样和融合帧(b)预处理后帧图5测试序列的率失真曲线
具体实施例方式下面以包含两个视点的视频帧为例对本发明做进一步的说明，但是需要注意的是，本发明并不局限于两个视点，对于包含多个视点的视频帧，本发明所述的方案同样适用。针对于在一帧图像中存在来自于不同视点的图像的交织模式三维图像/视频，如图4(a)所示，视间相关性明显存在于下采样和融合图像中，对于编码来说，该相关性意味着冗余。以两个视点图像为例，如果编码时帧内的第二视点图像能够参考帧内的第一视点图像，那么编码效率将会有很大的提高。为了能够有效消除视间冗余，应用多视点视频编码中的差异估计和差异补偿理论，第二个视点的图像编码需要在第一个视点重构之后进行。
在不改变原有标准扫描顺序的前提下，对于水平双拼模式，需要对原始图像的排列顺序进行预处理。在传统的编码标准中，定义了水平方向的扫描顺序，当编码右侧区域时，对应的左侧区域可能不可用，为了尽可能与传统视频编码标准兼容，在编码之前需要对帧的结构进行调整，将第二视点移到帧的下半部，如图4(b)。这样当编码第二视点时，第一视点的重构图像可以完全得到。在显示端，在进行分离和上采样之前，应该先对解码后图像进行与预处理过程相反的后处理过程。对于垂直双拼模式则不需要预处理及后处理。三维视频帧内差异预测方法针对于在同一帧中包含至少来自于两个视点图像的三维视频帧，将不同视点图像抽离出来，依次编码各个视点。编码当前视点时，参考由已编码视点图像构建的虚拟参考帧，流程如图I所示。以两视点水平双拼图像为例，首先按照如上所述的预处理方法将第一视点图像抽离出来，编码第一视点图像。在第一视点编码后，按如下方法构建一个与预处理后图像相同分辨率的虚拟参考帧在虚拟帧的底部，对应于预处理后帧的第二视点区域，用重构后的第一视点进行填充，其余的区域用默认值填充，如128。当编码第二视点时，除了通常的帧内预测，第二视点的块参考虚拟帧。三维视频帧内预测编码方法流程如图2所示，在传统的帧内方向预测模式之外加入帧内差异预测方法，通过率失真优化方法选出最优模式，对最优模式下的残差矩阵进行变换、量化，对最优编码模式和量化残差矩阵熵编码得到编码码流。三维视频帧内补偿解码方法流程如图3所示，通过解析码流得到当前宏块的差异向量和残差矩阵。根据解析得到的差异向量，残差矩阵和由已解码其他视点图像构建的虚拟参考帧计算出当前块的重构值。其中已解码其他视点图像构建虚拟参考帧的方法与三维视频帧内差异预测方法中的虚拟参考帧的构建方法相同。图5和表I显示了本发明在AVS参考软件I帧上实现的结果对比，其中分辨率分别为1920x1088和1024x768，IBBP结构编码，每15帧插入一个I帧，熵编码使用C2DVLC。该结果与联播格式进行了比较。图5列出了对序列Poznan_Street (1920x1088)和Iovebirdl (1024x768)的RD性能曲线。从图5中可以看出本发明提出的三维视频巾贞内预测的编码方法能够显著提高常用码率内的编码性能，这是因为交织模式下的三维视频帧内的视间冗余信息被去除，相对于传统的帧内预测方法提高了预测精度。在表I中列出了在更多序列上测试的比特率和峰值信噪比(PSNR)的变化结果，实验表明，本发明能够有效的提高三维视频编码性能。表I测试结果
权利要求
1.一种三维视频帧内预测方法，应用于同一帧中含有不同视点图像的交织模式下的三维视频，其特征在于，所述方法包括如下步骤 a)将该帧中不同视点图像抽离出来； b)编码至少一个视点图像； c)根据已编码的视点图像构建虚拟帧作为参考图像； d)编码当前视点图像时，参考上一步构建的参考图像，进行差异搜索，得到差异向量和残差矩阵。
2.如权利要求I所述的帧内预测方法，其特征在于，在步骤a)中，对所述帧进行预处理，使之转化为垂直拼接模式。
3.如权利要求2所述的帧内预测方法，其特征在于，所述步骤c)中虚拟帧的构建方法为在虚拟帧的底部，对应于预处理后帧的当前视点图像区域，用编码后的其他视点图像进行填充，其余的区域用默认值填充。
4.一种三维视频帧内预测编码方法，应用于同一帧中含有不同视点图像的交织模式下的三维视频，其特征在于，所述方法包括如下步骤 a)开始编码一个宏块； b)根据重构的相邻块和当前块进行帧内方向预测； c)根据已编码视点的重构图像和当前块，利用权利要求I所述方法进行帧内差异预测，获取差异向量和残差矩阵； d)通过率失真优化方法得到最优帧内预测模式和帧内预测残差矩阵； e)对残差矩阵进行变换和量化； f)对量化矩阵和编码模式熵编码； g)输出码流文件。
5.一种和权利要求4对应的三维视频帧内补偿解码方法，其特征在于，所述方法包括 a)开始解码一个宏块； b)根据码流文件解析帧内模式； c)解析差异向量和残差矩阵； d)对残差矩阵进行反量化、反变换； e)根据帧内已解码的其他视点图像构建虚拟参考图像； f)根据差异向量，反变换残差矩阵，虚拟参考图像进行帧内差异补偿； g)输出重构的宏块。
全文摘要
本发明提供了一种三维视频帧内预测方法及编解码方法。本发明要解决的技术问题是在传统混合编码框架下改进三维视频帧内预测方法，提高三维视频/图像编码的压缩效率。本发明提出了一种新的帧内差异补偿预测方法，在交织模式下的三维视频，首先对其他视点的图像内容进行编码，然后在编码当前视点时，利用已重构的其他视点图像作为参考图像，进行视间差异估计及差异补偿，降低预测冗余，提高编码效率。本发明不仅能够明显提高常用码率范围内三维视频/图像编码的压缩效率，同时计算复杂度相对较低，适合实际应用。
文档编号H04N7/26GK102625097SQ20111003371
公开日2012年8月1日 申请日期2011年1月31日 优先权日2011年1月31日
发明者张莉, 李晓明, 王荣刚, 赵德斌, 马思伟, 高文 申请人:北京大学