一种基于视点间相关性的深度视频编码算法的制作方法

本发明属于3D视频编码领域，涉及一种视频编码算法。
背景技术：
：2D视频存在很大的局限性、无法给观众带来身临其境的感觉，因此3D视频以及多视点视频技术应运而生。多视点视频是利用不同位置的摄像头对同一场景进行拍摄得到的视频数据，它包含了丰富的3D场景信息，可以为用户提供传统单视点视频无法比拟的视觉感受。三维场景信息的表示方式有多种，其中多视点彩色视频加深度视频(MVD)已逐渐成为3DTV和FTV等多视点视频系统中的主流数据格式。MVD视频包括多个视点的彩色视频和对应的多视点深度视频。ITU-T和MPEG成立的3D视频编码联合小组JCT-3V将HEVC标准进行3D扩展，并起草了3D-HEVC测试模型。3D-HEVC为提高MVD视频的编码效率针对非独立视点以及深度视频引入了新的预测技术和编码工具。如视差补偿预测技术、视点间运动预测、视点间残差预测、视点合成优化、深度模型模式等。多视点视频是由多个相机从多个角度拍摄同一场景同一时刻而获得的视频数据，因此各视点间图像内容间存在大量冗余信息，利用视点间相关性可有效提高MVD视频的编码效率。3D-HEVC增加了有利于多视点深度视频编码的编码技术，提高了3D视频编解码的效率。然而高效的多视点视频编码压缩效率使得编码器的计算复杂度成倍地增加，成为多视点视频系统广泛应用于实际中的阻碍。国内外众多学者，都对3D-HEVC快速编码方法展开了研究，根据MVD视频的特点提出了一些有效的方法，从而有效降低3D-HEVC计算复杂度，节省编码时间。Mora等人基于彩色视频和相对应的深度视频关联性，提出三种分量间编码工具深度四叉树限制(QTL)、彩色四叉树初始化(QTI)和预测编码(PC)，通过彩色和深度四叉树联合编码节省编码时间和编码比特，其中QTL和PC已被JCV-3V采纳；Zhang等人针对3D-HEVC提出一种低复杂度的先进的残差预测方法。该方法通过减小内插滤波器滤波长度、修改在ARP中的参考帧以进行额外的运动补偿、限制使用ARP的分割模式等方法在保证编码质量几乎不变的前提下降低编码复杂度；Chi等人针对3D-HEVC提出一种视点间预测和四叉树结构限制联合编码的快速编码算法。基于视点间CU深度相关性，降低大量计算复杂度。现有的技术虽然都能在一定程度上提高MVD视频的编码速度，但MVD视频的特性仍可以进一步挖掘，结合视点间相关性以及MVD视频编码结构，提出性能更佳的快速编码方法对降低3D-HEVC视频编码复杂度十分必要，也是3D-HEVC实现实时应用的关键。技术实现要素：该发明的目的是提供一种深度视频编码快速算法，依据MVD视频的视点间相关性以及MVD视频的分层B帧预测结构(HBP)，对3D-HEVC非独立视点深度视频的P帧和B帧分别进行PU模式快速决策，在保持视频编码质量基本不变的前提下，降低3D-HEVC视频编码的计算复杂度，节省深度视频编码的时间。技术方案如下：一种基于视点间相关性的深度视频编码算法，包括下列步骤：(1)三视点彩色加深度视频的非独立视点深度图编码时，首先判断当前编码帧类型，当前编码帧可分为两种类型，双向预测编码帧(简称B帧)和前向预测编码帧(简称P帧)，根据编码帧类型不同，采用不同的编码策略；(2)若当前编码帧类型为B帧，采用如下的编码决策：①为当前编码单元CU定位独立视点深度图对应参考CU：获取当前CU左上、右上、左下、右下四个像素点的深度值，比较取其中的最大值作为当前CU的深度值Dp；②计算当前CU实际的场景深度Zp：1Zp=Dp(x,y)255(1Znear-1Zfar)+1Zfar]]>其中Znear和Zfar分别代表场景中真实深度的最大值和最小值，Dp(x,y)代表像素点(x,y)的深度值；③基于深度和视差的如下转换关系和已知的相机参数计算得到当前CU水平视差d，利用视差定位到当前CU在独立视点深度图中对应位置CU：d=f·ΔsZp]]>其中f代表摄相机焦距，Δs代表两个摄像机之间的水平距离；④基于当前CU水平视差d，定位已编码独立视点的对应位置CU，进而获取参考CU的PU模式信息；⑤基于参考CU的PU模式信息，当前CU进行PU模式提前决策；若独立视点对应CU选择Merge模式进行预测，当前CU只检测Merge模式跳过其它模式计算；若独立视点对应CU选择Inter2N×2N模式时，当前CU只检测Merge和Inter2N×2N模式而跳过其它模式计算；若独立视点对应CU未选择Merge或Inter2N×2N模式作为最佳预测模式，当前CU按照原始平台的预测流程，遍历所有模式；(3)若当前编码帧类型为P帧，采用如下的编码决策：①为当前CU找到空时域参考CU，包括当前帧时域相邻P帧的对应位置的CU、当前CU的空域相邻CU以及父辈CU，其中，当前CU的空域相邻CU包括上CU，左CU，左上CU和右上CU；②根据获得的已编码的参考CU的PU模式信息，计算条件R的值：R=true,ifΣi=1Nθi=0,false,otherwise.]]>其中N表示参考CU的数目，N等于6；θi代表对应参考CU的Merge标志，若参考CU最佳预测模式为Merge模式，标志为0，否则为1；③基于上一步设定的条件R，进行P帧PU模式提前决策，若满足R为true且编码块标志CBF为0的条件，当前CU只需检测Merge模式跳过其它模式计算；否则，当前CU按照原始平台的预测流程，遍历所有模式；(4)计算所有遍历模式的率失真代价，选择率失真代价最小的PU模式作为最佳预测模式，结束PU模式决策过程。本发明对于非独立视点深度视频编码提出一种新的基于视点间相关性PU模式提前决策算法。本发明在保证编码性能的同时获得可观的编码时间节省，降低了3D-HEVC计算复杂度。附图说明图1为3D-HEVC三视点MVD视频HBP预测结构图2为技术方案的流程图具体实施方式同单视点视频相比，多视点视频除了具有空间和时间上的冗余以外，一个显著的特征就是还存在视点间冗余。本发明基于MVD视频视点间相关性以及HBP预测结构，提出一种低复杂度的非独立视点深度视频快速编码算法。依据MVD视频的视点间相关性以及MVD视频的分层B帧(HierarchicalBPictures，HBP)预测结构，对3D-HEVC非独立视点深度视频的前向预测编码帧(简称，P帧)和双向预测编码帧(简称，B帧)分别进行预测单元(PredictionUnit，PU)模式快速决策，在保持视频编码质量基本不变的前提下，降低3D-HEVC视频编码的计算复杂度，节省深度视频编码的时间。具体步骤如下：1.定位独立视点深度图对应块MVD视频表示在不同摄像角度下同一时间的同一场景信息，在多视点之间视点间预测模式存在强相关性。由于MVD视频的HBP预测结构的特性，在编码非独立视点视频时，同一时刻的独立视点视频已编码完成。图1中给出了3D-HEVC三视点MVD视频HBP预测结构，编码顺序按照中心(即独立视点0)、左(非独立视点1)和右视点(非独立视点2)进行，即T0D0，T1D1，T2D2，其中Ti和Di分别表示第i个视点的彩色和深度帧。已编码独立视点的模式信息可以作为参考指导当前非独立视点的编码。非独立视点编码参考已编码独立视点模式信息时，利用多视点视频间的相关性，非独立视点深度视频通过转换当前深度值信息为真实场景深度，并利用深度和视差的转换关系找到在独立视点对应位置的编码单元的PU模式，使得非独立视点编码参考已编码独立视点模式信息进行提前决策，具体如下：在深度图编码时，获取当前CU左上、右上、左下、右下四个像素点的深度值信息，比较取其中的最大值作为当前CU的深度值信息Dp，Dp可通过如下转换关系得到当前CU实际的场景深度Zp。1Zp=Dp(x,y)255(1Znear-1Zfar)+1Zfar]]>其中Znear和Zfar分别代表场景中真实深度的最大值和最小值，Dp(x,y)代表像素点(x,y)的深度值。基于1D平行摄像机配置，视点间只存在水平视差，进而利用上式求得的真实场景的深度Zp与视差的如下转换关系和已知的相机参数可求得当前CU水平视差d，利用视差即可定位到当前CU在独立视点深度图中对应位置CU。d=f·ΔsZp]]>其中f代表摄相机焦距，Δs代表两个摄像机之间的水平距离。2.基于视点间相关性的B帧PU模式提前决策在非独立视点深度图B帧编码时，当前CU需要遍历的模式Mc根据基础视点对应参考CU的最佳预测模式确定。利用上一步求得的当前CU的视差d定位已编码独立视点的对应位置CU，获取到参考CU的PU模式信息提前决策当前CU的最佳PU模式。若独立视点对应CU选择Merge模式进行预测，考虑视点间相关性，当前CU只检测Merge模式跳过其它模式计算；相似地，若独立视点对应CU选择Inter2N×2N模式时，当前CU只检测Merge和Inter2N×2N模式而跳过其它模式计算。在非独立视点深度图B帧编码时当前CU需要遍历的模式Mc可以表示为：Mc=Merge,ifMb=Merge,MergeandInter2N×2N,ifMb=Inter2N×2N,Allmodes,otherwise.]]>其中Mb表示在独立视点深度图中对应CU的最佳预测模式。3.P帧参考CU集合设计非独立视点中P帧以独立视点I帧作为参考帧进行视点间预测，然而I帧执行帧内预测编码没有帧间模式信息可作为参考借鉴。鉴于非独立视点中P帧和B帧的不同预测结构特性，本发明针对P帧提出了不同的策略。非独立视点P帧编码时，利用空时域相关性判断提前选择Merge作为其最佳预测模式，从而提前决策模式决策过程。当前P帧编码要以相邻P帧的编码信息作为时域参考。除了时域P帧参考CU外，当前CU的最佳预测模式参考其空域相邻CU(包括上CU，左CU，左上CU和右上CU)以及父辈CU的预测信息进行提前决策。θi代表对应参考CU的Merge标志，若参考CU最佳预测模式为Merge模式，标志为0，否则为1。R=true,ifΣi=1Nθi=0,false,otherwise.]]>其中N表示参考CU的数目，N等于6；4.P帧的PU模式提前决策编码块标志CBF也作为一个判决准则加入到针对非独立视点P帧的快速编码决策中。基于上一步中设定的条件R，当所有参考CU均满足条件R为true时，即当所有参考CU均选择Merge模式作为最佳预测模式时，且满足CBF为0，在率失真优化过程中当前CU只需检测Merge模式而跳过其它模式决策。非独立视点深度图P帧编码时，当前CU的需要检测的模式可表示如下：当前第1页1 2 3