专利名称：一种基于深度信息的多视点立体视频错误隐藏方法
一种基于深度信息的多视点立体视频错误隐藏方法技术领域
本发明属于视频图像处理领域，具体涉及一种基于深度信息的多视点立体视频错误隐藏方法。
背景技术：
传统的单视点二维视频不能真实再现自然场景，而多视点视频能够提供给观看者身临其境的感受，其相关技术近年来受到越来越多的关注，成为视频技术中的一个热点。多视点立体视频是由多个摄像机同时对同一场景进行拍摄，得到多个视点的原始视频数据， 观看者可以选择视角来收看视频信息。多视点视频广泛应用于3D电视、全景视频、交互式多视点视频、虚拟现实、远程医疗、教育、观光等多个领域的多媒体业务。和单视点视频相比，多视点立体视频数据量成倍增加。如果不能有效地压缩多视点视频，则会增加视频数据的存储和传输的困难，制约其广泛应用。
为了以较低码传输高质量的立体视频流，多视点视频一般采用双视加深度的格式 (左右两视点的彩色视频图和对应的深度图)，通常将彩色视频图和深度图各自压缩编码。 在解码端采用基于深度的虚拟视点合成技术(DIBR Depth Image Based Rendering)，用左右两视点和对应的深度图生成多视点视频，可根据用户的需求(立体视频或任意视点视频)重建一个或多个角度的立体视频。
立体视频当前编码帧除了利用自身视点中已编码帧做参考帧外，还可用其它视点中的已编码帧作为参考图像进行视差估计预测。目前，主流的立体视频编码方法是基于H. 264/AVC的，不但要消减以往单视点视频信息中时间、空间冗余信息，还要考虑立体的特性去除视点间的冗余信息。
图1是文献(“S. Li，M. Yu, G. Jiang, et al. Approaches to H. 264-based Stereoscopic Video Coding”)提出的双目视差编码结构，是目前应用最多的立体视频编码结构。左视点采用基于H. 264/AVC的IPPP编码结构，右视点的各图像块采用两种预测方式一种是基于右视点本身先前时刻帧的运动补偿预测(MCP Motion Compensation Prediction)方式；另一种是基于左视点同一时刻帧的视差补偿预测(DCP Disparity Compensation Prediction)方式。从中选择预测误差较小的一种作为该图像块的编码方式。这种编码结构兼顾了视点间和视点内的相关性，能够得到比较高的压缩效率。
传输视频数据给视频终端用户的过程中可能会面临严重的网络挑战，包括网络协议、服务质量OioS Quality of Service)、信道延迟等问题。解码端接收到的视频数据往往发生丢包与误码，这会导致解码图像出现不同程度的失真。视频压缩方法中大多采用了预测编码和变长编码，这使得视频数据对传输错误更加敏感，一个比特的错误可能导致解码图像中一条带区域的失真，甚至失真会扩散到后续帧。立体视频数据量巨大，相比单视点视频对信道错误更加敏感，一个视点图像的小区域失真还会严重影响视频的立体成像效果。为了解决这一问题，即在立体视频流丢包或误码的情况下仍能得到较高质量的立体视频，采用错误隐藏(EC Error concealment)技术对丢失帧恢复。错误隐藏的基本思想是在解码端利用图像的时间域、空间域或视间域的冗余信息恢复受损区域，掩盖和减少出现的错误，使其视觉效果接近于原来的效果。
进行错误隐藏的前提是错误检测，只有对视频信号在传输过程中发生的错误正确检测才能进行下一步的有效处理。目前针对多视点视频错误检测的研究很少，尚没有一种单独针对多视点视频的错误检测方法被提出。传统单视点视频的错误检测方法分为两大类基于语法的错误检测和基于相关性的错误检测。基于语法的错误检测通过检查码流中语法元素是否符合相应视频压缩标准规定的语法结构判断是否有错。这种错误检测方法由于不增加额外的传输开销以及其实现方法简单而得到非常广泛的应用，但错误定位的精度较差。基于相关性的错误检测利用自然图像各像素值的空间相关性，若解码图像某区域中的像素值与周围像素值的差值较大，即图像中某区域的像素值发生突变，则认为码流中与该区域对应的数据在传输过程中发生错误。
大多数对于错误隐藏技术的研究是针对传统的单视点视频，立体视频错误隐藏技术是目前的研究热点。在文献(“C. Bilen, A. Aksay, and G. B. Akar. Two novel methods for full frame loss concealment in stereo video，，)中，作者提出了以图像块和以像素为单位两种隐藏算法，利用前一时刻正确解码帧的视差矢量和运动矢量来恢复当前丢失中贞。在文献("S. Liu, Y. Chen, Y. K. Wang,Μ. Gabbouj,Μ. Μ. Hannuksela,H. Q. Li. Frame loss error concealment for multiview video coding”)中，作者提出了禾丨J用其它视点的运动信息隐藏丢失图像的多视点视频的错误隐藏算法。在文献(“TY.Chimg，S Sull,C. S.Kim. Frame Loss Concealment for Stereoscopic Video Based on Inter-view Simi larity of Motion and Intensity Difference")中，作者提出了利用视点间运动和强度变化相似性的立体视频整帧错误隐藏方法。该方法的错误隐藏效果相比上述方法有一定提高，但重建图像的背景和物体边缘处易出现噪声。以上是针对于立体视频右图像整帧丢失的错误隐藏方法，适用于低码率下整帧图像打为一包的情况。若仅部分宏块丢失，则需抛弃整帧图像以采用整帧错误隐藏的方法，视频的隐藏效果不佳。
下面是针对于立体视频宏块级的错误隐藏方法。文献(“S.Knorr，C.Clemens， Μ. Kunter and Τ. Sikora.Robust Concealment for Erroneous Block Bursts in Stereoscopic Images")中，作者提出了一种投影变换模型的差错掩盖算法，首先通过 Harris角点检测找到丢失块周围区域的特征点，根据极线几何关系在右图像中找到对应的特征点，再利用投影映射填补丢失块。但该方法复杂度较大，不适用于实时应用。在文献 ("X. Xiang,D. Zhao,Q. Wang,et al. A Novel Error Concealment Method for Stereoscopic Video Coding”)中，作者提出了一种基于视间相关性和重叠块运动视差补偿的多视点视频编码错误隐藏技术。首先应用块匹配准则选取周围块的运动矢量(Motion Vector, MV) 或视差矢量(Disparity Vector, DV)中的最优矢量构建最优候选块，分配最大权值；然后将侯选替代块的每个像素值进行加权平均得到一个新的替代块。用该错误隐藏方法恢复的图像主客观效果有待于提高。在文献(“C. T.E.R. Hewage，S. Worrall, S. Dogan，and Α. Μ. Kondoz. Frame Concealment Algorithm for Stereoscopic Video Using Motion Vector Sharing")中，作者针对于双视加深度结构的错误隐藏方法采用深度图中对应宏块的MV来修复。实际上深度图的MV和彩色视频图只是近似相等有偏差，该方法并没有深入挖掘彩色视频图和深度图的联系。
综上所述，如何针对双视加深度格式立体视频的结构特点，利用深度图和彩色视频图像的联系对解码端接收数据中的传输错误进行处理是一个非常具有研究价值的问题。 由于立体视频的特殊性，不能照搬传统单通道视频传输抗差错技术。重建图像中错误区域的像素值需要利用空间相关性、时间相关性和视点间相关性。如何确定错误区域中哪种相关性占主导地位，如何利用这种相关性恢复视频图像是立体视频错误隐藏技术的难点。因此，需要一种对复杂度较低的立体视频宏块级的错误隐藏算法。发明内容
针对现有技术中存在的问题，本发明提出一种基于深度信息的多视点立体视频错误隐藏方法，针对双视加深度格式立体视频的右视点视频序列，提供一种的差错控制方法。 左视点是独立编码视点，编码结构和单视点相同；所以立体视频的左视点发生误码时可以采用单视点的错误隐藏方法，本发明针对的是立体视频的右视点。结合误码宏块对应的深度图对发生错误的宏块的编码模式进行估计，选择邻近宏块中深度与待重建的错误宏块深度最为接近的宏块的编码模式。然后，根据编码模式选择用视点内或视点间的相关性信息重建错误宏块，提高立体视频的质量。
本发明提出一种基于深度信息的多视点立体视频错误隐藏方法，包括以下几个步骤
步骤一采用语法检测和相关性检测的两步错误检测法检测发生错误宏块的位置
1.1:语法检测过程
1. 1. 1 判断解码器检测视频码流是否满足视频编码压缩标准H. 264的视频码流条件，当前条带中所有的宏块的码流全部满足视频码流条件，则当前条带中所有的宏块均正确，不存在错误宏块；当解码器检测视频码流不满足视频码流条件中任意一个条件时，多视点立体视频码流中发生语法错误，将当前检测到的错误宏块的错误标志位ei_flag由0 设置为1，完成当前条带中错误宏块的查找，终止当前条带中宏块的解码；
1. 1. 2 判断是否完成一帧图像的中所有条带的解码，如果完成，则进入步骤1. 2， 如果未完成，返回步骤1.1.1，从下一个条带的第一个宏块继续解码，直至完成对整帧图像的所有条带的解码，找到所有条带中存在的错误宏块；
1.2:相关性检测过程
对步骤1. 1中检测到的所有错误宏块所在的条带依次进行相关性检测，从其中的第一个条带的第一个宏块开始进行相关性检测确定初始错误宏块相关性检测包括两种边界相关性检测方法和帧间相关性检测方法，对I帧的条带中的宏块和右视点第一个P帧的条带中的宏块采用边界相关性检测，对其余P帧采用帧间相关性检测；
1. 2. 1 边界相关性检测方法
边界相关性为宏块内像素与其外部像素的相关性，通过边界平均样本差AIDB表示，MXM大小宏块的边界平均样本差AIDB为
权利要求
1. 一种基于深度信息的多视点立体视频错误隐藏方法，其特征在于包括以下几个步骤步骤一采用语法检测和相关性检测的两步错误检测法检测发生错误宏块的位置1.1 语法检测过程1. 1. 1 判断解码器检测视频码流是否满足视频编码压缩标准H. 264的视频码流条件， 当前条带中所有的宏块的码流全部满足视频码流条件，则当前条带中所有的宏块均正确， 不存在错误宏块；当解码器检测视频码流不满足视频码流条件中任一个条件时，多视点立体视频码流中发生语法错误，将当前检测到的错误宏块的错误标志位ei_flag由0设置为 1，完成当前条带中错误宏块的查找，终止当前条带中宏块的解码；1. 1. 2 判断是否完成一帧图像的中所有条带的解码，如果完成，则进入步骤1. 2，如果未完成，返回步骤1. 1. 1，从下一个条带的第一个宏块继续解码，直至完成对整帧图像的所有条带的解码，找到所有条带中存在的错误宏块；1. 2 相关性检测过程对步骤1. 1中检测到的所有错误宏块所在的条带依次进行相关性检测，从其中的第一个条带的第一个宏块开始进行相关性检测确定初始错误宏块相关性检测包括两种边界相关性检测方法和帧间相关性检测方法，对I帧的条带中的宏块和右视点第一个P帧的条带中的宏块采用边界相关性检测，对其余P帧采用帧间相关性检测；1. 2. 1 边界相关性检测方法边界相关性为宏块内像素与其外部像素的相关性，通过边界平均样本差AIDB表示， MXM大小宏块的边界平均样本差AIDB为
2.根据权利要求1所述的一种基于深度信息的多视点立体视频错误隐藏方法，其特征在于所述的步骤一 1. 1. 1中的视频编码压缩标准H. 264的视频码流条件具体为 a 码值有效； b 码值不超出语法范围； c =DCT系数个数不超过64 ；d:运动矢量指向图像内；e 条带中宏块个数与编码参数slice_argument相符； f 译码过程与条带类型相符。
3.根据权利要求2所述的一种基于深度信息的多视点立体视频错误隐藏方法，其特征在于所述的语法范围具体为1条带中的宏块类型mb_type的语法范围为W，25]，P条带中的宏块类型mb_type的语法范围为
，在宏块层中量化参数的偏移量mb_qp_delta 的语法范围为[-26,25].
4.根据权利要求1所述的一种基于深度信息的多视点立体视频错误隐藏方法，其特征在于所述的步骤一 1. 2. 1 中门限 thresholdAIDB_Y 满足 thresholdAIDB_Y = ω ^c1，其中Q1为自适应取值分量
5.根据权利要求1所述的一种基于深度信息的多视点立体视频错误隐藏方法，其特征在于所述的步骤一 1. 2. 1 中门限 thresholdAIDB_U 满足 thresholdAIDB_U = ω2+ε2，其中ω2为自适应取值分量
6.根据权利要求1所述的一种基于深度信息的多视点立体视频错误隐藏方法，其特征在于所述的步骤一 1. 2. 2 中门限 thresholdAIDF_Y 满足 thresholdAIDF_Y = ω3+ο3, ω3为自适应取值分量約
7.根据权利要求1所述的一种基于深度信息的多视点立体视频错误隐藏方法，其特征在于所述的步骤一 1. 2. 2 中门限 hresholdAIDF_U 满足 thresholdAIDF_U = ω 4+c4, ω 4 为自适应取值分量
全文摘要
本发明提出一种基于深度信息的多视点立体视频错误隐藏方法，属于视频图像处理领域，该错误隐藏方法包括步骤一采用语法检测和相关性检测的两步错误检测法检测发生错误宏块的位置；步骤二结合深度信息来估计发生错误宏块的编码模式，选择邻近宏块中深度与待重建的错误宏块深度最为接近的宏块的编码模式步骤三重建错误宏块本发明提供一种基于深度信息的多视点立体视频错误隐藏方法，错误检测的定位准确度较高，计算复杂度较低，以不同方法隐藏图像的背景、运动复杂区域和运动规则区域，具有广泛的适用性，对图像的纹理处也有较好的隐藏效果。
文档编号H04N7/26GK102510500SQ20111031077
公开日2012年6月20日 申请日期2011年10月14日 优先权日2011年10月14日
发明者关博深, 刘荣科, 时琳 申请人:北京航空航天大学