专利名称：基于图像分割的立体视频右图像整帧丢失的错误隐藏方法
技术领域：
本发明属于视频图像处理领域，具体涉及一种基于图像分割的立体视频右图像整帧丢失的错误隐藏方法。
背景技术：
多视点视频作为一种具有立体感和交互操作功能的新型数字媒体，是未来视频发展的重要方向。人类在自然条件下感知到的图像都是对三维物体的反映，传统的单视点二维视频不能真实再现自然场景，无法满足人类原始的视觉习惯。基于多视点视频处理的立体视频(Stereoscopic Video)技术与人脑立体视觉的产生原理相符合，能带给人们更加真实的视觉体验。多视点立体视频是由摄像机阵列中的各个相机从不同角度拍摄同一场景得到的一组视频信号，可以广泛应用于任意视点视频/电视、3D电视、交融式会议电视、远程医学诊疗、虚拟现实以及视频监视系统等多种正在兴起的多媒体业务。与单视点视频相比， 立体视频数据量非常巨大，若不采取高效的压缩编码算法必将制约其广泛应用。目前，主流的多视点立体视频编码方法是基于H. 264/AVC的，不但要消减每个视点视频的时间、空间冗余信息，还要考虑多视点的特性去除视点间的冗余信息。当前编码帧除利用自身视点中已编码帧做参考帧外，还可利用其它视点中的已编码帧作为参考图像。文献(“S. Li，M. Yu, G. Jiang, et al. Approaches to H. 264-based Stereoscopic Video Coding”)提出的双目视差结构是最基本的，也是目前应用最多的立体视频编码结构。如
图1所示，左视点采用基于H. 264等标准的IPPP编码结构，右视点各图像块以两种方式的预测一种是基于右视点本身先前帧的运动补偿预测(MCP Motion Compensation Prediction)方式；另一种是基于左视点同时刻帧的视差补偿预测(DCP Disparity Compensation Prediction)方式。最后从中选择预测误差较小的一种作为该图像块的最终编码方式。这种编码结构兼顾了视点间和视点内部的相关性，能够得到比较理想的压缩效果。国际视频标准化组织正致力于对立体视频编码的研究和标准化。在视频数据传输的过程中，由于信道中的丢包与误码等现象，解码端接收到的视频数据往往有错误或者不完整。这会导致解码图像出现不同程度的失真。另外，常用的视频压缩方法中大多采用了预测编码和变长编码，这使得视频数据对传输错误更加敏感，一个比特错误可能会导致解码图像严重失真，甚至影响后续帧的解码。另外，在低码率下，常将整帧打为一包，丢包会导致视频当前帧图像整帧丢失、质量严重恶化。对于立体视频，整帧丢失将严重影响立体视频的成像效果。为了解决这一问题，即在整帧丢失的情况下仍能得到较高质量的立体视频，需采用错误隐藏(EC Error concealment)技术对丢失帧恢复。 错误隐藏的基本思想是在解码端利用图像的时间域、空间域或视间域的冗余信息恢复受损区域，掩盖和减少出现的错误，使其视觉效果接近原来的效果。关于网络环境下的立体视频传输抗差错问题，已经有部分研究结果。立体视频左图像整帧丢失可以采用单视点的错误隐藏方法，所以对于立体视频主要研究右图像的错误隐藏方法。大多数错误隐藏方法是针对部分宏块丢失或条带丢失的情况，利用时域和空域的相关性及周围正确解码宏块的运动矢量(MV Motion Vector)或视差矢量(DV Disparity Vector)来恢复图像。文献("S. Knorr,C. Clemens,M. Kunter and Τ. Sikora. Robust Concealment for Erroneous Block Bursts in Stereoscopic Images")中，作者提出了一种使用投影变换模型的差错掩盖算法，首先通过Harris角点检测找到丢失块周围区域的特征点，根据极线几何关系在右图像中找到对应的特征点，再利用投影映射填补丢失块。但该方法复杂度较大， 不适用于实时应用。在文献("X.Xiang，D. Zhao，Q.Wang，et al. A Novel Error Concealment Method for Stereoscopic Video Coding”)中，作者提出了一种基于视间相关性和重叠块运动视差补偿的多视点视频编码错误隐藏技术。首先应用块匹配准则选取周围块的运动矢量(MV Motion Vector)或视差矢量(DV Disparity Vector)中的最优矢量构建最优候选块，分配最大权值；然后将侯选替代块的每个像素的灰度值加权平均得到一个新的替代块。 用加权叠加错误隐藏方法恢复的图像能减轻块效应，但会影响图像的细节、纹理。在文献 ("C. Τ. E. R. Hewage, S. Worrall, S. Dogan, and Α. Μ. Kondoz. Frame Concealment Algorithm for Stereoscopic Video Using Motion Vector Sharing")中，作者针对于双视加深度结构的立体视频采用深度图中对应宏块的MV来修复。实际上深度图的MV和彩色视频图的MV 只是近似相等，该方法并没有深入挖掘彩色视频图和深度图的联系。以上是针对立体视频宏块级的错误隐藏方法，若立体视频出现整帧丢失时采用宏块级的错误隐藏方法，由于错误宏块周围不存在正确解码的宏块而失效。的运动信息可以利用。目前，立体视频整帧丢失的错误隐藏算法也有一些成果。文献(“L.Pang， Μ. Yu, G. Jiang, W. Liu, and Ζ.Jiang. Relativity analysis-based error concealment algorithm for entire frame loss of stereo video”)提出了基于视频相关性分析的时间域和空间域立体视频错误隐藏算法。然而，对于左视图中被遮挡的物体，其隐藏效果不理想° 在文献("C. Bilen, A. Aksay, and G. B. Akar. Two novel methods for full frame loss concealment in stereo video")中，作者提出了以图像块和以像素为单位两种隐藏算法， 利用前一时刻正确解码帧的视差矢量和运动矢量来恢复当前丢失帧。在文献(“S.Liu， Y. Chen，Y. K. Wang, Μ. Gabbouj，Μ. Μ. Hannuksela，H. Q. Li. Frame loss error concealment for multiview video coding”)中，作者提出了利用其它视点的运动信息隐藏丢失图像的多视点视频的错误隐藏算法。在文献(“Y.Chen，C. Cai, and K.-K. Ma. Stereoscopic video error concealment for missing frame recovery using disparity-based frame difference projection")中，作者提出了一种基于视差矢量的帧差投影法，通过投影左视点图像的时域帧差来修复右图像。该算法对视差估计的准确度要求高，当视差估计或帧差投影出现偏差时隐藏效果不佳。在文献(“TY. Chung，S Sul 1，C. S. Kim. Frame Loss Concealment for Stereoscopic Video Based on Inter-view Similarity of Motion and Intensity Difference")中，作者提出了利用视点间运动和强度变化相似性的立体视频整帧错误隐藏方法。该方法的错误隐藏效果相比上述方法有一定提高，但重建图像的背景和物体边缘处易出现噪声。综上所述，由于立体视频的特殊性，不能照搬传统单视点视频传输抗差错技术。重建图像中错误区域的像素值需要利用空间相关性、时间相关性和视点间相关性。对于图像中运动情况不同的各个区域，以上的三种相关性强弱程度是不同的对于纹理规则及像素值无变化或变化很小的区域，空间相关性更强；对于静止的区域或运动轨迹规则、简单的区域，时间相关性更强；对于深度较小的前景等区域，视点间相关性更强。如何确定错误区域中哪种相关性占主导地位，如何利用这种相关性恢复视频图像是立体视频错误隐藏技术的难点。因此，需要一种对物体边缘、细节也有较好隐藏效果，复杂度适中的立体视频右图像整帧丢失的错误隐藏算法。
发明内容
针对现有技术中存在的问题，本发明提出了一种基于图像分割的立体视频右图像整帧丢失的错误隐藏方法，基于图像前景背景分割以不同方法分别隐藏丢失右图像的前景和背景，恢复错误传输的图像，提高立体视频的质量。本发明提出的基于图像分割的立体视频右图像整帧丢失的错误隐藏方法，包括以下几个步骤步骤一将丢失帧以宏块为单位划分为背景区域和运动区域如果立体视频右视点t时刻帧Fy丢失，已正确解码的相邻时刻的右视点t-Ι时刻帧Fn η、左视点t-Ι时刻帧F1, 和左视点t时刻帧F1, t将被用于恢复右视点t时刻帧Fn t，根据立体视频的时间和空间相关性，利用右视点t时刻帧丢失帧的先前帧t-Ι时刻帧Fn t l进行区域划分，将丢失帧划分为背景区域和前景区域，具体为(1)左视点t-Ι时刻帧F1^和右视点t-2时刻帧分别与右视点t-Ι时刻帧 Fr,的每个4X4子块的对应像素点做差值，分别取绝对误差和SAD，右视点t-Ι时刻帧& t-!的每个4X4子块均得到两个绝对误差和SAD值，分别为SADv和SADt
权利要求
1. 一种基于图像分割的立体视频右图像整帧丢失的错误隐藏方法，其特征在于包括以下几个步骤步骤一将丢失帧以宏块为单位划分为背景区域和运动区域如果立体视频右视点t时刻帧t丢失，已正确解码的相邻时刻的右视点t-Ι时刻帧 &H、左视点t-Ι时刻帧F1^和左视点t时刻帧Flit将被用于恢复右视点t时刻帧h,t，根据立体视频的时间和空间相关性，利用右视点t时刻帧丢失帧的先前帧t-Ι时刻帧F^1进行区域划分，将丢失帧划分为背景区域和前景区域，具体为(1)左视点t-Ι时刻帧F1^和右视点t-2时刻帧分别与右视点t-Ι时刻帧F^1 的每个4X4子块的对应像素点做差值，分别取绝对误差和SAD，右视点t-Ι时刻帧F^1的每个4X4子块均得到两个绝对误差和SAD值，分别为SADv和SADt SAIX = YjYjIFk t - i(x0 + m7 y0+n)~ Frj-i(x0+m7 y0+n)\w=0 w=0 3 3SADt = YjYjFrj-Iix0 +m，y0 +n)-Frj-i(x0 +m，y0 +n)\w=0 w=0其中，SADv表示不同视点同一时刻的两帧SAD值，SADt表示同一视点不同时刻的两帧 SAD值，Fr,η (x, y)表示右视点t-Ι时刻帧F^1坐标为(x, y)像素点的灰度值，F1^ (x, y) 表示左视点t-1 WM^Fljw坐标为(x，y)像素点的灰度值，Fr,t_2(x，y)表示右视点t_2时刻的帧F^2坐标为(x，y)像素点的灰度值，(x0,y0)为4X4子块第一行左边第一个像素的坐标，m取0 3的整数，η取0 3的整数，用m、n遍历4X4子块内的每一个像素，(x0+m, y。+n)表示4X4子块每一个像素的坐标；(2)每个宏块中的16个4X4子块，比较每个子块对应的同一视点不同时刻的两帧SAD 值SADv和同一视点不同时刻的两帧SAD值SADt大小，若宏块中有一个子块的SADv ^ SADt, 则该宏块属于前景区域；否则，该宏块属于背景区域；(3)重复步骤(1)、O)，直至计算完最后一个宏块，将一帧图像的整个区域被划分为前景区域和背景区域；步骤二 运动矢量反向投影调整区域的划分调整步骤一中丢失帧的区域划分，根据时域的相关性，先得到步骤一中划分后属于前景区域边缘的每个宏块的运动矢量，如果宏块采用视差补偿预测或帧内预测方法，其运动矢量通过用周围相邻宏块的运动矢量预测或对该宏块做运动估计来得到，将t-Ι时刻帧Fn t l某一前景区域边缘的宏块的运动矢量反向投影到右视点t时刻帧&t，t时刻帧Fnt的背景区域的宏块中有被该投影的前景区域的宏块覆盖的，将这些宏块标记为属于前景区域的宏块；采用相同的方法完成前景区域边缘的每一个宏块的运动矢量的反向投影；丢失帧已划分为背景区域和前景区域，其中背景区域利用前一时刻帧图像信息进行替代补偿，前景区域利用视点间或视点内的相关性来恢复，在步骤三到步骤六说明；步骤三找到右视点t-Ι时刻帧Fr,H中的像素在左视点t-Ι时刻帧F1,H中的对应像素从右视点t-Ι时刻帧F^1到左视点t-Ι时刻帧F1^的视差估计采用全搜索的方法获得，右视点t-Ι时刻帧& t l中像素的视差矢量为DVw，以最小化SAD为匹配准则进行视差估计
全文摘要
本发明提供一种基于图像分割的立体视频右图像整帧丢失的错误隐藏方法，属于视频图像处理领域，包括将丢失帧以宏块为单位划分为背景区域和运动区域、运动矢量反向投影调整区域的划分、找到右视点t-1时刻帧中的像素在左视点t-1时刻帧中的对应像素、分模式自适应隐藏前景区域的宏块和填补空洞。本发明提供一种基于图像分割的立体视频右图像整帧丢失的错误隐藏方法，以较低的计算复杂度准确地分割图像的前景背景，以不同方法隐藏图像的背景、运动复杂区域和运动规则区域，具有广泛的适用性；保持了重建图像物体的完整性，并尽可能减少不规则运动对图像质量的影响，且物体的边缘和纹理处也有较好的隐藏效果。
文档编号H04N7/68GK102307304SQ20111027507
公开日2012年1月4日 申请日期2011年9月16日 优先权日2011年9月16日
发明者关博深, 刘荣科, 时琳 申请人:北京航空航天大学