专利名称：一种立体视频宏块丢失错误隐藏方法
技术领域：
本发明涉及一种视频错误隐藏方法，尤其是涉及一种立体视频宏块丢失错误隐藏方法。
背景技术：
随着多媒体与网络技术的快速发展，视频技术正向立体化、数字化、网络化、高清晰度方向发展。与传统媒体相比，立体视频的突出优势在于它能够为大众创造更加直观真实的场景感受，提供更多样化全方位的媒体交互功能。因而，人们对立体视频系统开发与应用的需求也越来越迫切，如在数字立体电视、远程教育、远程工业控制、三维视频会议系统、虚拟现实系统、远程医疗、遥控机器人、自动导航、消费电子等诸多领域。立体视频压缩通常是利用视差估计与补偿、运动估计与补偿、离散余弦变换、块量化以及变长编码来最大限度地降低立体视频信号在空间、时间、视点间的冗余，达到高效压缩。另一方面，高效压缩编码可能会降低视频传输中的容错能力。由于网络阻塞和信道扰动，立体视频码流的传输会不可避免地出现数据包丢失或部分比特出错，从而导致客户端解码出错并直接影响立体图像质量，这种情况在低码率立体视频码流传输中尤为明显。现有的立体视频错误隐藏方法主要集中在整帧丢失的情况，然而，整帧丢失时可用于错误恢复的信息少于部分宏块丢失时可用的信息，因而面向部分宏块丢失的错误隐藏方法在一定程度上有别于整帧丢失的错误隐藏方法。当解码帧中部分宏块丢失时，除时域相关性和视点间相关性可以用于错误隐藏外，还可以利用同一图像帧中丢失宏块周边正常解码重建宏块的信息对丢失宏块 进行预测，并通过宏块边界匹配寻找与周围宏块纹理边缘匹配最佳的预测宏块，以达到较好的错误隐藏效果。就立体视频信号而言，对不同丢失宏块的类型采用单一的恢复方法不能取得较好的恢复效果。因此，需要根据丢失宏块的类型设计一种高效的恢复策略。而现有的立体视频部分宏块丢失错误隐藏方法并没有很好的考虑不同丢失宏块的不同特性信息，从而导致采用恢复策略不当，最终影响了丢失宏块的恢复质量。
发明内容
本发明所要解决的技术问题是提供一种立体视频宏块丢失错误隐藏方法，其能够有效地提高丢失宏块恢复的主观质量和客观质量。本发明解决上述技术问题所采用的技术方案为:一种立体视频宏块丢失错误隐藏方法，其特征在于包括以下步骤:①假设立体视频中t时刻的右视点图像为丢失帧，记为打，将立体视频中已正确解码的t-1时刻的右视点图像记力7 将立体视频中已正确解码的t_2时刻的右视点图像记为Irt-1，将立体视频中已正确解码的t时刻的左视点图像记为I1t，将立体视频中已正确解码的t-1时刻的左视点图像记为；②采用移动帧差法计算1“与W之间的全局视差矢量，记为de，
权利要求
1.一种立体视频宏块丢失错误隐藏方法，其特征在于包括以下步骤: ①假设立体视频中t时刻的右视点图像为丢失帧，记为/;，将立体视频中已正确解码的t-1时刻的右视点图像记为，将立体视频中已正确解码的t-2时刻的右视点图像记为IU，将立体视频中已正确解码的t时刻的左视点图像记为/丨，将立体视频中已正确解码的t-1时刻的左视点图像记为广 ②采用移动帧差法计算,与之间的全局视差矢量，记为de，
2.根据权利要求1所述的一种立体视频宏块丢失错误隐藏方法，其特征在于所述的步骤②中取入1=5。
3.根据权利要求1或2所述的一种立体视频宏块丢失错误隐藏方法，其特征在于所述的步骤⑥的具体过程为: ⑥-1、根据4，对中与当前丢失宏块的坐标位置相同的宏块进行水平位移，当dJO时将/丨中与当前丢失宏块的坐标位置相同的宏块向左水平位移Gdb列像素，当0时将/J中与当前丢失宏块的坐标位置相同的宏块向右水平位移Gdb列像素，得到4中与当前丢失宏块的坐标位置相同的宏块经水平位移后的宏块，其中，
4.根据权利要求3所述的一种立体视频宏块丢失错误隐藏方法，其特征在于所述的步骤⑥-2中取M1=N1=S ;所述的步骤⑥-8中取M2=N2=8。
5.根据权利要求4所述的一种立体视频宏块丢失错误隐藏方法，其特征在于所述的步骤⑥-4中取A X1=IB且A Y1=O ;所述的步骤⑥-10中取A x2=16且A y2=0。
6.根据权利要求5所述的一种立体视频宏块丢失错误隐藏方法，其特征在于所述的步骤⑦的具体过程为: ⑦-1、获取/的全局双目恰可觉察失真阈值图，记为JND&，将JNDt中坐标位置为(x，y)的像素点的全局双目恰可觉察失真阈值记为BJND& (x，7)，BJNDdr (x，y) 二 TclJ,x, y) x (I — (:1 )A^ ,其中，I 彡 x 彡 W，I 彡 y 彡 H，Tc；lim(x, y)表iC1Iim \X^y)’示中坐标位置为(x，y)的像素点的对比度掩蔽效应的最大失真阈值，Talim(x，y)=Tc(bg(x, y)) +K (bg (x, y)) X eh (x, y), Tc(bg(x, y))表示左视点图像在给定bg (x, y)的情况下引发感知差异的最小噪声幅值，K(bg(x, y))表示依据主观实验结果建立的增大因子拟合函数，K(bg(x, y))=-10(_6) X (0.7Xbg(x, y)2+32Xbg(x, y)) +0.07, bg(x, y)表示中坐标位置为(x, y)的像素点的背景亮度值，eh(x, y)表示/丨—t中坐标位置为(x，y)的像素点的梯度值，H1 (x, y)表示中坐标位置为(x，y)的像素点上的噪声幅值，\为控制主观亮度掩蔽对实验结果影响的参数； ⑦_2、计算JNDtt中的每个宏块中的所有像素点的全局双目恰可觉察失真阈值的均值，并将JND&中与当前丢失宏块的坐标位置相同的宏块中的所有像素点的全局双目恰可觉察失真阈值的均值记为U，然后计算JNDt中的所有宏块对应的全局双目恰可觉察失真阈值的均值的平均值和标准差，分别记为U I和O 1，再判断U〈U I+。I是否成立，如果成立，则确定当前丢失宏块为不敏感块，然后采用视差补偿预测方法恢复当前丢失宏块的亮度信息和色度信息，再执行步骤⑨，否则，确定当前丢失宏块为敏感块，然后执行步骤⑧。
7.根据权利要求6所述的一种立体视频宏块丢失错误隐藏方法，其特征在于所述的步骤⑧的具体过程为: ⑧-1、检测当前丢失宏块的上相邻宏块、下相邻宏块、左相邻宏块和右相邻宏块是否已正确解码，然后将当前丢失宏块的上相邻宏块、下相邻宏块、左相邻宏块和右相邻宏块中已正确解码的宏块作为可用宏块； ⑧_2、对每个可用宏块进行DCT变换，得到每个可用宏块中的每个像素点的交流系数；⑧-3、计算每个可用宏块中的所有像素点的交流系数的总能量，将第k个可用宏块中的所有像素点的交流系数的总能量记为EAC(k)，其中，I ^k^K,k的初始值为1，K表示当前丢失宏块对应的可用宏块的个数； ⑧-4、根据每个可用宏块中的所有像素点的交流系数的总能量，计算每个可用宏块的图像细节程度评价因子，将第k个可用宏块的图像细节程度评价因子记.,In Ii ir (k)为
8.根据权利要求7所述的一种立体视频宏块丢失错误隐藏方法，其特征在于所述的步骤⑧-5中取Tdt=0.78。
全文摘要
本发明公开了一种立体视频宏块丢失错误隐藏方法，其首先确定丢失宏块属于左边界遮挡区域或右边界遮挡区域还是属于非边界遮挡区域，然后对属于非边界遮挡区域的丢失宏块，根据宏块的运动与静止特性将其归为运动宏块或静止宏块，接着利用宏块的人眼敏感度特性将运动宏块归为敏感块或不敏感块，再利用宏块的纹理与平滑特性将敏感块归为纹理块或平滑块，对属于左边界遮挡区域或右边界遮挡区域的丢失宏块、静止宏块、不敏感块、纹理块、平滑块分别采用时域运动补偿预测、时域帧拷贝、视差补偿预测、多方向插值、线性插值的方式恢复丢失宏块，由于本发明方法根据不同特性的宏块采用自适应的恢复策略，因此有效地提高了恢复的宏块的主客观质量。
文档编号H04N13/00GK103237226SQ201310117270
公开日2013年8月7日 申请日期2013年4月7日 优先权日2013年4月7日
发明者蒋刚毅, 孙越, 陈芬, 邵枫, 彭宗举, 王晓东, 李福翠 申请人:宁波大学