专利名称：一种多视点视频整帧丢失错误隐藏方法
技术领域：
本发明涉及一种视频错误隐藏方法，尤其是涉及一种多视点视频整帧丢失错误隐藏方法。
背景技术：
多视点视频可广泛应用于自由视点电视、三维电视等。与单视点视频相比，多视点视频传输数据量极大，因此必须对其进行有效的压缩编码。目前几乎所有的多视点视频编码方案均采用时间和空间预测来消除时域、空域以及视点间的冗余信息，使得编码的多视点视频流对信道差错非常敏感。然而，由于信道堵塞等原因，网络丢包时有发生，一旦出现差错，如果不加以恢复，不仅会影响当前出错帧和当前视点后续帧的正确解码，而且由于多视点视频编码采用了视差估计来消除视点间的冗余信息，因此还会严重降低以出错视点为参考的其它视点后续帧的解码质量，导致出现马赛克、黑块、停顿等情况。目前差错恢复的技术主要分为三类基于编码端的差错复原编码技术、解码端错误隐藏技术、编解码器交互式差错控制技术。解码端错误隐藏技术不会增加传输带宽，且时延低，是提高多视点视频传输鲁棒性的有效途径之一。现有的多视点视频错误隐藏算法主要集中在部分宏块丢失的情况，恢复的主要过程为假设丢失帧中受损宏块与其相邻宏块或参考帧中相同位置的宏块具有相似的运动矢量矢量/视差矢量，从而可以利用其相邻的正确解码宏块或参考帧中相同位置的宏块的运动/视差矢量恢复出受损宏块的若干候选块，最后利用边界匹配准则或者加权方法得到最终恢复宏块。然而，对于整帧丢失的情况，由于受损帧中不存在正确解码宏块，故而现有的针对部分宏块丢失的错误隐藏算法，并不能简单直接应用于多视点视频整帧丢失的情况；另一方面，对于位于运动剧烈区域的宏块，由于受损宏块与参考帧中相同位置的宏块运动情况往往存在较大差异，从而导致预测不准，影响受损块的恢复质量；此外，现有的针对部分宏块丢失的错误隐藏算法在计算受损宏块的若干候选块时没有充分判断最优的恢复方法，在恢复丢失宏块时需要恢复多次来求得不同候选块，导致计算复杂度增加。
发明内容
本发明所要解决的技术问题是提供一种计算复杂度低，且恢复质量高的多视点视频整帧丢失错误隐藏方法。本发明解决上述技术问题所采用的技术方案为一种多视点视频整帧丢失错误隐藏方法，其特征在于包括以下步骤①假定多视点视频的第S。个视点中的第t。时刻的图像帧为丢失帧，记为f(t。，S。)，则将多视点视频的第S。个视点中已正确解码的时域上先于丢失帧f(t。，S。)且离丢失帧f(tc, Sc)最近的图像帧记为f(tp，s。)，将多视点视频的第S。个视点中已正确解码的时域上后于丢失帧f(t。，s。)且离丢失帧f(t。，S。)最近的图像帧记为€(、，8。)，令&为多视点视频中离第S。个视点最近的左视点的编号，令S为多视点视频中离第S。个视点最近的右视点的编号，将多视点视频的第&个视点中已正确解码的第t。时刻的图像帧记为f (t。，，将多视点视频的第、个视点中已正确解码的第t。时刻的图像帧记为f(t。，s,)，将多视点视频的第&个视点中已正确解码的第tp时刻的图像帧记为f (tp，S1)，将多视点视频的第、个视点中已正确解码的第tp时刻的图像帧记为f(tp，sr)，将多视点视频的第&个视点中已正确解码的第tb时刻的图像帧记为f(tb，Sl)，将多视点视频的第、个视点中已正确解码的第tb时刻的图像帧记为f(tb，、)，其中，tp为多视点视频的第\个视点中已正确解码的时域上先于丢失帧f(t。，sc)且离丢失帧f(t。，sc)最近的图像帧f(tp，sc)所在的时刻，tp < t。，tb为多视点视频的第S。个视点中已正确解码的时域上后于丢失帧f(t。，s。)且离丢失帧f (t。，s。)最近的图像帧f (tb，sc)所在的时刻，tc < tb ；②计算f(t。，S1)与 f(tc，sr)的帧差图像，记为 f(t。)，f(tc) = f(tc, Sl)-f(tc,、)I，同时计算 f(tp，h) %f(tp,sr)的帧差图像，记为 f(tp)，f(tp) = f(tp,Sl)-f(tp,Sr) I,然后计算f(t。)与f(tp)的帧差图像，记为fa，fa= |f(t。)-f(tp) |，其中，“| |”为取绝对值符号；
W H③将fa分割成一X—个互不重叠的尺寸大小为mXm的第一图像块，统计fa中
m m
的每个第一图像块中像素值大于统计值判断阈值T。的像素点的个数，并确定fa中的每个第一图像块的映射状态对于fa中的第i个第一图像块，将其记为Blki,统计Blki中像素值大于统计值判断阈值Ttl的像素点的个数，记为Ni,并确定Blki的映射状态，记为s (i)，
^)=1^' iffD，其中，ImHw和H分别表示多视点视频中的图像巾贞的宽度和
Lu' 1J - yvOmm
高度，N0为映射状态判断阈值；
W H④将丢失帧f(t。，s。)分割成一χ—个互不重叠的尺寸大小为mXm的第二图像块，
m m
W H
将f(tp，sc)分割成一χ—个互不重叠的尺寸大小为mXm的第三图像块，将f(t。，S1)分割m m
W H
成一x一个互不重叠的尺寸大小为mXm的第四图像块，然后根据fa中坐标位置与丢失帧m m
f(t。，Sc)中的第二图像块的坐标位置对应的第一图像块的映射状态，利用f(tp，Sc)中坐标位置与丢失帧f(t。，Sc)中的第二图像块的坐标位置对应的第三图像块中各个像素点的像素值或f(t。，S1)中坐标位置与丢失帧f(t。，Sc)中的第二图像块的坐标位置对应的第四图像块中各个像素点的像素值，逐一初步恢复丢失帧f(t。，Sc)中的各个第二图像块，获得丢失帧f(t。，Sc)的初步恢复帧，记为f ‘ (t。，S。)，具体过程为④-1、定义丢失帧f(t。，s。)中当前待初步恢复的第i个第二图像块为当前第二图像块，记为Bi,令( , )为当前第二图像块Bi的左上角顶点的坐标位置；④-2、判断fa中左上角顶点的坐标位置与当前第二图像块&的左上角顶点的坐标位置( ,,; .)对应的第一图像块Blki的映射状态s (i)是否为0，如果是，则将f(tp，sc)中左上角顶点的坐标位置与当前第二图像块Bi的左上角顶点的坐标位置0 ,; .)对应的第三图像块BPi中各个像素点的像素值复制给当前第二图像块Bi中对应的像素点；否则，通过视差估计方法计算f(t。，S1)中左上角顶点的坐标位置与当前第二图像块Bi的左上角顶点的坐标位置0 ，yBl )对应的第四图像块BLi在f (t。，sr)中的最佳匹配块，并得到相应的视差矢量(dXi，(Iyi),然后将f(t。，S1)中左上角顶点的坐标位置与当前第二图像块Bi的左上角顶点的坐标位置( ,，yBl )对应的第四图像块BLi中各个像素点的像素值复制给丢失帧f (t。，sc)中左上角顶点的坐标位置为0 +^xdXl,yBi +/ΙχφΟ的大小为mXm的图像块中对应的, D1
像素点，其中乂 = D ^，Dl表示多视点视频的第&个视点和第S。个视点之间的距离，Dk
L R
表示多视点视频的第^个视点和第S。个视点之间的距离；④-3、令i' =i+l，i = i'，将丢失帧f(tc，Sc)中下一个待初步恢复的第二图像块作为当前第二图像块Bi,返回步骤④-2继续执行，直至丢失帧f(t。，sc)中的所有第二图像块完成初步恢复为止，获得丢失帧f(t。，sc)的初步恢复帧f' (t。，s。)，其中，i'的初始值为0;⑤对丢失帧f(t。，s。)的初步恢复帧f' (t。，S。)进行空洞区域填补处理，获得丢失帧f(t。，s。)的最终恢复帧。所述的步骤⑤的具体过程为⑤-I、逐行水平扫描丢失帧f(t。，S。)的初步恢复帧f' (t。，S。)，如果检测到空洞区域，且该空洞区域的水平宽度gx小于阈值n，则采用水平插值填补该空洞区域；⑤_2、将丢失帧f(t。，sc)的初步恢复帧f' (t。，sc)的所有行完成水平扫描后得到的图像帧记为f〃(t。，s。)；⑤_3、逐列垂直扫描f" (t。，S。)，如果检测到空洞区域，且该空洞区域的垂直高度gy小于阈值n，则采用垂直插值填补该空洞区域；⑤-4、将f" (t。，S。)的所有列完成垂直扫描后得到的图像帧记为f' “ (t。，s。)；⑤-5、对f' ‘‘ (t。，S。)实施空洞区域检测和填补，具体过程为a、将f' ‘‘ (tc,s。)中检测到的第j个空洞区域记为Ci,令X、为&的最左端的横坐标，令>^为&的最上端的纵坐标，其中，j彡1 ；b、令Βτ。ρ表示f ‘ ‘‘ (t。，sc)中位于Cj上方的左上角顶点的坐标位置为(吃-^Zcj 且右下角顶点的坐标位置为0 +m-\,yTCj +1)的长方形图像块，BLeft表示f' “ (t。，S。)中位于Cj左侧的左上角顶点的坐标位置为(吃-化戎)且右下角顶点的坐标位置为(<-1，<- + 1)的长方形图像块，此处，整帧图像的左下角顶点为原点，向上为y轴正方向，向右为χ轴正方向，其中，w表示 。p的高度与的宽度；C、定义B· U ㈤为。的相邻块，记为BMghb。r，BNeighb = BLeft U Btop ；d、采用视差估计方法寻找f ‘ “ (t。，sc)中Cj的相邻块BMghb 在f(t。，S1)中的最佳匹配块，记所获得的视差矢量为(^v 4^)，然后令f' ‘‘ (t。，S。)中的Cj中坐标位置为(x，y)的像素点的像素值等于f(t。，S1)中坐标位置为(x + dxCj,y + Φ、)的像素值，其中，χ )χ<xg,yBCj <y<yTCj，呤表示Cj的最右端的横坐标，
3 表示Cj的最下端的纵坐标。所述的n = 4。所述的m的值为2的幂次，所述的统计值判断阈值Ttl的值为fa中所有像素点的像
素值的均值Λ与标准差σ的加权和，7；=义+Τσ，λ ‘为权值，所述的映射状态判断阈值
所述的4中所有像素点的像素值的均值与标准差σ的加权和中λ ‘ = 1。与现有技术相比，本发明的优点在于通过预先判断丢失帧中各个图像块在时域与视点间相关性的强弱，以选择合适的参考帧，采用不同的恢复方法恢复丢失帧中的图像块，并对恢复得到的初步恢复帧进行空洞区域填补处理，得到丢失帧的最终恢复帧，由于本发明方法有效利用了视点间相关性与时域相关性，对于丢失帧中预先判定为时域相关性较强的图像块，采用时域直接拷贝的方法恢复图像块，不仅可减少计算复杂度，而且能提高所恢复的这部分图像块的主客观质量，而对于丢失帧中预先判定为时域相关性较差的图像块，采用视点间预测恢复的方法恢复图像块，可以有效提高这部分图像块恢复的准确性。本发明方法在对丢失帧的初步恢复帧进行空洞区域填补过程中充分利用了视点间相关性及空间相关性，并且预先判断出最优相关性，然后根据不同的最优相关性分别采取相应的空洞填补方法，既提高了空洞填补效果，又有效地降低了计算复杂度。
图1为本发明方法的总体实现框图；图2为本发明方法中多视点视频的丢失帧f(t。，sc)与图像帧f (t。，Sl),f(tc, sr)、f(tp, s。)、f(tp，Sl),f(tp, sr),f(tb, s。)、f(tb，S1)和 f(tb，Sr)之间的位置关系示意图；图3为水平插值的示意图；图4为空洞区域&与其上相邻块Βτ。ρ和左相邻块Buft的位置关系示意图；图为尺寸为10 X 768的hdoor多视点视频序列图像；图釙为尺寸为10 X 768的Outdoor多视点视频序列图像；图5c为尺寸为640 X 480的Rena多视点视频序列图像；图5d为尺寸为640X480的Xmas3cm多视点视频序列图像；图6a为测试序列Outdoor在QP = 24时的丢失帧正常解码重建时的图像；图6b为测试序列Outdoor的采用时域帧拷贝方法FC恢复得到的丢失帧；图6c为测试序列Outdoor的采用本发明方法恢复得到的丢失帧。
具体实施例方式以下结合附图实施例对本发明作进一步详细描述。本发明提出了一种多视点视频整帧丢失错误隐藏方法，其总体实现框图如图1所示，其主要包括以下步骤①假定多视点视频的第S。个视点中的第t。时刻的图像帧为丢失帧，记为f(t。，S。)，则将多视点视频的第S。个视点中已正确解码的时域上先于丢失帧f(t。，S。)且离丢失帧f(tc, sc)最近的图像帧记为f(tp，s。)，将多视点视频的第S。个视点中已正确解码的时域上后于丢失帧f(t。，s。)且离丢失帧f(t。，s。)最近的图像帧记为€(、，8。)，令&为多视点视频中离第S。个视点最近的左视点的编号，令&为多视点视频中离第S。个视点最近的右视点的编号，将多视点视频的第&个视点中已正确解码的第t。时刻的图像帧记为f (t。，，将多视点视频的第、个视点中已正确解码的第t。时刻的图像帧记为f(t。，s,)，将多视点视频的第&个视点中已正确解码的第tp时刻的图像帧记为f (tp，S1)，将多视点视频的第、个视点中已正确解码的第tp时刻的图像帧记为f(tp，sr)，将多视点视频的第&个视点中已正确解码的第tb时刻的图像帧记为f(tb，Sl)，将多视点视频的第、个视点中已正确解码的第tb时刻的图像帧记为f(tb，、)，其中，tp为多视点视频的第\个视点中已正确解码的时域上先于丢失帧f(t。，sc)且离丢失帧f(t。，sc)最近的图像帧f(tp，sc)所在的时刻，tp < t。，tb为多视点视频的第S。个视点中已正确解码的时域上后于丢失帧f(t。，s。)且离丢失帧f (t。，sc)最近的图像帧f (tb，sc)所在的时刻，tc < tb。图2 给出了丢失帧 f(tc，sc)与图像帧 f(tc，S1), f(tc, sr), f(tp, sc)、f(tp，S1),f(tp, sr),f(tb, sc),f(tb, S1)禾口 f(tb，Sr)之间的位置关系示意图。②计算f(t。，S1)与 f(tc，sr)的帧差图像，记为 f(t。)，f(tc) = f(tc, Sl)-f(tc,、)I，同时计算f(tp，Sl)与f(tp，iO 的帧差图像，记为f(tp)，f(tp) = f(tp,Sl)-f(tp,Sr) ι,然后计算f(t。)与f(tp)的帧差图像，记为fa，fa= |f(t。)-f(tp) |，其中，“| |”为取绝对值符号。
W H③将fa分割成一X—个互不重叠的尺寸大小为mXm的第一图像块，统计fa中
m m
的每个第一图像块中像素值大于统计值判断阈值T。的像素点的个数，并确定fa中的每个第一图像块的映射状态对于fa中的第i个第一图像块，将其记为Blki,统计Blki中像素值大于统计值判断阈值Ttl的像素点的个数，记为Ni,并确定Blki的映射状态，记为s (i)，
^)=1^' iffD，其中，ImHw和H分别表示多视点视频中的图像巾贞的宽度和
Lu' 1J - yvOmm
高度，N0为映射状态判断阈值。在此，通常根据图像帧尺寸的大小，m可以选择为64、32、或16等值，如果图像尺寸较大，则m也可相应增大，反之m可选较小的值；由于视频编码中图像块尺寸通常为2的幂次，因此本发明方法中m也选用2的幂次。在此，统计值判断阈值T。的值为fa中所有像素点的像素值的均值又与标准差σ的加权和，Τ;=_7α+/1’σ，这里，λ ‘为权值，λ ‘的值越大，统计值判断阈值Ttl的值也越大，丢失帧f(t。，s。)中被判定为静止区域(即映射状态s (i) =0的图像块)的面积将增加，从而使得采用时域直接拷贝的方法恢复的图像块的比例增加，虽然可以降低计算复杂度，但恢复的准确性会降低；而λ ‘的值越小，则后续恢复丢失帧f(t。，sc)的过程中大多数图像块将采用视点间预测恢复的方法恢复图像块，虽然提高了恢复的准确性，但同时也增加了计算复杂度。因此本发明折衷考虑，且经过大量实验，表明λ ‘ = 1时能够取得最好的效果。
在此，映射状态判断阈值=Y。
W H④将丢失帧f(t。，s。)分割成一χ—个互不重叠的尺寸大小为mXm的第二图像块，
m m
W H
将f(tp，sc)分割成一χ—个互不重叠的尺寸大小为mXm的第三图像块，将f(t。，S1)分割m m
W H
成一x一个互不重叠的尺寸大小为mXm的第四图像块，然后根据fa中坐标位置与丢失帧m m
f(t。，Sc)中的第二图像块的坐标位置对应的第一图像块的映射状态，利用f(tp，Sc)中坐标位置与丢失帧f(t。，Sc)中的第二图像块的坐标位置对应的第三图像块中各个像素点的像素值或f(t。，S1)中坐标位置与丢失帧f(t。，Sc)中的第二图像块的坐标位置对应的第四图像块中各个像素点的像素值，逐一初步恢复丢失帧f(t。，sc)中的各个第二图像块，获得丢失帧f(t。，sc)的初步恢复帧，记为f ‘ (t。，sc)。在此具体实施例中，步骤④的具体过程为④-1、定义丢失帧f(t。，s。)中当前待初步恢复的第i个第二图像块为当前第二图像块，记为Bi,令0 ,; )为当前第二图像块Bi的左上角顶点的坐标位置。④_2、判断fa中左上角顶点的坐标位置与当前第二图像块&的左上角顶点的坐标位置0^.，>^.)对应的第一图像块Blki的映射状态s (i)是否为0，如果是，则将f(tp，sc)中左上角顶点的坐标位置与当前第二图像块Bi的左上角顶点的坐标位置0 ,; .)对应的第三图像块BPi中各个像素点的像素值复制给当前第二图像块Bi中对应的像素点；否则，通过视差估计方法计算f(t。，S1)中左上角顶点的坐标位置与当前第二图像块Bi的左上角顶点的坐标位置0 ，yBl )对应的第四图像块BLi在f (t。，sr)中的最佳匹配块，并得到相应的视差矢量(dXi，(Iyi),然后将f(t。，S1)中左上角顶点的坐标位置与当前第二图像块Bi的左上角顶点的坐标位置( ,，yBl )对应的第四图像块BLi中各个像素点的像素值复制给丢失帧f (t。，sc)中左上角顶点的坐标位置为( +λχ χ^γΒι +/ΙχφΟ的大小为mXm的图像块中对应的
,Dr
像素点，其中，2 = D Id，如图2所示，队表示多视点视频的第&个视点和第S。个视点之
L R
间的距离，De表示多视点视频的第&个视点和第S。个视点之间的距离。④-3、令i' =i+l，i = i'，将丢失帧f(tc，Sc)中下一个待初步恢复的第二图像块作为当前第二图像块Bi,返回步骤④-2继续执行，直至丢失帧f(t。，sc)中的所有第二图像块完成初步恢复为止，获得丢失帧f(t。，sc)的初步恢复帧f' (t。，s。)，其中，i'的初始值为0。⑤对丢失帧f(t。，sc)的初步恢复帧f ‘ (t。，sc)进行空洞区域(即尚未赋值的像素点所形成的区域)填补处理，获得丢失帧f(t。，sc)的最终恢复帧。在此具体实施例中，步骤⑤的具体过程为⑤-I、逐行水平扫描丢失帧f(t。，S。)的初步恢复帧f' (t。，S。)，如果检测到空洞区域，且该空洞区域的水平宽度gx小于阈值n，则采用水平插值填补该空洞区域。图3为水平插值的示意图，图3中用数字标记的方块为初步恢复帧f' (t。，s。)中某行的非空洞像素，即这些像素已通过步骤④获得如方块中数字所示的像素值，而阴影标记的方块为空洞像素，即这些像素尚未被赋值，水平宽度&如图3所示，本实施例中取阈值η = 4。⑤_2、将丢失帧f(t。，sc)的初步恢复帧f' (t。，sc)的所有行完成水平扫描后得到的图像帧记为f〃(t。，s。)。⑤-3、逐列垂直扫描f" (t。，sc)，如果检测到空洞区域，且该空洞区域的垂直高度gy小于阈值n，则采用垂直插值填补该空洞区域。这里垂直插值的处理方式类似于水平插值，垂直高度&的意义也与水平宽度gx的意义相似。⑤-4、将f" (t。，S。)的所有列完成垂直扫描后得到的图像帧记为f' “ (t。，sc)。⑤-5、对f' ‘‘ (t。，S。)实施空洞区域检测和填补，具体过程为a、将f' ‘‘ (t。，s。)中检测到的第j个空洞区域记为Ci，令X、为&的最左端的横坐标，令《7为&的最上端的纵坐标，其中，j彡1。b、令 。p表示f' “ (t。，sc)中位于Cj上方的左上角顶点的坐标位置为-^Zcj 且右下角顶点的坐标位置为+m-\,yTCj +1)的长方形图像块，BLeft表示f' “ (t。，S。)中位于Cj左侧的左上角顶点的坐标位置为且右下角顶点的坐标位置为(<-1，>ξ- + 1)的长方形图像块，此处，整帧图像的左下角顶点为原点，向上为1轴正方向，向右为χ轴正方向，其中，w表示 。ρ的高度与B·的宽度，在此取w = 4。空洞区域Cj与其上相邻块Βτ。ρ和左相邻块的位置关系如图4所示。C、定义U Btop为Cj的相邻块，记为BNeighb ，BNeighbor = BLeft U BT。P。d、采用视差估计方法寻找f' “ (t。，Sc)中(^_的相邻块BMghb 在f(t。，S1)中的最佳匹配块，记所获得的视差矢量为，4^)，然后令f' ‘‘ (t。，sc)中的Cj中坐标位置为(X，y)的像素值等于f(t。，S1)中坐标位置为+ + 的像素值，其中，X^ <x<xRCjyCj <y<yTCj，xg表示Cj的最右端的横坐标，
减表示Cj的最下端的纵坐标。本实施例采用了 JMVC8. 3测试平台，图像组(GOP)长度为8，帧率为30fps，量化参数QP分别为24,28,32.测试的四组多视点视频序列如图5a、图5b、图5c和图5d所示，分别是图像尺寸为10 X 768的hdoor、0utdoor序列，以及图像尺寸为640X480的Rena和Xmas3cm序列。本实施例中，假设GOP中的第4帧为丢失帧，对于图像尺寸为10 X 768的Indoor和Outdoor序列，m取为64，而对于图像尺寸为640X480的Rena和Xmas3cm序列，m取为32。表1不同测试序列错误隐藏结果的比较
权利要求
1. 一种多视点视频整帧丢失错误隐藏方法，其特征在于包括以下步骤①假定多视点视频的第S。个视点中的第t。时刻的图像帧为丢失帧，记为f(t。，s。)，则将多视点视频的第S。个视点中已正确解码的时域上先于丢失帧f(t。，s。)且离丢失帧f (t。，S。)最近的图像帧记为f(tp，Sc)，将多视点视频的第S。个视点中已正确解码的时域上后于丢失中贞f(t。，s。)且离丢失帧f(t。，s。)最近的图像帧记为€(、，8。)，令&为多视点视频中离第Sc个视点最近的左视点的编号，令\为多视点视频中离第S。个视点最近的右视点的编号，将多视点视频的第&个视点中已正确解码的第t。时刻的图像帧记为f (t。，S1)，将多视点视频的第、个视点中已正确解码的第t。时刻的图像帧记为f (t。， Ο，将多视点视频的第&个视点中已正确解码的第tp时刻的图像帧记为f(tp，sl)，将多视点视频的第、个视点中已正确解码的第tp时刻的图像帧记为f(tp，Sr)，将多视点视频的第&个视点中已正确解码的第tb时刻的图像帧记为f(tb，sl)，将多视点视频的第、个视点中已正确解码的第tb时刻的图像帧记为f(tb， Ο，其中，tp为多视点视频的第S。个视点中已正确解码的时域上先于丢失帧f(t。，Sc)且离丢失帧f(t。，Sc)最近的图像帧f(tp，Sc)所在的时刻，tp < t。，tb为多视点视频的第S。个视点中已正确解码的时域上后于丢失帧f(t。，Sc)且离丢失帧f(t。，Sc)最近的图像帧f(tb，Sc)所在的时刻，tc < tb ；②计算f(t。，Sl) %f(tc,sr)的帧差图像，记为 f(t。)，f(t。)= |f(t。，Sl)-f(t。，Sr) I，同时计算 f(tp，Sl)与 f(tp，iO 的帧差图像，记为 f(tp)，f(tp) = |f(tp，Sl)-f(tp，Sr) |，然后计算f(t。)与f(tp)的帧差图像，记为fa，fa= 4(、)4(%)|，其中，“||”为取绝对值符号；W H③将fa分割成Ix—个互不重叠的尺寸大小为mXm的第一图像块，统计fa中的每m m个第一图像块中像素值大于统计值判断阈值T。的像素点的个数，并确定fa中的每个第一图像块的映射状态对于fa中的第i个第一图像块，将其记为Blki,统计Blki中像素值大于统计值判断阈值Ttl的像素点的个数，记为Ni,并确定Blki的映射状态，记为s (i)，^)=1^' iffD，其中，ImHw和H分别表示多视点视频中的图像巾贞的宽度和Lu' 1J - yvOmm高度，N0为映射状态判断阈值；W H④将丢失帧f(t。，sc)分割成一χ—个互不重叠的尺寸大小为mXm的第二图像块，m mW H将f(tp，sc)分割成一χ—个互不重叠的尺寸大小为mXm的第三图像块，将f(t。，S1)分割m mW H成一x一个互不重叠的尺寸大小为mXm的第四图像块，然后根据fa中坐标位置与丢失帧m mf(t。，Sc)中的第二图像块的坐标位置对应的第一图像块的映射状态，利用f(tp，Sc)中坐标位置与丢失帧f(t。，Sc)中的第二图像块的坐标位置对应的第三图像块中各个像素点的像素值或f(t。，S1)中坐标位置与丢失帧f(t。，Sc)中的第二图像块的坐标位置对应的第四图像块中各个像素点的像素值，逐一初步恢复丢失帧f(t。，Sc)中的各个第二图像块，获得丢失帧f(t。，Sc)的初步恢复帧，记为f ‘ (t。，S。)，具体过程为④-1、定义丢失帧f(t。，S。)中当前待初步恢复的第i个第二图像块为当前第二图像块，记为Bi,令( , )为当前第二图像块Bi的左上角顶点的坐标位置；④-2、判断fa中左上角顶点的坐标位置与当前第二图像块Bi的左上角顶点的坐标位置0 ,; .)对应的第一图像块Blki的映射状态s (i)是否为0，如果是，则将f(tp，sc)中左上角顶点的坐标位置与当前第二图像块Bi的左上角顶点的坐标位置0 ,; .)对应的第三图像块BPi中各个像素点的像素值复制给当前第二图像块Bi中对应的像素点；否则，通过视差估计方法计算f(t。，S1)中左上角顶点的坐标位置与当前第二图像块Bi的左上角顶点的坐标位置0 JA.)对应的第四图像块BLi在€(、，sr)中的最佳匹配块，并得到相应的视差矢量(dXi，(Iyi),然后将f(t。，S1)中左上角顶点的坐标位置与当前第二图像块Bi的左上角顶点的坐标位置( ，yBl )对应的第四图像块BLi中各个像素点的像素值复制给丢失帧f (t。，sc)中左上角顶点的坐标位置为( +λχ χ^γΒι +/ΙχφΟ的大小为mXm的图像块中对应的, D1像素点，其中乂 = D ^，Dl表示多视点视频的第&个视点和第S。个视点之间的距离，DkL R表示多视点视频的第^个视点和第S。个视点之间的距离；④-3、令i'= i+l,i = i'，将丢失帧f(tc，Sc)中下一个待初步恢复的第二图像块作为当前第二图像块Bi,返回步骤④-2继续执行，直至丢失帧f(t。，sc)中的所有第二图像块完成初步恢复为止，获得丢失帧f(t。，sc)的初步恢复帧f' (t。，s。)，其中，i'的初始值为0 ；⑤对丢失帧f(t。，sc)的初步恢复帧f'(t。，sc)进行空洞区域填补处理，获得丢失帧f(tc, Sc)的最终恢复帧。
2.根据权利要求1所述的一种多视点视频整帧丢失错误隐藏方法，其特征在于所述的步骤⑤的具体过程为⑤-1、逐行水平扫描丢失帧f(t。，s。)的初步恢复帧f' (t。，S。)，如果检测到空洞区域，且该空洞区域的水平宽度gx小于阈值n，则采用水平插值填补该空洞区域；⑤-2、将丢失帧f(t。，sc)的初步恢复帧f' (t。，sc)的所有行完成水平扫描后得到的图像帧记为f “ (t。，sc)；⑤_3、逐列垂直扫描f" (t。，sc)，如果检测到空洞区域，且该空洞区域的垂直高度&小于阈值n，则采用垂直插值填补该空洞区域；⑤-4、将f" (t。，S。)的所有列完成垂直扫描后得到的图像帧记为f〃 ‘ (t。，s。)；⑤-5、对f" ‘ (t。，S。)实施空洞区域检测和填补，具体过程为a、将f" ‘ (t。，s。)中检测到的第j个空洞区域记为Cj,令吃为Cj的最左端的横坐标，令>^为Cj的最上端的纵坐标，其中，j彡1 ；b、令Βτ。ρ表示f〃 ‘ (t。，sc)中位于Cj上方的左上角顶点的坐标位置M^cj ~^yTCj 且右下角顶点的坐标位置为+m-\yTCj +1)的长方形图像块，BLeft表示 " ‘ (t。，S。)中位于Cj左侧的左上角顶点的坐标位置为且右下角顶点的坐标位置为(<-1，>ξ- + 1)的长方形图像块，此处，整帧图像的左下角顶点为原点，向上为y轴正方向，向右为χ轴正方向，其中，w表示 。p的高度与的宽度；C、定义U 。p为Cj的相邻块，记为BMghb ，BNeighb = BLeft U Btop ；d、采用视差估计方法寻找f〃 ‘ (t。，sc)中Cj的相邻块BMghb 在f(t。，S1)中的最佳匹配块，记所获得的视差矢量为(Acv 4^)，然后令f 〃 ‘ (t。，sc)中的Cj中坐标位置为(X，y)的像素点的像素值等于f(t。，S1)中坐标位置为(x + dxCj,y + )的像素值，其中，χ )X<xgyCj <y<yTCj，呤表示Cj的最右端的横坐标，3 表示Cj的最下端的纵坐标。
3.根据权利要求2所述的一种多视点视频整帧丢失错误隐藏方法，其特征在于所述的η = 4。
4.根据权利要求1至3中任一项所述的一种多视点视频整帧丢失错误隐藏方法，其特征在于所述的m的值为2的幂次，所述的统计值判断阈值Ttl的值为fa中所有像素点的像素值的均值Λ与标准差σ的加权和，
5.根据权利要求4所述的一种多视点视频整帧丢失错误隐藏方法，其特征在于所述的4中所有像素点的像素值的均值Λ与标准差σ的加权和中λ ‘ = 1。
全文摘要
本发明公开了一种多视点视频整帧丢失错误隐藏方法，该方法通过预先判断丢失帧中各个图像块在时域与视点间相关性的强弱，以选择合适的参考帧，采用不同的恢复方法恢复丢失帧中的图像块，并对恢复得到的初步恢复帧进行空洞区域填补处理，得到丢失帧的最终恢复帧，优点在于本发明方法有效利用了视点间相关性与时域相关性，对于丢失帧中预先判定为时域相关性较强的图像块，采用时域直接拷贝的方法恢复图像块，不仅可减少计算复杂度，而且能提高所恢复的这部分图像块的主客观质量，而对于丢失帧中预先判定为时域相关性较差的图像块，采用视点间预测恢复的方法恢复图像块，可以有效提高这部分图像块恢复的准确性。
文档编号H04N7/68GK102572446SQ201210005799
公开日2012年7月11日 申请日期2012年1月10日 优先权日2012年1月10日
发明者李福翠, 程清栋, 蒋刚毅, 郁梅 申请人:宁波大学