多视点立体视频在丢包网络中的GGoP级失真递归方法
【专利摘要】一种多视点立体视频在丢包网络中的GGoP级失真递归方法，包括如下步骤：用H.264／MVC对多视点视频序列编码，s为视点编号，t为帧编号；仿真不同丢包率下失真的测量值Dc(s，t)，统计视点间预测、帧内编码和运动补偿时域掩盖的宏块比例V、Q、U；由第(s，t)帧第i像素在编码器和解码器处重建的像素值和得到DTEC(s，t)和DVEC(s,t)，用最小二乘法计算传输参数λa、λb以及μa、μb；以B为平均丢包率迭代出每个视点的平均传输失真Dc-test(s，t)；由Dc-test(s，t)计算GGoP级的平均失真Dc，GGoP；预测多视点视频传播的失真PSNR和MSE。本发明能够在保持较低运算复杂度的前提下预测整个GGoP的失真及误差传播情况，较好地模拟实际GGoP失真水平，仿真结果与实际情况相符，并与主观评价保持高度一致。
【专利说明】多视点立体视频在丢包网络中的GGoP级失真递归方法
【技术领域】
[0001]本发明涉及一种立体视频的传输。特别是涉及一种多视点立体视频在丢包网络中的GGoP级失真递归方法。
【背景技术】
[0002]帧间编码模式为视频编码带来了高压缩率，但同时也导致一个GOP中图像帧间的高依赖性。一旦某一个帧因信道出错而丢失，不仅该帧在重建时会出现失真，其后续的帧也将因帧间的参考不匹配而出现失真，即失真将在后续帧间传播。
[0003]而对于多视点立体视频来说，各视点图像数据之间有强相似性，不仅同一视点相邻帧之间存在时域相关性，同一时刻相邻视点对应帧之间还存在空域相关性，因此在多视点视频编码中，还采用了视点间的预测。多视点视频的这种编码方式虽然极大地降低了原始信号的时域和空域冗余度，但同时也降低了编码码流对抗网络传输错误的鲁棒性。在丢包网络中，其误差将向两个方向传播，传播模式由一维变为二维，因而对错误更加敏感。
[0004]目前已有的失真计算方法，如Sabir等人给出的MPEG-4编码的视频流通过具有误差弹性工具的有噪的衰落的信道时的误差模型。误差弹性工具指的是数据分区和分包，即视频被编码到不同的区和层。2008年Zhang等提出了一种递归的GoP级的传输失真模型，该模型建立在全帧丢失的误差传播行为模式上的。另外，还有一些学者将丢包的突发性纳入考虑，利用给出的Gilbert信道丢包模型，建立了一个更加精确的失真估计模型，以估计视频帧级和视频序列级的失真情况。尽管这些失真计算方法都能比较精确地对预期的失真情况作出估计，但它们只能应用到基于块的运动补偿预测框架的单视点视频编码器上或具有过高的复杂度，不适用于多视点立体视频的传输，同时也没有考虑到立体视觉的特殊性。在立体视频的研究中，针对具有视点间刷新等误差弹性工具的立体视频编码，X.Xiang等人提出了一种优化码率-失真模型，Tan等人为立体视频建立了一种端到端的速率-失真模型并得到了最佳编码器比特率和UEP速率。然而，这些文献计算的是只有左视点和右视点的传输失真。
[0005]迄今为止，在国内外公开发表的论文和文献中尚未见开展有关多视点视频传输失真在GGoP级的算法
【发明内容】
[0006]本发明所要解决的技术问题是，提供一种能够在保持较低运算复杂度的前提下预测整个GGoP的失真及误差传播情况的多视点立体视频在丢包网络中的GGoP级失真递归方法。
[0007]本发明所采用的技术方案是:一种多视点立体视频在丢包网络中的GGoP级失真递归方法，包括如下步骤:
[0008]I)采用H.264 / MVC对多视点视频序列进行编码，用s表示视点编号，t为同一视点内帧的编号；[0009]2)首先通过仿真在不同丢包率的条件下获得对应失真的测量值D。(s，t) ；Dc(s,t)定义为仿真中实际测量到的失真，即视频传输前后同一视点同一帧的像素差值；在编码端统计出来视点间预测的宏块比例V和帧内模式编码的宏块比例Q，以及宏块中采用运动补偿时域掩盖方式的百分比U;
[0010]3)测量出第(s，t)帧第i像素的像素值Fi (s，t)分别在编码器和解码器处重建的第(S，t)帧第i像素的像素值/:;(Λ.，/)和/;(.、.，/);
[0011]4)计算出视点内相邻帧的均方差DTK(s，t)和相邻视点的相同帧的均方差Dvec(s，t)；
[0012]5)由以下公式采用最小二乘法计算出XjP Xb的值，
【权利要求】
1.一种多视点立体视频在丢包网络中的GGoP级失真递归方法，其特征在于，包括如下步骤: 1)采用H.264 / MVC对多视点视频序列进行编码，用s表示视点编号，t为同一视点内中贞的编号； 2)首先通过仿真在不同丢包率的条件下获得对应失真的测量值Djsa)；Dc(s, t)定义为仿真中实际测量到的失真，即视频传输前后同一视点同一帧的像素差值；在编码端统计出来视点间预测的宏块比例V和帧内模式编码的宏块比例Q，以及宏块中采用运动补偿时域掩盖方式的百分比U; 3)测量出第(s，t)帧第i像素的像素值Fi(s，t)分别在编码器和解码器处重建的第(s，t)帧第i像素的像素值/:; (.Μ)和f-' ^?.4)计算出视点内相邻帧的均方差DTK(s，t)和相邻视点的相同帧的均方差DVEC(s，t)； 5)由以下公式采用最小二乘法计算出入3和Xb的值，
2.根据权利要求1所述的面向包交换网络的多视点视频传输失真预测方法，其特征在于，步骤⑷所述的视点内相邻帧的均方差DTK(s，t)和相邻视点的相同帧的均方差Dvec(s，t)是分别通过下式得到:
3.根据权利要求1所述的面向包交换网络的多视点视频传输失真预测方法，其特征在于，步骤(8)所述的GGoP的平均失真被定义为综合GGoP中各个帧的失真估计得到，如下式所示:
4.根据权利要求1所述的面向包交换网络的多视点视频传输失真预测方法，其特征在于，步骤(9)中 MSE是参考图像和重建图像之间的均方误差，代表重建图像的失真值，公式如下:
【文档编号】H04N19/597GK103873866SQ201410099963
【公开日】2014年6月18日 申请日期:2014年3月18日 优先权日:2014年3月18日
【发明者】周圆, 陈莹, 庞勃, 崔波, 侯春萍 申请人:天津大学