专利名称：立体视频编码率失真性能估计方法
技术领域：
本发明涉及图像处理技术领域，特别涉及一种针对虚拟视点绘制的立体视频编码 率失真性能估计方法。
背景技术：
随着多媒体技术的不断发展，传统的二维视频媒体已经不能满足人类视觉的需 要，人们希望看到更具真实感和互动性的视频节目，也即具有高度立体沉浸感的三维视频。 近年来逐渐兴起的三维视频技术，如多视点视频、自由视点视频以及立体视频等全新的视 频媒体正逐渐成为多媒体技术重要的组成部分。所谓自由视点视频是指观看者通过自由选 择观看视点来观看三维场景的视频媒体。自由视点视频发展经历了两个主要阶段，第一阶段被称作多视点视频，即观众可 以从播放的多视点视频中选择自己需要的视点来观看，通过不同视点视频之间的视差来形 成立体感。第二阶段被称为立体视频，即观看者可以自由选择观看视点观看具有立体感的 视频。为了获得多视点视频，就需要采用多路摄像机来采集同一场景，并将采集到的多路视 频传送到客户端，以及根据观众的需要来选择对应的多视点视频进行播放。而为了获得具 有自由视点的立体视频，需要在多视点视频的基础上进一步引入场景的几何信息，通过多 视点视频数据和几何信息来渲染得到观众随机选择的虚拟视点，从而让观众获得更强的观 看立体感。区别于传统的单路二维视频数据，立体视频是由多路二维视频数据和场景几何信 息组成，因此多视点视频的海量数据对传输带宽的需求远远大于传统的二维视频数据。此 外，如何有效地压缩场景几何信息也成为立体视频编码需要面对的新挑战。因此，为了实现 对立体视频的有效传输，需要针对立体视频特性来设计高效的编码技术。在早期，研究人员 将传统的视频压缩技术应用于多视点视频压缩，采用传统的单路视频压缩技术将多视点视 频中的每一个视点对应的视频单独进行压缩。该方案成为立体视频压缩最早的解决方案之
ο然而，多视点视频序列之间存在较强的相关性，即使是采用最高效的H. 264/AVC 编码技术，仍然无法有效地压缩不同视点之间的冗余。为此，研究人员设计了更加高效的多 视点视频压缩方案。该方案将传统的单路视频编码技术拓展到多路视频上来，在时域预测 编码的基础上加入视点间的预测编码，进一步压缩了多视点视频视点间的冗余，提高了多 视点视频压缩率失真性能。此外，针对基于深度图的立体视频场景几何信息，即多视点深度 图序列，研究人员同样采用多视点视频编码方案来实现对其高效压缩。随着立体视频技术 的不断发展，新的立体视频压缩技术正在快速的发展。目前，实时高效的立体视频编码技术 已经成为立体视频的应用走向市场的关键技术之一。在立体视频高效编码方案的基础上，为了实现对立体视频的有效传输，需要根据 网络条件调整编码参数。在传统的视频编码中，当已知网络带宽的情况下，可以根据编码的 率失真模型估计解码质量，从而更好地调整编码参数。因此，针对立体视频高效编码方案的率失真模型分析是实现立体视频有效传输的重要环节。现有技术存在的缺点是，目前还没有针对虚拟视点绘制的立体视频编码率失真性 能的估计方案。例如，在申请号为200810163801，名称为一种网络自适应的立体视频编码方法的 专利申请中，仅仅给出了立体视频不同的网络带宽下的自适应编码方案，没有针对立体视 频编码的率失真性能进行分析。在申请号为200810126528，名称为一种立体视频编解码方 法、装置及系统的专利申请中，虽然公开了一整套完整的立体视频编码方案、装置和系统， 但是同样没有给出立体视频编码率失真性能分析。在申请号为200710164747，名称为一 种面向多视点视频的码率控制方法的专利申请中，虽然公布了多视点视频编码的率失真模 型，但是没有针对虚拟视点绘制的立体视频编码率失真性能。
发明内容
本发明的目的旨在至少解决上述技术缺陷，提出了一种针对虚拟视点绘制的立体 视频编码率失真性能估计方法。为达到上述目的，本发明一方面提出了一种立体视频编码率失真性能估计方法， 包括以下步骤获得多视点视频，并根据所述多视点视频获得对应的多视点深度图；根据 所述多视点视频和所述多视点深度图分别获得多视点视频编码率失真模型和多视点深度 图编码率失真模型；根据所述多视点视频和所述多视点深度图分别获得所述多视点视频编 码失真与虚拟视点绘制失真之间的关系，以及所述多视点深度图编码失真与虚拟视点绘制 失真之间的关系；根据所述多视点视频编码失真与虚拟视点绘制失真之间的关系，以及所 述多视点深度图编码失真与虚拟视点绘制失真之间的关系获得虚拟视点绘制失真与多视 点视频以及多视点深度图各自的编码量化参数QP之间的关系；根据所述多视点视频编码 率失真模型和多视点深度图编码率失真模型获得绘制所述虚拟视点所需要的编码码率和 所述QP之间的关系；并统计不同QP下所述虚拟视点的绘制失真和绘制所述虚拟视点所需 要的编码码率以得到立体视频编码中虚拟视点的率失真模型。通过本发明提出的立体视频中虚拟视点绘制编码率失真分析方法，能够准确快速 地估计立体视频中虚拟视点绘制编码率失真性能，从而为立体视频编码参数的选择与码率 分配等问题提供了模型指导和解决方案，进一步提高了立体视频编码的效率。本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变 得明显，或通过本发明的实践了解到。
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变 得明显和容易理解，其中图1为本发明实施例提供的立体视频系统框图；图2为本发明实施例提供的多视点视频编码预测结构图；图3为本发明实施例的立体视频编码率失真性能估计方法流程图；图4为本发明实施例提供的虚拟视点绘制原理图；图5为本发明实施例提供的深度图四叉树分解示意图。
具体实施例方式下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终 相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附 图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。由于立体视频中，虚拟视点是通过多视点视频和场景几何信息来绘制，因此虚拟 视点绘制质量与多视点视频以及场景几何信息的编码质量相关。为此，本发明通过需要建 立多视点视频与场景几何信息编码联合率失真模型来获得针对虚拟视点绘制视频的编码 率失真模型，从而更好地指导立体视频编码参数的选择和码率分配等问题。本发明主要提出了一种实用的多视点视频与深度图编码联合率失真模型估计方 法。该方法能够有效地估计多视点视频与深度图编码质量和虚拟视点绘制质量之间的关 系，从而为给定网络带宽的条件下立体视频编码参数选择以及码率分配等问题提供了理论 指导。本发明实施例的应用环境如下本发明实施例应用的立体视频系统框图如图1所 示。其中，用于立体视频编码的视频序列采用高清格式的名字为“Breakdancer”的标准测试 视频序列；该高清格式视频序列的像素为1024X768 ；解码器采用H. 264/SVC (Multi-view Video Coding，多视点视频扩展版本)标准的参考软件JMVC(JointMulti_view Video Coding，多视点视频编码)；编码器GOP (Group of Pictures，图像组)的帧数为8 ；编码的 时域预测编码采用Hierarchical B (层次化双向预测编码帧，简称层次化B帧)的预测结 构，编码预测结构图如图2所示。服务器端获取多视点视频，并根据多视点视频获得多视点深度图，并在立体视频 编码中对多视点视频和多视点深度图进行编码并通过网络传输给客户端。客户端对接收到 的多视点视频和多视点深度图编码码流进行解码，并根据观众选择的虚拟视点生成相应的 虚拟视点视频并将其通过立体显示器显示给观众。在本实施样例中，虚拟视点绘制采用与虚拟视点相邻的两路视频和深度图来绘 制。具体的，本实施样例采用“Breakdancer”序列的视点4和视点6这两路视频作为多视 点视频输入序列。其中视点4称为左参考视点，视点6称为右参考视点。多视点视频和多 视点深度图编码量化参数QP的取值范围为0到51之间的整数。生成的虚拟视点的参数与 “Breakdancer”序列中视点5的参数相同。如图3所示，为本发明实施例的立体视频编码率失真性能估计方法流程图，在该 实施例中，多视点视频编码采用基于传统视频编码标准H. 264/AVC的多视点视频编码扩展 版本来实现。各视点内的每一个图像组的帧内编码帧(I帧)、前向预测编码帧(P帧)以及 双向预测编码帧(B帧)均采用相同的量化参数(QP)进行编码。该方法包括以下步骤步骤S301，建立多视点视频编码率失真模型。在给定多视点视频编码量化参数的 情况下，估计多视点视频编码码率和失真。当给定编码量化参数QP的取值后，首先通过Qstep =2(Qp-4)/6 得到量化参数 Qstep 的取值。例如，当 QP = 28 时，Qstep = 2(28-4)/6 = 16。该步骤可进一步细分为以下两步步骤S101，多视点视频编码的码率r。的计算表达式为
，其
中，参数Qstep的计算表达式为Qstep = 2(Qp-4)/6,参数a，b，c需要根据不同视频序列具体设置。具体地，在本发明的实施例中，对于“Breakdancer ”序列，由于编码码率r。和量化参数 Qstep之间的关系表达式为r=a/2_+6/2Lp + c，因此可以通过线性回归的方法来拟合得 到参数a为24. 37，b为-0. 303和c为0. 02，也即对于左右视点其编码码率r。和量化参数
Qstep 之间的关系表达式为{=24.37/β^-0.303/ρ_+0.02 J列如，当 Qstep = 16 时，rc = 0.096bpp。步骤S102，多视点视频编码的失真计算表达式为PSNR。= q。X QP+p。，其中参数qc 和P。需要根据不同视频序列具体设置。此时，在给定多视点视频编码量化参数QP的条件 下，可以得到多视点视频编码码率r。和失真PSNR。之间的对应关系。具体地，在本发明的实施例中，对于“Breakdancer ”序列，由于多视点视频编码的 失真计算表达式为PSNR。= q。XQP+p。，通过线性回归的方法来拟合得到参数q。为_0. 37和 Pc为49. 30，也即对于左右视点其解码质量PSNR。和编码量化参数QP之间的关系可以表示 为 PSNRc = -0. 37XQP+49. 30。当 QP = 28 时，PSNRc = -0. 37X28+49. 30 = 38. 94dB。步骤S302，建立深度图编码率失真模型。在给定多视点深度图编码量化参数的情 况下，估计多视点视频深度图编码码率和失真之间的对应关系。在该步骤中，多视点深度图 也采用同步骤S301中所述多视点视频编码进行编码。类似的，各视点内的每一个图像组的 I帧、P帧以及B帧也均采用相同的QP进行编码。同上述步骤，当编码量化参数QP的取值 为 28 时 Qstep= 16。该步骤可以进一步细分为以下两步S221、多视点深度图编码的码率rd的计算表达式为rd = k/Qstep+t，其中参数Qstep 的计算表达式为Qstep = 2(Qp-4)Ai，参数k，t需要根据不同深度图序列具体设置。具体地，在本发明的实施例中，对于“Breakdancer ”序列，由于编码码率rd和量化 参数Qstep之间的关系表达式为rd = k/Qstep+t,因此可以通过线性回归的方法来拟合得到参 数k为0. 9996和t为0. 0040，也即对于左右视点其编码码率r。和量化参数Qstep之间的关 系表达式为 rd = 0. 9996/Qstep+0. 0040。例如，当 Qstep = 16 时，r。= 0. 0665bpp。S222、多视点视频编码的失真计算表达式为PSNRd = qdX QP+pd，其中参数qd和Pd 需要根据不同深度图序列具体设置。此时，在给定多视点深度图编码量化参数QP的条件 下，可以得到多视点深度图编码码率rd和失真PSNRd之间的对应关系。具体地，在本发明的实施例中，对于“Breakdancer”序列，由于多视点深度图编码 的失真计算表达式为PSNRd = qdXQP+pd，通过线性回归的方法来拟合得到参数qd为_0. 65 和pd为63. 75，也即对于左右视点其解码质量PSNRd和编码量化参数QP之间的关系可以表 示为 PSNRd = -0. 65XQP+63. 75。当 QP = 28 时，PSNRd = -0. 65X28+63. 75 = 45. 55dB。接下来，本发明需要建立了虚拟视点失真与多视点视频编码失真以及深度图编码 失真之间的关系模型。在立体视频中，虚拟视点绘制是通过参考视点的深度图计算得到参 考视点和虚拟视点间对应像素点的位置关系，然后通过多个参考视点的视频序列中对应像 素点的亮度值和色度值来加权计算虚拟视点对应像素点的亮度值和色度值。因此，虚拟视 点的失真是由于多视点视频编码失真和多视点深度图编码失真共同引起。因此在本发明 中，为了便于建立虚拟视点失真与多视点视频和多视点深度图编码参数之间的函数关系， 将首先分析在多视点深度图无失真的条件下，虚拟视点失真与多视点视频编码失真之间的
7关系。其次，分析在多视点视频无失真的条件下，虚拟视点失真与多视点深度图编码失真 之间的关系。最后建立虚拟视点失真与多视点视频和多视点深度图编码失真的联合关系模 型。步骤S303，建立多视点视频编码失真与虚拟视点绘制失真之间的关系。在该步骤 中，设多视点深度图无失真，此时虚拟视点的失真仅由多视点视频编码失真引起。此时不
妨设生成虚拟视点Cv需要M个参考视点
虚拟视点绘制图像为M个 参考视点通过深度图绘制的虚拟视点图像的加权平均。因此，当第i个参考视点Crei;的视频 编码失真为时，参考视点Creyi的视频编码失真对于虚拟视点绘制图像失真EctW贡献为
，其中，
为第i个参考视点视频编码失真对于虚拟视点图像绘制失真贡献 的加权系数。考虑到通过参考视点的视频和深度图来绘制虚拟视点视频时，会出现遮挡等 现象，因此在计算虚拟视点失真漂时还需要将遮挡部分对应的误差减去。可以设通过参 考视点来绘制虚拟视点的过程中被遮挡的像素点的个数和参考视点整帧图像的像素点 个数的比例为7<，此时通过Crey；绘制虚拟视点所产生的失真￡’怎的计算表达式应该修正为
。因此，本发明通过M个参考视点加权绘制得到的虚拟视点图像失真可以
M
表示为 具体地，在本发明的实施例中，如图4所示，为绘制虚拟视点的原理图。在该步骤 中设多视点深度图无失真，此时虚拟视点的失真仅由多视点视频编码失真引起。假设左右
参考视点视频的编码失真分别为'^ci和一当左参考视点的视频编码参数为QP = 28时，左
11C °
参考视点视频的编码失真的计算方法为
。左参考视点的视频编
码失真对于虚拟视点绘制图像失真Ect的贡献为趁。同理，当右参考视点的视频编
码参数为QP = 28时，右参考视点的视频编码失真
。右参考视点
的视频编码失真对于虚拟视点绘制图像失真Ect的贡献为 由于虚拟视点到左右参考视点的距离相同，因此，加权系数I和满足I = We = 0. 5。考虑到通过参考视点的视频和深度图来绘制虚拟视点的视频时，会出现遮挡等现象， 因此在计算虚拟视点失真￡’怎时还需要将遮挡部分对应的误差减去。通过实验分析可知，对 于“Breakdancer”序列，通过视点4和视点6来绘制虚拟视点的过程中被遮挡的像素点的 个数和参考视点整帧图像的像素点个数的平均比例为0. 15，此时由于左右参考视点编码失 真所引起的虚拟视点图像失真可以表示为
。在本
发明的一个实施例中，例如当QP取值为28时，Ecff = 1. 25。步骤S304，建立深度图编码失真与虚拟视点绘制失真之间的关系。在该步骤中，假 设多视点视频无失真，此时虚拟视点的失真仅由多视点深度图编码失真引起。根据虚拟视 点图像绘制的原理，虚拟视点绘制是通过深度信息和相机参数获得虚拟视点中的像素与参考视点中的对应像素间的映射关系。该过程等价于将求出虚拟视点中各个像素与参考视点 中对应像素之间的视差。当深度图出现失真时，虚拟视点绘制过程中对应像素的位置发生 偏移，也即视差出现失真。在此，可以假设深度值为A的深度图的失真为Δ ，那么视差的
失真为1 = ^^1。其中，α为与相机参数相关的一个常数。为了更好地衡量视差失真对虚拟视点质量带来的影响，首先需要对参考视点 的视频帧图像进行分解，使得分解后得到的每一个区域5/中的像素点对应的深度值
方差不差过预先设定的门限。为了实现上述分解，在本发明中，可将的视频帧图像对 应的深度图进行四叉树分解，使得分解后每个区域h内深度值方差不超过预先设定的 门限Dth。对于所，根据给定的深度图编码量化步长可以得到该区域深度值的平均量化 失真和平均深度Dp然后通过Δ 和A来得到视差的平均失真I I Ad」|。在得 到I I AdjI I后，由于视差失真所造成的虚拟视点绘制图像上与参考视点中区域相对 应的区域的失真记为吆『，则的计算表达式为。其中，％的计算公式为
JJ衫(ω)β^ω) ’炉为参考视点视频帧图像上所区域的亮度 值或色度值所组成的矩阵对应的傅立叶变换矩阵，ω = [ω17 ω2]为对区域水平和垂直方 向的角频率。因此，对于参考视点其深度图量化所引入的失真￡3 = Σ4『。同所述步
骤3303，虚拟视点(；是通过11个参考视点|(<丨 /=1,2工，Mj加权绘制得到。通过Cre/;来
绘制虚拟视点的过程中，没有被遮挡的点与整帧图像全部像素个数的比例为，在生成虚 拟视点图像中，的加权系数为％<，所以Crey；对应的深度图编码失真对由深度图编码失真
M
所引起的虚拟视点失真Edw的贡献为/^ XM^ ,也即=Xk XEDW。具体地，本发明假设多视点视频无失真，此时虚拟视点的失真仅由多视点深度图
编码失真引起。当深度值为A的深度图的失真为八 时，视差的失真为|4+|| = ^^1。其
中，对于“Breakdancer”序列的视点4和视点6，上式中与相机参数相关的常数α为8. 46。 为了更好地衡量视差失真对虚拟视点质量带来的影响，首先需要对左右参考视点的视频帧 图像进行分解，使得分解后得到的每一个区域中的像素点对应的深度值方差不超过预先设 定的门限。为了实现上述分解，本发明中，可将左右参考视点的视频帧图像对应的深度图进 行四叉树分解，使得分解后每个区域1〖=4，6;_/ = 1，2上，iV“内深度值方差不超过预先设
定的门限Dth= 10，其中，Nk为每个深度图分解后的最大区域数目。如图5所示，为本发明 实施例的对于深度图的四叉树分解结果。对于坎，根据给定的深度图编码量化步长可以得到该区域深度值的平均量 化失真= 2和平均深度A = 92。然后，通过Δ 和A可得到视差的平均失真
对于大小为8X8的区域以其亮度为例，设其亮度矩阵为
B!, 其傅里叶变换所对应的矩阵为(ω)。为了计算视差失真所造成的虚拟视点 绘制图像上与<区域相对应区域的失真^^ ,还需要计算的取值。由于的计算公
式为
而#区域垂直和水平方向的角频
率为
因此
。那么，4的值为
。同
理，也可以得到其他区域上由于深度图量化误差所引入的虚拟视点图像绘制失真，即，
同样，对于右参考视点中的每一个区域％区域，可以通过上述计算方
法获得该区域的失真。此时，由于右参考视点其深度图量化所引入的虚拟视点量化失真
为 >。同步骤S303 —样，通过视点4和视点6来绘制虚拟视点的过程中，
没有被遮挡的点与整帧图像全部像素个数的平均比例为0. 15，左右参考视点的加权系数为 WL = We = 0. 5，所以左右参考视点的深度图编码失真对由深度图编码失真所引起的虚拟视 点失真Edw可以表示为 步骤S305，联合上述关系建立立体视频虚拟视点编码率失真模型。为了建立虚拟 视点的率失真模型，需要将上述四个步骤中得到的多视点视频和多视点深度图的编码码率 和失真模型合并，并最终得到虚拟视点编码的率失真模型。在该步骤中，为了建立虚拟视点 绘制的编码率失真模型，需要分为以下两个步骤来实现步骤S501，首先需要建立虚拟视点的联合失真与编码量化参数之间的关系。由于 多视点视频失真主要造成虚拟视点图像上的像素点亮度及色度数值产生失真，而多视点深 度图失真主要造成虚拟视点图像上的像素点位置发生偏移，因此多视点视频失真和多视点 深度图失真对于虚拟视点图像分别所引起的失真相互独立，也即虚拟视点图像失真Et可以 表示为由多视点视频失真所导致的虚拟视点绘制失真Ect和多视点深度图失真所导致的虚 拟视点绘制失真Edw的和的形式。进一步地，通过左右两个视点的视频和深度图来生成虚拟视点的过程中，由于深 度图的不连续性，在虚拟视点图像中仍然可能存在少量的空洞像素点，通过图像补绘来填 补这些空洞所引起的误差用Eq来表示。由于图像具有一定的连续性，可以通过与被遮挡像 素相邻的像素点获得被遮挡像素点i。的亮度或色度值分布巧。该像素点由于补绘所带来的亮度或色度的误差可以表示为
’其中y为像素点、的亮度或色度
可能取值范围，yin为像素点、补绘时的亮度或色度取值。那么，图像补绘所带来的虚拟视 点图像误差可以表示为
其中，iQ为被遮挡象素点，广为
被遮挡象素点i。的相邻像素点的亮度或色度值分布，y为像素点i。的亮度或色度的取值范 围，yin为被遮挡象素点、补绘时的亮度或色度值。此时，虚拟视点绘制图像的误差Et的计
算表达式为Et = ECW+EDW+E0O具体地，对于本样例中的虚拟视点，E0 = 0. 13。因此，虚拟视点绘制图像的误差 Et的计算表达式为Et = Ecw+E冊+E0 = 1. 25+4. 83+0. 13 = 6. 21，也即虚拟视点图像质量为 40.2dB。步骤S502，建立虚拟视点绘制所需要的编码码率与编码量化参数之间的关系。由 于在此前定义的立体视频系统中，多视点视频和多视点深度图是由多视点视频编码器分别 进行编码，其编码量化参数也是独立选取的。因此，立体视频编码所需的码率rT为多视点 视频编码码率A和多视点深度图编码码率rD之和，也即rT = r。+rD。具体地，在本发明实施例中，当 QP = 28 时，rT = rc+rD = 0. 0625+0. 096 = 0. 1625bpp。最后通过统计不同QP下虚拟视点图像绘制的失真Et和多视点视频以及多视点深 度图编码所需的总码率&可以得到立体视频编码中虚拟视点图像绘制的率失真模型。通过本发明提出的立体视频中虚拟视点绘制编码率失真分析方法，能够准确快速 地估计立体视频中虚拟视点绘制编码率失真性能，从而为立体视频编码参数的选择与码率 分配等问题提供了模型指导和解决方案，进一步提高了立体视频编码的效率。尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以 理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换 和变型，本发明的范围由所附权利要求及其等同限定。
权利要求
一种立体视频编码率失真性能估计方法，其特征在于，包括以下步骤获得多视点视频，并根据所述多视点视频获得对应的多视点深度图；根据所述多视点视频和所述多视点深度图分别获得多视点视频编码率失真模型和多视点深度图编码率失真模型；根据所述多视点视频和所述多视点深度图分别获得所述多视点视频编码失真与虚拟视点绘制失真之间的关系，以及所述多视点深度图编码失真与虚拟视点绘制失真之间的关系；根据所述多视点视频编码失真与虚拟视点绘制失真之间的关系，以及所述多视点深度图编码失真与虚拟视点绘制失真之间的关系获得虚拟视点绘制失真与多视点视频以及多视点深度各自编码量化参数QP之间的关系；根据所述多视点视频编码率失真模型和多视点深度图编码率失真模型获得绘制所述虚拟视点所需要的编码码率和所述QP之间的关系；统计不同QP下所述虚拟视点的绘制失真和绘制所述虚拟视点所需要的编码码率以得到立体视频编码中虚拟视点的率失真模型。
2.如权利要求1所述的立体视频编码率失真性能估计方法，其特征在于，其中，多视点 视频编码采用基于视频编码标准H. 264/AVC的多视点视频编码扩展版本来实现。
3.如权利要求2所述的立体视频编码率失真性能估计方法，其特征在于，各视点内的 每一个图像组的帧内编码帧、前向预测编码帧以及双向预测编码帧均采用相同的量化参数 QP进行编码。
4.如权利要求1所述的立体视频编码率失真性能估计方法，其特征在于，其中，在给定 的多视点视频编码量化参数的条件下多视点视频编码的码率的估计方法为C，其中，Qstep = 2(Qp-4)/6,a,b,c为根据不同视频序列具体设置的参数；多视点视频编码的失真的估计方法为PSNR。= q。XQP+p。，其中，q。和ρ。为根据不同视 频序列具体设置的参数。
5.如权利要求1所述的立体视频编码率失真性能估计方法，其特征在于，其中，在给定 的多视点深度图编码量化参数的条件下多视点深度图编码的码率的估计方法为rd = k/Q_+t，其中，Qstep = 2(Qp-4)/6, k，t为根 据不同深度图序列具体设置的参数；多视点视频编码的失真的估计方法为PSNRd = qdXQP+pd，其中，qd和Pd为根据不同深 度图序列具体设置的参数。
6.如权利要求1所述的立体视频编码率失真性能估计方法，其特征在于，所述获得多 视点视频编码失真与虚拟视点绘制失真之间的关系进一步包括假设多视点深度图编码无失真，所述虚拟视点的失真仅由所述多视点视频编码失真引M起，并选择绘制虚拟视点Cv所需的M个参考视点，则虚拟视点图像失真为，其/=1中，f漂=^refEcf',其中，.为被遮挡的像素点的个数和参考视点整帧图像的像素点个 数的比例，wM为第i个参考视点视频编码失真对于虚拟视点图像绘制失真贡献的加权系 数，時为第i个参考视点cM的视频编码失真。
7.如权利要求1所述的立体视频编码率失真性能估计方法，其特征在于，所述获得多 视点深度图编码失真与虚拟视点绘制失真之间的关系进一步包括假设多视点视频编码无失真，所述虚拟视点的失真仅由所述多视点深度图 编码失真引起，并选择虚拟视点Cv所需的M个参考视点，则虚拟视点图像失真为 其中， 为被遮挡的像素点的个数和参考视点整帧图像的像素点个数的比例，；为第i个参考视点视频编码失真对于虚拟视点图像绘制失真贡献的加权系 数， 为虚拟视点绘制图像上与参考视点中&区域相对应的区域的失真。
8.如权利要求7所述的立体视频编码率失真性能估计方法，其特征在于， 其中，—的计算公式为 为参考视点视频帧上次区域的亮度值或色度值所组成的矩阵进行傅立叶变换后得到的矩阵， 为次区域水平和垂直方向的角频率，| | Ad」|为视差的平均失真。
9.如权利要求1所述的立体视频编码率失真性能估计方法，其特征在于，所述根据多 视点视频编码失真与虚拟视点绘制失真之间的关系，以及所述多视点深度图编码失真与虚 拟视点绘制失真之间的关系获得虚拟视点的失真与编码量化参数QP之间的关系进一步包 括虚拟视点绘制图像的误差Et为Et = E^+E^+Ey其中，Etj为通过图像补绘来填补空洞所 弓ι起的误差， 其中，、为所述被遮挡象素点，^:为所述被遮挡象素点、相邻的像素点的亮度或色度 值分布，y为所述像素点、的亮度或色度的取值范围，yin为所述被遮挡象素点、补绘时的 亮度或色度值。
10.如权利要求1所述的立体视频编码率失真性能估计方法，其特征在于，根据所述多 视点视频编码率失真模型和多视点深度图编码率失真模型获得绘制所述虚拟视点所需要 的编码码率和多视点视频编码码率以及多视点深度图编码码率之间的关系进一步包括立体视频编码所需的码率为rT = r。+rD，其中，r。为多视点视频编码码率，rD为多视点 深度图编码码率。
全文摘要
本发明提出一种立体视频编码率失真性能估计方法，包括以下步骤获得多视点视频，并根据所述多视点视频获得对应的多视点深度图；分别获得多视点视频编码率失真模型和多视点深度图编码率失真模型；分别获得所述多视点视频编码失真与虚拟视点绘制失真之间的关系，以及所述多视点深度图编码失真与虚拟视点绘制失真之间的关系；联合上述关系建立立体视频虚拟视点编码绘制率失真模型。通过本发明提出的立体视频中虚拟视点编码绘制率失真分析方法，能够准确快速地估计立体视频中虚拟视点编码绘制率失真性能，从而为立体视频编码参数的选择与码率分配等问题提供了模型指导和解决方案。
文档编号H04N7/26GK101888566SQ20101022235
公开日2010年11月17日 申请日期2010年6月30日 优先权日2010年6月30日
发明者季向阳, 戴琼海, 汪启扉 申请人:清华大学