专利名称：一种三维立体视频编码的率失真模型优化方法
技术领域：
本发明涉及一种视频信号的编码压缩方法，尤其是涉及一种三维立体视频编码的率失真模型优化方法。
背景技术：
进入本世纪以来，随着数字2D(二维)视频技术日趋成熟，以及计算机、通信及网络技术的快速发展，引发了人们对新一代视频系统的强烈需求。现行的二维视频系统在表现自然场景时，难以满足用户的立体感和视点交互等的需求。三维视频系统由于能够提供立体感、视点交互性的全新视觉体验而越来越受到人们的欢迎，在无线视频通信、影视娱乐、数字动漫、虚拟战场、旅游观光、远程教学等领域有着广泛的应用前景。通常，三维视频系统如
图1所示，其主要包括采集、视频编码、视频传输、视频解码和3D(三维)显示等模块。多视点视频加深度(multi-viewvideo plus d印th，MVD)是目前 ISO/MPEG 推荐采用的3D场景信息表示方式。MVD数据在多视点彩色图像基础上增加了对应视点的深度信息，通过利用参考视点的彩色图像及该参考视点的彩色图像中的每个像素对应的深度信息，采用基于深度图像的绘制(D印th Image Based Rendering，DIBR)技术来合成三维场景的虚拟视点图像。针对深度视频图像编码，目前已有基于小波分解 (waveletdecomposition)的方法、基于平板分角军(platelet decomposition)的方法对深度视频图像进行编码，也可以直接采用立体/多视点视频编码技术对深度视频序列进行编码。然而，现有的立体/多视点视频编码的研究更多地考虑如何提升编码效率，而对 MVD数据的编码应当有别于现有的视频编码方法，这是因为一方面，由于彩色视频的编码失真和深度视频的编码失真都会对虚拟视点绘制产生影响，如何在彩色视频与深度视频之间进行合理的码率分配，以保证获得最优的编码性能和绘制质量是一个亟需解决的问题； 另一方面，由于绘制的虚拟视点图像没有原始视点图像作为参考，如何通过最佳的曲线逼近来建立绘制失真与编码量化步长的关系模型，以及如何在总码率给定的情况下通过关系模型来确立对彩色视频和深度视频进行编码的编码量化参数，都是对MVD数据的编码过程中需要研究解决的问题。
发明内容
本发明所要解决的技术问题是提供一种能够有效地提高虚拟视点图像质量的三维立体视频编码的率失真模型优化方法。本发明解决上述技术问题所采用的技术方案为一种三维立体视频编码的率失真模型优化方法，其特征在于包括以下步骤①将外部立体视频捕获工具捕获得到的未经处理的且颜色空间为YUV的彩色立体视频及其对应的深度立体视频定义为原始三维立体视频，在空域上该原始三维立体视频包括原始左视点三维视频和原始右视点三维视频，原始左视点三维视频包括原始左视点彩色视频和原始左视点深度视频，原始左视点彩色视频主要由若干个帧组的原始左视点彩色图像组成，原始左视点深度视频主要由若干个帧组的原始左视点深度图像组成，原始右视点三维视频包括原始右视点彩色视频和原始右视点深度视频，原始右视点彩色视频主要由若干个帧组的原始右视点彩色图像组成，原始右视点深度视频主要由若干个帧组的原始右视点深度图像组成，其中，YUV颜色空间的三个颜色分量的第1个分量为亮度分量并记为Y、 第2个分量为第一色度分量并记为U及第3个分量为第二色度分量并记为V ；将介于左视点与右视点之间的视点作为虚拟视点；②建立对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码的率失真模型，记为min[&(《，&)]’以保证获得最优的编码
■ . . Rt+Rd<Rc
性能和绘制质量，其中，min[]为取最小值函数，R。表示预先设定的对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码的总码率， Rt表示对原始左视点彩色视频、原始右视点彩色视频进行编码的码率，Rd表示对原始左视点深度视频、原始右视点深度视频进行编码的码率，Dv(Rt, Rd)表示对以码率Rt分别对原始左视点彩色视频、原始右视点彩色视频进行编码得到的解码左视点彩色视频、解码右视点彩色视频和以码率Rd分别对对应的原始左视点深度视频、原始右视点深度视频进行编码得到的解码左视点深度视频、解码右视点深度视频进行虚拟视点图像绘制的绘制失真；③将Dv(Rt，Rd)近似表示为伙(代,凡)三马(代)+化(凡)，其中，Dt(Rt)表示对以码率Rt分别对原始左视点彩色视频、原始右视点彩色视频进行编码得到的解码左视点彩色视频、解码右视点彩色视频和对应的原始左视点深度视频、原始右视点深度视频进行虚拟视点图像绘制的绘制失真，Dd(Rd)表示对原始左视点彩色视频、原始右视点彩色视频和以码率 Rd分别对对应的原始左视点深度视频、原始右视点深度视频进行编码得到的解码左视点深度视频、解码右视点深度视频进行虚拟视点图像绘制的绘制失真；④通过二次拟合方法建立对原始左视点彩色视频、原始右视点彩色视频进行编码的编码量化步长TQstep与Dt(Rt)的关系模型，记为Dt(Rt)三(XtXiTQstepY + PtyXTQstep) + Yt, 通过二次拟合方法建立对原始左视点深度视频、原始右视点深度视频进行编码的编码量化步长DQstep与Dd (Rd)的关系模型，记为怂+ 其中，at、 ^和Yt均为似代)厂中的模型参数，ad、^和Yd均为 Dd (Rd ) = adx (DQstep )2+β χ (DQstep) + &中的模型参数；⑤通过二次拟合方法建立对原始左视点彩色视频、原始右视点彩色视频进行编码的编码量化步长TQstep与Rt的关系模型，记为尺Ξα,χ(ι/Γρ_)2+ν(ι/Γρ_)+ ， 通过二次拟合方法建立对原始左视点深度视频、原始右视点深度视频进行编码的编码量化步长DQstep与Rd的关系模型，记为Rfady\\IDQstJ +bdx(l/DQslep) +cd，其中， at、bt 和 ct 均为 Rpc^ITQsJ +btx{\ITQstep) + ct 中的模型参数，ad、bd 和 cd 均为 Rd=Ctd^HDQstJ +bdx(/DQstep) + c冲的模型参数；⑥根据TQstep与Dt (Rt)的关系模型、DQstep与Dd(Rd)的关系模型、TQstep与Rt的关系模型及DQstep与Rd的关系模型，对率失真模型mhf^^C^&fl进行优化，将优化后的率失真
模型表示为
权利要求
1. 一种三维立体视频编码的率失真模型优化方法，其特征在于包括以下步骤①将外部立体视频捕获工具捕获得到的未经处理的且颜色空间为YUV的彩色立体视频及其对应的深度立体视频定义为原始三维立体视频，在空域上该原始三维立体视频包括原始左视点三维视频和原始右视点三维视频，原始左视点三维视频包括原始左视点彩色视频和原始左视点深度视频，原始左视点彩色视频主要由若干个帧组的原始左视点彩色图像组成，原始左视点深度视频主要由若干个帧组的原始左视点深度图像组成，原始右视点三维视频包括原始右视点彩色视频和原始右视点深度视频，原始右视点彩色视频主要由若干个帧组的原始右视点彩色图像组成，原始右视点深度视频主要由若干个帧组的原始右视点深度图像组成，其中，YUV颜色空间的三个颜色分量的第1个分量为亮度分量并记为Y、第2 个分量为第一色度分量并记为U及第3个分量为第二色度分量并记为V ；将介于左视点与右视点之间的视点作为虚拟视点；②建立对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码的率失真模型，记为minLz^diO]'以保证获得最优的编码性能s.t. Rt+Rd <RC和绘制质量，其中，min[]为取最小值函数，R。表示预先设定的对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码的总码率，Rt表示对原始左视点彩色视频、原始右视点彩色视频进行编码的码率，Rd表示对原始左视点深度视频、原始右视点深度视频进行编码的码率，Dv(Rt, Rd)表示对以码率Rt分别对原始左视点彩色视频、原始右视点彩色视频进行编码得到的解码左视点彩色视频、解码右视点彩色视频和以码率Rd分别对对应的原始左视点深度视频、原始右视点深度视频进行编码得到的解码左视点深度视频、解码右视点深度视频进行虚拟视点图像绘制的绘制失真；③将Dv(Rt，Rd)近似表示为从(尺凡)三找(尺)+仏汛)，其中，仏况)表示对以码率Rt 分别对原始左视点彩色视频、原始右视点彩色视频进行编码得到的解码左视点彩色视频、 解码右视点彩色视频和对应的原始左视点深度视频、原始右视点深度视频进行虚拟视点图像绘制的绘制失真，Dd(Rd)表示对原始左视点彩色视频、原始右视点彩色视频和以码率Rd 分别对对应的原始左视点深度视频、原始右视点深度视频进行编码得到的解码左视点深度视频、解码右视点深度视频进行虚拟视点图像绘制的绘制失真；④通过二次拟合方法建立对原始左视点彩色视频、原始右视点彩色视频进行编码的编码量化步长TQstep与Dt (Rt)的关系模型，记为Di (代)Ξ % χ (TQstep f+Ptx (TQstep ) + ，通过二次拟合方法建立对原始左视点深度视频、原始右视点深度视频进行编码的编码量化步长DQstep与Dd (Rd)的关系模型，记为怂+ 其中，at、 ^和Yt均为似代)厂中的模型参数，ad、^和Yd均为 Dd (Rd ) = adx (DQstep )2+β χ (DQstep) + &中的模型参数；⑤通过二次拟合方法建立对原始左视点彩色视频、原始右视点彩色视频进行编码的编码量化步长TQstep与Rt的关系模型，记为尺ξ % χ (1 / TQstep )2+^x(l/TQstep ) + ct, 通过二次拟合方法建立对原始左视点深度视频、原始右视点深度视频进行编码的编码量化步长DQstep与Rd的关系模型，记为RpacMlIDQstJ +bd χ(VDQstep)+ Cd，其中， at、bt 和 ct 均为 Rt 三 aMl I TQstJ + btx(l/TQstep)+ C1 中的模型参数，ad、bd 和 cd 均为Rd=^iHDQstJ +bdx(l/DQslep) + c冲的模型参数；⑥根据TQstep与Dt(Rt)的关系模型、DQstep与Dd(Rd)的关系模型、TQstep与Rt的关系模型及DQstep与Rd的关系模型，对率失真模型mhf^^i《，进行优化，将优化后的率失真模型表示为
2.根据权利要求1所述的一种三维立体视频编码的率失真模型优化方法，其特征在于所述的步骤③的具体过程为③-1、假定Sv表示由原始左视点彩色图像、原始右视点彩色图像和对应的原始左视点深度图像、原始右视点深度图像进行虚拟视点图像绘制得到的虚拟视点图像，文表示由以码率Rt分别对原始左视点彩色图像、原始右视点彩色图像进行编码得到的解码左视点彩色图像、解码右视点彩色图像和以码率Rd分别对对应的原始左视点深度图像、
3.根据权利要求1或2所述的一种三维立体视频编码的率失真模型优化方法，其特征在于所述的步骤④的具体过程为④-1、任取一个不大于44的编码量化参数作为原始左视点彩色视频、原始右视点彩色视频的编码量化参数，记为QPttl,得到以该编码量化参数QPttl对原始左视点彩色视频、原始右视点彩色视频进行编码的平均码率，记为Rttl,将由原始左视点彩色视频、原始右视点彩色视频和对应的原始左视点深度视频、原始右视点深度视频进行虚拟视点图像绘制得到的虚拟视点视频记为Cs，将由以编码量化参数QPttl分别对原始左视点彩色视频、原始右视点彩色视频进行编码得到的解码左视点彩色视频、解码右视点彩色视频和对应的原始左视点深度视频、原始右视点深度视频进行虚拟视点图像绘制得到的虚拟视点视频记为Iv(QPttl),计算/Γ与Iv(QPttl)的均方差，作为对以编码量化参数QPttl分别对原始左视点彩色视频、原始右视点彩色视频进行编码得到的解码左视点彩色视频、解码右视点彩色视频和对应的原始左视点深度视频、原始右视点深度视频进行虚拟视点图像绘制的绘制失真，记为Dttl ；④-2、选取N个大于QPttl且各不相同的编码量化参数，分别记为QPtl,…，QPti，…， QP ，采用该N个不同的编码量化参数QPtl，-,QPti, -,QPtN分别对原始左视点彩色视频、 原始右视点彩色视频进行编码，分别得到以该N个不同的编码量化参数对原始左视点彩色视频、原始右视点彩色视频进行编码的平均码率，对应的分别记为Rtl，-,Rti,…，RtN，计算得到由以该N个不同的编码量化参数分别对原始左视点彩色视频、原始右视点彩色视频进行编码得到的解码左视点彩色视频、解码右视点彩色视频和对应的原始左视点深度视频、 原始右视点深度视频进行虚拟视点图像绘制的绘制失真，对应的分别记为Dtl，…，Dti，…， DtN，其中，1 彡 i 彡 N，QPti = QPt0+i ；④-3、将由Rttl和Rtl，…，Rti,…，RtN组成的对原始左视点彩色视频、原始右视点彩色视频进行编码的平均码率集合记为{Rtj|0彡j彡N}，根据由QPtc^PQPtl,…， QPti,…，(^ 组成的对原始左视点彩色视频、原始右视点彩色视频进行编码的编码量化参数集合{QPtj|0彡j彡N}及由Dttl和Dtl，···, Dti,…，Dffl组成的绘制失真集合 {DtJ|0^ j ^ N}，通过二次拟合方法建立对原始左视点彩色视频、原始右视点彩色视频进行编码的编码量化步长TQstep与对以采用{QPtj|0<中的各个编码量化参数分别对原始左视点彩色视频、原始右视点彩色视频进行编码得到的解码左视点彩色视频、 解码右视点彩色视频与对应的原始左视点深度视频、原始右视点深度视频进行虚拟视点图像绘制的绘制失真集合{Dtj|0<中的任意一个绘制失真Dt的关系模型，记为Dt(Rt) = CXtX (TQstep)2 + β, χ (TQstep) + n，其中，TQstep = 2 眺，6，Rt 表示{RtJ | 0 彡 j 彡 N}中的任意一个平均码率，QPt表示{QPtj 10彡j彡N}中的任意一个编码量化参数，α t、β t和γ t 均为模型参数；④_4、任取一个不大于44的编码量化参数作为原始左视点深度视频、原始右视点深度视频的编码量化参数，记为QPdtl,得到以该编码量化参数QPttl对原始左视点深度视频、原始右视点深度视频进行编码的平均码率，记为Rdtl,将由原始左视点彩色视频、原始右视点彩色视频和以编码量化参数QPdtl分别对对应的原始左视点深度视频、原始右视点深度视频进行编码得到的解码左视点深度视频、解码右视点深度视频进行虚拟视点图像绘制得到的虚拟视点视频记为Iv(QPdtl),计算C"与Iv(QPdtl)的均方差，作为对原始左视点彩色视频、原始右视点彩色视频和以编码量化参数QPdtl分别对对应的原始左视点深度视频、原始右视点深度视频进行编码得到的解码左视点深度视频、解码右视点深度视频进行虚拟视点图像绘制的绘制失真，记为Ddtl ；④-5、选取N个大于QPdtl且各不相同的编码量化参数，分别记为QPdl, ···, QPdi,…， QPtffl,采用该N个不同的编码量化参数QPdl，-,QPdi, -,QPdN分别对原始左视点深度视频、 原始右视点深度视频进行编码，分别得到以该N个不同的编码量化参数对原始左视点深度视频、原始右视点深度视频进行编码的平均码率，对应的分别记为Rdl，-,Rdi,…，RdN，计算得到由原始左视点彩色视频、原始右视点彩色视频和以该N个不同的编码量化参数分别对对应的原始左视点深度视频、原始右视点深度视频进行编码得到的解码左视点深度视频、 解码右视点深度视频进行虚拟视点图像绘制的绘制失真，对应的分别记为Ddl，…，Ddi，…， Dtffl，其中，1 彡 i 彡 N，QPdi = QPd0+i ；④-6、将由Rdtl和Rdl，…，Rdi,…，RdN组成的对原始左视点深度视频、原始右视点深度视频进行编码的平均码率集合记为{Rdj|0彡j彡N}，根据由QPdc^PQPdl,…， QPdi,…，QPtfflS成的对原始左视点深度视频、原始右视点深度视频进行编码的编码量化参数集合{QPdj|0彡j彡N}及由Ddtl和Ddl，…，Ddi，…，Dtffl组成的绘制失真集合 {DdJ|0^ j ^ N}，通过二次拟合方法建立对原始左视点深度视频、原始右视点深度视频进行编码的编码量化步长DQstep与对原始左视点彩色视频、原始右视点彩色视频与以采用(QPtuIO < j ^ N}中的各个编码量化参数分别对对应的原始左视点深度视频、原始右视点深度视频进行编码得到的解码左视点深度视频、解码右视点深度视频进行虚拟视点图像绘制的绘制失真集合{Ddj|0<中的任意一个绘制失真Dd的关系模型，记为Dd (Rd ) = dx (DQstep )2 + 怂 X (DQstep ) + rd，其中，DQstep = 4)/6，Rd 表示{Rdj | 0 彡 j 彡 N} 中的任意一个平均码率，QPd表示{QPdj|0<中的任意一个编码量化参数，α d、βYd均为模型参数。
4.根据权利要求3所述的一种三维立体视频编码的率失真模型优化方法，其特征在于所述的步骤⑤的具体过程为⑤-1、根据对原始左视点彩色视频、原始右视点彩色视频进行编码的平均码率集合 {Rtj|0彡j彡N}和对原始左视点彩色视频、原始右视点彩色视频进行编码的编码量化参数集合{QPt」0 ^ j <N}，采用二次拟合方法建立对原始左视点彩色视频、原始右视点彩色视频进行编码的编码量化步长TQstep与对原始左视点彩色视频、原始右视点彩色视频进行编码的平均码率集合{Rt」0彡j彡N}中的任意一个码率Rt的关系模型，记为代]^(1/7^_)2+&(1/邓_) + 9其中，邓_=2_—4)/6，(^表示{QPtJ|0 < j ( N}中的任意一个编码量化参数，at、bt和ct均为模型参数；⑤-2、根据对原始左视点深度视频、原始右视点深度视频进行编码的平均码率集合 {Rdj|0彡j彡N}和对原始左视点深度视频、原始右视点深度视频进行编码的编码量化参数集合{QPd」0 ^ j <N}，采用二次拟合方法建立对原始左视点深度视频、原始右视点深度视频进行编码的编码量化步长DQstep与对原始左视点深度视频、原始右视点深度视频进行编码的平均码率集合{Rd」0彡j彡N}中的任意一个码率Rd的关系模型，记为 Rd =adx(\ I DQstep )2+bd χ (l/ DQstep ) + c,，其中，4)/6，QPd 表示{QPdJ | 0 彡 j 彡 N}中的任意一个编码量化参数，ad、bd和Cd均为模型参数。
5.根据权利要求4所述的一种三维立体视频编码的率失真模型优化方法，其特征在于所述的步骤⑦的具体过程为⑦-1、假定对原始左视点彩色视频、原始右视点彩色视频进行编码的码率占总码率R。 的最小比重为0. 2，假定对原始左视点深度视频、原始右视点深度视频进行编码的码率占总码率R。的最大比重为0. 8，则根据对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码的总码率R。，计算对原始左视点深度视频、原始右视点深度视频进行编码的最小编码量化参数和最大编码量化参数，分别记为QPd min和QPd -'^dmm=
全文摘要
本发明公开了一种三维立体视频编码的率失真模型优化方法，其通过建立对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码的率失真模型，并通过二次拟合方法建立编码量化步长与绘制失真的关系模型及编码量化步长与码率的关系模型，然后对率模型进行优化，分别获得在一定码率下对原始左视点彩色视频、原始右视点彩色视频和原始左视点深度视频、原始右视点深度视频进行编码的最佳初始编码量化参数，最后采用最佳初始编码量化参数分别对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码，本方法在保证立体图像的整体质量的前提下，大大提高了虚拟视点图像的质量。
文档编号H04N13/00GK102355582SQ20111028533
公开日2012年2月15日 申请日期2011年9月23日 优先权日2011年9月23日
发明者彭宗举, 李福翠, 蒋刚毅, 邵枫, 郁梅 申请人:宁波大学