专利名称：一种三维立体视频编码的最佳码率比重确立方法
技术领域：
本发明涉及一种视频信号的编码压缩方法，尤其是涉及一种三维立体视频编码的最佳码率比重确立方法。
背景技术：
进入本世纪以来，随着数字2D(二维)视频技术日趋成熟，以及计算机、通信及网络技术的快速发展，引发了人们对新一代视频系统的强烈需求。现行的二维视频系统在表现自然场景时，难以满足用户的立体感和视点交互等的需求。三维视频系统由于能够提供立体感、视点交互性的全新视觉体验而越来越受到人们的欢迎，在无线视频通信、影视娱乐、数字动漫、虚拟战场、旅游观光、远程教学等领域有着广泛的应用前景。通常，三维视频系统如图1所示，其主要包括采集、视频编码、视频传输、视频解码和3D(三维)显示等模块。
多视点视频加深度(multi-viewvideo plus depth, MVD)是目前 ISO/MPEG 推荐采用的3D场景信息表示方式。MVD数据在多视点彩色图像基础上增加了对应视点的深度信息，通过利用参考视点的彩色图像及该参考视点的彩色图像中的每个像素对应的深度信息，采用基于深度图像的绘制技术来合成三维场景的虚拟视点图像。然而，现有的三维立体视频编码的研究并没有充分考虑彩色视频与深度视频的最优码率比重问题，这是因为一方面，不同测试序列的彩色视频的编码失真和深度视频的编码失真对虚拟视点绘制的影响是各不相同的，应当采用合适的码率比重对不同的测试序列进行码率分配；另一方面，在不同的总码率下彩色视频的编码失真和深度视频的编码失真对虚拟视点绘制的影响也是各不相同的，因此，如何通过最佳的曲线逼近来建立码率比重与总码率的关系模型，是对MVD 数据的编码过程中需要研究解决的问题。发明内容
本发明所要解决的技术问题是提供一种三维立体视频编码的最佳码率比重确立方法，其能够有效地提高虚拟视点图像的质量，并简化码率分配操作和编码过程。
本发明解决上述技术问题所采用的技术方案为一种三维立体视频编码的最佳码率比重确立方法，其特征在于包括以下步骤
①将外部立体视频捕获工具捕获得到的未经处理的且颜色空间为YUV的彩色立体视频及其对应的深度立体视频定义为原始三维立体视频，在空域上该原始三维立体视频包括原始左视点三维视频和原始右视点三维视频，原始左视点三维视频包括原始左视点彩色视频和原始左视点深度视频，原始左视点彩色视频主要由若干个帧组的原始左视点彩色图像组成，原始左视点深度视频主要由若干个帧组的原始左视点深度图像组成，原始右视点三维视频包括原始右视点彩色视频和原始右视点深度视频，原始右视点彩色视频主要由若干个帧组的原始右视点彩色图像组成，原始右视点深度视频主要由若干个帧组的原始右视点深度图像组成，其中，YUV颜色空间的三个颜色分量的第1个分量为亮度分量并记为Y、第2个分量为第一色度分量并记为U及第3个分量为第二色度分量并记为V ；
将介于左视点与右视点之间的视点作为虚拟视点；
②建立对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码的码率分配模型，记为mhfaC^^)]'以保证获得最优的绘s.t. Rt+Rd <RC制质量，其中，min[]为取最小值函数，I 。表示预先设定的对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码的总码率，Rt表示对原始左视点彩色视频、原始右视点彩色视频进行编码的码率，Rd表示对原始左视点深度视频、 原始右视点深度视频进行编码的码率，Dv (Rt, Rd)表示对以码率分别对原始左视点彩色视频、原始右视点彩色视频进行编码得到的解码左视点彩色视频、解码右视点彩色视频和以码率Rd分别对对应的原始左视点深度视频、原始右视点深度视频进行编码得到的解码左视点深度视频、解码右视点深度视频进行虚拟视点图像绘制的绘制失真；
③将Dv(I t，Rd)近似表示为伙(代几)三马(代)+化(凡)，其中，Dt(Rt)表示对以码率Rt分别对原始左视点彩色视频、原始右视点彩色视频进行编码得到的解码左视点彩色视频、解码右视点彩色视频和对应的原始左视点深度视频、原始右视点深度视频进行虚拟视点图像绘制的绘制失真，Dd(Rd)表示对原始左视点彩色视频、原始右视点彩色视频和以码率 &分别对对应的原始左视点深度视频、原始右视点深度视频进行编码得到的解码左视点深度视频、解码右视点深度视频进行虚拟视点图像绘制的绘制失真；
④通过幂指数拟合方法建立对原始左视点彩色视频、原始右视点彩色视频进行编码的码率I^t与Dt(Rt)的关系模型，记为Dt(Rt) Edt XiRtY'，通过幂指数拟合方法建立对原始左视点深度视频、原始右视点深度视频进行编码的码率&与Dd(Rd)的关系模型，记为 Dd(Rd) = ccdx(Rdfd , %和i3t均为A(尺)中的模型参数，均为化(i d)E X(i d)A中的模型参数；
⑤根据艮与DtOO的关系模型找(尺)(尺广及！^与Dd(Rd)的关系模型 n (R、 y(R、h对码率分配模型"^[^0^ )]进行优化，将优化后的码率分配模型υ \Kd) = ad x\Kd) ，Rt+Rdi-Rc表示为 min^x^/'+^x^)^]；s.t. Rt+Rd ^c
⑥根据优化后的码率分配模型min[%X(尺P+AWAP]，通过全搜索方法s.t. Rt+Rd<Rc获取在不同的总码率ι 。下对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码的最佳码率比重，将其记为α，α =f(R。)， /(Α) = ΚΧ(Α)α，其中，f()为函数表示形式，α =f(Rc)表示α为R。的函数，α。和β c 均为f (Rc) = K的模型参数。
所述的步骤③的具体过程为
③-1、假定Sv表示由原始左视点彩色图像、原始右视点彩色图像和对应的原始左视点深度图像、原始右视点深度图像进行虚拟视点图像绘制得到的虚拟视点图像，文表示由以码率分别对原始左视点彩色图像、原始右视点彩色图像进行编码得到的解码左视点彩色图像、解码右视点彩色图像和以码率&分别对对应的原始左视点深度图像、原始右视点深度图像进行编码得到的解码左视点深度图像、解码右视点深度图像进行虚拟视点图像绘制得到的虚拟视点图像，足表示由以码率艮分别对原始左视点彩色图像、原始右视点彩色图像进行编码得到的解码左视点彩色图像、解码右视点彩色图像和对应的原始左视点深度图像、原始右视点深度图像进行虚拟视点图像绘制得到的虚拟视点图像，叉表示由原始左视点彩色图像、原始右视点彩色图像和以码率&分别对对应的原始左视点深度图像、原始右视点深度图像进行编码得到的解码左视点深度图像、解码右视点深度图像进行虚拟视点图像绘制得到的虚拟视点图像，则将Dv(艮，Rd)表示为伙(代,凡)=五{(又-爻)2}=五{(又-旲+旲-爻)卞其中，五{(又-爻)2}表示求(又-爻)2的数学期望值；
③-2通过多项式分解将 ￡丨(凡-爻)2丨表示为=++， 其中，五{(又-旲)2丨表示求(又-旲)2的数学期望值，五{(叉-夂)2}表示求(叉-夂)2的数学期望值， 4又-叉χ叉-文)|表示求以-幻这-幻的数学期望值；
③_3、根据五{(又-瓦X叉-爻和0且五{(叉-夂又-爻)2}，将Dv(Rt，Rd)近似表示为:从(尺儿)三五{(凡-旯)2} +五{(凡-爻)2}，其中，五{(又-爻)2}表示求(又-爻)2的数学期望值；
③_4、将又-足)2j表示为对以码率Rt分别对原始左视点彩色视频、原始右视点彩色视频进行编码得到的解码左视点彩色视频、解码右视点彩色视频和对应的原始左视点深度视频、原始右视点深度视频进行虚拟视点图像绘制的绘制失真， 记为Dt (Rt)，将又-旲)2j表示为对原始左视点彩色视频、原始右视点彩色视频和以码率&分别对对应的原始左视点深度视频、原始右视点深度视频进行编码得到的解码左视点深度视频、解码右视点深度视频进行虚拟视点图像绘制的绘制失真，记为 Dd(Rd)，根据五{(又-爻)2} = Dt(Rt)和= Dd(Rd)，将 Dv(Rt, Rd)近似表示为:Dv(R,Rd) = Dt{Rt) + Dd{Rd)0
所述的步骤④的具体过程为
④-1、任取一个不大于44的编码量化参数作为原始左视点彩色视频、原始右视点彩色视频的编码量化参数，记为QPttl,得到以该编码量化参数QPttl对原始左视点彩色视频、原始右视点彩色视频进行编码的平均码率，记为1^，将由原始左视点彩色视频、原始右视点彩色视频和对应的原始左视点深度视频、原始右视点深度视频进行虚拟视点图像绘制得到的虚拟视点视频记为Cs，将由以编码量化参数QPttl分别对原始左视点彩色视频、原始右视点彩色视频进行编码得到的解码左视点彩色视频、解码右视点彩色视频和对应的原始左视点深度视频、原始右视点深度视频进行虚拟视点图像绘制得到的虚拟视点视频记为 Iv(QPto)，计算Cs与Iv(QPttl)的均方差，作为对以编码量化参数QPttl分别对原始左视点彩色视频、原始右视点彩色视频进行编码得到的解码左视点彩色视频、解码右视点彩色视频和对应的原始左视点深度视频、原始右视点深度视频进行虚拟视点图像绘制的绘制失真，记为 Dttl;
④-2、选取N个大于QPttl且各不相同的编码量化参数，分别记为QPtl，-,QPti,…， QP ，采用该N个不同的编码量化参数QPtl，-,QPti, -,QPtN分别对原始左视点彩色视频、 原始右视点彩色视频进行编码，分别得到以该N个不同的编码量化参数对原始左视点彩色视频、原始右视点彩色视频进行编码的平均码率，对应的分别记为I tl，…，Rti,…，R ，计算得到由以该N个不同的编码量化参数分别对原始左视点彩色视频、原始右视点彩色视频进行编码得到的解码左视点彩色视频、解码右视点彩色视频和对应的原始左视点深视频、 原始右视点深度视频进行虚拟视点图像绘制的绘制失真，对应的分别记为Dtl，…，Dti，…， DtN，其中，1 彡 i 彡 N，QPti = QPt0+i ；
④-3、根据由Rttl和Rtl，Rti,…，RtN组成的对原始左视点彩色视频、原始右视点彩色视频进行编码的平均码率集合{Rtj|0彡j彡N}及由Dttl和Dtl，…，Dti，…，DtN 组成的绘制失真集合{Dtj|0 < j ^ N}，通过幂指数拟合方法建立对原始左视点彩色视频、 原始右视点彩色视频进行编码的码率艮与对以采用{QPt」0 < j ^ N}中的各个编码量化参数分别对原始左视点彩色视频、原始右视点彩色视频进行编码得到的解码左视点彩色视频、解码右视点彩色视频与对应的原始左视点深度视频、原始右视点深度视频进行虚拟视点图像绘制的绘制失真集合{Dt」0 < j ( N}中的任意一个绘制失真Dt的关系模型，记为 Dt(Rt) = CCtXiRtY' &表示{Rtj|0彡j彡N}中的任意一个平均码率，at和β t均为 Dt(Rt) = at χ(代)〃'中的模型参数；
④-4、任取一个不大于44的编码量化参数作为原始左视点深度视频、原始右视点深度视频的编码量化参数，记为QPdtl,得到以该编码量化参数QPdtl对原始左视点深度视频、 原始右视点深度视频进行编码的平均码率，记为Rdtl,将由原始左视点彩色视频、原始右视点彩色视频和以编码量化参数QPdtl分别对对应的原始左视点深度视频、原始右视点深度视频进行编码得到的解码左视点深度视频、解码右视点深度视频进行虚拟视点图像绘制得到的虚拟视点视频记为Iv(QPdtl),计算Cs与Iv(QPdtl)的均方差，作为对原始左视点彩色视频、原始右视点彩色视频和以编码量化参数QPdtl分别对对应的原始左视点深度视频、原始右视点深度视频进行编码得到的解码左视点深度视频、解码右视点深度视频进行虚拟视点图像绘制的绘制失真，记为Ddtl ；
④-5、选取N个大于QPtlci且各不相同的编码量化参数，分别记为QPdl，-,QPdi,…， QPtffl,采用该N个不同的编码量化参数QPdl，-,QPdi, -,QPdN分别对原始左视点深度视频、 原始右视点深度视频进行编码，分别得到以该N个不同的编码量化参数对原始左视点深度视频、原始右视点深度视频进行编码的平均码率，对应的分别记为I dl，-,Rdi,…，RdN，计算得到由原始左视点彩色视频、原始右视点彩色视频和以该N个不同的编码量化参数分别对对应的原始左视点深度视频、原始右视点深度视频进行编码得到的解码左视点深度视频、 解码右视点深度视频进行虚拟视点图像绘制的绘制失真，对应的分别记为Ddl，…，Ddi，…， Dtffl，其中，1 彡 i 彡 N，QPdi = QPd0+i ；
④_6、根据由Rdtl和I dl，Rdi,…，Rtffl组成的对原始左视点深度视频、原始右视点深度视频进行编码的平均码率集合IRdjIo彡j彡N}及由Ddtl和Ddl，…，Ddi，…，DdN 组成的绘制失真集合{Ddj|0 < j ^ N}，通过幂指数拟合方法建立对原始左视点深度视频、原始右视点深度视频进行编码的码率Rd与对原始左视点彩色视频、原始右视点彩色视频与以采用{QPd」0 < j ^ N}中的各个编码量化参数分别对对应的原始左视点深度视频、原始右视点深度视频进行编码得到的解码左视点深度视频、解码右视点深度视频进行虚拟视点图像绘制的绘制失真集合(Dtu |0 < j ( N}中的任意一个绘制失真Dd的关系模型，记为化(凡洋 \(凡广，其中為表示{Rdj|0彡j彡N}中的任意一个平均码率，α JP i3d均为 Dd(Rd) = CCd <凡广中的模型参数。
所述的步骤⑥的具体过程为
⑥-1、选取M个大于100且各不相同的码率，分别记为R。1; Rcj,…，R。M，将由 Rcl,…，Rcj,…，R。M组成的对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码的总码率集合记为Ψ，Ψ = IRcJl彡j彡Μ}，其中， M^l；
⑥-2、选取总码率集合Ψ = IRcJl彡j彡Μ}中的第1个总码率Rca作为对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码的总码率，假定对原始左视点彩色视频、原始右视点彩色视频进行编码的码率占总码率 Rcl的最小码率比重为0. 1，假定对原始左视点彩色视频、原始右视点彩色视频进行编码的码率占总码率L的最大码率比重为0. 9，则根据对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码的总码率R。1;计算对原始左视点彩色视频、原始右视点彩色视频进行编码的最小码率和最大码率，分别记为I^tmin和Rtmax， Rtmin = 0. 1 XRcl, Rtmax = 0. 9XRcl ；
⑥_3、将对原始左视点彩色视频、原始右视点彩色视频进行编码的码率集合记为 Ω, Ω = {Rt|Rtmin彡I t<I tmax}，然后从对原始左视点彩色视频、原始右视点彩色视频进行编码的码率集合Ω中任取一个码率，记为IV ,Rt' e Ω，再计算对原始左视点深度视频、 原始右视点深度视频进行编码的码率，记为IV，IV = Rei-Rt'；
⑥-4、计算对以码率IV分别对原始左视点彩色视频、原始右视点彩色视频进行编码得到的解码左视点彩色视频、解码右视点彩色视频和以码率IV分别对原始左视点深度视频、原始右视点深度视频进行编码得到的解码左视点深度视频、解码右视点深度视频进行虚拟视点图像绘制的绘制失真，记为COST ‘，COST、= CCMRtY' + ARd Yd，其中， %和i3t均为A(尺)(尺/‘中的模型参数，％和i3d均为仏汛洋 \汛广中的模型参数；
⑥-5、从对原始左视点彩色视频、原始右视点彩色视频进行编码的码率集合Ω中任取η个值不等于IV且各不相同的码率，分别记任取的η个码率为R〃 tl，…，R"R" tn;然后从任取的η个码率中的第1个码率R" tl开始，按照步骤⑥-4的操作处理，直至获得任取的η个码率对应的绘制失真，分别记为COST" 1；…，COST" …，COST" n，其中，2彡η彡Rtmax-Rtmin-L 1彡i彡n，R〃 tl表示任取的η个码率中的第1个码率，R〃 ti表示任取的η个码率中的第i个码率，R" tn表示任取的η个码率中的第η个码率，COST" ！ 表示R" tl对应的绘制失真，COST" i表示R" ti对应的绘制失真，COST" n表示R" ^对应的绘制失真；
⑥-6、从COST'和{COST" 1；…，COST" …，COST" J中找出值最小的绘制失真，记为COSTmin，再将COSTmin对应的对原始左视点彩色视频、原始右视点彩色视频进行编码的码率作为对原始左视点彩色视频、原始右视点彩色视频进行编码的最佳码率，记为将COSTmin对应的对原始左视点深度视频、原始右视点深度视频进行编码的码率作为对原始左视点深度视频、原始右视点深度视频进行编码的最佳码率，记为Kpt，得到在总码率L下对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码的最佳码率比重，记为α工，碼=RtoptIR0/ ；
⑥-7、按照步骤⑥-2至步骤⑥-6计算在总码率Rca下对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码的最佳码率比重 Q1的操作，分别获取在Ψ = IRcJl彡j彡Μ}中任取M-I个值不等于Rca且各不相同的码率下对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码的最佳码率比重，分别记为α 2，...,Qj,…，αΜ，由αι&α2，…，α」，…， α 构成最佳码率比重集合，记为Θ =j<M}，通过幂指数拟合方法建立对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码的总码率Rc与最佳码率比重集合θ = { α」1 < j < M}中的任意一个码率比重α的关系模型，记为α, α =f(R。)，/(凡(凡产，其中，α。和β。均为/(凡)=义乂凡广中的模型参数。
与现有技术相比，本发明的优点在于
1)本发明方法根据彩色视频的编码失真和深度视频的编码失真对虚拟视点图像绘制的影响，建立对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码的码率分配模型，并对码率分配模型进行了优化，避免了在编码过程中进行复杂的虚拟视点绘制操作，大大提高了码率分配模型的有效性。
2)本发明方法通过建立对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码的码率分配模型，并通过幂指数拟合方法建立编码码率与绘制失真的关系模型，然后对码率分配模型进行优化，建立对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码的总码率与最佳码率比重的关系模型，本发明方法在保证较高的虚拟视点图像的质量的前提下， 避免了在编码过程中进行复杂的码率分配操作，大大简化了编码过程。
图1为典型的三维视频系统的组成示意图加为“Bookarrival，，三维视频测试序列的第8个参考视点的一幅彩色图像；
图2b为“Bookarrival，，三维视频测试序列的第10个参考视点的一幅彩色图像；
图2c为图加所示的彩色图像对应的深度图像；
图2d为图2b所示的彩色图像对应的深度图像；
图3a为“Newspaper”三维视频测试序列的第4个参考视点的一幅彩色图像；
图北为“Newspaper”三维视频测试序列的第6个参考视点的一幅彩色图像；
图3c为图3a所示的彩色图像对应的深度图像；
图3d为图北所示的彩色图像对应的深度图像；
图如为“Champagne ”三维视频测试序列的第40个参考视点的一幅彩色图像；
图4b为“Champagne，，三维视频测试序列的第42个参考视点的一幅彩色图像；
图如为图如所示的彩色图像对应的深度图像；
图4d为图4b所示的彩色图像对应的深度图像；
图fe为“Dog”三维视频测试序列的第40个参考视点的一幅彩色图像；
图恥为“Dog”三维视频测试序列的第42个参考视点的一幅彩色图像；
图5c为图fe所示的彩色图像对应的深度图像；
图5d为图恥所示的彩色图像对应的深度图像；
图6为对“Bookarrival ”三维视频测试序列的原始左右视点彩色视频与原始左右视点深度视频的编码码率与绘制失真的关系模型进行幂指数拟合的曲线示意图7为对“Newspaper”三维视频测试序列的原始左右视点彩色视频与原始左右视点深度视频的编码码率与绘制失真的关系模型进行幂指数拟合的曲线示意图8为对“Champagne”三维视频测试序列的原始左右视点彩色视频与原始左右视点深度视频的编码码率与绘制失真的关系模型进行幂指数拟合的曲线示意图9为对“Dog”三维视频测试序列的原始左右视点彩色视频与原始左右视点深度视频的编码码率与绘制失真的关系模型进行幂指数拟合的曲线示意图10为对原始左右视点彩色视频与原始左右视点深度视频的编码总码率与最佳码率比重的关系模型进行幂指数拟合的曲线示意图。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
本发明提出的一种三维立体视频编码的最佳码率比重确立方法，其主要包括以下步骤
①将外部立体视频捕获工具捕获得到的未经处理的且颜色空间为YUV的彩色立体视频及其对应的深度立体视频定义为原始三维立体视频，在空域上该原始三维立体视频包括原始左视点三维视频和原始右视点三维视频，原始左视点三维视频包括原始左视点彩色视频和原始左视点深度视频，原始左视点彩色视频主要由若干个帧组的原始左视点彩色图像组成，原始左视点深度视频主要由若干个帧组的原始左视点深度图像组成，原始右视点三维视频包括原始右视点彩色视频和原始右视点深度视频，原始右视点彩色视频主要由若干个帧组的原始右视点彩色图像组成，原始右视点深度视频主要由若干个帧组的原始右视点深度图像组成，其中，YUV颜色空间的三个颜色分量的第1个分量为亮度分量并记为Y、 第2个分量为第一色度分量并记为U及第3个分量为第二色度分量并记为V。将介于左视点与右视点之间的视点作为虚拟视点。
在本实施中，采用三维视频测试序列“ Bookarrival ”、“Newspaper”、“Champagne” 和“Dog”作为原始三维立体视频，“Bookarrival”和“Newspaper”这两个三维视频测试序列的各幅彩色图像和各幅深度图像的分辨率均为10MX768，"Champagne"和“Dog”这两个三维视频测试序列的各幅彩色图像和各幅深度图像的分辨率均为1280X960。对于 “Bookarrival”三维立体视频，将第8个参考视点作为原始三维立体视频的左视点，将第10 个参考视点作为原始三维立体视频的右视点，将第9个视点作为原始三维立体视频的虚拟视点；对于“Newspaper”原始三维立体视频，将第4个参考视点作为原始三维立体视频的左视点，将第6个参考视点作为原始三维立体视频的右视点，将第5个视点作为原始三维立体视频的虚拟视点；对于“Champagne”和“Dog”原始三维立体视频，将第40个参考视点作为原始三维立体视频的左视点，将第42个参考视点作为原始三维立体视频的右视点，将第41 个视点作为原始三维立体视频的虚拟视点。图加和图2b分别给出了“Bookarrival”的第 8个和第10个参考视点的彩色图像；图2c和图2d分别给出了“Bookarrival”的第8个和第10个参考视点的深度图像；图3a和图北分别给出了“Newspaper”的第4个和第6个参考视点的彩色图像；图3c和图3d分别给出了 “Newspaper”的第4个和第6个参考视点的深度图像；图4a和图4b分别给出了 “Champagne”的第40个和第42个参考视点的彩色图像；图如和图4d分别给出了 “Champagne”的第40个和第42个参考视点的深度图像；图 5a和图恥分别给出了 “Dog”的第40个和第42个参考视点的彩色图像；图5c和图5d分别给出了 “Dog”的第40个和第42个参考视点的深度图像。
②由于原始左视点彩色视频、原始右视点彩色视频的编码失真和原始左视点深度视频、原始右视点深度视频的编码失真都会对虚拟视点图像绘制产生影响，但影响是各不相同的，深度视频图像的编码失真会导致绘制图像出现几何偏移现象，而彩色视频图像的编码失真会直接传播到绘制图像中，因此本发明建立对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码的码率分配模型，记为min[Z)v(《，i d)]’以保证获得最优的绘制质量，其中，min[]为取最小值函数，R。表示预先设s.t. Rt +Rd <RC定的对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码的总码率，Rt表示对原始左视点彩色视频、原始右视点彩色视频进行编码的码率，Rd表示对原始左视点深度视频、原始右视点深度视频进行编码的码率，Dv(Rt, Rd)表示对以码率分别对原始左视点彩色视频、原始右视点彩色视频进行编码得到的解码左视点彩色视频、解码右视点彩色视频和以码率&分别对对应的原始左视点深度视频、原始右视点深度视频进行编码得到的解码左视点深度视频、解码右视点深度视频进行虚拟视点图像绘制的绘制失真。
③由于原始左视点彩色视频、原始右视点彩色视频的编码失真和原始左视点深度视频、原始右视点深度视频的编码失真对虚拟视点图像绘制的影响既是相互独立又是相互影响的，为简单起见，本发明忽略彩色视频和深度视频之间的相互影响，于是将Dv(I t，Rd)近似表示为..Dv(Rt)Rd^ Dt(Rt) + Dd(RJ ’其中,Dt(Rt)表示对以码率Rt分别对原始左视点彩色视频、原始右视点彩色视频进行编码得到的解码左视点彩色视频、解码右视点彩色视频和对应的原始左视点深度视频、原始右视点深度视频进行虚拟视点图像绘制的绘制失真， Dd(Rd)表示对原始左视点彩色视频、原始右视点彩色视频和以码率&分别对对应的原始左视点深度视频、原始右视点深度视频进行编码得到的解码左视点深度视频、解码右视点深度视频进行虚拟视点图像绘制的绘制失真。
在此具体实施例中，步骤③的具体过程为
③-1、假定Sv表示由原始左视点彩色图像、原始右视点彩色图像和对应的原始左视点深度图像、原始右视点深度图像进行虚拟视点图像绘制得到的虚拟视点图像，又表示由以码率分别对原始左视点彩色图像、原始右视点彩色图像进行编码得到的解码左视点彩色图像、解码右视点彩色图像和以码率&分别对对应的原始左视点深度图像、原始右视点深度图像进行编码得到的解码左视点深度图像、解码右视点深度图像进行虚拟视点图像绘制得到的虚拟视点图像，Sv表示由以码率艮分别对原始左视点彩色图像、原始右视点彩色图像进行编码得到的解码左视点彩色图像、解码右视点彩色图像和对应的原始左视点深度图像、原始右视点深度图像进行虚拟视点图像绘制得到的虚拟视点图像，叉表示由原始左视点彩色图像、原始右视点彩色图像和以码率&分别对对应的原始左视点深度图像、原始右视点深度图像进行编码得到的解码左视点深度图像、解码右视点深度图像进行虚拟视点图像绘制得到的虚拟视点图像，则将
权利要求
1. 一种三维立体视频编码的最佳码率比重确立方法，其特征在于包括以下步骤①将外部立体视频捕获工具捕获得到的未经处理的且颜色空间为YUV的彩色立体视频及其对应的深度立体视频定义为原始三维立体视频，在空域上该原始三维立体视频包括原始左视点三维视频和原始右视点三维视频，原始左视点三维视频包括原始左视点彩色视频和原始左视点深度视频，原始左视点彩色视频主要由若干个帧组的原始左视点彩色图像组成，原始左视点深度视频主要由若干个帧组的原始左视点深度图像组成，原始右视点三维视频包括原始右视点彩色视频和原始右视点深度视频，原始右视点彩色视频主要由若干个帧组的原始右视点彩色图像组成，原始右视点深度视频主要由若干个帧组的原始右视点深度图像组成，其中，YUV颜色空间的三个颜色分量的第1个分量为亮度分量并记为Y、第2 个分量为第一色度分量并记为U及第3个分量为第二色度分量并记为V ；将介于左视点与右视点之间的视点作为虚拟视点；②建立对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码的码率分配模型，记为"^[^0^ )] ’以保证获得最优的绘制质s.t. Rt+Rd <RC量，其中，min[]为取最小值函数，I 。表示预先设定的对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码的总码率，Rt表示对原始左视点彩色视频、原始右视点彩色视频进行编码的码率，Rd表示对原始左视点深度视频、原始右视点深度视频进行编码的码率，Dv(Rt, Rd)表示对以码率分别对原始左视点彩色视频、 原始右视点彩色视频进行编码得到的解码左视点彩色视频、解码右视点彩色视频和以码率 &分别对对应的原始左视点深度视频、原始右视点深度视频进行编码得到的解码左视点深度视频、解码右视点深度视频进行虚拟视点图像绘制的绘制失真；③将Dv(Rt，Rd)近似表示为伙(代几)三马(代)+化(凡)，其中4饥)表示对以码率Rt 分别对原始左视点彩色视频、原始右视点彩色视频进行编码得到的解码左视点彩色视频、 解码右视点彩色视频和对应的原始左视点深度视频、原始右视点深度视频进行虚拟视点图像绘制的绘制失真，Dd(Rd)表示对原始左视点彩色视频、原始右视点彩色视频和以码率& 分别对对应的原始左视点深度视频、原始右视点深度视频进行编码得到的解码左视点深度视频、解码右视点深度视频进行虚拟视点图像绘制的绘制失真；④通过幂指数拟合方法建立对原始左视点彩色视频、原始右视点彩色视频进行编码的码率Rt与Dt(Rt)的关系模型，记为找(尺)(尺)〃，通过幂指数拟合方法建立对原始左视点深度视频、原始右视点深度视频进行编码的码率&与Dd(Rd)的关系模型，记为 Dd(Rd) = ccdx(Rdfd , %和i3t均为A(尺)中的模型参数，均为化(i d)E X(i d)A中的模型参数；⑤根据Rt与Dt(Rt)的关系模型Dt(Rt)^cct XiRtY'及&与Dd(Iid)的关系模型n (R、 y(R ★对码率分配模型"^[^0^ )]进行优化，将优化后的码率分配模型υ \Kd) = ad x\Kd) ，Rt+Rdi-Rc表示为 min^x^/'+^x^)^]；s.t. Rt+Rd ^c⑥根据优化后的码率分配模型+ ，通过全搜索方法获取在不s.t. Rt+Rd ^Rc同的总码率R。下对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码的最佳码率比重，将其记为α，α = f(\),f(Rc) = acx(Rct , 其中，f()为函数表示形式，α =f(Rc)表示α为R。的函数，α。和β。均为= 中的模型参数。
2.根据权利要求1所述的一种三维立体视频编码的最佳码率比重确立方法，其特征在于所述的步骤③的具体过程为③-1、假定Sv表示由原始左视点彩色图像、原始右视点彩色图像和对应的原始左视点深度图像、原始右视点深度图像进行虚拟视点图像绘制得到的虚拟视点图像，文表示由以码率分别对原始左视点彩色图像、原始右视点彩色图像进行编码得到的解码左视点彩色图像、解码右视点彩色图像和以码率&分别对对应的原始左视点深度图像、 原始右视点深度图像进行编码得到的解码左视点深度图像、解码右视点深度图像进行虚拟视点图像绘制得到的虚拟视点图像，足表示由以码率艮分别对原始左视点彩色图像、原始右视点彩色图像进行编码得到的解码左视点彩色图像、解码右视点彩色图像和对应的原始左视点深度图像、原始右视点深度图像进行虚拟视点图像绘制得到的虚拟视点图像，叉表示由原始左视点彩色图像、原始右视点彩色图像和以码率&分别对对应的原始左视点深度图像、原始右视点深度图像进行编码得到的解码左视点深度图像、解码右视点深度图像进行虚拟视点图像绘制得到的虚拟视点图像，则将Dv(艮，Rd)表示为伙(代,凡)=五{(又-爻)2}=五{(又-旲+旲-爻)卞其中，五{(又-爻)2}表示求(又-爻)2的数学期望值；③-2通过多项式分解将 ￡丨(凡-爻)2丨表示为 =++， 其中，五{(又-旲)2丨表示求(又-旲)2的数学期望值，五{汰-夂)2}表示求(叉-夂)2的数学期望值， 4又-叉χ叉-文)|表示求以-幻这-幻的数学期望值；③_3、根据五{(又-瓦X叉-夂；)} = ο且五{(叉-夂)2} 又-夂)2}，将Dv(Rt, Rd)近似表示为从(尺凡-旯)2丨+五{(凡-爻)2丨，其中，五{(又-爻)2丨表示求(又-爻)2的数学期望值；③-4、将又-足)2j表示为对以码率分别对原始左视点彩色视频、原始右视点彩色视频进行编码得到的解码左视点彩色视频、解码右视点彩色视频和对应的原始左视点深度视频、原始右视点深度视频进行虚拟视点图像绘制的绘制失真，记为Dt (Rt)，将￡丨(又-^v)2)表示为对原始左视点彩色视频、原始右视点彩色视频和以码率&分别对对应的原始左视点深度视频、原始右视点深度视频进行编码得到的解码左视点深度视频、解码右视点深度视频进行虚拟视点图像绘制的绘制失真，记为Dd(Rd),根据又-叉= ^(代)和五{(又-旯)2}=化(凡)，将 Dv(Rt，Rd)近似表示为-.Dv(R^Rd)三 DXR^Dd(Rd)。
3.根据权利要求1或2所述的一种三维立体视频编码的最佳码率比重确立方法，其特征在于所述的步骤④的具体过程为④-1、任取一个不大于44的编码量化参数作为原始左视点彩色视频、原始右视点彩色视频的编码量化参数，记为QPttl,得到以该编码量化参数QPttl对原始左视点彩色视频、原始右视点彩色视频进行编码的平均码率，记为1^，将由原始左视点彩色视频、原始右视点彩色视频和对应的原始左视点深度视频、原始右视点深度视频进行虚拟视点图像绘制得到的虚拟视点视频记为Cs，将由以编码量化参数QPttl分别对原始左视点彩色视频、原始右视点彩色视频进行编码得到的解码左视点彩色视频、解码右视点彩色视频和对应的原始左视点深度视频、原始右视点深度视频进行虚拟视点图像绘制得到的虚拟视点视频记为Iv(QPttl),计算与Iv(QPttl)的均方差，作为对以编码量化参数QPttl分别对原始左视点彩色视频、原始右视点彩色视频进行编码得到的解码左视点彩色视频、解码右视点彩色视频和对应的原始左视点深度视频、原始右视点深度视频进行虚拟视点图像绘制的绘制失真，记为Dttl ；④-2、选取N个大于QPttl且各不相同的编码量化参数，分别记为QPtl,…，QPti，…， QP ，采用该N个不同的编码量化参数QPtl，-,QPti, -,QPtN分别对原始左视点彩色视频、 原始右视点彩色视频进行编码，分别得到以该N个不同的编码量化参数对原始左视点彩色视频、原始右视点彩色视频进行编码的平均码率，对应的分别记为Rtl，-,Rti,…，RtN，计算得到由以该N个不同的编码量化参数分别对原始左视点彩色视频、原始右视点彩色视频进行编码得到的解码左视点彩色视频、解码右视点彩色视频和对应的原始左视点深度视频、 原始右视点深度视频进行虚拟视点图像绘制的绘制失真，对应的分别记为Dtl，…，Dti，…， DtN，其中，1 彡 i 彡 N，QPti = QPt0+i ；④_3、根据由Rttl和Rtl，…，Rti，-,RtN组成的对原始左视点彩色视频、原始右视点彩色视频进行编码的平均码率集合IRtjIO < j彡N}及由Dttl和Dtl，…，Dti，…，DtN组成的绘制失真集合{Dtj O^ j^N},通过幂指数拟合方法建立对原始左视点彩色视频、原始右视点彩色视频进行编码的码率艮与对以采用{QPt」0< 中的各个编码量化参数分别对原始左视点彩色视频、原始右视点彩色视频进行编码得到的解码左视点彩色视频、解码右视点彩色视频与对应的原始左视点深度视频、原始右视点深度视频进行虚拟视点图像绘制的绘制失真集合{Dy I 0 < j < N}中的任意一个绘制失真Dt的关系模型，记为Dt(A) = at XiRtY'， 其中，艮表示{Rtj|0彡j彡N}中的任意一个平均码率，at和β t均为Di(尺)ξ ,χ(尺/‘中的模型参数；④_4、任取一个不大于44的编码量化参数作为原始左视点深度视频、原始右视点深度视频的编码量化参数，记为QPdtl,得到以该编码量化参数QPdtl对原始左视点深度视频、原始右视点深度视频进行编码的平均码率，记为Rdtl,将由原始左视点彩色视频、原始右视点彩色视频和以编码量化参数QPdtl分别对对应的原始左视点深度视频、原始右视点深度视频进行编码得到的解码左视点深度视频、解码右视点深度视频进行虚拟视点图像绘制得到的虚拟视点视频记为Iv(QPdtl),计算C"与Iv(QPdtl)的均方差，作为对原始左视点彩色视频、原始右视点彩色视频和以编码量化参数QPdtl分别对对应的原始左视点深度视频、原始右视点深度视频进行编码得到的解码左视点深度视频、解码右视点深度视频进行虚拟视点图像绘制的绘制失真，记为Ddtl ；④-5、选取N个大于QPdtl且各不相同的编码量化参数，分别记为QPdl, ···, QPdi,…， QPtffl,采用该N个不同的编码量化参数QPdl，-,QPdi, -,QPdN分别对原始左视点深度视频、原始右视点深度视频进行编码，分别得到以该N个不同的编码量化参数对原始左视点深度视频、原始右视点深度视频进行编码的平均码率，对应的分别记为I dl，-,Rdi,…，RdN，计算得到由原始左视点彩色视频、原始右视点彩色视频和以该N个不同的编码量化参数分别对对应的原始左视点深度视频、原始右视点深度视频进行编码得到的解码左视点深度视频、 解码右视点深度视频进行虚拟视点图像绘制的绘制失真，对应的分别记为Ddl，…，Ddi，…， Dtffl，其中，1 彡 i 彡 N，QPdi = QPd0+i ；④_6、根据由Rdtl和I dl，…，Rdi,…，RdN组成的对原始左视点深度视频、原始右视点深度视频进行编码的平均码率集合IRdjIO彡j彡N}及由Ddtl和Ddl，…，Ddi，…，Dtffl组成的绘制失真集合{Ddj O^ j ^N},通过幂指数拟合方法建立对原始左视点深度视频、原始右视点深度视频进行编码的码率&与对原始左视点彩色视频、原始右视点彩色视频与以采用(QPtuIOS j ^ N}中的各个编码量化参数分别对对应的原始左视点深度视频、原始右视点深度视频进行编码得到的解码左视点深度视频、解码右视点深度视频进行虚拟视点图像绘制的绘制失真集合(Dtu |0 < j ( N}中的任意一个绘制失真Dd的关系模型，记为 Z)d(i d^ X(i d)A，其中為表示{Rdj|0彡j彡N}中的任意一个平均码率，α Jn i3d均为 Dd(Rd) = CCd <凡广中的模型参数。
4.根据权利要求3所述的一种三维立体视频编码的最佳码率比重确立方法，其特征在于所述的步骤⑥的具体过程为⑥-1、选取M个大于100且各不相同的码率，分别记为Rca，-,Rcj,…，R。M，将由Rcl，…， Rcj,…，R。M组成的对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码的总码率集合记为Ψ，Ψ = {RCJ11彡j彡Μ}，其中，M彡1 ；⑥_2、选取总码率集合Ψ = IRcJ 1彡j彡Μ}中的第1个总码率Rcl作为对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码的总码率，假定对原始左视点彩色视频、原始右视点彩色视频进行编码的码率占总码率Rca 的最小码率比重为0. 1，假定对原始左视点彩色视频、原始右视点彩色视频进行编码的码率占总码率Rca的最大码率比重为0. 9，则根据对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码的总码率R。1;计算对原始左视点彩色视频、原始右视点彩色视频进行编码的最小码率和最大码率，分别记为艮min和艮_，Rt min =0. 1 XRcl, Rt max = 0. 9XRcl ；⑥_3、将对原始左视点彩色视频、原始右视点彩色视频进行编码的码率集合记为Ω， Ω = {Rt|Rt min ^ Rt ^ Rt _}，然后从对原始左视点彩色视频、原始右视点彩色视频进行编码的码率集合Ω中任取一个码率，记为IV ,Rt' e Ω，再计算对原始左视点深度视频、原始右视点深度视频进行编码的码率，记为IV，IV = Rei-Rt'；⑥_4、计算对以码率IV分别对原始左视点彩色视频、原始右视点彩色视频进行编码得到的解码左视点彩色视频、解码右视点彩色视频和以码率IV分别对原始左视点深度视频、原始右视点深度视频进行编码得到的解码左视点深度视频、解码右视点深度视频进行虚拟视点图像绘制的绘制失真，记为COST'，《^厂二化乂尺’/‘+ 父…/产，其中，％和 i3t均为A(尺)(尺/‘中的模型参数，％和i3d均为仏㈧洋 乂㈧广中的模型参数； ⑥-5、从对原始左视点彩色视频、原始右视点彩色视频进行编码的码率集合Ω中任取η个值不等于IV且各不相同的码率，分别记任取的η个码率为R〃 tl，···, R" ti，…，R" tn;然后从任取的η个码率中的第1个码率R" tl开始，按照步骤⑥-4的操作处理，直至获得任取的η个码率对应的绘制失真，分别记为COST" 1；…，COST" …，COST" n，其中，2彡η彡I tmax-I tmin-l，l彡i彡n，R〃 tl表示任取的η个码率中的第1个码率，R〃 ti表示任取的η个码率中的第i个码率，R" tn表示任取的η个码率中的第η个码率，COST" ！ 表示R" tl对应的绘制失真，COST" i表示R" ti对应的绘制失真，COST" n表示R" ^对应的绘制失真；⑥-6、从COST'和{COST" 1； -,COST" …，COST" J中找出值最小的绘制失真， 记为COSTmin，再将COSTmin对应的对原始左视点彩色视频、原始右视点彩色视频进行编码的码率作为对原始左视点彩色视频、原始右视点彩色视频进行编码的最佳码率，记为代-，将 COSTmin对应的对原始左视点深度视频、原始右视点深度视频进行编码的码率作为对原始左视点深度视频、原始右视点深度视频进行编码的最佳码率，记为Kpt，得到在总码率Rca下对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码的最佳码率比重，记为α i，A = R^ IRT ；⑥_7、按照步骤⑥-2至步骤⑥-6计算在总码率I^1下对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码的最佳码率比重α ！ 的操作，分别获取在Ψ = {RCJ|1 ^ j ^Mj中任取M-I个值不等于Rca且各不相同的码率下对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码的最佳码率比重，分别记为α 2，...,Qj,…，αΜ，由αι&α2，…，α」，…， α 构成最佳码率比重集合，记为Θ =j<M}，通过幂指数拟合方法建立对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码的总码率Rc与最佳码率比重集合θ = { α」1 < j < M}中的任意一个码率比重α的关系模型，记为 α, α = f (Rc) ,/(Rc) = GCc χ (RcY' , α c ^P β。均为/(凡)=& χ(凡产中的模型参数。
全文摘要
本发明公开了一种三维立体视频编码的最佳码率比重确立方法，其通过建立对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码的码率分配模型，并通过幂指数拟合方法建立编码码率与绘制失真的关系模型，然后对码率分配模型进行优化，建立对原始左视点彩色视频、原始右视点彩色视频和原始左视点深度视频、原始右视点深度视频进行编码的总码率与最佳码率比重的关系模型，本发明方法在保证较高的虚拟视点图像质量的前提下，避免了在编码过程中进行复杂的码率分配操作，大大简化了编码过程。
文档编号H04N15/00GK102523468SQ201110422409
公开日2012年6月27日 申请日期2011年12月16日 优先权日2011年12月16日
发明者李福翠, 蒋刚毅, 邵枫, 郁梅 申请人:宁波大学