专利名称：一种三维视频编码的深度和彩色码率分配方法
技术领域：
本发明涉及一种视频信号的编码压缩方法，尤其是涉及ー种三维视频编码的深度和彩色码率分配方法。
背景技术：
三维视频系统由于能够提供立体感、视点交互性的全新视觉体验而越来越受到人们的欢迎，在无线视频通信、影视娱乐、数字动漫、虚拟战场、旅游观光、远程教学等领域有着广泛的应用前景。多视点彩色加深度(multi-view video plus depth,MVD)是目前ISO/MPEG推荐采用的3D场景信息表示方式。MVD数据为在多视点彩色图像的基础上增加了对应视点的深度信息，其通过利用參考视点的彩色图像及该參考视点的彩色图像中的每个像 素点对应的深度信息，采用基于深度图像的绘制(Depth Image Based Rendering,DIBR)技术来合成三维场景的虚拟视点图像。然而，现有的三维视频编码的研究并没有充分考虑彩色视频与深度视频的最优码率分配问题，这是因为一方面，由于彩色视频的编码失真和深度视频的编码失真都会对虚拟视点绘制产生影响；另一方面，各个视频序列都有自身的特点，不同测试视频序列的彩色视频的编码失真和深度视频的编码失真对虚拟视点绘制的影响是各不相同的。因此，如何在彩色视频与深度视频之间进行合理的码率分配，以及在总码率给定的情况下通过关系模型来确立对彩色视频和深度视频进行编码的编码量化參数，以保证获得最优的虚拟视点绘制质量，是对MVD数据的编码过程中需要研究解决的问题。
发明内容
本发明所要解决的技术问题是提供一种能够有效地提高虚拟视点视频的率失真性能，并能够简化码率分配操作过程的三维视频编码的深度和彩色码率分配方法。本发明解决上述技术问题所采用的技术方案为ー种三维视频编码的深度和彩色码率分配方法，其特征在于包括以下步骤①将外部三维视频捕获工具捕获得到的未经处理的且颜色空间为YUV的彩色视频及其对应的深度视频定义为原始三维视频，在空域上该原始三维视频包括原始左视点三维视频和原始右视点三维视频，原始左视点三维视频包括原始左视点彩色视频和原始左视点深度视频，原始左视点彩色视频主要由若干个帧组的原始左视点彩色图像组成，原始左视点深度视频主要由若干个帧组的原始左视点深度图像组成，原始右视点三维视频包括原始右视点彩色视频和原始右视点深度视频，原始右视点彩色视频主要由若干个帧组的原始右视点彩色图像组成，原始右视点深度视频主要由若干个帧组的原始右视点深度图像组成，其中，YUV颜色空间的三个颜色分量的第I个分量为亮度分量并记为Y、第2个分量为第一色度分量并记为U及第3个分量为第二色度分量并记为V ；将介于左视点与右视点之间的视点作为虚拟视点；将利用原始左视点彩色视频、原始右视点彩色视频经过编码、解码后对应得到的左视点彩色视频、右视点彩色视频与原始左视点深度视频、原始右视点深度视频经过编码、解码后对应得到的左视点深度视频、右视点深度视频进行虚拟视点绘制得到的虚拟视点视频的峰值信噪比的最大值作为最优的虚拟视点绘制质量；②建立对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原
始右视点深度视频进行编码的码率分配模型，记为minPv(K(G)A(A))I ’以保证获得最
优的虚拟视点绘制质量，其中，min{}为取最小值函数，R。表示预先设定的对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码的总码率，Rt(Qt)表示采用彩色视频量化步长Qt对原始左视点彩色视频、原始右视点彩色视频进行编码的码率，Rd(Qd)表示采用深度视频量化步长Qd对原始左视点深度视频、原始右视点深度视频进行编码的码率，Dv (Rt (Qt)，Rd(Qd))表示采用彩色视频量化步长Qt对原始左视点彩色视频、原始右视点彩色视频进行编码得到的解码左视点彩色视频、解码右视点彩色 视频和采用深度视频量化步长Qd对对应的原始左视点深度视频、原始右视点深度视频进行编码得到的解码左视点深度视频、解码右视点深度视频进行虚拟视点绘制的绘制失真；③在最优的虚拟视点绘制质量下，通过二次拟合方法建立用来编码原始左视点彩色视频、原始右视点彩色视频的彩色视频量化步长Qt与用来编码原始左视点深度视频、原始右视点深度视频的深度视频量化步长Qd的二次关系模型，记为=aQ2t +bQt +c，其中，a、b和c均为仏=aQf +bQt +c中的模型參数；④通过线性拟合方法建立对原始左视点彩色视频、原始右视点彩色视频进行编码的码率Rt与l/Qt的关系模型，记为及=Xt/Qt+Lt，通过线性拟合方法建立对原始左视点深度视频、原始右视点深度视频进行编码的码率Rd与1/Qd的关系模型，记为A = Xd IQd +Ld，其中，Xt和Lt均为及=JTi/ +A中的模型參数，Xd和Ld均为& /^+ん中的模型參数；⑤根据Qt与Qd的二次关系模型込=aQ2t +bQt +c、Rt与1/Qt的关系模型RgXtIQt +Lt、Rd与i/Qd的关系模型Rd三XJQd +Ld及码率分配模型
min{Z)v(^(aX^(a))} ’计算得到在最小的虚拟视点失真下的Qt与τ。的关系
s^t- (Qt )+ (Qd
甘+ Lt + n2 Jn , +Ld <'，然后对甘+ Lt + Π2 In +Ld 的两边取等Qt aQt +bQt+CQt aQt +bQt+c
号并化成标准一元三次方程，得到在最小的虚拟视点失真下的Qt与R。的关系模型为
a(Rc ~Lt ~Ld) n3 (b(Rc-Lt-Ld)2 C(Rc-Lt-Ld)-Xd
---Qt + (----a)Qt +、----b)Qt -c = 0 ；
xt xt xt⑥在给定ー个总码率R。的情况下，根据在最小的虚拟视点失真下的Qt与R。的关系模型 a(Rc ~lt~Ld)Q] + (b{Rc~^~Ld)-ci)Qf + (C{Rc~LtxLd)~Xd -b)Qt -c = 0，获取对
原始左视点彩色视频、原始右视点彩色视频进行编码的最佳初始编码量化步长，记为Qt°pt，然后根据Qt与Qd的~■次关系ホ吴型Gd = aQf +c，获取对原始左视点深度视频、原始右视点深度视频进行编码的最佳初始编码量化步长，记为；⑦根据对原始左视点彩色视频、原始右视点彩色视频进行编码的最佳初始编码量化步长2广，计算对原始左视点彩色视频、原始右视点彩色视频进行编码的最佳初始编码量化參数，记为ρρ, = [6 X Iog2^i+4]，然后根据设定的多视点视频编码结构采用
对原始左视点彩色视频、原始右视点彩色视频进行编码，其中，“「I”为向上取整数符号；根据对原始左视点深度视频、原始右视点深度视频进行编码的最佳初始编码量化步长2Γ，计算对原始左视点深度视频、原始右视点深度视频进行编码的最佳初始编码量化參数，记为,^r=[6 X Iog2^r+4]，然后根据设定的多视点视频编码结构采用ぽ/对
原始左视点深度视频、原始右视点深度视频进行编码，其中，“「 ”为向上取整数符号。所述的步骤③的具体过程为③-I、任取一个多视点视频序列，任取ー个不大于64的编码量化步长作为原始左视点彩色视频、原始右视点彩色视频的编码量化步长，记为Qttl,对于Qttl选取N个各不相、同的编码量化步长作为原始左视点深度视频、原始右视点深度视频的编码量化步长，分别记为Qdtl, Qdl,…，Qdi,…，Qd(N-D，将对采用Qttl分别对原始左视点彩色视频、原始右视点彩色视频进行编码得到的解码左视点彩色视频、解码右视点彩色视频和采用Qdi分别对原始左视点深度视频、原始右视点深度视频进行编码得到的解码左视点深度视频、解码右视点深度视频进行虚拟视点绘制得到的虚拟视点视频记为Ivi (Qto)，将原始左视点彩色视频与原始右视点彩色视频之间存在的中间彩色视频记为IOTg，分别计算Ivtl(Qtci), Ivi (Qto) …，Ivi (Qto)，…，Iv(N-I) (Qto)与し8 的峰值信噪比，分别记为 PSNRtl (Qto)，PSNR1 (Qto)，…，PSNRi (Qto), ...,PSNIV1 (Qttl),然后从 PSNRtl (Qttl) ,PSNR1 (Qto), ...,PSNRi(Qto), -,PSNR^1 (Qto)中选取数值最大的峰值信噪比，记为PSNRmax(Qttl)，再将PSNRmax(Qttl)作为最优的虚拟视点绘制质量，获得此最优的虚拟视点绘制质量的彩色视频和深度视频编码量化步长对，记为(0iO，0r)^.，KN<51，O<i<N-l ；③-2、选取M个大于Qttl且各不相同的编码量化步长,分别记为Qtl,…，Qtj, ···,QtM，对于任意ー个Qu选取N个各不相同的编码量化步长作为原始左视点深度视频、原始右视点深度视频的编码量化步长，分别记为QdCi，QdI …，Qdi …，Qd -i)，计算得到对米用该M个不同的编码量化步长分别对原始左视点彩色视频、原始右视点彩色视频进行编码得到的解码左视点彩色视频、解码右视点彩色视频和对应的原始左视点深度视频、原始右视点深度视频进行编码得到的解码左视点深度视频、解码右视点深度视频进行虚拟视点绘制的最优的虚拟视点绘制质量，对应的分别记为PSNRmax(Qtl), PSNRmax(Qt2),…，PSNRmax(Qtj),…，PSNRfflax (Qa)，获得此组最优的虚拟视点绘制质量的彩色视频和深度视频编码量化步长对，分别记为(Qn，QT)，((L·Q°JD，…，(Q,，…，(QtM，QZ)，其中，I 彡 j 彡 μ，I 彡 μ 彡 51;③-3、选取L个多视点视频序列，对于每一个视频序列分别执行步骤③-I至步骤
③_2，得到L组最优的虚拟视点绘制质量的彩色视频和深度视频编码量化步长对，然后采用二次拟合方法对总共的(L+1)组最优的虚拟视点绘制质量的彩色视频和深度视频编码量化步长对进行拟合，得到在最优的虚拟视点绘制质量下，对原始左视点彩色视频、原始右视点彩色视频进行编码的彩色视频量化步长Qt与对原始左视点深度视频、原始右视点深度视频进行编码的深度视频量化步长Qd的二次关系模型&其中，a、b和c均为仏=aQf +bQt +c中的模型參数，L彡I。所述的步骤④的具体过程为
④-I、根据对原始左视点彩色视频、原始右视点彩色视频进行编码的平均码率集合{Rtk I O ≤k ≤T-1}和对原始左视点彩色视频、原始右视点彩色视频进行编码的编码量化步长集合{Qtk|0 ≤k ≤T-1}，采用线性拟合方法建立对原始左视点彩色视频、原始右视点彩色视频进行编码的编码量化步长集合{Qtk|0≤k≤T-l}中的任意ー个量化步长Qt与对原始左视点彩色视频、原始右视点彩色视频进行编码的平均码率集合{Rtk|0≤k≤T-l}中的任意一个码率Rt的关系模型，记为=XtIQt +A，其中，Xt和Lt均为尺t =XtIQt + A中的模型參数，τ表示对原始左视点彩色视频、原始右视点彩色视频进行编码的编码次数；④_2、根据对原始左视点深度视频、原始右视点深度视频进行编码的平均码率集合{Rdk I O ≤ k≤D-1}和对原始左视点深度视频、原始右视点深度视频进行编码的编码量化步长集合{Qdk|0 ≤k ≤D-1}，采用线性拟合方法建立对原始左视点深度视频、原始右视点深度视频进行编码的编码量化步长集合{Qdk|0≤k≤D-1}中的任意ー个量化步长Qt与对原始左视点深度视频、原始右视点深度视频进行编码的平均码率集合{Rdk|0≤k≤D-1}中的任意一个码率Rd的关系模型，记为A三XJQd +Ld，其中，Xd和Ld均为&三XJQd +Ld中的模型參数，D表示对原始左视点深度视频、原始右视点深度视频进行编码的编码次数。与现有技术相比，本发明的优点在于I)本发明方法通过在获得最优的虚拟视点绘制质量情况下，通过二次拟合方法建立对原始左视点彩色视频、原始右视点彩色视频编码量化步长与原始左视点深度视频、原始右视点深度视频编码量化步长的关系模型，进而将彩色和深度比特分配问题描述为ー个标准一元三次方程，通过求解方程分别获得在一定码率下对原始左视点彩色视频、原始右视点彩色视频和原始左视点深度视频、原始右视点深度视频进行编码的最佳初始编码量化參数，最后采用最佳初始编码量化參数分别对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码，这ー编码流程有别于传统的三维视频编码方法，不仅有效提高了虚拟视点视频的率失真性能，而且简化了码率分配操作过程。2)本发明方法根据彩色视频的编码失真和深度视频的编码失真对虚拟视点图像绘制的影响，建立对原始左视点彩色视频、原始右视点彩色视频进行编码的编码量化步长与对原始左视点深度视频、原始右视点深度视频进行编码的编码量化步长之间的二次关系模型，避免了在编码过程中进行复杂的虚拟视点绘制操作，降低了计算复杂度。
图I为本发明方法的总体实现框图；图2a为“Newspaper”三维视频测试序列的第4个參考视点的一幅彩色图像；图2b为“Newspaper”三维视频测试序列的第6个參考视点的一幅彩色图像；图2c为图2a所示的彩色图像对应的深度图像；图2d为图2b所示的彩色图像对应的深度图像；图3a为“BookArrival ”三维视频测试序列的第9个參考视点的一幅彩色图像；
图3b为“BookArrival ”三维视频测试序列的第11个參考视点的一幅彩色图像；图3c为图3a所示的彩色图像对应的深度图像；图3d为图3b所示的彩色图像对应的深度图像；
图4a为“DoorFlowers”三维视频测试序列的第9个參考视点的一幅彩色图像；图4b为“DoorFlowers”三维视频测试序列的第11个參考视点的一幅彩色图像；图4c为图4a所示的彩色图像对应的深度图像；图4d为图4b所示的彩色图像对应的深度图像；图5a为“LeavingLaptop”三维视频测试序列的第9个參考视点的一幅彩色图像；图5b为“LeavingLaptop”三维视频测试序列的第11个參考视点的一幅彩色图像；图5c为图5a所示的彩色图像对应的深度图像；图5d为图5b所示的彩色图像对应的深度图像； 图6为“Newspaper”三维视频测试序列采用本发明方法的二次原始左右视点彩色视频的编码量化步长与原始左右视点深度视频的编码量化步长模型的效果示意图；图7为“BookArrival”三维视频测试序列采用本发明方法的二次原始左右视点彩色视频的编码量化步长与原始左右视点深度视频的编码量化步长模型的效果示意图；图8为“DoorFlowers”三维视频测试序列采用本发明方法的二次原始左右视点彩色视频的编码量化步长与原始左右视点深度视频的编码量化步长模型的效果示意图；图9为“LeavingLaptop”三维视频测试序列采用本发明方法的二次原始左右视点彩色视频的编码量化步长与原始左右视点深度视频的编码量化步长模型的效果示意图；图10为对原始左右视点彩色视频的编码量化步长与码率的关系模型进行线性拟合的曲线示意图；图11为对原始左右视点深度视频的编码量化步长与码率的关系模型进行线性拟合的曲线示意图；图12为“Newspaper”三维视频测试序列采用本发明方法与采用固定码率比重方法得到的虚拟视点彩色图像的亮度分量Y的率失真性能曲线比较示意图；图13为“BookArrival”三维视频测试序列采用本发明方法与采用固定码率比重方法得到的虚拟视点彩色图像的亮度分量Y的率失真性能曲线比较示意图；图14为“DoorFlowers”三维视频测试序列采用本发明方法与采用固定码率比重方法得到的虚拟视点彩色图像的亮度分量Y的率失真性能曲线比较示意图；图15为“LeavingLaptop”三维视频测试序列采用本发明方法与采用固定码率比重方法得到的虚拟视点彩色图像的亮度分量Y的率失真性能曲线比较示意图。
具体实施例方式以下结合附图实施例对本发明作进ー步详细描述。本发明提出的ー种三维视频编码的深度和彩色码率分配方法，其总体实现框图如图I所示，其包括以下步骤①将外部三维视频捕获工具捕获得到的未经处理的且颜色空间为YUV的彩色视频及其对应的深度视频定义为原始三维视频，在空域上该原始三维视频包括原始左视点三维视频和原始右视点三维视频，原始左视点三维视频包括原始左视点彩色视频和原始左视点深度视频，原始左视点彩色视频主要由若干个帧组的原始左视点彩色图像组成，原始左视点深度视频主要由若干个帧组的原始左视点深度图像组成，原始右视点三维视频包括原始右视点彩色视频和原始右视点深度视频，原始右视点彩色视频主要由若干个帧组的原始右视点彩色图像组成，原始右视点深度视频主要由若干个帧组的原始右视点深度图像组成，其中，YUV颜色空间的三个颜色分量的第I个分量为亮度分量并记为Y、第2个分量为第一色度分量并记为U及第3个分量为第二色度分量并记为V ;将介于左视点与右视点之间的视点作为虚拟视点；将利用原始左视点彩色视频、原始右视点彩色视频经过编码、解码后对应得到的左视点彩色视频、右视点彩色视频与原始左视点深度视频、原始右视点深度视频经过编码、解码后对应得到的左视点深度视频、右视点深度视频进行虚拟视点绘制得到的虚拟视点视频的峰值信噪比(PSNR，Peak Signal to Noise Ratio)的最大值作为最优的虚拟视点绘制质量。在本实施中，采用德国HHI实验室提供的三维视频测试序列“ BookArrival”、“DoorFlowers，，、“LeavingLaptop” 和韩国 Gwangiu Institute of Science andTechnology (GIST)提供的三维视频测试序列“Newspaper”作为原始三维视频，这四个三维视频测试序列的各幅彩色图像和各幅深度图像的分辨率均为1024X768。对于“BookArrival”、“DoorFlowers”、“LeavingLaptop”三维视频测试序列，将第9个參考视点 作为原始三维视频的左视点，将第11个參考视点作为原始三维视频的右视点，将第10个视点作为原始三维视频的虚拟视点；对于“Newspaper”三维视频测试序列，将第4个參考视点作为原始三维视频的左视点，将第6个參考视点作为原始三维视频的右视点，将第5个视点作为原始三维视频的虚拟视点。图2a和图2b分别给出了“Newspaper”的第4个和第6个參考视点的彩色图像；图2c和图2d分别给出了“ Newspaper”的第4个和第6个參考视点的深度图像；图3a和图3b分别给出了“BookArrival”的第9个和第11个參考视点的彩色图像；图3c和图3d分别给出了“ BookArrival”的第9个和第11个參考视点的深度图像；图4a和图4b分别给出了 “DoorFlowers”的第9个和第11个參考视点的彩色图像；图4c和图4d分别给出了“DoorFlowers”的第9个和第11个參考视点的深度图像；图5a和图5b分别给出了“LeavingLaptop”的第9个和第11个參考视点的彩色图像；图5c和图5d分别给出了 “LeavingLaptop”的第9个和第11个參考视点的深度图像。②由于深度是用来表征场景几何的负载信息，因此深度信息的编码质量会对后期虚拟视点图像的绘制产生影响，并且由于人眼感知是对彩色视频图像进行的，因此彩色视频图像的编码质量也会直接对后期虚拟视点图像的绘制质量产生影响。由于原始左右视点彩色视频的编码失真和原始左右视点深度视频的编码失真都会对虚拟视点图像绘制产生影响，因此本发明建立对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度
视频、原始右视点深度视频进行编码的码率分配模型，记为mmPv (ぺ(α)，&(仏)》’以保证
获得最优的虚拟视点绘制质量，其中，min{}为取最小值函数，R。表示预先设定的对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码的总码率，Rt(Qt)表示采用彩色视频量化步长Qt对原始左视点彩色视频、原始右视点彩色视频进行编码的码率，Rd(Qd)表示采用深度视频量化步长Qd对原始左视点深度视频、原始右视点深度视频进行编码的码率，Dv (Rt (Qt)，Rd(Qd))表示采用彩色视频量化步长Qt对原始左视点彩色视频、原始右视点彩色视频进行编码得到的解码左视点彩色视频、解码右视点彩色视频和采用深度视频量化步长Qd对对应的原始左视点深度视频、原始右视点深度视频进行编码得到的解码左视点深度视频、解码右视点深度视频进行虚拟视点绘制的绘制失真。③在最优的虚拟视点绘制质量下，通过二次拟合方法建立用来编码原始左视点彩色视频、原始右视点彩色视频的彩色视频量化步长Qt与用来编码原始左视点深度视频、原始右视点深度视频的深度视频量化步长Qd的二次关系模型，记为=aQ2t +bQt +c，其中，a、b和c均为込=aQ2t +bQt +c中的模型參数。在此具体实施例中，步骤③的具体过程为③-I、任取一个多视点视频序列，任取ー个不大于64的编码量化步长作为原始左视点彩色视频、原始右视点彩色视频的编码量化步长，记为Qttl,对于Qttl选取N个各不相同的编码量化步长作为原始左视点深度视频、原始右视点深度视频的编码量化步长，分别记为Qdtl, Qdl,…，Qdi,…，Qd(N-D，将对采用Qttl分别对原始左视点彩色视频、原始右视点彩色视频进行编码得到的解码左视点彩色视频、解码右视点彩色视频和采用Qdi分别对原始 左视点深度视频、原始右视点深度视频进行编码得到的解码左视点深度视频、解码右视点深度视频进行虚拟视点绘制得到的虚拟视点视频记为Ivi (Qto)，将原始左视点彩色视频与原始右视点彩色视频之间存在的中间彩色视频记为IOTg，分别计算Ivtl(Qtci), Ivi(Qto) …，Ivi (Qto)，…，Iv(N-I) (Qto)与し8 的峰值信噪比，分别记为 PSNRtl (Qto)，PSNR1 (Qto)，…，PSNRi (Qto), ...,PSNIV1 (Qttl),然后从 PSNRtl (Qttl) ,PSNR1 (Qto), ...,PSNRi(Qto), -,PSNR^1 (Qto)中选取数值最大的峰值信噪比，记为PSNRmax(Qttl)，再将PSNRmax(Qttl)作为最优的虚拟视点绘制质量，获得此最优的虚拟视点绘制质量的彩色视频和深度视频编码量化步长对，记为(0 Ο，0Γ)^.，ΚΝ<51，Ο< <Ν-1。在此，取Qto = 6. 5, N = 15, Qdo = 8, Qdl = 10, Qd2 = 13, Qd3 = 16, Qd4 = 20, Qd5 =26，Qd6 — 32，Qd7 — 40，Qd8 — 52，Qd9 — 64，Qdlo — 80，Qdll — 104，Qdl2 — 128，Qdl3 — 160，Qdl4=208。③-2、选取M个大于Qttl且各不相同的编码量化步长,分别记为Qtl,…，Qtj, ···,QtM，对于任意ー个Qu选取N个各不相同的编码量化步长作为原始左视点深度视频、原始右视点深度视频的编码量化步长，分别记为QdCi，QdI …，Qdi …，Qd -i)，计算得到对米用该M个不同的编码量化步长分别对原始左视点彩色视频、原始右视点彩色视频进行编码得到的解码左视点彩色视频、解码右视点彩色视频和对应的原始左视点深度视频、原始右视点深度视频进行编码得到的解码左视点深度视频、解码右视点深度视频进行虚拟视点绘制的最优的虚拟视点绘制质量，对应的分别记为PSNRmax(Qtl), PSNRmac(Qt2),…，PSNRmax(Qtj),…，PSNRfflax (Qa)，获得此组最优的虚拟视点绘制质量的彩色视频和深度视频编码量化步长对，分别记为(Qn，QT)，((L·Q°JD，…，(Q,，…，(QtM，QZ)，其中，I 彡 j 彡 m，1 彡 μ 彡 51。在此,取M = 5, Qtl = 10, Qt2 = 16, Qt3 = 26, Qt4 = 40, Qt5 = 64, N = 15, Qdo = 8,Qdi — 10，Qd2 — 13，Qd3 — 16，Qd4 — 20，Qd5 — 26，Qd6 — 32，Qd7 — 40，Qd8 — 52，Qd9 — 64，Qdlo=80, Qdll = 104, Qdl2 = 128, Qdl3 = 160, Qdl4 = 208。③-3、选取L个多视点视频序列，对于每一个视频序列分别执行步骤③-I至步骤
③_2，得到L组最优的虚拟视点绘制质量的彩色视频和深度视频编码量化步长对，然后采用二次拟合方法对总共的(L+1)组最优的虚拟视点绘制质量的彩色视频和深度视频编码量化步长对进行拟合，得到在最优的虚拟视点绘制质量下，对原始左视点彩色视频、原始右视点彩色视频进行编码的彩色视频量化步长Qt与对原始左视点深度视频、原始右视点深度视频进行编码的深度视频量化步长Qd的二次关系模型&其中，a、b和c均
为仏=aQf +bQt +c中的模型參数，L彡I。在此，取L = 3，Qt与Qd的 ニ 次关系模型Qd = aQ^ +bQt+c = 0.00665 x Q1t - 0.1099x ^ + 32.14，即取 a = 0· 00665, b = _0· 1099, c =
32. 14。图6给出了 “Newspaper”三维视频测试序 列采用本发明方法的二次原始左右视点彩色视频的编码量化步长与原始左右视点深度视频的编码量化步长模型的效果示意图，图7给出了“ BookArrival”三维视频测试序列采用本发明方法的二次原始左右视点彩色视频的编码量化步长与原始左右视点深度视频的编码量化步长模型的效果示意图，图8给出了 “DoorFlowers”三维视频测试序列采用本发明方法的二次原始左右视点彩色视频的编码量化步长与原始左右视点深度视频的编码量化步长模型的效果示意图，图9给出了“LeavingLaptop”三维视频测试序列采用本发明方法的二次原始左右视点彩色视频的编码量化步长与原始左右视点深度视频的编码量化步长模型的效果示意图，从图6、图7、图8和图9中可以看出由Qt与Qd的二次关系模型得到的最优编码(Qt，Qd)对经过编码传输后，能够在解码端得到最优的虚拟视点绘制质量。④在总码率限制下，要考虑降低复杂度，并且需要合理地控制对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码的编码量化步长，使得彩色视频和深度视频输出的码率满足目标总码率要求，因此本发明通过线性拟合方法建立对原始左视点彩色视频、原始右视点彩色视频进行编码的码率Rt与1/Qt的关系模型，记为及Ξ毛/ft+Zi，通过线性拟合方法建立对原始左视点深度视频、原始右视点深度视频进行编码的码率Rd与1/Qd的关系模型，记为Rd = Xd IQd +Ld，其中，Xt和Lt均为Rt = Xt IQt +A中的模型參数，Xd和Ld均为& Ξ Xd IQd +ん中的模型參数。在此具体实施例中，步骤④的具体过程为④-I、根据对原始左视点彩色视频、原始右视点彩色视频进行编码的平均码率集合{Rtk I O < k < T-1}和对原始左视点彩色视频、原始右视点彩色视频进行编码的编码量化步长集合{Qtk|0 < k ^ T-1}，采用线性拟合方法建立对原始左视点彩色视频、原始右视点彩色视频进行编码的编码量化步长集合{Qtk|0<k<T-l}中的任意ー个量化步长Qt与对原始左视点彩色视频、原始右视点彩色视频进行编码的平均码率集合{Rtk|0<k<T-l}中的任意一个码率Rt的关系模型，记为=XtIQt +A，其中，Xt和Lt均为尺t =XtIQt + A中的模型參数，τ表示对原始左视点彩色视频、原始右视点彩色视频进行编码的编码次数。④_2、根据对原始左视点深度视频、原始右视点深度视频进行编码的平均码率集合{Rdk I O < k彡D-1}和对原始左视点深度视频、原始右视点深度视频进行编码的编码量化步长集合{Qdk|0 < k ^ D-1}，采用线性拟合方法建立对原始左视点深度视频、原始右视点深度视频进行编码的编码量化步长集合{Qdk|0彡k彡D-1}中的任意ー个量化步长Qt与对原始左视点深度视频、原始右视点深度视频进行编码的平均码率集合{Rdk|0彡k彡D-1}中的任意一个码率Rd的关系模型，记为A ξ L /仏+ん，其中，Xd和Ld均为& =XJQd^Ld中的模型參数，D表示对原始左视点深度视频、原始右视点深度视频进行编码的编码次数。图10 给出了对“Newspaper”、“BookAr;rival'“DoorFlowers”和“LeavingLaptop”的原始左右视点彩色视频的编码量化步长Qt与码率Rt的关系模型进行线性拟合的曲线示意图，图 11 给出了对“Newspaper，，、“BookAr;rival'“DoorFlowers，，和“LeavingLaptop” 的原始左右视点深度视频的编码量化步长Qd与码率Rd的关系模型进行线性拟合的曲线示意图，从图10和图11中可以看出线性拟合能很好地反映编码量化步长与码率之间的关系。⑤根据Qt与Qd的二次关系模型込=aQf +bQt +c、Rt与1/Qt的关系模型RgXtIQt +Lt、Rd与l/Qd的关系模型RdIXJQd +Ld及码率分配模型
min{Z)v(^(gf),i d(gd))} ’即将 之 和 代
Rt(Q,>Rd (Qd)^RcQd = aQt + bQt + c^ Rt =Xt/Qt+Lt Rd =XdI Qd +Ld
Amm{Dv(Rt(QtlRd(Qd))}^^计算得到在最小的虚拟视点失真下的^与R。的关系:TT + ^i + n2, +Ld <凡，然后对+ A + n2 In +Ld <凡的两边取等
Qt aQt +bQt+cQt aQt +bQt+c
号并化成标准一元三次方程，得到在最小的虚拟视点失真下的Qt与R。的关系模型为
a(Rc ~Lt ~Ld) n3 (b(Rc-Lt-Ld)2 C(Rc-Lt-Ld)-Xd
---Qt + (----a)Qt +、----b)Qt-C = Oo
xt xt xt⑥在给定ー个总码率R。的情况下，根据在最小的虚拟视点失真下的Qt与R。的关
系模型 a(A1「L + (hr^ _Lハ _a)Qf + {<Rc-Lt-Ld)-Xd _m _c = 0，可获
取对原始左视点彩色视频、原始右视点彩色视频进行编码的最佳初始编码量化步长，记为QT，然后根据Qt与Qd的二次关系模型Gd =aQf +bQt +C，可获取对原始左视点深度视频、原始右视点深度视频进行编码的最佳初始编码量化步长，记为。在本实施例中，表I给出了本发明方法采用线性拟合得到的彩色视频与深度视频的编码量化步长与码率的关系模型的模型參数。采用本发明方法来确立对彩色视频和深度视频编码的最佳初始编码量化參数，采用四组不同的总码率Rc进行编码实验，如表2所列。表I彩色视频与深度视频的编码量化步长与码率的关系模型的模型參数列表
权利要求
1.ー种三维视频编码的深度和彩色码率分配方法，其特征在于包括以下步骤 ①将外部三维视频捕获工具捕获得到的未经处理的且颜色空间为YUV的彩色视频及其对应的深度视频定义为原始三维视频，在空域上该原始三维视频包括原始左视点三维视频和原始右视点三维视频，原始左视点三维视频包括原始左视点彩色视频和原始左视点深度视频，原始左视点彩色视频主要由若干个帧组的原始左视点彩色图像组成，原始左视点深度视频主要由若干个帧组的原始左视点深度图像组成，原始右视点三维视频包括原始右视点彩色视频和原始右视点深度视频，原始右视点彩色视频主要由若干个帧组的原始右视点彩色图像组成，原始右视点深度视频主要由若干个帧组的原始右视点深度图像组成，其中，YUV颜色空间的三个颜色分量的第I个分 量为亮度分量并记为Y、第2个分量为第一色度分量并记为U及第3个分量为第二色度分量并记为V ； 将介于左视点与右视点之间的视点作为虚拟视点； 将利用原始左视点彩色视频、原始右视点彩色视频经过编码、解码后对应得到的左视点彩色视频、右视点彩色视频与原始左视点深度视频、原始右视点深度视频经过编码、解码后对应得到的左视点深度视频、右视点深度视频进行虚拟视点绘制得到的虚拟视点视频的峰值信噪比的最大值作为最优的虚拟视点绘制质量； ②建立对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码的码率分配模型，记为mm{代(《(の，&(仏))j ’以保证获得最优的虚拟视点绘制质量，其中，min{}为取最小值函数，R。表示预先设定的对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码的总码率，Rt(Qt)表示采用彩色视频量化步长Qt对原始左视点彩色视频、原始右视点彩色视频进行编码的码率，Rd(Qd)表示采用深度视频量化步长Qd对原始左视点深度视频、原始右视点深度视频进行编码的码率，Dv(Rt (Qt)，Rd(Qd))表示采用彩色视频量化步长Qt对原始左视点彩色视频、原始右视点彩色视频进行编码得到的解码左视点彩色视频、解码右视点彩色视频和采用深度视频量化步长Qd对对应的原始左视点深度视频、原始右视点深度视频进行编码得到的解码左视点深度视频、解码右视点深度视频进行虚拟视点绘制的绘制失真； ③在最优的虚拟视点绘制质量下，通过二次拟合方法建立用来编码原始左视点彩色视频、原始右视点彩色视频的彩色视频量化步长Qt与用来编码原始左视点深度视频、原始右视点深度视频的深度视频量化步长Qd的二次关系模型，记为=aQ2t +bQt +c，其中，a、b和c均为仏=aQf +bQt +c中的模型參数； ④通过线性拟合方法建立对原始左视点彩色视频、原始右视点彩色视频进行编码的码率Rt与1/Qt的关系模型，记为及=Xt/Qt+Lt，通过线性拟合方法建立对原始左视点深度视频、原始右视点深度视频进行编码的码率Rd与1/Qd的关系模型，记为A = Xd IQd +Ld，其中，Xt和Lt均为及ξ Xi IQt +A中的模型參数，Xd和Ld均为& ^ Xd IQd +ん中的模型參数； ⑤根据Qt与Qd的二次关系模型=aQ2t+bQt +c、Rt与1/Qt的关系模型RfXtIQt+Lt、Rd与i/Rd的关系模型Rd三XJQd+Ld及码率分配模型min{Z)v(^(aX^(a))} ’计算得到在最小的虚拟视点失真下的Qt与R。的关系
2.根据权利要求I所述的ー种三维视频编码的深度和彩色码率分配方法，其特征在于所述的步骤③的具体过程为 ③-I、任取一个多视点视频序列，任取ー个不大于64的编码量化步长作为原始左视点彩色视频、原始右视点彩色视频的编码量化步长，记为Qttl,对于Qttl选取N个各不相同的编码量化步长作为原始左视点深度视频、原始右视点深度视频的编码量化步长，分别记为Qdtl,Qdl…，Qdi，…，Qdfrl),将对采用Qttl分别对原始左视点彩色视频、原始右视点彩色视频进行编码得到的解码左视点彩色视频、解码右视点彩色视频和采用Qdi分别对原始左视点深度视频、原始右视点深度视频进行编码得到的解码左视点深度视频、解码右视点深度视频进行虚拟视点绘制得到的虚拟视点视频记为Ivi (Qto)，将原始左视点彩色视频与原始右视点彩色视频之间存在的中间彩色视频记为IOTg，分别计算Iv0(Qt0)，Ivl(Qto),…，Ivi(Qto),…，Iv(n-d (Qto)与 IOTg 的峰值信噪比，分别记为 PSNRtl(Qttl)，PSNR1 (Qto)，…，PSNRi (Qto)，…，PSNIV1 (Qto)，然后从 PSNRtl (Qto)，PSNR1 (Qto)，…，PSNRi (Qto)，…，PSNRn^1 (Qto)中选取数值最大的峰值信噪比，记为PSNRmax (Qto)，再将PSNRmax (Qto)作为最优的虚拟视点绘制质量，获得此最优的虚拟视点绘制质量的彩色视频和深度视频编码量化步长对，记为(β㈦2Γ)，其中，I彡N彡51,0彡i彡N-I ; ③-2、选取M个大于Qttl且各不相同的编码量化步长,分别记为Qtl, ···, Qtj, ···, QtM,对于任意ー个Qw选取N个各不相同的编码量化步长作为原始左视点深度视频、原始右视点深度视频的编码量化步长，分别记为QdCi，QdI …，Qdi …，Qdm-I)，计算得到对米用该M个不同的编码量化步长分别对原始左视点彩色视频、原始右视点彩色视频进行编码得到的解码左视点彩色视频、解码右视点彩色视频和对应的原始左视点深度视频、原始右视点深度视频进行编码得到的解码左视点深度视频、解码右视点深度视频进行虚拟视点绘制的最优的虚拟视点绘制质量，对应的分别记为PSNRmax(Qtl), PSNRmax(Qt2),…，PSNRmax(Qtj),…，PSNRfflax (Qa)，获得此组最优的虚拟视点绘制质量的彩色视频和深度视频编码量化步长对，分别记为(Qn，QT)，((L·Q°JD，…，(Q,，…，(QtM，QZ)，其中，I 彡 j 彡 m，1 彡 μ 彡 51; ③-3、选取L个多视点视频序列，对于每一个视频序列分别执行步骤③-I至步骤③-2，得到L组最优的虚拟视点绘制质量的彩色视频和深度视频编码量化步长对，然后采用二次拟合方法对总共的(L+1)组最优的虚拟视点绘制质量的彩色视频和深度视频编码量化步长对进行拟合，得到在最优的虚拟视点绘制质量下，对原始左视点彩色视频、原始右视点彩色视频进行编码的彩色视频量化步长Qt与对原始左视点深度·视频、原始右视点深度视频进行编码的深度视频量化步长Qd的二次关系模型&其中，a、b和c均为仏=aQf +bQt +c中的模型參数，L彡I。
3.根据权利要求I或2所述的ー种三维视频编码的深度和彩色码率分配方法，其特征在于所述的步骤④的具体过程为 ④-I、根据对原始左视点彩色视频、原始右视点彩色视频进行编码的平均码率集合(RtJO^ k彡T-1}和对原始左视点彩色视频、原始右视点彩色视频进行编码的编码量化步长集合{Qtk|0 < k ^ T-1}，采用线性拟合方法建立对原始左视点彩色视频、原始右视点彩色视频进行编码的编码量化步长集合{Qtk|0<k<T-l}中的任意ー个量化步长Qt与对原始左视点彩色视频、原始右视点彩色视频进行编码的平均码率集合{Rtk|0<k<T-l}中的任意一个码率Rt的关系模型，记为Rt = Xt IQt + A，其中，Xt和Lt均为及Ξ Xt IQt +4中的模型參数，T表示对原始左视点彩色视频、原始右视点彩色视频进行编码的编码次数； ④-2、根据对原始左视点深度视频、原始右视点深度视频进行编码的平均码率集合(RdJO^ k彡D-1}和对原始左视点深度视频、原始右视点深度视频进行编码的编码量化步长集合{Qdk|0 < k ^ D-1}，采用线性拟合方法建立对原始左视点深度视频、原始右视点深度视频进行编码的编码量化步长集合{Qdk|0彡k彡D-1}中的任意ー个量化步长Qt与对原始左视点深度视频、原始右视点深度视频进行编码的平均码率集合{Rdk|0彡k彡D-1}中的任意一个码率Rd的关系模型，记为只d =XdIQd +Ld，其中，Xd和し均为Ki三XJQd +ん中的模型參数，D表示对原始左视点深度视频、原始右视点深度视频进行编码的编码次数。
全文摘要
本发明公开了一种三维视频编码的深度和彩色码率分配方法，其在获得最优的虚拟视点绘制质量情况下，通过二次拟合方法建立对原始左视点彩色视频、原始右视点彩色视频编码量化步长与原始左视点深度视频、原始右视点深度视频编码量化步长的关系模型，进而将彩色和深度比特分配问题描述为一个标准一元三次方程，再获得在一定码率下对原始左视点彩色视频、原始右视点彩色视频和原始左视点深度视频、原始右视点深度视频进行编码的最佳初始编码量化参数，最后采用最佳初始编码量化参数分别对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码，不仅提高了虚拟视点视频的率失真性能，而且简化了码率分配操作过程。
文档编号H04N15/00GK102685531SQ20121012201
公开日2012年9月19日 申请日期2012年4月24日 优先权日2012年4月24日
发明者彭宗举, 朱高锋, 李福翠, 王晓东, 蒋刚毅, 邵枫, 郁梅 申请人:宁波大学