专利名称：基于模型的纹理视频与深度图的最优码率分配方法
技术领域：
本发明属于通信标准领域。涉及到三维立体视频中的纹理视频与深度图的联合编 码技术。具体的说，是一种在固定码率的条件下，对纹理视频与深度图进行码率分配，使合 成虚拟视图的质量达到最优的码率分配。
背景技术：
三维视频作为未来主要的视频应用技术，是指用户通过三维视频显示设备可以 享受到真实的三维视频内容。三维视频的相关技术，比如，三维视频采集、三维视频编码、 三维视频的显示等技术已经得到广泛的关注。为了推动三维视频技术的标准化，2002年， 运动图像专家组(Motion Picture Experts Group, MPEG)提出任意视点电视(Free View Television, FTV)的概念。它能够提供生动真实的、交互式的三维视听系统。用户可以从 不同的角度观看该角度的三维视频，使得用户有融入视频场景中的真实感受。FTV可广泛 应用于广播通信、娱乐、教育、医疗和视频监控等领域。为了使用户可以观看到任意角度的 三维视频，FTV系统服务端使用已标定好的摄像机阵列获得一定视点上的视频。并对不同 视点上的视频校正，利用校正过的视频信息通过虚拟视图合成技术生成虚拟视点的虚拟视 图。目前MPEG建议具体使用基于深度-图像(D印th-Image Based Rendering, DIBR)的虚 拟视图合成技术。深度信息一般通过深度图表示。虚拟视图合成的主要过程如下1).确定要虚拟视点在摄像机阵列中的相对位置。2).确定用于合成虚拟视点的纹理视频3).确定步骤2)的纹理视频对应的深度图4).依据步骤2)与3)中的纹理视频和深度图，采用DIBR技术，合成虚拟视图。FTV的标准化工作分为两个阶段进行[3]。第一阶段是2006年至2008年由JVT制 定的H. 264/AVC的扩展方案-MVC (Multi-View Video Coding)。MVC可以对多视点纹理视 频进行编码。但是要最终实现FTV系统的功能，还必须要对深度信息进行编码。目前FTV的 标准化制定工作已经进入第二阶段，即3DVC (Three Dimensional VideoCoding)。3DVC主 要关注深度信息的表示与编码，以及纹理视频与深度信息的联合编码。3DVC中，深度信息通 过深度图表示。衡量3DVC性能的主要指标是合成虚拟视图的质量，以及纹理视频、深度图的编码码率。虚拟视图的质量通常采用峰值信噪比(Peak Signal-to-Noise Ratio, PSNR)来衡量视频的质量。 PSNR的计算公式如(1)式所示，
f 2552 λPSNR = IOxlog --(1)
IMSE )(1)式中MSE表示原始视图与合成虚拟视图之间的均方误差，用来衡量虚拟视图的失真，以及纹理视频的编码失真、深度图的编码失真。在实际应用中，虚拟视点的视图是不存在的，也即不存在原始视图。但是由于3DVC 主要关注编码性能，因此为衡量3DVC的性能，首先采用未经编码的已有纹理视频及其对应 的深度图合成虚拟视图V。Hg，然后采用经过编码后的重建的纹理视频以及编码后重建的深 度图合成虚拟视图\ec，最后通过计算\ec与V。Hg之间的的MSE，进而得到PSNR，以衡量3DVC 的性能。纹理视频、深度图的编码码率编码码率R是指纹理视频、深度图编码的总比特数(BT，Bd)除以视频帧率F(即每 秒显示多少幅图像)，如(2)式所示。R = Bt+BD/F(2)编码码率R也可以表示为纹理视频的编码码率Rt与深度图编码码率Rd的和，如 (3)式所示，R = Rt+Rd(3)其中Rt与Rd可以分别表示为⑷、(5)式所示的形式，Rt=BT/F(4)RD = BD/F(5)纹理视频与深度图的编码码率Rt与Rd分别由纹理视频与深度图的编码过程中的 量化步长Qt与Qd决定。要衡量3DVC的性能，必须要综合考虑虚拟视图的质量与纹理、深度图的编码码 率。即考虑在合成虚拟视图的质量相同的条件下，纹理视频、深度图的编码码率大小；或者 在纹理、深度图的编码码率相同的条件下，合成虚拟视图的质量高低。3DVC中，当编码码率相同时，纹理视频与深度图的编码码率可以有多种组合方式。 不同的组合方式所得的虚拟视图的质量有很大差异。本发明关注在固定编码码率条件下如 何分配纹理视频与深度图的编码码率。现有的纹理视频与深度图的码率分配方法1).固定比例的码率分配方法该方法在给定的总码率的条件下，将深度图的编码码率固定为纹理视频编码码率 的1/5或其它数值，从而确定纹理视频与深度图的编码码率，并确定纹理视频的量化步长Qt 以及深度图的量化步长Qd，继而对纹理视频和深度图进行编码。该方法认为纹理视频的编 码码率Rt对合成虚拟视图的质量影响最大。但实际上，在总码率固定的条件下，合成虚拟 视图的质量受到Rt与Rd的共同影响。因此该方法并不能保证在码率分配之后合成虚拟视 图的质量达到最优。2).基于搜索的码率分配方法该方法在给定总码率的条件下，通过搜索的方式寻找使虚拟视图失真达到最小且 满足总码率约束条件的纹理视频与深度图的量化步长Qt与Qd。即采用量化步长的取值范 围内所有的Qt与Qd对纹理视频、深度图进行多次编码，并合成虚拟视图，然后计算虚拟视图 的质量，选择能够使虚拟视图质量达到最高且满足总码率约束条件的纹理视频、深度图的量化步长QT°pt与QD°pt，进而实现纹理视频、深度图的码率分配。基于搜索的码率分配方法虽 然可以对纹理视频、深度图进行最优的码率分配，但是其复杂度过高，无实际应用价值。
发明内容
本发明的目的在于克服上述已有技术的缺点，提出一种基于模型的纹理视频与深 度图的最优码率分配方法，以在固定编码码率条件下，以较低的复杂度，实现最优的纹理视 频与深度图的码率分配，提高实际应用价值。实现本发明的技术方案是确定虚拟视图的MSE失真模型，即确定虚拟视图的MSE 失真Mv与Qt、Qd之间的模型；最后利用Rt与Qt、Rd与Qd之间的关系通过计算得到最优的纹 理视频与深度图的码率分配。具体步骤如下(1)定义虚拟视图失真Mv为Mv = aTXQT+aDXQD+C(6)其中Qt表示纹理视频的量化步长，Qd表示深度图的量化步长，aT表示Qt对Mv的影 响参数；aD表示Qd对Mv的影响参数；C表示虚拟视图合成过程中固有的失真；(2)任意选取两个深度图的量化步长Qim和Qd,2，对深度图进行两次预编码，得到 深度图的两个编码码率Rim与Rd,2，并得到编码重建的两个深度图D1与D2 ；(3)任意选取两个纹理视频的量化步长QT>1和QT,2，对纹理视频进行两次预编码， 得到纹理视频的两个编码码率RT>1与RT,2，并得到编码重建的两个纹理视频T1与T2 ；(4)依据深度图量化步长Qim和Qd,2，以及深度图编码码率Rim和Rd,2，确定深度图 的量化步长对深度图编码码率的影响参数％，以及深度图的固有特征对深度图编码码率的 影响参数nD <formula>formula see original document page 6</formula><formula>formula see original document page 6</formula>(8)(5)依据纹理视频的量化步长QT,i和QT,2，以及纹理视频的编码码率RT,i和RT,2，确 定纹理视频的量化步长对纹理视频的编码码率的影响参数mT，以及纹理视频的固有特征对 纹理视频编码码率的影响参数ητ <formula>formula see original document page 6</formula><formula>formula see original document page 6</formula>(6)依据步骤(2)中编码重建的两个深度图D1和D2,以及步骤(3)中编码重建的 两个纹理视频T1和T2，在同一个视点合成三个具有不同质量的虚拟视图，并计算这三个虚 拟视图的失真Mv,PMv^Mvi3 ；(7)依据虚拟视图的失真Mva、Mv,2和Mv,3，纹理视频的量化步长Qt,工和QT,2，深度图 的量化步长Qim和Qd,2，确定步骤(1)所定义的参数aT与aD :<formula>formula see original document page 7</formula>(8)依据上述参数mD、nD、mT、nT、aT和aD，计算最优的纹理视频量化步长QT°pt和最 优的深度图的量化步长QD°pt:
<formula>formula see original document page 7</formula>
其中，Rc为纹理视频与该纹理视频对应的深度图的总码率；(9)采用最优的纹理视频量化步长QT°pt对纹理视频编码，得到编码码率RT°pt，采用 最优的深度图的量化步长QD°pt对深度图编码，得到编码码率RD°pt，完成最优的纹理视频与深 度图的码率分配。本发明与现有技术相比具有以下优点1)本发明由于定义了虚拟视图失真Mv与纹理视频量化步长Qt和深度图量化步长 Qd之间的关系，因而通过简单计算就可以实现纹理视频与深度图的最优码率分配，使得合 成虚拟视图的质量达到最优，与基于搜索的码率分配方法相比极大地降低了计算复杂度。2)本发明由于对深度图进行了预编码，使计算得到的参数HIi^Piid比较准确。3)本发明由于对纹理视频进行了预编码，使计算得到的参数mT和ητ比较准确。4)本发明由于在同一个视点合成了三个具有不同质量的虚拟视图，并计算了这三 个不同质量的虚拟视图的失真，使得计算得到的参数aT与aD比较准确。5)本发明由于仅需要对深度图和纹理视频分别编码两次，因此计算复杂度很低， 仅为现有基于搜索的码率分配方法的10%。
图1是本发明的流程图；图2是本发明定义的虚拟视图失真与纹理视频量化步长和深度图量化步长之间 的关系图；图3是采用本发明的方法进行码率分配后，合成的虚拟视图的客观质量比较图；图4是采用本发明的方法进行码率分配后，合成的虚拟视图的主观效果比较图。
具体实施例方式参照图1，本发明的具体实施包括如下步骤步骤1，定义Mv与纹理视频量化步长Qt、深度图量化步长Qd之间的关系。理论分析与实验验证可得虚拟视图的失真模型，如(15)式所示，<formula>formula see original document page 7</formula>
(15)式中aT表示Qt对Mv的影响参数；aD表示Qd对Mv的影响参数；C表示虚拟 视图合成过程的固有失真；该(15)式所示的虚拟视图失真模型可通过图2验证。图2(a) 所示为采用编码后的ΑΚΚ0&ΚΑΥ0三维视频序列的纹理视频和深度图合成的虚拟视图的失 真与该序列的纹理视频量化步长，和该序列的深度图量化步长的关系，图2(b)所示为采用 编码后的Altmoabit三维视频序列的纹理视频和深度图合成的虚拟视图的失真与该序列 的纹理视频的量化步长，和该序列的深度图量化步长的关系，图2(c)所示为采用编码后的 Ballet三维视频序列的纹理视频和深度图合成的虚拟视图的失真与该序列的纹理视频的 量化步长，和该序列的深度图的量化步长之间的关系。步骤2，对深度图进行两次预编码。任意选取两个量化步长Qm、Qd,2，对深度图进行两次预编码，得到深度图的两个编 码码率Rim与Rd,2，并得到编码重建的两个深度图D1与D2。步骤3，对纹理视频进行两次预编码。
任意选取两个量化步长QT>1、QT,2，对纹理视频进行两次预编码，得到纹理视频的两 个编码码率RT>1与RT,2，并得到编码重建的两个纹理视频T1与T2 ；步骤4，计算深度图的量化步长对深度图编码码率的影响参数mD和深度图的固有 特征对深度图编码码率的影响参数nD。依据深度图量化步长Qim和Qd,2，以及深度图编码码率Rim与Rd,2，建立如下方程 组Rlia = mD/QDa+nD(16)Rd,2 = mD/QD,2+nD解方程组确定深度图量化步长对深度图编码码率的影响参数mD和深度图的固有 特征对深度图编码码率的影响参数nD，=(17)
Qd,2 - Qd,ι”d=rd「(rd,「rdxqd’2。(18)
’ Qo,2-Qo,,步骤5，计算纹理视频的量化步长对纹理视频的编码码率的影响参数mT，以及纹理 视频的固有特征对纹理视频编码码率的影响参数ητ。依据纹理视频的量化步长QT,ρ QT,2，以及纹理视频的编码码率RT>1、RT,2，建立如下 方程组RT, 2 = mT/QTa+nT(19)RTa = mT/QT,2+nT解方程组确定纹理视频的量化步长对纹理视频的编码码率的影响参数mT，以及纹 理视频的固有特征对纹理视频编码码率的影响参数ητ，mrJR^-R^>Qr^Qr,2(20)
qr,2 - qt,\
<formula>formula see original document page 9</formula>
步骤6，合成虚拟视图，并计算虚拟视图的失真。依据步骤2和步骤3编码后重建的深度图Dp D2以及编码后重建的纹理视频1\、 T2，在同一个虚拟视点合成三个具有不同质量的虚拟视图Vp V2和V3 ；并采用未经过编码的 纹理视频和未经过编码的深度图合成的虚拟视图V ；计算这三个虚拟视图的失真值Mv,i，Mv,<formula>formula see original document page 9</formula>
<formula>formula see original document page 9</formula>
<formula>formula see original document page 9</formula>
在式(22)、(23)、(24)中，W表示虚拟视图的图像宽度；H表示虚拟视图的图像高 度；v(i，j)表示虚拟视图V中的第i行，第j列的像素值J1(Lj)表示虚拟视图V1中的第 i行，第j列的像素值；V2(i，j)表示虚拟视图V2中的第i行，第j列的像素值，V3(i, j)表 示虚拟视图V3中的第i行，第j列的像素值。步骤7，确定纹理视频的量化步长对虚拟视图失真的影响参数aT和深度图的量化 步长对虚拟视图失真的影响参数aD。依据Mv,工，Mv,2，Mv, 3以及纹理视频的量化步长Qt,工、QT,2，深度图的量化步长Qd, 、Qd,2， 以及步骤1中的定义，建立如下方程组Mva = aT XQTj !+BdXQdj !+CMVj2 = aT X QTj !+BdXQdj^C (25)Mv,3 = aTXQT,2+aDXQD,2+C求解该方程组，确定式(15)中纹理视频的量化步长对虚拟视图失真的影响参数^ 和深度图的量化步长对虚拟视图失真的影响参数aD
Mv, - Mv,aD=κ·2(26)
My 9 - Mv .ατ= " νβ。(27)步骤8，计算纹理视频的最优的量化步长以及深度图的最优量化步长。依据信道带宽以及存储设备缓冲区大小，得到纹理视频以及该纹理视频对应的深 度图的总码率R。；并依据所述参数mD、nD、mT、nT、aT和aD，通过下式计算出最优的纹理视频量 化步长QT°pt以及深度图的量化步长QD°pt <formula>formula see original document page 9</formula>
<formula>formula see original document page 10</formula>
步骤9，实现最优的纹理视频与深度图的码率分配。将量化步长^设为编码器的量化步长，对纹理视频编码，得到纹理视频编码比
特数Bt ；再用Bt除以视频帧率F，得到;将量化步长QD°pt设为编码器的量化步长，
F
对深度图编码，得到深度图的编码比特数BD，再用Bd除以视频帧率F，得到iC" 。
F本发明的效果可以通过实验进一步说明。实验测试了在不同的总码率条件下，采用本发明进行纹理视频、深度图码率分配 之后，合成虚拟视图的质量。图3比较了采用本发明、固定比例的码率分配方法和基于搜索 的码率分配方法进行码率分配后，合成虚拟视图的客观质量PSNR。其中图3(a)是对三维 视频序列ΑΚΚ0&ΚΑΥ0的纹理视频和深度图进行码率分配的实验结果，图3 (b)是对三维视频 序列Altmoabit的纹理视频和深度图进行码率分配的实验结果，图3 (c)是对三维视频序列 Ballet的纹理视频和深度图进行码率分配的实验结果。由图3可见，采用本发明进行码率 分配后，合成的虚拟视图的客观质量与采用基于搜索的码率分配方法后，合成的虚拟视图 的客观质量相当，说明本发明可以实现最优的码率分配。此外，由图3(c)还可以看出，相比 固定比例的码率分配方法，采用本发明进行码率分配后，合成虚拟视图的客观质量PNSR最 高可提高1. ldB。本发明与固定比例的码率分配方法相比，合成虚拟视图的主观质量如图4所示， 其中图4(a)为采用固定比例的码率分配方法为Ballet三维视频序列的纹理视频和深度图 进行码率分配后合成的虚拟视图的主观效果，图4(b)为采用本发明为Ballet三维视频序 列的纹理视频和深度图进行码率分配后合成的虚拟视图的主观效果，由图4可见，采用本 发明进行码率分配后，合成的虚拟视图的主观质量有明显提高，相比基于搜索的码率分配方法，本发明仅需要分别为纹理视频及其对应的深度图 任意选取两个量化步长QT,i、QT,2与QrM、Qd,2，对纹理视频与深度图分别进行两次预编码，然 后通过计算即可实现最优的纹理视频与深度图的码率分配。而基于搜索的码率分配方法需 要选取量化步长取值范围内的所有量化步长对纹理视频与其对应的深度图进行编码，并且 至少需要对纹理视频和该纹理视频对应的深度图分别编码20次。可见本发明的复杂度仅 为现有基于搜索的码率分配算法的10%。
权利要求
一种基于模型的纹理视频与深度图的最优码率分配方法，包括如下步骤(1)定义虚拟视图失真MV为MV＝aT×QT+aD×QD+C其中QT表示纹理视频的量化步长，QD表示深度图的量化步长，aT表示QT对MV的影响参数；aD表示QD对MV的影响参数；C表示虚拟视图合成过程中固有的失真；(2)任意选取两个深度图的量化步长QD，1和QD，2，对深度图进行两次预编码，得到深度图的两个编码码率RD，1与RD，2，并得到编码重建的两个深度图D1与D2；(3)任意选取两个纹理视频的量化步长QT，1和QT，2，对纹理视频进行两次预编码，得到纹理视频的两个编码码率RT，1与RT，2，并得到编码重建的两个纹理视频T1与T2；(4)依据深度图量化步长QD，1和QD，2，以及深度图编码码率RD，1和RD，2，确定深度图的量化步长对深度图编码码率的影响参数mD，以及深度图的固有特征对深度图编码码率的影响参数nD <mrow><msub> <mi>m</mi> <mi>D</mi></msub><mo>=</mo><mfrac> <mrow><mrow> <mo>(</mo> <msub><mi>R</mi><mrow> <mi>D</mi> <mo>,</mo> <mn>1</mn></mrow> </msub> <mo>-</mo> <msub><mi>R</mi><mrow> <mi>D</mi> <mo>,</mo> <mn>2</mn></mrow> </msub> <mo>)</mo></mrow><mo>×</mo><msub> <mi>Q</mi> <mrow><mi>D</mi><mo>,</mo><mn>1</mn> </mrow></msub><mo>×</mo><msub> <mi>Q</mi> <mrow><mi>D</mi><mo>,</mo><mn>2</mn> </mrow></msub> </mrow> <mrow><msub> <mi>Q</mi> <mrow><mi>D</mi><mo>,</mo><mn>2</mn> </mrow></msub><mo>-</mo><msub> <mi>Q</mi> <mrow><mi>D</mi><mo>,</mo><mn>1</mn> </mrow></msub> </mrow></mfrac><mo>,</mo> </mrow> <mrow><msub> <mi>n</mi> <mi>D</mi></msub><mo>=</mo><msub> <mi>R</mi> <mrow><mi>D</mi><mo>,</mo><mn>1</mn> </mrow></msub><mo>-</mo><mfrac> <mrow><mrow> <mo>(</mo> <msub><mi>R</mi><mrow> <mi>D</mi> <mo>,</mo> <mn>1</mn></mrow> </msub> <mo>-</mo> <msub><mi>R</mi><mrow> <mi>D</mi> <mo>,</mo> <mn>2</mn></mrow> </msub> <mo>)</mo></mrow><mo>×</mo><msub> <mi>Q</mi> <mrow><mi>D</mi><mo>,</mo><mn>2</mn> </mrow></msub> </mrow> <mrow><msub> <mi>Q</mi> <mrow><mi>D</mi><mo>,</mo><mn>2</mn> </mrow></msub><mo>-</mo><msub> <mi>Q</mi> <mrow><mi>D</mi><mo>,</mo><mn>1</mn> </mrow></msub> </mrow></mfrac><mo>;</mo> </mrow>(5)依据纹理视频的量化步长QT，1和QT，2，以及纹理视频的编码码率RT，1和RT，2，确定纹理视频的量化步长对纹理视频的编码码率的影响参数mT，以及纹理视频的固有特征对纹理视频编码码率的影响参数nT <mrow><msub> <mi>m</mi> <mi>T</mi></msub><mo>=</mo><mfrac> <mrow><mrow> <mo>(</mo> <msub><mi>R</mi><mrow> <mi>T</mi> <mo>,</mo> <mn>1</mn></mrow> </msub> <mo>-</mo> <msub><mi>R</mi><mrow> <mi>T</mi> <mo>,</mo> <mn>2</mn></mrow> </msub> <mo>)</mo></mrow><mo>×</mo><msub> <mi>Q</mi> <mrow><mi>T</mi><mo>,</mo><mn>1</mn> </mrow></msub><mo>×</mo><msub> <mi>Q</mi> <mrow><mi>T</mi><mo>,</mo><mn>2</mn> </mrow></msub> </mrow> <mrow><msub> <mi>Q</mi> <mrow><mi>T</mi><mo>,</mo><mn>2</mn> </mrow></msub><mo>-</mo><msub> <mi>Q</mi> <mrow><mi>T</mi><mo>,</mo><mn>1</mn> </mrow></msub> </mrow></mfrac><mo>,</mo> </mrow> <mrow><msub> <mi>n</mi> <mi>T</mi></msub><mo>=</mo><msub> <mi>R</mi> <mrow><mi>T</mi><mo>,</mo><mn>1</mn> </mrow></msub><mo>-</mo><mfrac> <mrow><mrow> <mo>(</mo> <msub><mi>R</mi><mrow> <mi>T</mi> <mo>,</mo> <mn>1</mn></mrow> </msub> <mo>-</mo> <msub><mi>R</mi><mrow> <mi>T</mi> <mo>,</mo> <mn>2</mn></mrow> </msub> <mo>)</mo></mrow><mo>×</mo><msub> <mi>Q</mi> <mrow><mi>T</mi><mo>,</mo><mn>2</mn> </mrow></msub> </mrow> <mrow><msub> <mi>Q</mi> <mrow><mi>T</mi><mo>,</mo><mn>2</mn> </mrow></msub><mo>-</mo><msub> <mi>Q</mi> <mrow><mi>T</mi><mo>,</mo><mn>1</mn> </mrow></msub> </mrow></mfrac><mo>;</mo> </mrow>(6)依据步骤(2)中编码重建的两个深度图D1和D2，以及步骤(3)中编码重建的两个纹理视频T1和T2，在同一个视点合成三个具有不同质量的虚拟视图，并计算这三个虚拟视图的失真MV，1，MV，2，MV，3；(7)依据虚拟视图的失真MV，1、MV，2和MV，3，纹理视频的量化步长QT，1和QT，2，深度图的量化步长QD，1和QD，2，确定步骤(1)所定义的参数aT与aD <mrow><msub> <mi>a</mi> <mi>D</mi></msub><mo>=</mo><mfrac> <mrow><msub> <mi>M</mi> <mrow><mi>V</mi><mo>,</mo><mn>1</mn> </mrow></msub><mo>-</mo><msub> <mi>M</mi> <mrow><mi>V</mi><mo>,</mo><mn>2</mn> </mrow></msub> </mrow> <mrow><msub> <mi>Q</mi> <mrow><mi>D</mi><mo>,</mo><mn>1</mn> </mrow></msub><mo>-</mo><msub> <mi>Q</mi> <mrow><mi>D</mi><mo>,</mo><mn>2</mn> </mrow></msub> </mrow></mfrac><mo>,</mo> </mrow> <mrow><msub> <mi>a</mi> <mi>T</mi></msub><mo>=</mo><mfrac> <mrow><msub> <mi>M</mi> <mrow><mi>V</mi><mo>,</mo><mn>2</mn> </mrow></msub><mo>-</mo><msub> <mi>M</mi> <mrow><mi>V</mi><mo>,</mo><mn>3</mn> </mrow></msub> </mrow> <mrow><msub> <mi>Q</mi> <mrow><mi>T</mi><mo>,</mo><mn>1</mn> </mrow></msub><mo>-</mo><msub> <mi>Q</mi> <mrow><mi>T</mi><mo>,</mo><mn>2</mn> </mrow></msub> </mrow></mfrac><mo>;</mo> </mrow>(8)依据上述参数mD、nD、mT、nT、aT和aD，计算最优的纹理视频量化步长QTopt和最优的深度图的量化步长QDopt <mrow><msup> <msub><mi>Q</mi><mi>D</mi> </msub> <mi>opt</mi></msup><mo>=</mo><mfrac> <mrow><msqrt> <mfrac><msub> <mi>a</mi> <mi>T</mi></msub><msub> <mi>a</mi> <mi>D</mi></msub> </mfrac> <mo>×</mo> <mfrac><msub> <mi>m</mi> <mi>D</mi></msub><msub> <mi>m</mi> <mi>T</mi></msub> </mfrac></msqrt><mo>×</mo><mrow> <mo>(</mo> <msub><mi>m</mi><mi>T</mi> </msub> <mo>+</mo> <msqrt><mfrac> <mrow><msub> <mi>a</mi> <mi>D</mi></msub><mo>×</mo><msub> <mi>m</mi> <mi>T</mi></msub><mo>×</mo><msub> <mi>m</mi> <mi>D</mi></msub> </mrow> <msub><mi>a</mi><mi>T</mi> </msub></mfrac> </msqrt> <mo>)</mo></mrow> </mrow> <mrow><msub> <mi>R</mi> <mi>c</mi></msub><mo>-</mo><msub> <mi>n</mi> <mi>T</mi></msub><mo>-</mo><msub> <mi>n</mi> <mi>D</mi></msub> </mrow></mfrac><mo>,</mo> </mrow> <mrow><msup> <msub><mi>Q</mi><mi>T</mi> </msub> <mi>opt</mi></msup><mo>=</mo><mfrac> <mrow><msub> <mi>m</mi> <mi>T</mi></msub><mo>+</mo><msqrt> <mfrac><mrow> <msub><mi>a</mi><mi>D</mi> </msub> <mo>×</mo> <msub><mi>m</mi><mi>T</mi> </msub> <mo>×</mo> <msub><mi>m</mi><mi>D</mi> </msub></mrow><msub> <mi>a</mi> <mi>T</mi></msub> </mfrac></msqrt> </mrow> <mrow><msub> <mi>R</mi> <mi>c</mi></msub><mo>-</mo><msub> <mi>n</mi> <mi>T</mi></msub><mo>-</mo><msub> <mi>n</mi> <mi>D</mi></msub> </mrow></mfrac><mo>,</mo> </mrow>其中，Rc为纹理视频与该纹理视频对应的深度图的总码率；(9)采用最优的纹理视频量化步长QTopt对纹理视频编码，得到编码码率RTopt，采用最优的深度图的量化步长QDopt对深度图编码，得到编码码率RDopt，完成最优的纹理视频与深度图的码率分配。
2.根据权利要求1所述的最优码率分配方法，其中步骤(9)所述的采用最优的纹理视频量化步长QT°pt对纹理视频编码，得到编码码率RT°pt，是将量化步长QT°pt设为编码器的量化步长，对纹理视频编码，得到纹理视频编码比特数Bt ；再用Bt除以帧率F，得到/？严=<formula>formula see original document page 3</formula>
3.根据权利要求1所述的最优码率分配方法，其中步骤(9)所述的采用最优的深度图量化步长QD°pt对深度图编码，得到编码码率RD°pt，是将量化步长QD°pt设为编码器的量化步长，对深度图编码，得到深度图的编码比特数Bd ；再用Bd除以帧率F，得到代广=|。
全文摘要
本发明公开了一种基于模型的纹理视频与深度图的最优码率分配方法，主要解决三维立体视频编码中的纹理视频与深度图的码率分配问题。其方案是确定虚拟视图失真与纹理视频的量化步长、深度图的量化步长之间的关系；利用纹理视频的编码码率与纹理视频量化步长的关系、深度图的编码码率与深度图量化步长的关系，计算最优的纹理视频量化步长与最优的深度图的量化步长；并以最优的纹理视频量化步长和最优的深度图量化步长分别对纹理视频与深度图编码，实现纹理视频与深度图的最优码率分配。本发明具有复杂度低，且能使纹理视频与深度图的码率分配达到最优的优点，可用于三维立体视频编码中的纹理视频与深度图码率分配。
文档编号H04N13/00GK101835056SQ201010161550
公开日2010年9月15日 申请日期2010年4月29日 优先权日2010年4月29日
发明者元辉, 常义林, 杨付正, 霍俊彦 申请人:西安电子科技大学