一种深度视频编码的比特分配和码率控制方法
【专利摘要】本发明公开了一种深度视频编码的比特分配和码率控制方法，包括以下步骤：基于纹理区域和平滑区域分别建立深度视频失真和码率之间的模型关系、以及量化参数和码率之间的模型关系；通过深度视频失真和码率之间的模型关系建立虚拟视点失真模型；根据所述虚拟视点失真模型计算深度视频纹理区域和平滑区域的最佳目标比特率；将最佳目标比特率带入到所述量化参数和码率之间的模型关系中，获取平滑区域最优的量化参数、以及纹理区域最优的量化参数。本发明通过将深度视频的区域特性结合到码率控制算法中，提高了深度视频编码的比特分配的准确性，同时提高了深度视频纹理区的编码质量，进而提升了绘制的虚拟视图的质量，满足了3D视频系统的应用要求。
【专利说明】
一种深度视频编码的比特分配和码率控制方法
技术领域
[0001] 本发明涉及3D视频编码领域，尤其涉及一种深度视频编码的比特分配和码率控制 方法。
【背景技术】
[0002] 随着3D显示技术和基于深度的虚拟视点绘制技术的发展，深度视频在3D视频中的 重要作用逐渐被人们发掘。在3D视频中，深度视频是对象在3D场景中的几何表示。不同于彩 色图像，深度图由大量的平滑区域和尖锐的边界构成。将传统的彩色视频编码算法直接用 于深视频编码通常无法获得最优的编码结果。基于深度图的独特性质，深度视频编码可以 获得比彩色视频编码更高压缩效率。为了更好地保留深度边缘、获得更高的压缩效率，许多 深度视频压缩技术被相继提出，包括:边界重建滤波器、加权模式滤波器、稀疏二元模式以 及深度边缘自适应锐化算法等。这些方法充分利用了深度图的特点，能显著地提高重建深 度图的质量。
[0003] 在实际应用中，深度视频不直接用于显示，它的失真会间接影响绘制的虚拟视图 的质量。从提升虚拟视点质量的角度着手，研究者们提出了各种深度视频编码的方案。〇h等 提出了一种利用对应位置的彩色信息来提升虚拟视点质量的深度编码方法[1 ] duan等提 出了一种以提升虚拟视点质量为目标的深度视频编码方案，该方案采用拉格朗日乘数法设 计了一个有效的率失真准则，达到的提升虚拟视点质量的要求[2]。同样的，基于对虚拟视 点失真的分析，Shao等提出了一种深度视频的编码方法来提高绘制虚拟视点的质量[3]。
[0004] 在3D视频编码中，研究者们也提出了许多用于码率控制的模型。这些模型多被用 于多视点彩色加深度视频联合编码的算法中，以实现3D视频编码中的比特分配和码率控 制。为了更为精确地控制输出码率以达到3D视频系统的要求，Liu等提出了一种联合比特分 配和码率控制算法，该算法分为三层，即视点层、彩色/深度视频层及帧层[4]。在彩色/深度 视频层，彩色与深度视频编码分别采用线性的码率(Rate，R)和量化参数(Quantization Parameter，QP)之间的模型关系（记为R-Q模型）来计算初始QP;在帧层，彩色与深度视频编 码分别采用二次R-Q模型计算每帧的编码QPjuan等也提出了一种联合比特分配和码率控 制算法，该算法中彩色与深度视频分别采用线性的失真(dist 〇rti〇n，D)和QP的模型关系 (记为D-Q模型）和分数R-Q模型来计算最优编码QP[5]。为了提高3D视频的编码效率，Zhang 等提出了一种基于区域的比特分配及率失真算法，该算法将深度划分为不同的区域，并针 对不同的区域进行码率建模[6]。Shao等推导并建立了虚拟视点失真与比特率之间的指数 关系模型，通过这个模型动态地分配彩色与深度视频之间的目标比特[7]。此外，为了获得 更好的率失真性能及更准确的比特分配，功率R-Q模型也被用于深度视频编码。
[0005] 现有的比特分配和码率控制方法能够得到较为准确的编码效果，然而这些方法都 没有将深度视频的区域特性应用到码率控制算法中，并且将传统的标准视频编码算法直接 应用于深视频编码不是足够有效的。
[0006] 参考文献
[0007] [l]〇h B T ,Lee J,Park D.Depth Map Coding Based on Synthesized View Distortion Function.IEEE J Sel Topic Signal Process,2011,5(7):1344-1352.
[0008] [2]Yuan H,Kwong S,Liu J,et al.A Novel Distortion Model and Lagrangian Multiplier for Depth Maps Coding.IEEE Trans Circuits Syst Video Technol,2014， 24(3):443-451.
[0009] [3]Shao F,Lin ff,Jiang G,et al.Depth Map Coding for View Synthesis Based on Distortion Analyses. IEEE J Emerg Select Topics Circuits Syst,2014,4 (1) :106-117.
[0010] [4]Liu Y，Huang Q，Ma S，et al · A novel rate control technique for multiview video plus depth based 3D video coding.IEEE Trans Broadcast，2011，57 (2) :562-571.
[0011] [5]Yuan H，Chang Y，Huo J，et al.Model-based joint bit allocation between texture videos and depth maps for 3-D video coding. IEEE Trans Circuits Syst Video Technol,2011,21(4):485-497.
[0012] [6]Zhang Y,Kwong S,Xu L,et al. Regional Bit Allocation and Rate Distortion Optimization for Multiview Depth Video Coding With View Synthesis Distortion Model.IEEE Trans Image Process,2013,22(9):3497-3512.
[0013] [7]Shao F，Jiang G，Lin W，et al.Joint Bit Allocation and Rate Control for Coding Multi-View Video Plus Depth Based 3D Video. IEEE Trans Multimedia， 2013,15(8):1843-1854.
【发明内容】
[0014] 本发明提供了一种深度视频编码的比特分配和码率控制方法，本发明针对现有方 法没有将深度视频的区域特性结合到码率控制的问题，研究基于区域的深度视频编码的比 特分配和码率控制方法，提高深度视频编码目标码率的准确性和绘制虚拟视点的质量，详 见下文描述：
[0015] -种深度视频编码的比特分配和码率控制方法，所述控制方法包括以下步骤： [0016]基于纹理区域和平滑区域分别建立深度视频失真和码率之间的模型关系、以及量 化参数和码率之间的模型关系；
[0017] 通过深度视频失真和码率之间的模型关系建立虚拟视点失真模型;根据所述虚拟 视点失真模型计算深度视频纹理区域和平滑区域的最佳目标比特率；
[0018] 将最佳目标比特率带入到所述量化参数和码率之间的模型关系中，获取平滑区域 最优的量化参数、以及纹理区域最优的量化参数。
[0019] 所述纹理区域为:对深度视频进行区域划分，由深度边界和最小编码单元组成的 区域；
[0020] 所述平滑区域为:深度视频中所述纹理区域以外的区域。
[0021 ]所述深度视频纹理区域和平滑区域的最佳目标比特率具体为：
[0022]
[0023] 其中，Rta和Rsa分别为深度视频纹理区域和平滑区域的最佳目标比特率;Ντα和Nsa为 TA和SA中的像素的数目；A、B为迭代后的参数;bSA、bTA为表征纹理区域和平滑区域统计特性 的参数;Rc为目标比特率。
[0024] 本发明提供的技术方案的有益效果是:本发明通过将深度视频的区域特性结合到 码率控制算法中，提高了深度视频编码的比特分配的准确性，同时提高了深度视频纹理区 的编码质量，进而提升了绘制的虚拟视图的质量，满足了 3D视频系统的应用要求。
【附图说明】
[0025] 图1为一种深度视频编码的比特分配和码率控制方法的流程图；
[0026]图2为本方法对Champagne_Tower测试序列区域划分结果的示意图；
[0027] 图3为采用本方法和HM12.1、JCTVC-H0213码率控制的率失真性能对比示意图。
【具体实施方式】
[0028] 为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步 地详细描述。
[0029] 为了克服现有技术的不足，本发明实施例提出一种基于区域的深度视频编码的比 特分配和码率控制算法，实现了更准确的深度视频码率控制和比特分配，参见图1，具体的 技术方案包括以下步骤：
[0030] 实施例1
[0031] 101:基于纹理区域和平滑区域分别建立深度视频失真和码率之间的模型关系、以 及量化参数和码率之间的模型关系；
[0032] 102:通过深度视频失真和码率之间的模型关系建立虚拟视点失真模型;根据虚拟 视点失真模型计算深度视频纹理区域和平滑区域的最佳目标比特率；
[0033] 103:将最佳目标比特率带入到量化参数和码率之间的模型关系中，获取平滑区域 最优的量化参数、以及纹理区域最优的量化参数。
[0034] 其中，步骤101中的纹理区域为:对深度视频进行区域划分，由深度边界和最小编 码单元组成的区域；
[0035]步骤101中的纹平滑区域为:深度视频中纹理区域以外的区域。
[0036]进一步地，步骤103中的深度视频纹理区域和平滑区域的最佳目标比特率具体为：
[0037]
[0038] 其中，Rta和Rsa分别为深度视频纹理区域和平滑区域的最佳目标比特率;Ντα和Nsa为 TA和SA中的像素的数目；A、B为迭代后的参数;bSA、bTA为表征纹理区域和平滑区域统计特性 的参数;Rc为目标比特率。
[0039] 综上所述，本发明实施例通过上述步骤101-步骤103将深度视频的区域特性结合 到码率控制算法中，提高了深度视频编码的比特分配的准确性，同时提高了深度视频纹理 区的编码质量，进而提升了绘制的虚拟视图的质量，满足了 3D视频系统的应用要求。
[0040] 实施例2
[0041]下面结合具体的计算公式、方案原理对实施例1中的方案进行详细的描述，详见下 文的描述：
[0042] 201:对深度视频进行区域划分；
[0043] 其中，对深度视频进行区域划分，将深度边界和最小编码单元(Coding Unit,CU) 标记为纹理区域(Texture Area，TA)，剩余的区域标记为平滑区域(Smooth Area，SA)。深度 视频边界由Canny算子提取;其中，最小CU依据已编码的处于同一时间层图片中同一位置的 编码树单元(Coding Tree Unit,CTU)划分，来标记当前CTU的最小CU。通常情况下，CTU尺寸 为64*64，最小CU尺寸为8*8，最小编码单元的选取为本领域技术人员所共知，本发明实施例 对此不做赘述。
[0044] 202:基于纹理区域和平滑区域分别建立D-R模型和QP-R模型；
[0045] 其中，D-R模型表示深度视频失真和码率之间的模型关系;QP-R模型表示量化参数 和码率之间的模型关系。在给定不同初始量化参数QP的条件下预编码深度视频，统计TA和 SA的编码失真，输出TA和SA的平均编码比特，建立D-R模型和QP-R模型，相应的模型描述为：
[0046] D_R:Dw = aw · exp(bw · Ι?ψ)+οψ
[0047] +γψ
[0048] 其中，Ψ G {TA，SA} ;&屯』屯、〇屯、(^、0^/和丫^/均为模型参数，该些模型参数的取值通 过预编码深度视频统计得到;Dw、QPw及Rw分别表示区域Ψ的失真，QP及平均比特。
[0049] 203:通过D-R模型建立虚拟视点失真模型；
[0050]即推导虚拟视点失真Dv、虚拟视点纹理区域失真Dv,TA与平滑区域失真Dv,SA三者之 间的t旲型关系，表不为：
[0051]
[0052]其中，Dv,TA和Dv,SA表示虚拟视点的区域失真，分别受深度视频的纹理及平滑区域的 影响
ζ表区域DV, TA和DV, SA对绘制虚拟视点的失真DV的影响因子； W和Η分别为合成虚拟视点中当前帧的宽度和高度；Iv( i，j)和/,(/,./)分别为原始图片的像 素值和重建图片的像素值;i和j为像素点的横坐标和纵坐标;Ντα和Nsa为TA和SA中的像素的 数目。
[0053]将虚拟失真视点失真Dv由深度纹理区域失真Dd,TA和平滑区域失真Dd,SA表示为：
[0054] Dv= ω τα · Dv, ta+ ω sa · Dv, sa
[0055] = ω ta · (Ata · Dd，ta+Bta)+ω sa · (Asa · Dd，sa+Bsa)
[0056] 其中，运用Zhang等推导的深度失真与虚拟视点失真之间的线性关系模型。该线性 模型关系适用于像素，同样的也适用于由不同数目像素构成的区域，具体表示如下：
[0057] ?ν,ψ=Αψ · ??,ψ+Βψ, Ψ G {TA,SA}
[0058]其中，Αψ表不Dd,w对虚拟视点失真Dv的影响因素，Βψ是一个常数。
[0059] 进一步的，推导虚拟视点失真Dv和纹理区域平均比特Rta与平滑区域的平均比特Rsa 之间的模型关系：
[0060]
[0061 ]其中，A、B及C为模型迭代后的参数，该些参数通过预编码深度视频统计得到。
[0062]将深度视频的纹理区域和平滑区域的失真Dd,TA和Dd,SA用步骤202中推导的D-R模型 来替代，具体表示如下：
[0063] D_R:Dw = aw · exp(bw · Ι?ψ)+οψ，Ψ e {TA，SA}
[0064] 204:计算深度视频纹理区域和平滑区域的最佳目标比特率Rm和Rsa;
[0065] 在限制目标比特RC下最小化虚拟视点的失真可表示为：
[0066] arg min Dv
[0067] s · t · Rta · Nta+Rsa · Nsa<Rc
[0068] 基于步骤203推导的DV-RSA-RTA模型，Dv可用Rta和Rsa来表示，最优比特分配问题表 示如下：
[0069] arg min(A · exp(bTA · Rta)+B · exp(bsA · Rsa)+C)
[0070] s · t · Rta · Nta+Rsa · Nsa<Rc
[0071] 采用拉格朗日乘数法来解决在限制条件下求比特分配的最优解的问题。将限制条 件下求极值的问题映射到等价的无约束条件的求极值问题，具体如下：
[0072] arg min J=A · exp(bTA · Rta)+B · exp(bsA · Rsa)+C+A(Rta · Nta+Rsa · Nsa-Rc)
[0073] 其中，λ为拉格朗日算子。然后，纹理区域和平滑区域最优的目标比特率RTA和RSidI 过求解偏导方程组得到：
[0074]
[0075] 推导出纹理区域和平滑区域的最佳目标比特率Rm和Rsa的具体表示如下所示：
[0076]
[0077] 其中，推导过程运用了率失真优化的问题，即满足"使用的比特数R不超过目标比 特数Rt的情况下，最小化失真D"的参数作为最优的编码参数。在本发明实施例中失真指的 是绘制的虚拟视点的失真，求解的最优的编码参数为区域的最优比特。率失真优化公式如 下所示：
[0078] {Para}〇Pt = arg min{para}D s.t.R^Rt
[0079] 其中，{Para}表示编码参数集合，包括模式、运动信息、QP等;opt表示最优的解。
[0080] 205:由步骤204可以推导出平滑区域和纹理区域的最优比特Rta和Rsa，将Rta和Rsa带 入到步骤202推导的QP-R模型便可以得到平滑区域最优的量化参数QPsa和纹理区域最优的 量化参数QPta。
[0081 ]将所提的算法将最佳区域QP应用在LCU域，此时对应LCU的QP的计算如下所示：
[0082] QPlcu = 5 · QPta+(1-5) · QPsa
[0083] 其中，QPloi表示LCU的QP值;QPta和QPsa分别表示纹理区域及平滑区域的最优QPJ 表示当前IXU中ΤΑ所占的比例。
[0084]综上所述，本发明实施例通过上述步骤201-步骤205将深度视频的区域特性结合 到码率控制算法中，提高了深度视频编码的比特分配的准确性，同时提高了深度视频纹理 区的编码质量，进而提升了绘制的虚拟视图的质量，满足了 3D视频系统的应用要求。
[0085] 实施例3
[0086] 下面结合具体的附图2和3、以及实验数据对实施例1和2中的方案进行可行性验 证，详见下文描述：
[0087]为使本方法的效果具有可比性，本发明实施例采用Champagne_Tower测试序列（该 测试序列为本领域技术人员所公知，本发明实施例对此不做赘述）进行测试，其帧率为 30fps，分辨率为1280 X 960，左视点选择第37视点，右视点选择第41视点，绘制的虚拟视点 选择第39视点。深度视频编码的测试平台为HM12.1，编码结构为随机接入，其他编码设置遵 守JCT-VC的标准试验条件。虚拟视点绘制采用VSRS3.5。深度视频的目标比特设为50、100、 150、200 (Kbps )，左右视点各100帧，G0P长度设为8。
[0088]图2给出了采用本方法对Champagne_Tower测试序列的区域划分结果。图3给出了 采用本方法和HM12.1、JCTVC-H0213码率控制的率失真性能对比图。从图3中可见，本方法优 于HM12.1平台码率控制方法以及JCTVC-H0213码率控制方法。
[0089] 综上所述，通过上述的实验验证，本方法可以获得更精确比特分配和码率控制结 果，提升了绘制的虚拟视点的质量。
[0090] 本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例 序号仅仅为了描述，不代表实施例的优劣。
[0091] 以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和 原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
【主权项】
1. 一种深度视频编码的比特分配和码率控制方法，其特征在于，所述控制方法包括以 下步骤： 基于纹理区域和平滑区域分别建立深度视频失真和码率之间的模型关系、以及量化参 数和码率之间的模型关系； 通过深度视频失真和码率之间的模型关系建立虚拟视点失真模型;根据所述虚拟视点 失真模型计算深度视频纹理区域和平滑区域的最佳目标比特率； 将最佳目标比特率带入到所述量化参数和码率之间的模型关系中，获取平滑区域最优 的量化参数、以及纹理区域最优的量化参数。2. 根据权利要求1所述的一种深度视频编码的比特分配和码率控制方法，其特征在于， 所述纹理区域为:对深度视频进行区域划分，由深度边界和最小编码单元组成的区域； 所述平滑区域为:深度视频中所述纹理区域以外的区域。3. 根据权利要求1所述的一种深度视频编码的比特分配和码率控制方法，其特征在于， 所述深度视频纹理区域和平滑反域的昜佳日标比特銮县体为，其中，Rta和Rsa分别为深度视频纹理区域和平滑区域的最佳目标比特率;Nta和Nsa为TA和 SA中的像素的数目；A、B为迭代后的参数;bSA、bTA为表征纹理区域和平滑区域统计特性的参 数;Rc为目标比特率。
【文档编号】H04N19/146GK105898331SQ201610313150
【公开日】2016年8月24日
【申请日】2016年5月12日
【发明人】雷建军, 贺小旭, 侯春萍, 李贞贞, 李东阳
【申请人】天津大学