一种二维自由视点视频的深度图编码失真预测方法
【技术领域】
[0001]本发明涉及计算机视觉技术和视频编码领域，特别涉及一种二维自由视点视频的深度图编码失真预测方法。
【背景技术】
[0002]自由视点视频通过在采集端从多个视点采集目标场景的视频，并经过深度图估计、编码、传输、解码、视点合成，向用户投放目标场景任意视点的视频，使用户获得自由的视觉体验，被认为是下一代视频通信的方向。MPEG (Moving Pictures Experts Group)和VCEG(Video Coding Experts Group)的开展了联合视频项目 HEVC(High Efficiency VideoCoding)，相比于Η.264该项目大幅提高编码压缩性能，在此基础上，HEVC被拓展为3D-HEVC用于3D视频编码。
[0003]3D-HEVC中采用“多视点视频+深度图”的格式进行编码表示3D视频数据，其中深度图表征的是场景中物体到相机间的距离。利用解码后的纹理视频和深度视频，任意其它视点观察目标场景的视频可以被合成出来，并投放在显示器上。深度图数据作为纹理数据的几何深度信息，在视点合成算法中，被用作将被编码视点的纹理像素变换到合成视点中从而获得变换图，在此基础上对多个采集视点变换到目标视点的变换图，分别进行插值、空洞填补、覆盖等操作，然后再将各个变换图融合。因此，为了保证较好的合成视图质量，控制深度图的编码失真至关重要。为了在深度图编码过程中，控制深度图失真从而降低合成图失真，采用率失真优化的方法来选择编码模式和参数。率失真优化问题是一个拉格朗日优化问题，即选择能够使D+ λ.R最小的编码模式或参数；D表示不同编码模式或参数下，编码当前块后，采用深度图失真计算方法得到的失真；R表示不同编码模式或参数下编码当前块产生的比特数；λ是拉格朗日乘子。
[0004]传统的失真计算方法，广泛用于视频编码，例如SSD (Sum of SquaredDifferences)和SAD (Sum of Absolute Differences)，最先被用于深度图失真计算。此类方法原理简单，易于硬件实现，但未考虑深度图失真对合成视图的影响，因而不能从整体上保证合成视图的质量。学者们进一步提出基于合成视图失真变化的深度图失真预测方法，通过执行视点合成算法，计算编码深度图造成的合成视图的失真，来计算深度图失真，例如SVDC(Synthesized View Distort1n Change)。此类方法可以有效保证合成视图的质量，但其计算量极大，尤其不利于实时系统的应用。因此，学者们进一步提出了基于合成视图失真估计的深度图失真预测方法，即通过估算编码深度图造成的合成视图的失真，来预测深度图失真的方法，例如VSD(View Synthesis Distort1n)。该类方法恰当地平衡了编码复杂度和压缩性能，但现有估计模型的准确性都十分有限，且其都是针对一维自由视点视频，其对二维自由视点视频的拓展性还有待研宄。
【发明内容】
[0005]为了弥补上述现有技术的不足，本发明提出一种二维自由视点视频的深度图编码失真预测方法，避免了深度图编码过程中反复多次执行合成算法并提高了二维自由视点视频的深度图编码失真预测方法的准确性，同时大幅降低自由视点视频深度图编码的计算复杂度。
[0006]本发明的技术问题通过以下的技术方案予以解决:
[0007]一种二维自由视点视频的深度图编码失真预测方法，包括如下步骤:
[0008]Al:输入两个以上视点立体视频的纹理图与深度图的序列，视点位置呈一维均匀分布;
[0009]A2:利用当前待编码视点及其相邻视点的纹理图和深度图，采用视点合成算法，合成当前待编码视点与第一相邻视点的第一中间视点(Hl和/或H2)的纹理图，并合成当前待编码视点与第二相邻视点的第二中间视点(VI和/或V2)的纹理图；所述第一相邻视点在所述视点位置的分布方向上与所述当前待编码视点相邻，所述第二相邻视点在垂直于所述视点位置的分布方向的方向上与所述当前待编码视点相邻；
[0010]A3:利用步骤A2中的第一中间视点的纹理图以及第二中间视点的纹理图，记录当前待编码视点的深度图中的各像素点的合成特征(KHjp /或K H2，以及Kvi和/或K V2)，并生成相应的失真预测权重(WHjP /或W H2，以及Wvi和/或W V2);
[0011]A4:根据步骤A3中的所述当前待编码视点的深度图中的各像素点的合成特征(Khi和/或KH2，以及Kvi和/或K V2)和相应的失真预测权重(WHjP /或WH2，以及Wvi和/或Wv2)，分别采用各像素点的编码像素失真预测模型，分别计算得到所述当前待编码视点的深度图的编码块中的各像素点的失真，并在不同的方向上分别求和得到所述编码块中的各像素点失真造成的在所述视点位置的分布方向上的第一合成失真和(DHjP/或Dh2)及在垂直于所述视点位置的分布方向的方向上的第二合成失真和(DvjP /或Dv2)，将所述第一合成失真和(DHjP/或Dh2)和第二合成失真和(?和/或Dv2)求平均获得所述编码块中的各像素点造成的二维自由视点视频失真估计值，并对各个所述二维自由视点视频失真估计值求和，输出所述当前待编码视点的深度图的编码块的总失真。
[0012]优选地:
[0013]所述像素点为非显露点、前插值点、加权插值点、前双空洞点或混合类型点，所述合成特征和相应的失真预测权重的确定方式如下:
[0014]所述非显露点是指深度图像素点对应的纹理图像素点的相邻间隔在视点合成结果中都不被显露；所述非显露点的失真预测权重为wl，wl = 0，合成特征为kl，kl = O ；
[0015]所述前插值点是指深度图像素点对应的纹理图像素点的相邻间隔在视点合成时，变换后都为插值区，在两变换图融合时作为前景被显示，所述前插值点的失真预测权重为w2，w2 = I，合成特征为 k2，k2 = I ；
[0016]所述加权插值点是指深度图像素点对应的纹理图像素点的相邻间隔在视点合成时，变换后都为插值区，在两变换图融合时被加权求和，所述加权插值点的失真预测权重为加权权值w3，0 d ( 1，合成特征为k3，k3 = I ；
[0017]所述前双空洞点是指深度图像素点对应的纹理图像素点的相邻间隔在视点合成时，变换后都为空洞填补区，在两变换图融合时为前景被显示，所述前双空洞点的失真预测权重为w4，w4 = I，合成特征为k4，k4 = 2 ;
[0018]所述混合类型点是指所述非显露点、前插值点、加权插值点和前双空洞点中任意两者的混合，深度图像素点对应的纹理图像素点的相邻间隔在视点合成时，两个合成特征以及两个失真预测权重都被记录；
[0019]其中:当合成第一中间视点(Hl和/或H2)的纹理图时，所述相邻间隔是指在所述视点位置的分布方向上，当前待编码视点的纹理图的像素点与其相邻像素点之间的间隔；
[0020]当合成第二中间视点(VI和/或V2)的纹理图时，所述相邻间隔是指在垂直于所述视点位置的分布方向的方向上，当前待编码视点的纹理图的像素点与其相邻像素点之间的间隔。
[0021]所述各像素点的编码像素失真预测模型如下:
[0022]所述像素点为所述非显露点时，失真计算式为:
[0023]Dsyn = wl (I)
[0024]所述像素点为所述前插值点时，失真计算式为:
[0025]Dsyn= |w2.[(SD-S/ D)(S' τ’η_「ν τ’η+1)]2| (2)
[0026]所述像素点为所述加权插值点时，失真计算式为:
[0027]Dsyn= |w3.[(Sn-Sr D)(S' τ’η_「ν τ’η+1)]2| (3)
[0028]所述像素点为所述前双空洞点时，失真计算式为:
[0029]若当前待编码视点在第一中间视点的左边或第二中间视点的下边时，失真计算式为:
[0030]Dsyn= I w4.4[ (Sd-S' D) (S' T’n_S' τ’η+1)]2| (4)
[0031]若当前待编码视点在第一中间视点的右边或第二中间视点的上边时，失真计算式为:
[0032]Dsyn= I w4.4[ (Sd-S' D) (S' T’n_S' ,,^1)]2 (5)
[0033]所述像素点为所述混合类型点时:根据混合的两种类型，分别按照所述混合的两种类型的所述编码像素失真预测模型计算失真，然后再取均值，作为该像素点的失真；<