梯度图引导的基于深度重采样3d-hevc编解码方法
【技术领域】
[0001] 本发明属于3D视频编码技术领域，尤其涉及一种梯度图引导的基于深度重采样 3D-HEVC编解码方法。
【背景技术】
[0002] 近年以来，许多基于3D的视频应用，例如移动3D视频，自由视点视频和立体视频 显示等技术得到了快速发展。但是，基于多视点技术的3D视频应用带来了大量的视频数据 需要存储或传输，制约了其进一步的发展。随着基于ffiVC的多视点加深度数据的编码标准 3D-HEVC的正式发布，带来了 3D视频的高效压缩编码。然而，随着高清和超高清视频的应 用，用户数量的不断增加，视频数据量的不断增加已不可避免，而视频传输的信道带宽是有 限的，因此有必要采用新方法降低码率。基于深度重采样的3D-HEVC视频编解码方法是一 种能够进一步提高3D视频压缩效率的方法，因而受到广泛关注。
[0003] 现有的基于深度重米样的3D-HEVC视频编码方法，其深度下米样方法常用最 近邻域下采样方法（nearestneighbordownsampling)，双线性下采样方法（bilinear downsampling)或者双三次下采样方法（bicubicdownsampling)。这些下采样方法的共同 缺点是未考虑下采样过程中边缘像素的深度值的保护，因此破坏了原始深度图的边缘的深 度值，这样就会造成上采样后的深度图质量的下降。而常用的深度上采样方法，即同时匹 配纹理图和深度图的边缘来对深度边缘插值，从而达到边缘保护的目的。他们的缺点是算 法的复杂度高，难以实现视频实时处理，而且未考虑边缘的连续性导致容易产生断裂的边 缘。另外，深度图的特点是由显著的边缘分割各个内部平坦的物体，因此深度图的梯度特征 是边缘像素具有较高的梯度，而非边缘像素具有较低的梯度，利用这个特征可以很好的区 别边缘像素和非边缘像素。因此本发明提出了新的深度下采样方法。首先基于梯度图将 分块的深度图分类为边缘块和非边缘块，然后对这些块内的不同像素集合采用中值滤波方 法，能够较好的保留原始深度图中边缘的深度值；同时作深度上采样的时候，为了恢复连续 的深度边缘，采用基于梯度图引导的深度估值方法。首先将深度图每个像素扩展为矩形块， 然后估计矩形块四个顶角的深度值。比较被扩展像素的梯度与其它三个邻域像素的梯度均 值，如果前者大于后者，说明被扩展像素不同于其邻域像素，应该是边缘像素，其顶角深度 值即为被扩展像素的深度值；反之，被扩展像素与其邻域像素相似，则应为非边缘像素，其 顶角深度值为被扩展像素与其它邻域像素深度值的中值。然后在水平，垂直和对角线方向 上使用已估值的顶角深度值进行插值。本发明提出的上采样方法能够很好地保护边缘并使 得边缘具有连续性。此外，本发明提出的深度视频分块下采样和扩展上采样的方法，使得可 以根据缩放系数灵活地对深度图进行采样。本发明提出的深度视频下采样方法和上采样方 法，其算法复杂度低，适合在3D-HEVC编码器和解码器中使用。
【发明内容】
[0004] 本发明的目的是针对现有的基于深度重采样的3D-HEVC视频编码方法的不足，提 出了 一种梯度图引导的基于深度重采样3D-HEVC编解码方法。
[0005] 本发明方法对纹理视频按原始分辨率进行编码，对深度视频进行降分辨率编码。 为了保留原始深度图中边缘的深度值，对于深度视频下采样，首先生成它的梯度图，按照缩 放系数把原始梯度图划分为互不重叠的块。在梯度图引导下将深度图划分为边缘块和非边 缘块，最后对这些块内的不同像素集合采用中值滤波方法得到下采样的深度值。为了得到 连续的边缘，对于深度视频上采样，首先生成它的梯度图，然后按照缩放系数把低分辨率深 度图中的每个像素扩展为矩形块，得到上采样深度图的模板。接着估计矩形块的四个顶角 的深度值，比较被扩展像素的梯度和其它三个邻域像素梯度的均值，若前者大于后者，则对 应位置的顶角深度值为被扩展像素的深度值；若后者大于前者，则对应位置的顶角深度值 为被扩展像素和其它三个邻域像素的深度值的中值。然后，利用四个顶角组成的顶角对的 平均深度值，对水平，垂直，对角线上的空白像素进行插值。剩余的空白像素采用其最近距 离的已插值的深度值。最后用典型的基于深度图渲染算法对解码得到的纹理视频和上采样 深度视频进行视点合成，得到所需的多视点视频。
[0006] 本发明包括编码方法和解码方法。
[0007] 编码方法的具体步骤是：
[0008]步骤（1)、将纹理视频以原始分辨率进行编码，按编码配置文件的参考顺序输入 3D-HEVC编码器；
[0009]步骤（2)、将深度视频采用梯度图引导的分块中值滤波方法进行下采样，然后送入 3D-HEVC编码器；
[0010] 步骤（3)、将纹理视频编码的比特流和深度视频编码的比特流按参考编码顺序合 并后输出；
[0011] 解码方法的具体步骤是：
[0012] 步骤（I)、将视频编码的比特流进行解码，按参考编码顺序输出为纹理视频和深 度视频；
[0013] 步骤（II )、将解码的深度视频，采用梯度图引导的邻域估值方法进行上采样，得 到与原始视频相同尺寸的解码视频；
[0014] 步骤（III )、采用典型的基于深度图渲染算法将解码后的纹理视频和上采样的深 度视频进行视点合成，得到所需的多视点视频。
[0015] 本发明有益效果如下：
[0016] (1)本发明使用基于缩放系数的分块方法对深度视频重采样，因此可以适用于不 同的采样率；(2)本发明提出的3D-HEVC视频编码方法中的深度下采样方法根据深度图边 缘块和非边缘块的梯度特征，以中值滤波的方法保留原始深度图中的边缘值。（3)本发明提 出的3D-HEVC视频编码方法中深度上采样方法根据深度图中相邻像素的梯度特征，估计上 采样深度图模板中每个扩展像素块四个顶角的深度值，然后分别在块内作水平，垂直，对角 线上的深度插值，最后根据最近邻域的方法得到其余像素的深度值。这样可以保持上采样 的深度图边缘的连续性，减少离散边缘点。
【附图说明】
[0017] 图1为本发明中编码和解码方法流程图；
[0018] 图2为本发明中深度图下采样方法的流程图；
[0019] 图3为本发明中深度图下采样方法的示意图；
[0020] 图4为本发明中深度图上采样方法的示意图。
【具体实施方式】
[0021] 下面结合附图和实施例对本发明作进一步的说明。
[0022] 梯度图引导的基于深度重米样3D-HEVC编解码方法，米用3D视频编码HTM模型， 测试条件参考JCT-3V的通用测试条件（JCT3V-E1100)，使用HTM模型自带的2个视点的多 视点编码（MV-HEVC)的配置文件baseCfg_2view.cfg,下采样和上采样的缩放系数s = 4。
[0023] 具体实施步骤参照附图1~4。
[0024] 3D-HEVC视频的具体编码方法如图1所示：
[0025] 步骤（1)、将纹理视频以原始分辨率进行编码，按编码配置文件的参考顺序输入 3D-HEVC编码器。
[0026]步骤（2)、将深度视频采用梯度图引导的分块中值滤波方法进行下采样，然后送入 3D-HEVC编码器。如图2所示，其步骤为：
[0027] a.对于深度视频的每帧图像，首先用Sobel算子生成每个像素的水平方向和垂直 方向上的梯度：
[0028]
[0029] 其中，GjPG,分别是横向和纵向的梯度。则每个像素的梯度值为：
[0030]
[0031] b.如图3所示，将深度图划分为互不重叠的大小为4X4的块，则分块后的深度图 为：
[0032] Gb (x,y) =G(4x, 4y) (3)
[0033] 其中x,y是分块深度图Gb (x,y)的中心坐标。
[0034] c.把所有的块B(X,y)划分为边缘块Bf3 (X,y)和非边缘块Bnf3 (X,y):
[0035]
[0036] 其中，p = 0. 5，Ntotal (X，y)是一个块内的所有像素的数目，Nh (X，y)是块B (X，y)里 面的具有高梯度值的像素的数目，计算如下；
[0037]
[0038]其中，A= 2,对应于缩放系数s = 4。GB(i，j)是块B(x，y)里面像素（i，j)的梯 度，GBavg(x,y)是块B(x,y)的平均梯度。
[0039] d.与分块的梯度图相对应，深度图被划分为非重叠的边缘块和非边缘块。对于边 缘块Bf3 (X，y)，计算它的中值为：
[0040]
[0041] 其中，{DBh(i，j)}代表块B(x，y)里面具有高梯度