基于边缘无损压缩的深度图编码方法
【专利摘要】一种基于边缘无损压缩的深度图编码方法，属于3D视频编码领域，其特征是包括下列步骤：基于阈值的边缘检测；链码分别编码前景、背景边缘；前向差分预测编码边缘像素值；下采样；前向差分预测编码种子图像；算术编码残差序列和链码序列；传输二进制码流；算术解码；链码解码前景、背景边缘；前向预测差分解码；复原种子图像；稀疏表示种子图像；采用基于偏微分方程重建方法和自然邻近插值重建方法进行重建，即可得到恢复图像。其优点是能够有效地发掘深度图本身的平滑区域被锐利边缘分割的特性，能够明显地提高深度图编码性能，同时也提高了虚拟视点的绘制质量。
【专利说明】基于边缘无损压缩的深度图编码方法
【技术领域】
[0001]本发明属于3D视频编码【技术领域】，具体涉及一种基于边缘无损压缩的深度图编码方法。
【背景技术】
[0002]随着电子产品的发展，3D视频(Three dimensional video, 3DV)已成为生活娱乐不可缺少的一部分，一般而言，3DV有3D电视(3D Television, 3DTV)和自由视点视频(Free viewpoint video, FVV)两种应用。传统的3D视频利用两台不同位置的摄像机采集视频场景，然后将两个摄像机的视频分别呈现给两只眼睛，左、右两个眼睛即可看到具有视差的不同视角的视频，从而在人脑中呈现立体感。然而，一方面，传统3D系统只有两个视点的视频，并且两台摄像机之间的基线距离往往远大于我们的眼瞳距离，这样使得两个视点视频上物体视差很大从而造成人眼的视觉疲劳和不适感；另一方面，越来越多的家庭3D娱乐消费者要求在任意多个不同的角度下观看3D视频，对此，需要采集传输20个甚至多达50个不同视点的视频，这样庞大的数据对传输带宽和存储容量造成很大压力，为了满足上述两方面的需要，实际中，我们经常采用只需要传输少数几个视点视频数据，而在接收端采用绘制技术来合成其他未知虚拟视点，从而减少需要传输的视频数据量。
[0003]最近出现一种新的3D视频格式即多视点视频加深度(即MVD,Mult1-View Videoplus Depth)，它通过增加一个深度信息来更好描述3D场景的几何信息，并能在减少所需的视频信息条件下，利用深度信息合成满意的虚拟视点，因此得到学术界和工业界的广泛关注。MVD具体包括描述多视点视频的两种信息:纹理视频和深度视频，其中纹理视频是指常规的视频信息，包括场景的色度和亮度信息；而深度视频描述场景与摄像机之间的距离，通常每帧深度图的每个像素用8比特表示。虽然利用深度信息可以实现虚拟视点的绘制，但是MVD视频格式比传统的3D视频格式多了一个维度的信息即深度图信息，因此除了要压缩多视点视频，也需要对深度图进行压缩，而传统的图像编码方法在压缩深度图中存在很多局限。
[0004]对深度图编码方法，目前大家都把深度图当做一副灰度图进行编码，使用传统的基于变换技术的编码算法(如JPEG2000、H.264/AVC)来压缩深度图。然而基于变换的编码器不能够保证编码后深度图不连续信息的保留，为了保留更多感兴趣区域的信息，有文章针对深度图编码提出了基于感兴趣区域的JPEG2000的扩展编码器。但是基于变换的所有方法本质上都会导致边缘处的震荡伪影，这种伪影会导致在视点绘制过程中不能够正确投影，进而影响绘制质量。
[0005]另一类深度图编码方法把深度图分割为网格，使用分段线性函数来描述每个分割区域，同时通过相应的树结构来描述分割。尽管这些方法可以很好表示锐利的边缘，但是仍然不能提供深度图边界像素的准确表示。为了实现对深度不连续区域的更加准确的描述，这种方法需要把图像分割为像素级，然而最终导致描述树结构的码率增加。
[0006]还有一类深度图的编码方法采用基于边缘无损的深度编码方法，它需要边缘检测或分割，然而经典的边缘检测方法不能够很好检测到所需要的边缘，尽管有文章提出使用索贝尔边缘检测，然而这种边缘检测方法检测出来的边缘数量比较多，而且在边缘描述的时候不能够简单有效地描述真实的边缘信息。
【发明内容】
[0007]本发明的目的是提供一种能够有效利用深度图的特性来编码深度图新方法，能够实现解码图像边缘无损重建从而提高深度图编码的率失真性能和虚拟视点的绘制质量。
[0008]本发明是这样实现的，其特征是包括下列步骤:
[0009]第一步:读入一幅深度图D (分辨率是pXq)，设定X1≥2以及m (2≤m≤16)和 η (2 ^ n ^ 16)；
[0010]第二步:对深度图D边缘的编码，包括下列步骤
[0011]1.求取前景边缘图像EfOTeg_d和背景边缘图像Ebaekground:
[0012]根据设定的边缘检测阈值A1，对深度图D的当前像素D (x, y)及其上、下、左、右相邻像素(分别表示为D (x-1, y)> D (x+1, y)> D (x, y_l))和D (x, y+1))利用公式(I)进行比较，保留大的像素值得到前景边缘图像Ef。胃。nd，保留小的像素值得到背景边缘图像
^background?艮P.[0013]
【权利要求】
1.一种基于边缘无损压缩的深度图编码方法，可以有效地利用深度图的本质特征来编码深度图。其特征在于操作步骤为: 第一步:读入一幅深度图D,其分辨率为P Xq,设定λ I≤2以及m和η,其中m和η的取值范围分别为2≤m≤16和2≤η≤16 ; 第二步:对深度图D边缘的编码，包括下列步骤 [1].求取前景边缘图像 和背景边缘图像 根据设定的边缘检测阈值X1，对深度图D的当前像素D(x，y)及其上相邻像素D(x-1，y)、下相邻像素D (x+1, y)、左相邻像素D (x, y_l)、右相邻像素D (x, y+1)利用公式(I)进行比较，保留大的像素值得到前景边缘图像Ef。胃。nd，保留小的像素值得到背景边缘图像
【文档编号】H04N19/91GK103763564SQ201410008702
【公开日】2014年4月30日 申请日期:2014年1月9日 优先权日:2014年1月9日
【发明者】王安红, 赵利军, 武迎春, 武晓嘉, 张 雄 申请人:太原科技大学