深度视频编码的三边滤波方法
【专利摘要】本发明属于视频编码领域，为使边缘区域的像素只采用属于同区域的像素参与滤波，以减少其它区域像素的干扰，从而克服编码后深度边缘变模糊的现象，达到提高深度视频编码质量的目的。为此，本发明采取的技术方案是，深度视频编码的三边滤波方法，包括如下步骤：1)利用Meanshift算法对深度图和彩色图分别进行区域分割：2)基于深度图和彩色图构造基本滤波器：3)基于分割信息，构造深度区域分割滤波器与彩色区域分割滤波器：4)基于区域分割滤波器的结果将深度图分成边缘区域和非边缘区域：5)基于基本滤波器和区域滤波器构建基于区域的三边滤波器：6)滤波，用滤波结果取代原深度图。本发明主要应用于视频编码。
【专利说明】深度视频编码的三边滤波方法
【技术领域】
[0001] 本发明属于视频编码领域，涉及一种对多视点深度视频编码时采用的三边滤波方 法。 技术背景
[0002] 立体显示技术已经应用于多个领域，包括3D电视、3D电影及虚拟现实技术等。为 了减少占用传输带宽和存储空间，多种视频格式被开发出来，以采用较小的数据量来更好 的表示3D场景信息。其中，多视点+深度（MVD)格式在多视点彩色视频之外引入了深度图 来表示场景物体间的距离关系，可以基于MVD格式绘制任意位置的虚拟视点，成为了当前 研究的热点。基于深度图的视点绘制（DIBR)利用相应深度图的距离信息将已有的彩色图 投影到虚拟视点上，因此深度图的质量显得尤为重要。深度图的错误将导致像素被映射到 错误的位置，引起虚拟视点的几何失真，造成绘制质量的下降。
[0003] 深度图有一些重要的特征。首先，深度图由大块的平滑区域构成，这些区域由变化 尖锐的边缘分割开来，这些边缘对于区分场景中不同物体和区分前景与背景起着重要的作 用，边缘的质量对视点绘制的结果影响很大。用传统编码器编码后深度图添加很多编码噪 声，因为编码器是按彩色图的特点设计，并没有考虑到深度图的特性，特别是没有着重提高 边缘附近的图像质量；其次，深度图和对应的彩色图有很强的相关性，它们分别表示同一场 景的相关信息，因而在研究深度编码方法时可以考虑利用到相关彩色图中的信息。
[0004] 目前国内、外研究者提出了一些深度图编码方法。Oh等人提出了一种非线性深度 边缘重建滤波器，它可以利用临近像素来恢复物体边缘质量。滤波用到的候选像素利用三 个标准选出：像素值出现的频率、与滤波像素的相似度、像素之间的距离。Ko等人提出一种 LO范数最小化深度图滤波技术，用LO范数平滑的方法在去除编码噪声的同时保持边缘的 尖锐性。Winken等人提出一种运动矢量继承模式，将已编码彩色图的应用于相对应的深度 图以提升编码效率。
【发明内容】
[0005] 为克服现有技术的不足，本发明旨在使边缘区域的像素只采用属于同区域的像素 参与滤波，以减少其它区域像素的干扰，从而克服编码后深度边缘变模糊的现象，达到提高 深度视频编码质量的目的。为此，本发明采取的技术方案是，深度视频编码的三边滤波方 法，包括如下步骤：
[0006] 1)利用Meanshift算法对深度图和彩色图分别进行区域分割：
[0007] 对深度图进行区域分割，为其中每个像素赋一个深度区域分割标号；对彩色图进 行区域分割，为其中每个像素赋一个彩色区域分割标号；分在同一区域的像素有相同的标 号；
[0008] 2)基于深度图和彩色图构造基本滤波器：
[0009] 选取像素间几何距离、彩色值相似度和深度值相似度三个条件构建基本滤波器；
[0010] 3)基于分割信息，构造深度区域分割滤波器与彩色区域分割滤波器：
[0011] 深度区域分割滤波器构造如下：
【权利要求】
1. 一种深度视频编码的三边滤波方法，其特征是，包括如下步骤： 1) 利用Meanshift算法对深度图和彩色图分别进行区域分割： 对深度图进行区域分割，为其中每个像素赋一个深度区域分割标号；对彩色图进行区 域分割，为其中每个像素赋一个彩色区域分割标号；分在同一区域的像素有相同的标号； 2) 基于深度图和彩色图构造基本滤波器： 选取像素间几何距离、彩色值相似度和深度值相似度三个条件构建基本滤波器； 3) 基于分割信息，构造深度区域分割滤波器与彩色区域分割滤波器： 深度区域分割滤波器构造如下：
其中Ldp与Ldq分别为p、q的深度区域分割标号； 彩色区域分割滤波器构造如下：
其中Ltp与Ltq分别为p、q的彩色区域分割标号； 4) 基于区域分割滤波器的结果将深度图分成边缘区域和非边缘区域： 首先统计P的邻域Ω内滤波值的总和： Gdt = ^(Dp, Dq) Λ mT(Tp，Tq) 设ThDT为阈值，如果Gdt < ThDT，则p定义为属于边缘区域，否则属于非边缘区域； 5) 基于基本滤波器和区域滤波器构建基于区域的三边滤波器： 基于基本滤波器和区域滤波器，计算对像素 P的加权平均值，归一化的加权平均公式 如下：
其中，Kp为归一化系数：
6) 采用基于区域的三边滤波器对深度图进行滤波，用滤波结果取代原深度图。
2. 如权利要求1所述的深度视频编码的三边滤波方法，其特征是，距离滤波器构造如 下：
其中P为当前像素，q为除当前像素以外的其它像素，Ω为规定的p的邻域； 深度值滤波器构造如下：
其中Dp、Dq分别为p、q的深度值，Tth为用于像素选取的深度值的阈值； 彩色值滤波器构造如下：
其中Tp、Tq分别为p、q的彩色值，Tth为用于像素选取的彩色值的阈值。
【文档编号】H04N13/00GK104394399SQ201410606662
【公开日】2015年3月4日 申请日期:2014年10月31日 优先权日:2014年10月31日
【发明者】雷建军, 胡春悦, 侯春萍, 孙婧, 金鹏, 朱涛 申请人:天津大学