一种深度图后处理滤波的方法
【专利摘要】本发明涉及一种深度图后处理滤波的方法，包括以下步骤：（A1）输入同一场景的深度图和彩色图；（A2）对彩色图进行分块，并对每个块进行基于灰度图的边缘检测，进一步用基于彩色分量的边界对上述块中场景的灰度边缘进行修正，将得到的边界作为深度图中不同深度平面的边界；（A3）将深度图分为与步骤（A2）中相同大小的块，并依据以上分割，以块为单位对深度图进行去噪滤波；（A4）重复步骤A1－A3，直至所有图像全部处理完毕；（A5）输出所述得到的深度图序列。本方法通过提取像素点在空域上和时域上的平滑性特征，并在读取和扫描的过程中进行深度图的计算。这样的方法，能有利于改进深度图时域抖动、空域不稳定、场景还原性低等缺陷的深度图。
【专利说明】一种深度图后处理滤波的方法
【技术领域】
[0001]本发明涉及一种通过对象平面分割对深度图进行后处理滤波的方法。
【背景技术】
[0002]深度图序列是重构三维视频的重要信息，其质量的好坏直接决定了三维视频的观看质量。目前深度图序列生成技术主要有主动采集和被动计算两种生成方式。主动采集主要是利用深度相机直接对三维场景的空间深度信息进行采集获取，被动计算一般是利用彩色图序列进行立体匹配计算得到深度图序列。无论是哪一种获取方式，都不可避免的存在深度图的噪声及错误等问题。因此，一般需要采用后处理技术优化深度图质量，提升三维视频的重建效果。
[0003]但是一般的彩色图像去噪滤波技术并不适用于深度图序列。深度图序列相对于彩色图序列而言，具有更加明显的局部平滑性，并且对边缘锐利程度的要求也更高。一般的彩色图像去噪滤波技术容易造成深度图的边缘模糊，从而严重影响三维重构的视觉质量。
【发明内容】
[0004]本发明的目的为了解决上述技术缺陷，特别提出一种基于深度平面分割的深度图后处理方法。
[0005]本发明的方法通过提取像素点在空域上和时域上的平滑性特征，并在读取和扫描的过程中进行深度图的计算。这样的方法，能有利于改进深度图时域抖动、空域不稳定、场景还原性低等缺陷的深度图。
[0006]本发明的技术方案为:
[0007]1、一种深度图后处理滤波的方法，其特征在于包括以下步骤:
[0008](Al)输入同一场景的深度图和彩色图；
[0009](A2)对彩色图进行分块，并对每个块进行基于灰度的边缘检测，进一步用基于彩色分量的边界对上述块中场景的灰度边缘进行修正，将得到的边界作为深度图中不同深度平面的边界；
[0010](A3)将深度图分为与步骤(A2)中相同大小的块，并依据以上分割，以块为单位对深度图进行去噪滤波；
[0011](A4)重复步骤Al - A3，直至所有图像全部处理完毕；
[0012](A5)输出所述得到的深度图序列。
[0013]2、根据权利要求1所述的深度图后处理滤波的方法，其特征在于:所述步骤(A2)对彩色图进行分块，并对每个块进行基于灰度图的边缘检测，进一步用基于彩色分量的边界对上述块中场景的灰度边缘进行修正，将得到的边界作为深度图中不同深度平面的边界的具体过程为:
[0014]对彩色图进行分块操作，并在每个块中利用Sobel算子进行基于灰度的边缘检测，检测出块中场景的灰度边缘；对彩色图块中场景执行RGB三个颜色通道内的边缘检测，得到彩色图分块场景的边缘，用于修正对应块的灰度边缘，得到修正后的各块中场景的边缘，将修正后的各块中场景的边缘作为深度图不同深度平面的边界。
[0015]3、根据权利要求1所述的深度图后处理滤波的方法，其特征在于:所述步骤(A3)将深度图分为与步骤(A2)中相同大小的块，并依据以上分割，以块为单位对深度图进行去噪滤波的具体过程为:
[0016]采用掩膜法对每个块进行平滑滤波，选取3*3像素的窗口作为模板，当窗口中的所有像素位于同一个深度平面区域，则执行正常的平滑滤波；当窗口中心像素位于边界点上时，首先做一个判断:如果除了中心像素外另有至少两个像素也落在边界上，则判定该窗口位于边界上；选取窗口中与中心像素处于同一深度平面的像素作为新的模板，进行平滑滤波；否则执行正常的平滑滤波。以此来解决深度图去噪滤波中容易将深度平面边缘模糊的问题。
[0017]总体而言，通过本发明所构思的以上技术方案和现有技术相比，本发明在有效地对深度图进行平滑滤波的同时，保证了深度图边缘的锐利程度，优化了深度图的质量，从而
可以提高三维重建的质量。
【专利附图】
【附图说明】
[0018]图1为本发明深度图去噪滤波方法的流程图；
[0019]图2为本发明的对深度图滤波的示意图。
【具体实施方式】
[0020]为了使本发明的目的、技术方案及优点更加清晰明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处描述的具体实例仅仅用以解释本发明，并不用于限定本发明。因此，下面所描述的本发明各个实施方式中涉及到的技术特征只要彼此之间未构成冲突就可以相互结合。
[0021]本发明的深度图平面分割的深度图后处理生成方法如图1所示，具体实现步骤如下:
[0022](I)输入深度图1d和彩色图1c ；
[0023](2)将彩色图1c分成16*16像素的块，对每个块Ba进行基于灰度图的边缘检测，采用Sobel算子进行局部的边缘检测，检测出块中场景的灰度边缘；
[0024](3)进一步基于RGB颜色空间再次对彩色图块中场景进行边缘检测，得到彩色图分块场景的边缘，并用于修正步骤(2)得到的对应块中场景的灰度图边缘，以优化边缘的连续性。将该修正后的块中场景的边缘作为深度图1d不同深度平面的边界；
[0025]将深度图1d也分成为与步骤(2)中相同的16*16像素的块，并在分割后的深度图中，对每个块Bm采用3*3像素的窗口作为模板W进行平滑滤波，如图2所示。当窗口中的所有像素位于同一个深度平面区域，则执行正常的平滑滤波；当窗口的中心像素位于边界点上时，首先做一个判断，如果除了窗口中心像素外另有至少两个像素也落在边界上，则判定该窗口位于边界上，选取窗口中与中心像素处于同一深度平面的像素作为新的模板，进行平滑滤波。否则执行正常的平滑滤波(如图2中Wl、W2、W3分别表示三种不同的情况)。本发明对于滤波器的选取没有限制，可以兼容多种平滑滤波器，在此选择中值滤波器。当模板W中的像素全部位于同一深度区域时，采用常规的滤波方法，即:
[0026]g (X，y) =med {f (k, I)}, (k, I e ff),
[0027]其中g(X，y)表示绝对坐标(x，y)处的像素滤波后的像素值，med表示取中值，f(k, I)表示窗口中相对坐标(k，I)处的像素值；
[0028]当模板位于边界上时，模板W被边界分为子模板W1, W2,其中W1, W2分别位于不同的深度平面，选取与中心像素处于同一深度平面的子模板Wy在子模板下进行中值滤波，即:
[0029]g(X，y) =med{f (k, I)}, (k, I e Wj)，
[0030]其中g(x，y)表示绝对坐标(x，y)处的像素滤波后的像素值，med表示取中值，f(k, I)表示窗口中相对坐标(k，I)处的像素值；
[0031](4)重复执行步骤(I) - (3)，完成对整个深度图的后处理；
[0032](5)输出所述得到的深度图序列。
【权利要求】
1.一种深度图后处理滤波的方法，其特征在于包括以下步骤: (Al)输入同一场景的深度图和彩色图； (A2)对彩色图进行分块，并对每个块进行基于灰度的边缘检测，进一步用基于彩色分量的边界对上述块中场景的灰度边缘进行修正，将得到的边界作为深度图中不同深度平面的边界； (A3)将深度图分为与步骤(A2)中相同大小的块，并依据以上分割，以块为单位对深度图进行去噪滤波； (A4)重复步骤Al — A3，直至所有图像全部处理完毕； (A5)输出所述得到的深度图序列。
2.根据权利要求1所述的深度图后处理滤波的方法，其特征在于:所述步骤(A2)对彩色图进行分块，并对每个块进行基于灰度图的边缘检测，进一步用基于彩色分量的边界对上述块中场景的灰度边缘进行修正，将得到的边界作为深度图中不同深度平面的边界的具体过程为: 对彩色图进行分块操作，并在每个块中利用Sobel算子进行基于灰度的边缘检测，检测出块中场景的灰度边缘；对彩色图块中场景执行RGB三个颜色通道内的边缘检测，得到彩色图分块场景的边缘，用于修正对应块的灰度边缘，得到修正后的各块中场景的边缘，将修正后的各块中场景的边缘作为深度图不同深度平面的边界。
3.根据权利要求1所述的深度图后处理滤波的方法，其特征在于:所述步骤(A3)将深度图分为与步骤(A2)中相同大小的块，并依据以上分割，以块为单位对深度图进行去噪滤波的具体过程为: 采用掩膜法对每个块进行平滑滤波，选取3*3像素的窗口作为模板，当窗口中的所有像素位于同一个深度平面区域，则执行正常的平滑滤波；当窗口中心像素位于边界点上时，首先做一个判断:如果除了中心像素外另有至少两个像素也落在边界上，则判定该窗口位于边界上；选取窗口中与中心像素处于同一深度平面的像素作为新的模板，进行平滑滤波；否则执行正常的平滑滤波。
【文档编号】G06T5/00GK103942756SQ201410092432
【公开日】2014年7月23日 申请日期:2014年3月13日 优先权日:2014年3月13日
【发明者】杨铀, 于国星, 喻莉, 陈小平 申请人:华中科技大学, 深圳深讯和科技有限公司