基于改进型双边滤波的深度图像恢复方法
【专利摘要】本发明公开了一种基于改进型双边滤波的深度图像恢复方法，该方法先使用局部自适应双边滤波对原始深度图像进行平滑去噪，然后对深度图像中的错误深度像素进行校正，最后结合于深度图像对应的RGB图像，采用选择性联合双边滤波对深度图像进行空洞填充，最终恢复的深度图像中的噪音得到了有效地抑制，错误深度像素得到了有效地校正，并且有清晰的深度边界。本发明能有效地抑制深度图中的局部不均匀噪音和填充深度图像中的空洞，同时能使得恢复后的深度图像中的边缘清晰整齐，有利于后续的诸如三维场景识别和重建等处理。
【专利说明】基于改进型双边滤波的深度图像恢复方法
【技术领域】
[0001]本发明涉及图像处理【技术领域】，特别涉及RGB-D图像，即与之对应的RGB图像的深度图像恢复方法。
【背景技术】
[0002]随着新的深度测量技术的诞生，获得场景深度图像已经变得非常容易，且测量装置也很便宜，并可同时获得与深度图像相对应的场景的RGB图像，与深度图像合起来被称作RGB-D图像。然而这类装置由于测量原理简单，因此得到的深度图像质量也存在问题，主要包括:局部不均匀噪音，空洞现象和错误深度像素。目前对这类装置获得的深度图像恢复的方法主要包括两大类:(I)只利用深度图像信息进行恢复，(2)结合深度图像和与之对应的RGB图像信息进行的恢复，这两大类方法又可以根据只使用当前帧信息和使用多帧信息两种情况各分为两类。
[0003]下面对现有的部分RGB-D深度图像恢复算法按上述分类方法进行简要介绍。M.Andrew 等人与 2012 年提出(“Enhanced personal auto stereoscopic telepresencesystem using commodity depth cameras”)使用两个改进型中值滤波器近利用当前中贞深度信息进行深度图像恢复；W.Jakob等人与2011年提出(“Real-time preprocessingfor dense3_d range imaging on the GPU:defect interpolation, bilateral temporalaveraging and guided filtering”)考虑多巾贞相邻巾贞深度信息,采用归一化卷积技术和导向滤波器(guided filter)。上述两种方法虽然运算速度很高，但是只使用了深度信息，因此对深度图像恢复效果很有限，只适用于对深度图像质量要求不高的算法，可作为简单预处理算法。Y.Jingyu 等人与 2012 年提出(“Depth recovery using an adaptivecolor-guided auto-regressive model”)使用能量最小化方法,先对图像中的空洞进行插值填充，然后迭代优化能量函数，达到空洞填充和去噪的效果，该方法使用了当前帧的RGB-D图像信息，其缺陷是恢复后的深度图像边缘很模糊；MaSSimo Camplani等人与2012年提出(“Accurate depth-color scene modeling for3d contents generation withlow cost depth cameras”)使用多巾贞RGB-D图像建立场景模型,并用该模型进行深度图像恢复，但是该方法要求图像中的场景为静态的，因此很大程度限制了其应用性。
[0004]然而上述方法还有一个共同的缺陷就是没有强调错误深度像素问题和提出很好的解决方法。
【发明内容】
[0005]针对现有技术中的缺陷，本发明目的是提供一种基于改进型双边滤波的深度图像恢复方法，该方法提出了错误深度像素的概念，能有效地抑制深度图中的噪音和填充深度图像中的空洞，同时使得恢复后的深度图像中的深度边缘清晰整齐。
[0006]为实现上述目的，本发明提供一种基于改进型双边滤波的深度图像恢复方法，该方法先使用局部自适应双边滤波对原始深度图像进行平滑去噪，然后对深度图像中的错误深度像素进行校正，最终结合于深度图像对应的彩色RGB图像，采用选择性联合双边滤波对深度图像进行空洞填充。最终恢复的深度图像噪音得到了有效地抑制，错误深度像素得到了有效地校正，并且有清晰的深度边界。
[0007]本发明具体包括以下步骤:
[0008](I)对原始深度图像进行局部自适应双边滤波，对深度图像中的区域不均匀噪声进行平滑；
[0009](2)对深度图像和与该深度图像相对应的RGB图像分别进行边缘检测，分别得到相应的边缘图像；
[0010](3)然后对深度图像的边缘图像进行形态学膨胀，将膨胀后的边缘图像与RGB图像的边缘图像进行逻辑交运算，得到深度边界图像的初始图像；
[0011](4)再对深度边界图像初始图像中的边界像素进行校正，去掉伪边界的边界像素，最终的到真正深度边界图像的近似图像；
[0012](5)结合校正后的深度边界图像，对平滑后的深度图像中错误深度值像素进行校正；
[0013](6)利用深度图像边缘与RGB图像纹理边缘之间的联系，采用选择性联合双边滤波并结合(4)中得到的校正的深度边界图像，对校正后的深度图像中的空洞进行填充。
[0014]与现有技术相比，本发明具有如下收益效果:
[0015]本发明不同于【背景技术】中所有的方法，提出了错误深度像素的概念，并提出了相应的解决方案。同时本发明有效地使用双边滤波的变型一局部自适应双边滤波和选择性联合双边滤波两种滤波器分别对深度图像进行去噪和空洞填充，能有效地恢复深度图像，并且与 Y.Jingyu 等人的方法(“Depth recovery using an adaptive color-guidedauto-regressive model”)相比,本发明恢复后的深度图像错误深度像素更少,深度边缘清晰。
[0016]本发明能有效地抑制深度图中的噪音和填充深度图像中的空洞，同时使得恢复后的深度图像中的深度边缘清晰整齐，有利于后续的诸如三维场景识别和重建等处理。
【专利附图】
【附图说明】
[0017]通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显:
[0018]图1为本发明一实施例原始深度图像(左)和与之对应的RGB彩色图像(右)；
[0019]图2为本发明一实施例原始深度图像的边缘图像(左)，深度边界图像初始图像(中)和校正后的深度边界图像(右);
[0020]图3为本发明一实施例原始深度图像的部分方法图(左)，该部分中的错误深度像素用粉红色标记(中)和经过错误深度像素校正后的深度图像(右);
[0021]图4为本发明一实施例所恢复的结果(左)和Y.Jingyu等人的方法恢复的结果(右)。
【具体实施方式】
[0022]下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。
[0023]图1显示了一张深度图像和与之对应的RGB彩色图像，即RGB-D图像，其中深度图像中黑色区域为无深度信息像素点，为深度图像的“空洞”。图3中显示了将图1中深度图像部分放大图(图2左)，并将该放大图覆盖到与之对应的彩色图像部分(图2中)，可以看出，粉色部分应该属于人体后面的墙，但是其深度值为人体所在位置的深度，这样的像素即为错误深度像素。然而深度图像同时还有区域不均匀噪音，即靠近深度图像边缘部分的深度值有较高的噪音，而远离深度图像边缘部分的深度值的噪音早相对较小，因此对给定的RGB-D图像做如下处理。
[0024](I)采用局部自适应双边滤波对输入深度图像中的噪音进行平滑，得到噪音相对较小的深度图像。
[0025]本步骤中:对原始深度图像进行边缘检测得到边缘图像，对边缘图像进行形态学膨胀，对于原始深度图像中被膨胀后的边缘所覆盖的深度图像像素，当平滑这些像素时，其双边滤波的方差设为一常数，对于不在覆盖范围内的，双边滤波的方差设为另一常数，公式如下:
【权利要求】
1.一种基于改进型双边滤波的深度图像恢复方法，其特征在于，所使用的局部自适应双边滤波能有效的抑制深度图像中的区域不均匀噪音，同时结合与深度图像相对应的RGB图像，采用选择性联合双边滤波对深度图像进行空洞填充，并利用深度图像边缘与RGB图像纹理边缘之间的联系，使得恢复后的深度图像边缘清晰整齐； 所述方法具体包括如下步骤: 第一步，对原始深度图像进行局部自适应双边滤波，对深度图像中的区域不均匀噪声进行平滑； 第二步，对深度图像和与该深度图像相对应的RGB图像分别进行边缘检测，分别得到相应的边缘图像； 第三步，对深度图像的边缘图像进行形态学膨胀，将膨胀后的边缘图像与RGB图像的边缘图像进行逻辑交运算，得到深度边界图像的初始图像； 第四步，对深度边界图像初始图像中的边界像素进行校正，去掉伪边界的边界像素，最终的到真正深度边界图像的近似图像； 第五步，结合校正后的深度边界图像，对平滑后的深度图像中错误深度像素进行校正； 第六步，利用深度图像边缘与RGB图像纹理边缘之间的联系，采用选择性联合双边滤波并结合第四步中得到的校正的深度边界图像，对校正后的深度图像中的空洞进行填充。
2.根据权利要求1所述的基于双边滤波的深度图像恢复方法，其特征在于，所述第一步中对深度图像中的区域不均匀噪音进行局部自适应双边滤波平滑，其具体为: 对原始深度图像进行边缘检测得到边缘图像，对边缘图像进行形态学膨胀，对于原始深度图像中被膨胀后的边缘所覆盖的深度图像像素，当平滑这些像素时，双边滤波的方差设为常数，对于不在覆盖范围内的，双边滤波的方差设为另一常数，公式如下:
3.根据权利要求1所述的基于改进型双边滤波的深度图像恢复方法，其特征在于，所述第四步中，校正公式如下:
4.根据权利要求3所述的基于改进型双边滤波的深度图像恢复方法，其特征在于，所述第五步中:如果g(Ei) = I时，对平滑处理后的深度图像中的错误深度像素进一步校正，令A' = arg max |θ；| ,则对平滑后的深度图像中Ω j中的深度像素做如下校正:
J J 对所有se Ω i，并且s在i和j之间，令Ds — Dk ； 其中Ds和Dk是平滑后深度图像中? mt所在位置相对应的深度像素的值。
5.根据权利要求1-4任一项所述的基于改进型双边滤波的深度图像恢复方法，其特征在于，所述第六步中:利用深度图像边缘与RGB图像纹理边缘之间的联系，采用选择性联合双边滤波对深度图像中的空洞进行填充，公式如下:
【文档编号】G06T5/00GK103927717SQ201410122870
【公开日】2014年7月16日 申请日期:2014年3月28日 优先权日:2014年3月28日
【发明者】刘伟, 杨杰 申请人:上海交通大学