基于局部二值模式算子指导的深度图滤波方法及系统的制作方法
【专利摘要】本发明公开了一种基于局部二值模式算子指导的深度图滤波方法及系统，本发明方法为：首先，获取当前像素点的邻近像素点在彩色图像中的局部二值模式算子；然后，基于邻近像素点的局部二值模式算子分辨得到与当前像素点属于同一物体的邻近像素点；最后，以与当前像素点属于同一物体的邻近像素点为深度图滤波的参考像素，得到当前像素点的深度图滤波结果。将本发明滤波方法加入到H.264/MVC编码框架中作为回路滤波，可有效提高深度图编码的效率和合成虚拟视点的质量。
【专利说明】基于局部二值模式算子指导的深度图滤波方法及系统
【技术领域】
[0001 ] 本发明属于图像滤波领域，特别属于立体视频中针对多视点加深度视频格式的深度图滤波领域，具体涉及一种基于局部二值模式算子指导的深度图滤波方法及系统。
【背景技术】
[0002]近几年，3D电影和电视为观众带来较好深度沉浸感与立体视觉感受的同时还引入了与用户间的互动。立体视觉感受可以通过对同一时刻场景不同视点捕捉得到的多视点立体视频(Mult1-view video,MVV)获得,但是基于MVV的立体视频的不足之处在于无法提供与用户的自由交互性。因此，如何利用基于深度图像的虚拟视点绘制技术合成虚拟视点，为目前的研究热题。
[0003]P.Merkle认为深度图有独特的数据结构，认为其是由大量的不同同质区域构成，这些同质区域由物体边缘进行划分[I]。因此通常的混合编码框架中，比如H.264/AVC，量化和块单元编码操作都会造成深度图中物体边缘的严重人工效应。而深度图提供的是3D场景中的几何信息，所以深度图的误差将会在之后的虚拟视点合成中造成几何失真。深度图中同质区域内的像素点的误差，跟深度图中物体边缘像素点的误差，二者相比，后者更能严重影响合成虚拟视点的质量[2]。所以在编码深度图时保持物体的边缘的尖锐性非常重要。
[0004]为了符合深度图编解码器的背景，K.0h[3]将一个回路滤波添加到H.264框架中，对编码的深度图进行去噪。此种环路滤波器通过限定几何距离、图像相似性、和发生频率，对周围邻近像素点进行操作，恢复深度图中噪点，有效地提高了深度图编码的效率和合成虚拟视点的质量。但是，深度图中已损坏的像素点也可能会降低重构像素点的精确性，因此，该方法比特率越低，滤波效果越差。
[0005]基于双边滤波的思想，Iiutt]提出一种三边滤波的方法，该方法在确定加权系数的取值时，增加考虑了彩色图和对应深度图的结构相似性。该滤波方法可以有效清除编解码过程中深度图编码的人工效应，并且在相同比特率下得到质量更好的合成视点。但是，当周围邻近像素点只有少数点是相似点时，该滤波方法的滤波结果就显得不稳定。为了解决该滤波方法存在的问题，得到稳定的滤波输出结果，滤波器需要消除周围不相似邻近像素点的影响。
【发明内容】
[0006]针对现有技术存在的问题，本发明基于双边滤波的思想，提出了一种基于局部二值模式算子指导的深度图滤波方法及系统，该方法在局部二值模式算子指导下，能有效分辨邻近像素点是否属于当前像素点所在的物体，并仅选取与当前像素点属于同一物体的邻近像素点作为参考像素进行滤波，从而获得稳定的滤波结果。
[0007]为了解决上述技术问题，本发明采用如下的技术方案:
[0008]一、一种基于局部二值模式算子指导的深度图滤波方法，包括步骤:[0009]步骤1，针对深度图像对应的彩色图像，获取当前像素点的邻近像素点的局部二值模式算子；
[0010]步骤2，基于邻近像素点的局部二值模式算子分辨得到与当前像素点属于同一物体的邻近像素点，并更新邻近像素点的局部二值模式算子；
[0011]步骤3，根据当前像素点的邻近像素点到当前像素点的几何距离获得空间域影响因子；[0012]步骤4，根据当前像素点的邻近像素点和当前像素点在深度图像中深度强度的相似性获得图像域影响因子；
[0013]步骤5，以更新后的邻近像素点局部二值模式算子、空间域影响因子和图像域影响因子为滤波加权系数的约束因子获取当前像素点的滤波结果。
[0014]上述步骤I进一步包括子步骤为:
[0015]在深度图像对应的彩色图像中，获取当前像素点的各邻近像素点的亮度值，并将各邻近像素点与当前像素点的亮度值分别作差取二值符号，得到邻近像素点的局部二值模式算子。
[0016]上述步骤2进一步包括子步骤:
[0017]2-1根据邻近像素点的局部二值模式算子将邻近像素点划分为两部分；
[0018]2-2根据上述两部分邻近像素点与当前像素点的逻辑距离判断邻近像素点是否与当前像素点属于同一物体；
[0019]2-3将与当前像素点属于同一物体的邻近像素点的局部二值模式算子更新为1，将与当前像素点不属于同一物体的邻近像素点的局部二值模式算子更新为O。
[0020]步骤3所得的空间域影响因子为gq(| Ip-c |)，其中，Gq为高斯函数，I |P-c I为当前像素点C的邻近像素点P到当前像素点C的几何距离。
[0021]步骤4所得的图像域影响因子为Gs (dp_d。)，其中，Gs为高斯函数，dp_d。为当前像素点C的邻近像素点P在深度图像中的深度强度dp与当前像素点C在深度图像中的深度强度d。的相似性。
[0022]步骤5所得的当前像素点的深度图滤波结果Gc为:
[0023]
【权利要求】
1.一种基于局部二值模式算子指导的深度图滤波方法，其特征在于，包括步骤: 步骤1，针对深度图像对应的彩色图像，获取当前像素点的邻近像素点的局部二值模式算子； 步骤2，基于邻近像素点的局部二值模式算子分辨得到与当前像素点属于同一物体的邻近像素点，并更新邻近像素点的局部二值模式算子； 步骤3，根据当前像素点的邻近像素点到当前像素点的几何距离获得空间域影响因子; 步骤4，根据当前像素点的邻近像素点和当前像素点在深度图像中深度强度的相似性获得图像域影响因子； 步骤5，以更新后的邻近像素点局部二值模式算子、空间域影响因子和图像域影响因子为滤波加权系数的约束因子获取当前像素点的滤波结果。
2.如权利要求1所述的基于局部二值模式算子指导的深度图滤波方法，其特征在于: 上述步骤2进一步包括子步骤: 2-1根据邻近像素点的局部二值模式算子将邻近像素点划分为两部分； 2-2根据上述两部分邻近像素点与当前像素点的逻辑距离判断邻近像素点是否与当前像素点属于同一物体； 2-3将与当前像素点属于同一物体的邻近像素点的局部二值模式算子更新为1，将与当前像素点不属于同一物体的邻近像素点的局部二值模式算子更新为O。
3.如权利要求1所述的基于局部二值模式算子指导的深度图滤波方法，其特征在于: 步骤3中所述的空间域影响因子为gq(|| p-c ||)，其中，Gq为高斯函数，|| p-c ||为当前像素点C的邻近像素点P到当前像素点C的几何距离。
4.如权利要求1所述的基于局部二值模式算子指导的深度图滤波方法，其特征在于: 步骤4中所述的图像域影响因子为Gs (dp-dc)，其中，Gs为高斯函数，dp-dc为当前像素点c的邻近像素点P在深度图像中的深度强度dp与当前像素点c在深度图像中的深度强度d。的相似性。
5.如权利要求1所述的基于局部二值模式算子指导的深度图滤波方法，其特征在于: 步骤5所获得的当前像素点的深度图滤波结果Gc为:
6.一种基于局部二值模式算子指导的深度图滤波系统，其特征在于，包括: 局部二值模式算子获取模块，用来针对深度图像对应的彩色图像，获取当前像素点的邻近像素点的局部二值模式算子； 邻近像素点判断模块，用来基于邻近像素点的局部二值模式算子分辨得到与当前像素点属于同一物体的邻近像素点，并更新邻近像素点的局部二值模式算子； 空间域影响因子获取模块，用来根据当前像素点的邻近像素点到当前像素点的几何距离获得空间域影响因子； 图像域影响因子获取模块，用来根据当前像素点的邻近像素点和当前像素点在深度图像中深度强度的相似性获得图像域影响因子； 滤波模块，用来以更新后的邻近像素点局部二值模式算子、空间域影响因子和图像域影响因子为滤波加权系数的约束因子获取当前像素点的滤波结果。
7.如权利要求6所述的基于局部二值模式算子指导的深度图滤波系统，其特征在于: 所述的邻近像素点判断模块进一步包括子模块: 邻近像素点划分模块，用来根据邻近像素点的局部二值模式算子将邻近像素点划分为两部分； 判断模块，用来根据上述两部分邻近像素点与当前像素点的逻辑距离判断邻近像素点是否与当前像素点属于同一物体； 局部二值模式算子更新模块，用来将与当前像素点属于同一物体的邻近像素点的局部二值模式算子更新为1，将与当前像素点不属于同一物体的邻近像素点的局部二值模式算子更新为O。
8.如权利要求6所述的基于局部二值模式算子指导的深度图滤波系统，其特征在于: 所述的空间域影响因子获取模块获取的空间域影响因子为&(| |p-c |)，其中，Gq为高斯函数，I Ip-c 11为当前像素点c的邻近像素点P到当前像素点c的几何距离。
9.如权利要求6所述的基于局部二值模式算子指导的深度图滤波系统，其特征在于: 所述的图像域影响因子为Gs (dp-dc)，其中，GS为高斯函数，dp-d。为当前像素点c的邻近像素点P在深度图像中的深度强度dp与当前像素点c在深度图像中的深度强度d。的相似性。
10.如权利要求6所述的基于局部二值模式算子指导的深度图滤波系统，其特征在于: 所述的滤波模块获得的当前像素点的滤波结果Gc为:
【文档编号】G06T5/20GK103578089SQ201310192294
【公开日】2014年2月12日 申请日期:2013年5月22日 优先权日:2013年5月22日
【发明者】胡瑞敏, 钟睿, 刘璐, 王中元 申请人:武汉大学