一种基于图像特征的低分辨率深度图像上采样方法
【专利摘要】本发明公开了一种基于图像特征的低分辨率深度图像上采样方法，其利用低分辨率深度图像和低分辨率彩色图像各自基于内容的方差，及它们对应像素点之间的相关系数，能够很好地引导低分辨率深度图像的前景边缘像素点上采样后的像素值，使其能够较好的反映上采样后得到的高分辨率深度图像的边缘信息；针对低分辨率深度图像中的不连续像素点，通过其上采样后的像素值与以其为中心的指定窗口内像素点的像素值之间的相似程度，对不连续像素点的上采样后的像素值进行基于窗口内部低分辨率深度图像像素点的替换求精，以较好的保留上采样后得到的高分辨率深度图像的连续性，通过以上两个方面，本方法可有效地抑制低分辨率深度图像上采样过程中出现边缘模糊。
【专利说明】一种基于图像特征的低分辨率深度图像上采样方法
【技术领域】
[0001]本发明涉及一种深度图像的处理方法，尤其是涉及一种基于图像特征的低分辨率深度图像上采样方法。
【背景技术】
[0002]随着3D (Three-Dimensional, 3D)电影和3D电视等商业产业的不断发展和推进，三维视频已经涌入人们的视野之中。与二维视频格式不同，三维视频包含了广泛应用于计算机交互、机器人视觉、3D场景重建的深度信息，深度信息质量的高低将直接影响观看者的立体视觉体验效果；此外，深度信息还可用于基于深度图的绘制技术(D印th ImageBased Rendering, DIBR),以实现自由视点视频系统的虚拟视点绘制功能。同时,在三维视频编码标准中，提供深度信息的深度图像被用来减少三维视频的数据量，以达到提升三维视频中深度视频压缩编码性能的目的。深度图像主要由以下两种途径获取:一、基于TOF(Time-of-Fly, T0F)原理的深度感知相机采集获得，基于TOF原理的深度感知相机通过测量内置红外线发射和接收的时间延迟来捕获现实场景的深度信息；二、利用立体匹配技术进行深度估计获取。近年来，随着基于TOF原理的深度感知相机广泛应用于实时获取深度图像，特别是微软Kinect传感器发布以后，RGB-D传感器受到许多用彩色和深度信息解决视觉分析问题的研究人员关注。然而，基于TOF原理的深度感知相机由于受到传感器自身物理因素的限制，其采集的深度图像的分辨率比相应的RGB传感器采集的彩色图像的分辨率低，因此基于TOF原理的深度感知相机采集的深度图像并不能完全表征现实场景的深度信息。
[0003]为了解决基于TOF原理的深度感知相机采集的深度图像分辨率较低的问题，科研人员利用RGB传感器采集的高分辨率(high-resolution，HR)彩色图像和基于TOF原理的深度感知相机采集的低分辨率(low-resolution，LR)深度图像，对基于TOF原理的深度感知相机采集的低分辨率深度图像进行上采样，以达到提高低分辨率深度图像质量和分辨率的目的。但是，一般基于高分辨率彩色图像的低分辨率深度图像上采样方法，容易导致上采样后得到的高分辨率深度图像出现边缘模糊，从而降低高分辨率深度图像的质量，降低高分辨率深度视频的准确性，影响其在人机交互、3D场景重建、虚拟视点绘制等等各种场合的应用。
【发明内容】
[0004]本发明所要解决的技术问题是提供一种基于图像特征的低分辨率深度图像上采样方法，其能够有效地抑制低分辨率深度图像上采样过程中出现边缘模糊的现象。
[0005]本发明解决上述技术问题所采用的技术方案为:一种基于图像特征的低分辨率深度图像上采样方法，其特征在于包括以下步骤:
[0006]①获取一幅与待处理的低分辨率深度图像同一场景的高分辨率彩色图像，然后对高分辨率彩色图像进行最近值下采样操作，并使最近值下采样操作后得到的低分辨率彩色图像的分辨率与待处理的低分辨率深度图像的分辨率一致；
[0007]②通过获取低分辨率彩色图像中以每个像素点为中心的3X3的滑动窗口内的所有像素点的像素值的均值和方差、低分辨率深度图像中以每个像素点为中心的3X3的滑动窗口内的所有像素点的像素值的均值和方差、以低分辨率彩色图像和低分辨率深度图像中对应的像素点为中心的3X3的滑动窗口内的像素点的像素值之间的联合均值，获取低分辨率彩色图像中的每个像素点与低分辨率深度图像中对应像素点之间的相关系数；
[0008]③通过计算低分辨率深度图像中的每个像素点的水平方向梯度值和垂直方向梯度值，获得低分辨率深度图像的边缘图像，再根据低分辨率深度图像的边缘图像获取低分辨率深度图像的前景边缘掩膜图像；
[0009]④根据低分辨率彩色图像中的每个像素点与低分辨率深度图像中对应像素点之间的相关系数，对低分辨率深度图像中与前景边缘掩膜图像中像素值为255的所有像素点对应的所有像素点进行上采样操作；并采用联合双边上采样方法，对低分辨率深度图像中与前景边缘掩膜图像中像素值为O的所有像素点对应的所有像素点进行上采样操作，得到一幅分辨率与高分辨率彩色图像的分辨率一致的初步的高分辨率深度图像；
[0010]⑤对低分辨率深度图像中的不连续像素点，通过搜索以不连续像素点为中心的5 X 5邻域窗口内的所有像素点，将与初步的高分辨率深度图像中坐标位置与不连续像素点相对应的像素点的像素值差值最小的像素点的像素值作为最终的高分辨率深度图像中坐标位置与不连续像素点相对应的像素点的像素值；对低分辨率深度图像中的连续像素点，直接将初步的高分辨率深度图像中坐标位置与连续像素点相对应的像素点的像素值作为最终的高分辨率深度图像中坐标位置与连续像素点相对应的像素点的像素值。
[0011]所述的步骤①中高分辨率彩色图像的横向分辨率为待处理的低分辨率深度图像的横向分辨率的2n倍，且高分辨率彩色图像的竖直分辨率为待处理的低分辨率深度图像的竖直分辨率的2n倍，其中η为I或2。
[0012]所述的步骤②的具体过程为:
[0013]②-1、采用尺寸大小为3X3的滑动窗口在低分辨率彩色图像中逐个像素点移动，计算以低分辨率彩色图像中的每个像素点为中心的3X3的滑动窗口内的所有像素点的像素值的均值和方差，将以低分辨率彩色图像中坐标位置为(x，y)的像素点为中心的3X3的
滑动窗口内的所有像素点的像素值的均值和方差对应记为片(.》'，.V)和Kf: (x..y)，
【权利要求】
1.一种基于图像特征的低分辨率深度图像上采样方法，其特征在于包括以下步骤: ①获取一幅与待处理的低分辨率深度图像同一场景的高分辨率彩色图像，然后对高分辨率彩色图像进行最近值下采样操作，并使最近值下采样操作后得到的低分辨率彩色图像的分辨率与待处理的低分辨率深度图像的分辨率一致； ②通过获取低分辨率彩色图像中以每个像素点为中心的3X3的滑动窗口内的所有像素点的像素值的均值和方差、低分辨率深度图像中以每个像素点为中心的3X3的滑动窗口内的所有像素点的像素值的均值和方差、以低分辨率彩色图像和低分辨率深度图像中对应的像素点为中心的3X3的滑动窗口内的像素点的像素值之间的联合均值，获取低分辨率彩色图像中的每个像素点与低分辨率深度图像中对应像素点之间的相关系数； ③通过计算低分辨率深度图像中的每个像素点的水平方向梯度值和垂直方向梯度值，获得低分辨率深度图像的边缘图像，再根据低分辨率深度图像的边缘图像获取低分辨率深度图像的前景边缘掩膜图像； ④根据低分辨率彩色图像中的每个像素点与低分辨率深度图像中对应像素点之间的相关系数，对低分辨率深度图像中与前景边缘掩膜图像中像素值为255的所有像素点对应的所有像素点进行上采样操作；并采用联合双边上采样方法，对低分辨率深度图像中与前景边缘掩膜图像中像素值为O的所有像素点对应的所有像素点进行上采样操作，得到一幅分辨率与高分辨率彩色图像的分辨率一致的初步的高分辨率深度图像； ⑤对低分辨率深度图像中的不连续像素点，通过搜索以不连续像素点为中心的5X5邻域窗口内的所有像素点，将与初步的高分辨率深度图像中坐标位置与不连续像素点相对应的像素点的像素值差值最小的像素点的像素值作为最终的高分辨率深度图像中坐标位置与不连续像素点相对应的像素点的像素值；对低分辨率深度图像中的连续像素点，直接将初步的高分辨率深度图像中坐标位置与连续像素点相对应的像素点的像素值作为最终的高分辨率深度图像中坐标位置与连续像素点相对应的像素点的像素值。
2.根据权利要求1所述的一种基于图像特征的低分辨率深度图像上采样方法，其特征在于所述的步骤①中高分辨率彩色图像的横向分辨率为待处理的低分辨率深度图像的横向分辨率的2n倍，且高分辨率彩色图像的竖直分辨率为待处理的低分辨率深度图像的竖直分辨率的2"倍，其中，η为I或2。
3.根据权利要求1或2所述的一种基于图像特征的低分辨率深度图像上采样方法，其特征在于所述的步骤②的具体过程为: ②-1、采用尺寸大小为3X3的滑动窗口在低分辨率彩色图像中逐个像素点移动，计算以低分辨率彩色图像中的每个像素点为中心的3X3的滑动窗口内的所有像素点的像素值的均值和方差，将以低分辨率彩色图像中坐标位置为(x，y)的像素点为中心的3X3的滑动窗口内的所有像素点的像素值的均值和方差对应记为?
4.根据权利要求3所述的一种基于图像特征的低分辨率深度图像上采样方法，其特征在于所述的步骤③的具体过程为: ③-1、利用Scharr算子，计算低分辨率深度图像中的每个像素点的水平方向梯度值和垂直方向梯度值； ③-2、根据低分辨率深度图像中的每个像素点的水平方向梯度值和垂直方向梯度值，获得低分辨率深度图像的边缘图像，将低分辨率深度图像的边缘图像中坐标位置为(X，y)的像素点的像素值记为 IEdge (X，y)，IEdge (χ, y) =0.5 XHT (x, y) +0.5 X VT (x，y)，其中，HT (x, y)表示低分辨率深度图像中坐标位置为(x，y)的像素点的水平方向梯度值，VT(x, y)表示低分辨率深度图像中坐标位置为(x，y)的像素点的垂直方向梯度值； ③-3、根据低分辨率深度图像的边缘图像，获取低分辨率深度图像的前景边缘掩膜图像，将低分辨率深度图像的前景边缘掩膜图像中坐标位置为(x，y)的像素点的像素值记为
5.根据权利要求4所述的一种基于图像特征的低分辨率深度图像上采样方法，其特征在于所述的步骤④中假设高分辨率彩色图像中坐标位置为P的像素点与低分辨率彩色图像中坐标位置为P丨的像素点相对应，并假设初步的高分辨率深度图像中坐标位置为P的像素点与低分辨率深度图像中坐标位置为P丨的像素点相对应，则将初步的高分辨率深度图像中坐标位置为P的像素点的像素值记为G.(P)，
6.根据权利要求5所述的一种基于图像特征的低分辨率深度图像上采样方法，其特征在于所述的步骤⑤的具体过程为: ⑤-1、假设初步的高分辨率深度图像和需获取的最终的高分辨率深度图像中坐标位置为P的像素点与低分辨率深度图像中坐标位置为P丨的像素点相对应，其中，P ∈ Ω，Ω表示初步的高分辨率深度图像或需获取的最终的高分辨率深度图像中的所有像素点的坐标位置的集合，P丨e Ω丨，Ω丨表示低分辨率深度图像中的所有像素点的坐标位置的集合； ⑤-2、判断以低分辨率深度图像中坐标位置为P丨的像素点为中心的3X3的滑动窗口内的所有像素点的像素值的方差U (P M是否大于或等于经验阈值T’，如果是，则确定低分辨率深度图像中坐标位置为P丨的像素点为不连续像素点，然后在低分辨率深度图像中以坐标位置为P丨的像素点为中心的5X5邻域窗口内，搜索一个像素值与初步的高分辨率深度图像中坐标位置为P的像素点的像素值M’(P)的差值最小的像素点，再将搜索到的像素点的像素值作为最终的高分辨率深度图像中坐标位置为P的像素点的像素值；否则，确定低分辨率深度图像中坐标位置为P丨的像素点为连续像素点，并直接将初步的高分辨率深度图像中坐标位置为P的像素点的像素值作为最终的高分辨率深度图像中坐标位置为P的像素点的像素值。
7.根据权利要求6所述的一种基于图像特征的低分辨率深度图像上采样方法，其特征在于所述的步骤⑤-2中取T’ =O-Ol0
【文档编号】H04N13/00GK103957397SQ201410131672
【公开日】2014年7月30日 申请日期:2014年4月2日 优先权日:2014年4月2日
【发明者】彭宗举, 田寨兴, 陈芬, 蒋刚毅, 郁梅, 李福翠 申请人:宁波大学