深度图后期处理方法
【专利摘要】本发明涉及图像后期处理方法。本发明所要解决的技术问题是提供一种能够有效的提高深度图信息的准确性的深度图后期处理方法。采用的技术方案包括以下步骤：本发明的深度图后期处理方法，包括以下步骤：首先获取原始二维视频中的当前帧图像及上一帧图像；利用光流法运动检测当前帧图像及上一帧图像，得到当前帧图像的运动向量，判断当前帧图像及上一帧图像是否发生场景变换，若是，进行平滑滤波，得到当前帧图像新的深度图；否则获取当前帧图像的运动参数及上一帧图像的已有深度图，得到当前帧图像的虚拟深度图；对虚拟深度图及当前帧图像的已有深度图做遮挡检测；进行平滑滤波，得到当前帧图像新的深度图。本发明适用于对深度图进行后期处理。
【专利说明】深度图后期处理方法
【技术领域】
[0001]本发明涉及一种图像后期处理方法，尤其是涉及一种深度图后期处理方法。
【背景技术】
[0002]图像深度图的生成一直是计算机视觉的一个主要研究方向。深度图信息能够帮助人们将二维的图像物体重新计算合成构成多视点的三维坐标系，从而客观的表达物体的立体效果。
[0003]深度图信息的应用领域十分广泛，在计算机辅助几何设计(CAGD)、计算机图形学(CG)、计算机动画、计算机视觉、医学图像处理、科学计算和虚拟现实等方面都有较为广泛的运用。而目前常用的深度图的生成方法主要是通过平面视频的几何信息、摄像机参数、平面图像中物体的颜色特征等进行局部或全局求取。然而，与彩色图像相比，深度图信息的纹理更加简单，深度图中有较多的平坦局域并且边缘局域也较明显。但是由于深度图信息生成方法的局限性，因此深度图图像普遍存在许多问题，例如时间连续性差、深度信息不连续，轮廓信息不准确等。更甚者，深度图信息并非应直接应用于前端，而是用于辅助三维重建，虚拟视图绘制等，所以深度信息不准确将大大影响其立体效果。目前亟需解决的问题是建立更加精确的深度图。
【发明内容】
[0004]本发明所要解决的技术问题是提供一种能够有效的提高深度图信息的准确性的深度图后期处理方法，该方法能够通过对已有的深度图进行处理，得到信息准确性更高的深度图，从而保证深度图序列的时间连续性。
[0005]本发明解决其技术问题所采用的技术方案是:深度图后期处理方法，包括以下步骤:
[0006]A.获取原始二维视频中的当前帧图像及上一帧图像；
[0007]B.利用光流法运动检测当前帧图像及上一帧图像，得到当前帧图像的运动向量，判断当前帧图像及上一帧图像是否发生场景变换，若是，进入步骤E，否则，进入步骤C ;
[0008]C.获取当前帧图像的运动参数及上一帧图像的已有深度图，得到当前帧图像的虚拟深度图；
[0009]D.对虚拟深度图及当前帧图像的已有深度图做遮挡检测；
[0010]E.进行平滑滤波，得到当前帧图像新的深度图。
[0011]具体的，步骤A中的当前帧图像及上一帧图像皆为灰度图。
[0012]进一步的，步骤A与步骤B之间还包括步骤
[0013]Al.对当前帧图像的灰度图及上一帧图像的灰度图进行极大值滤波，再用Harris角点检测得到上一帧图像的灰度图特征点。
[0014]进一步的,步骤B中所述光流法为Lucas-Kanad光流法。
[0015]具体的，步骤A中的当前帧图像及上一帧图像皆为颜色空间为RGB的彩色图像，通过颜色空间将RGB转换为相应的灰度图。
[0016]作为上述技术方案的优选方案，步骤C具体为
[0017]获取当前帧图像的运动参数及上一帧图像的已有深度图，根据当前帧图像的运动参数，平移、旋转，缩放上一帧图像的已有深度图，得到当前帧图像的虚拟深度图。
[0018]优选的，步骤E中的平滑滤波方法为三边滤波法。
[0019]本发明的有益效果是:通过采用运动向量检测的方法生成的深度图，本法生成的新的深度图信息连续性高，边缘清晰、深度层次明确，平滑性能好且时域稳定性高。其应用范围广泛，可在大多数深度图生成方法中应用，能够有效地提高深度图质量。本发明适用于对深度图进行后期处理。
【专利附图】
【附图说明】
[0020]图1是本发明流程示意图。
【具体实施方式】
[0021 ] 下面结合附图及实施例，详细描述本发明的技术方案。
[0022]如图1所示，本发明的深度图后期处理方法，包括以下步骤:首先获取原始二维视频中的当前帧图像及上一帧图像；利用光流法运动检测当前帧图像及上一帧图像，得到当前帧图像的运动向量，判断当前帧图像及上一帧图像是否发生场景变换，若是，则进行平滑滤波，得到当前帧图像新的深度图；否则获取当前帧图像的运动参数及上一帧图像的已有深度图，得到当前帧图像的虚拟深度图；对虚拟深度图及当前帧图像的已有深度图做遮挡检测；进行平滑滤波，得到当前帧图像新的深度图。
[0023]通过上述步骤得到的新的深度图及对当前帧图像进行平滑后形成的，可以生成高质量的深度图序列。
[0024]实施例
[0025]本例中，步骤A中的当前帧图像及上一帧图像皆为颜色空间为RGB的彩色图像，首先获取t时刻图像序列当前帧颜色空间为RGB的彩色图像img。，获取t时刻图像序列上一帧颜色空间为RGB的彩色图像imgp ;通过颜色空间将RGB转换为灰度图，得到img。和imgp所对应的灰度图分别为gray。和grayp。
[0026]开始计算上一帧灰度图grayp的特征点，grayp的像素矩阵M为
【权利要求】
1.深度图后期处理方法，其特征在于，包括以下步骤: A.获取原始二维视频中的当前帧图像及上一帧图像； B.利用光流法运动检测当前帧图像及上一帧图像，得到当前帧图像的运动向量，判断当前帧图像及上一帧图像是否发生场景变换，若是，进入步骤E，否则，进入步骤C ; C.获取当前帧图像的运动参数及上一帧图像的已有深度图，得到当前帧图像的虚拟深度图； D.对虚拟深度图及当前帧图像的已有深度图做遮挡检测； E.进行平滑滤波，得到当前帧图像新的深度图。
2.如权利要求1所述的深度图后期处理方法，其特征在于，步骤A中的当前帧图像及上一帧图像皆为灰度图。
3.如权利要求1所述的深度图后期处理方法，其特征在于，步骤A与步骤B之间还包括步骤 Al.对当前巾贞图像的灰度图及上一巾贞图像的灰度图进行极大值滤波，再用Harris角点检测得到上一帧图像的灰度图特征点。
4.如权利要求1所述的深度图后期处理方法，其特征在于，步骤B中所述光流法为Lucas-Kanad 光流法。
5.如权利要求1所述的深度图后期处理方法，其特征在于，步骤A中的当前帧图像及上一帧图像皆为颜色空间为RGB的彩色图像，通过颜色空间将RGB转换为相应的灰度图。
6.如权利要求1所述的深度图后期处理方法，其特征在于，步骤C具体为 获取当前帧图像的运动参数及上一帧图像的已有深度图，根据当前帧图像的运动参数，平移、旋转，缩放上一帧图像的已有深度图，得到当前帧图像的虚拟深度图。
7.根据权利要求1至6中任意一项所述的深度图后期处理方法，其特征在于，步骤E中的平滑滤波方法为三边滤波法。
【文档编号】H04N13/00GK103826032SQ201310541051
【公开日】2014年5月28日 申请日期:2013年11月5日 优先权日:2013年11月5日
【发明者】魏爽 申请人:四川长虹电器股份有限公司