Kinect深度图像获取方法与装置制造方法
【专利摘要】本发明公开了一种基于散焦法和图像融合的Kinect深度图像获取方法与装置，包括：对Kinect彩色图应用Mean?Shift算法进行图像分割；根据Kinect彩色图像使用散焦法提取深度；将散焦法提取的深度图和Kinect传感器捕获的深度图融合；对融合生成的深度图进行三边滤波。其中，基于散焦法的单幅图像深度提取方法，通过边缘点处LOG滤波响应的正负双峰间距计算散焦模糊参数进而获得边缘点处深度值，使用matting?Laplacian插值生成稠密深度图；利用自适应权值选取方法将散焦法深度图与Kinect原始深度图融合。本发明的有益效果是：能够结合散焦法提取深度与Kinect主动式提取深度各自的优点，获得比Kinect原始深度图质量更好的深度图像，该深度图像不包含空洞、平滑性更好且噪声水平更低。
【专利说明】Kinect深度图像获取方法与装置
【【技术领域】】
[0001]本发明属于计算机视觉领域，具体涉及一种Kinect深度图像获取方法与装置。【技术背景】
[0002]微软公司的Kinect体感交互设备正在引领着自然人机交互技术的热潮。Kinectfor Xbox360作为Xbox360游戏机的外接设备，利用动态骨骼追踪、影像识别、语音识别等功能使玩家能够摆脱传统游戏手柄的束缚，带来全新的体感交互游戏体验。2012年初微软正式发布了 Kinect for Windows,意味着Kinect被推广到Windows平台。Kinect在3D重建、动作捕捉、机器人控制、虚拟现实、增强现实等方面都有很好的应用前景，这极大地激发了科研和开发人员的兴趣与热情。
[0003]Kinect的技术核心之一是深度获取。Kinect拥有一个RGB摄像头、一个红外线发射器和一个红外摄像头，能够同时捕获场景的彩色图像与深度图像。Kinect使用一家以色列公司PrimeSense的光编 码(light coding)技术来获取深度信息,它属于一种新的结构光技术。红外线发射器发射出激光散斑对场景形成光编码，红外摄像头捕获散斑图像之后结合光源标定时得到的参考散斑图案进行一系列计算，便可以得到场景中物体的深度信肩、O
[0004]Kinect捕获的深度图像存在较多空洞区域，即深度信息缺失，另外还存在闪烁现象以及光学噪声等问题。如果要用于3D重建或是基于深度图渲染(DIBR)的虚拟视点绘制，则需要更高质量的深度图像。
【
【发明内容】
】
[0005]为了克服现有技术的不足，本发明提供了一种Kinect深度图像获取方法与装置，以获取深度图像并改善Kinect深度图像质量。
[0006]为此，本发明提出一种Kinect深度图像获取方法与装置，装置包括Kinect设备以及配套的软件系统，方法包括如下步骤:
[0007]I)对Kinect彩色图应用Mean Shift算法(指一个迭代的步骤，即先算出当前点的偏移均值，移动该点到其偏移均值，然后以此为新的起始点，继续移动，直到满足一定的条件结束。详见百度文库，mean-shift算法概述，http://wenku.baidu.com/View/0d9eb876a417866fb84a8eb2.html)进行图像分割；
[0008]2)根据Kinect彩色图像使用散焦法提取深度；
[0009]3)自适应权值的深度图像融合(图像融合，Image Fusion,是指将多源信道所采集到的关于同一目标的图像数据经过图像处理和计算机技术等，最大限度的提取各自信道中的有利信息，最后综合成高质量的图像)；
[0010]4)对融合生成的深度图进行三边滤波(百度文库，http://wenku.baidu.com/View/6df033c74028915f804dc2d5,《三边滤波的图像插值》，提出了一种三边滤波插值法，该方法利用平滑不同自然图像轮廓的行为，并试图通过抑制边缘凸角落像素克服轮廓锯齿问题)。
[0011]其中步骤2)中通过边缘点处LOG滤波(LOG滤波器是高斯(GAUSS)滤波和拉普拉斯(LAPLACIAN)滤波的结合，即先用高斯滤波器进行平滑滤波，以过虑调噪声，再提取边缘，所以效果较好。LOG滤波器原理:设I (X，y)代表灰度变化，灰度变化剧烈的地方就是阶跃点，而阶跃点的一次微商为极大值，二次微商为零。因此二次微商为零的地方就是图像的边缘所在。百度文库，http://wenku.baidu.com/view/fb9b916dleb91a37flll5cdf.html)响应的正负双峰间距计算散焦模糊参数进而获得边缘点处深度值，使用mattingLaplacian(拉普拉斯抠图法)插值生成稠密深度图；
[0012]步骤3中，利用自适应权值选取方法将散焦法深度图与Kinect原始深度图融合。
[0013]本发明的有益效果是:能够结合散焦法提取深度与Kinect主动式提取深度各自的优点，获得比Kinect原始深度图质量更好的深度图像，该深度图像不包含空洞、平滑性更好且噪声水平更低。
【【专利附图】
【附图说明】】
[0014]图1是本发明一种实施例的结合散焦法的Kinect深度图像获取方法与装置的流程不意图。
[0015]图2是本发明一种实施例的基于散焦法的单幅图像深度提取方法的流程示意图。【【具体实施方式】】
[0016]以下将结合附图，对本发明的具体实施例作进一步详细说明。
[0017]如图1所示，本发明的一种实施例的结合散焦法的Kinect深度图像获取方法与装置，包括如下步骤:
[0018]一、对Kinect彩色图应用Mean Shift算法进行图像分割
[0019]Mean Shift算法可以用来根据颜色信息实现图像分割,其基本原理是Mean Shift向量总是指向概率密度梯度的方向，因而通过迭代算法可以收敛到概率密度函数的一个局部稳态点。对Kinect彩色图应用Mean Shift算法进行图像分割的具体方法如下:
[0020]I)由于RGB彩色空间是视觉感知非线性的彩色空间，为便于彩色图像分割，先将彩色图像转换到视觉感知近似线性的LUV彩色空间。LUV彩色空间全称CIE1976 (L*，u*，V*)或CIELUV彩色空间，由CIEXYZ空间经简单变换得到，其中L*表示亮度，取值为O到100 ;u*和V*分别表示色调和饱和度，取值为-100到+100。由RGB空间到LUV空间的转换公式如下:
【权利要求】
1.一种Kinect深度图像获取方法,其特征是,包括如下步骤: 1)对Kinect彩色图应用MeanShift算法进行图像分割； 2)根据Kinect彩色图像使用散焦法提取深度D2(x，y)； 3)自适应权值的深度图-']#D2 (x, y)与Kinect传感器捕获的深度图D1 (x, y)融合，生成图像质量更好的深度四￡> (x，y); 4)对融合生成的深度图进行三边滤波。
2.如权利要求1所述的Kinect深度图像获取方法，其特征是:所述步骤I)中，将Kinect彩色图转换到LUV彩色空间并使用Mean Shift算法将图像分割为c个区域R1,R2, , R。，其中c为Mean Shift图像分割结果的分割区域数目，即类别数。
3.如权利要求1所述的Kinect深度图像获取方法，其特征是:所述步骤2)中，根据Kinect彩色图像使用散焦法提取深度的方法是，将Kinect彩色图转换为灰度图，使用Canny算子检测边缘并计算LOG滤波响应,通过边缘点处LOG滤波响应的正负双峰间距计算散焦模糊参数进而获得边缘点处深度值，得到稀疏深度图。
4.如权利要求3所述的Kinect深度图像获取方法，其特征是:根据只包含边缘点处深度值的稀疏深度图使用matting Laplacian插值生成稠密深度图。
5.如权利要求1所述的Kinect深度图像获取方法，其特征是:所述步骤3)中，自适应权值的深度图融合方法是，根据散焦法得到的深度图和Kinect原始深度图，以Mean Shift分割区域为单位进行像素级加权融合，根据该像素所述区域的灰度值方差和该像素到边缘像素的距离自适应地计算融合的权值。
6.如权利要求1所述的Kinect深度图像获取方法，其特征是:所述步骤4)中，对融合生成的深度图进行三边滤波，三边滤波器的权值包括三项，分别表征空间距离、颜色值差异和深度值差异。
7.—种Kinect深度图像获取装置，其特征是，包括Kinect设备以及配套的软件系统，其中软件系统采用如权利要求1-6所述的Kinect深度图像获取方法。
【文档编号】G06T7/00GK103440662SQ201310399037
【公开日】2013年12月11日 申请日期:2013年9月4日 优先权日:2013年9月4日
【发明者】王好谦, 田雨时, 张永兵, 李凯, 戴琼海 申请人:清华大学深圳研究生院