一种Kinect深度图像获取方法与装置制造方法
【专利摘要】本发明公开了一种Kinect深度图像获取方法与装置，包括：使用Kinect对静止场景连续采样，得到若干帧深度图像和彩色图像；对多帧深度图像进行中值滤波去噪；对第一帧彩色图和中值滤波后的深度图使用Canny算子进行边缘检测；利用Kinect深度数据的用户索引值实现深度图像初步分割，得到一幅标记图，具有相同标记值的像素属于同一个区域；结合深度图和彩色图边缘信息，以及深度图像分割结果，使用考虑边缘限制的区域生长方法对深度图进行初步修复并更新标记图；根据更新后的标记图，对深度图像应用三边滤波实现图像增强。本发明有效改善了深度图与彩色图的边缘不一致问题，修复了Kinect原始深度图像中的空洞，同时去除了噪声，最终能够获得质量较好的深度图像。
【专利说明】一种Kinect深度图像获取方法与装置
【【技术领域】】
[0001]本发明属于计算机视觉领域，具体涉及一种Kinect深度图像获取方法与装置。【技术背景】
[0002]Kinect是微软公司最新推出的体感交互设备。最初Kinect只是作为Xbox360游戏机的周边外部设备，利用即时动态捕捉、影像识别、麦克风输入、语音识别、社群互动等功能，使得用户可以摆脱传统游戏手柄的束缚，通过身体动作控制游戏。2012年初，微软正式发布了 Kinect for Windows,并同时发布了 Kinect for Windows SDK软件开发工具包,这意味着Kinect被推广到Windows平台，开发者可以利用Kinect提供的数据、接口和功能来进行研究、展示、教学以及开发应用程序。
[0003]Kinect有3个镜头，包括一个RGB彩色摄像头，一个红外线发射器，以及一个红外线CMOS摄影头作为3D结构光深度感应器。Kinect获取深度信息的原理不同于ToF (timeof flight)或传统的结构光技术,而是使用了一种光编码(light coding)技术。红外线发射器向环境中发射出具有高度 随机性的“激光散斑”(laser speckle)，对环境形成立体的“光编码”。通过红外线接收器采集反射光得到红外图像，再根据Kinect的原始参数进行计算即可得到深度信息。
[0004]尽管Kinect能够以一定的帧率连续地采集深度图像，但此深度图仍然存在很多问题，如深度图与彩色图边缘不一致、光学噪声、闪烁现象等。此外深度图中存在明显的空洞，即深度信息缺失，这主要是由于场景中存在遮挡或反射能力较差的物体平面，导致红外线无法反射回来被传感器接收。此外环境光的明暗也会对红外线的接收产生影响。因此，如果要将Kinect获取的深度图像应用于三维重建或虚拟视点绘制，则有必要对深度图作一定的图像修复和质量增强处理。
【
【发明内容】
】
[0005]为了克服现有技术的不足，本发明提供了一种Kinect深度图像获取方法与装置，以获取深度图像并改善Kinect深度图像质量。
[0006]一种Kinect深度图像获取方法与装置，装置包括Kinect设备以及用于深度图像修复和增强的配套软件系统，方法包括如下步骤:
[0007]I)使用Kinect对静止场景连续采样，得到若干帧彩色图像和深度图像；
[0008]2)对得到的多帧深度图像进行中值滤波去噪，即对每个像素都取多帧采样的深度的中值；
[0009]3)对第一帧彩色图以及中值滤波后的深度图使用Canny算子进行边缘检测；
[0010]4)利用Kinect深度数据的用户索引值实现初步的图像分割，得到一幅标记图，标记图中每个像素的值是Kinect深度数据低三位对应的整数值，具有相同标记值的像素属于同一个区域；
[0011]5)结合3)中得到的彩色图和深度图边缘信息，使用区域生长方法对深度图进行初步修复，同时更新标记图；
[0012]6)根据修复后的标记图，将一种三边滤波器应用于经过前述步骤初步修复后的深度图像，实现空洞修复和质量增强。
[0013]本发明的有益效果是:有效填补了 Kinect原始深度图像中的空洞，同时去除了噪声和不连续性，最终能够获得质量较好的深度图像。
【【专利附图】
【附图说明】】
[0014]图1是本发明一种实施例的Kinect深度图像获取方法的流程示意图。
[0015]图2是本发明一种实施例的考虑边缘限制的区域生长算法的流程示意图。
【【具体实施方式】】
[0016]以下将结合附图，对本发明的具体实施例作进一步详细说明。
[0017]如图1所示，本发明的一种实施例的Kinect深度图像获取方法与装置，包括如下步骤:
[0018]一、对Kinect连续采样静止场景的多帧深度图进行中值滤波
[0019]本发明旨在利用Kinect获得关于静止场景的稳定、高质量的深度图像。然而即使是静止场景，Kinect连续采样的深度图也往往是不稳定的，在部分区域有明显的闪烁现象。因此有必要首先通过中值滤波得到相对稳定的静止场景的深度数据，对于每一个像素，中值滤波后的深度值为:
【权利要求】
1.一种Kinect深度图像获取方法,其特征是,包括如下步骤: O使用Kinect对静止场景连续采样，得到若干帧深度图像和彩色图像； 2)对得到的多帧深度图像进行中值滤波去噪； 3)对第一帧彩色图和中值滤波后的深度图使用Canny算子进行边缘检测； 4)利用Kinect深度数据的用户索引值实现深度图像初步分割，得到一幅标记图； 5)结合步骤3)中得到的彩色图和深度图边缘信息，以及步骤4)中得到的初步分割结果，使用考虑边缘限制的区域生长方法对深度图进行初步修复并更新标记图； 6)根据更新后的标记图，将一种三边滤波器应用于经过步骤5)初步修复后的深度图像。
2.如权利要求1所述的Kinect深度图像获取方法，其特征是:所述步骤2)中，对每个像素处取多帧采样数据排序后的中值。
3.如权利要求1所述的Kinect深度图像获取方法，其特征是:所述步骤3)中，使用Canny算子进行边缘检测的具体步骤是: O如果输入是彩色图像，先转换为灰度图； 2)用高斯滤波器平滑图像； 3)计算每个像素处的梯度幅值和角度； 4)对梯度幅值图像应用非极大抑制； 5)检测并连接边缘。
4.如权利要求1所述的Kinect深度图像获取方法，其特征是:所述步骤4)中，将Kinect深度数据的低三位用户索引值转换为整数，生成一幅标记图。
5.如权利要求1所述的Kinect深度图像获取方法，其特征是:所述步骤5)中，对深度信息缺失的区域应用区域生长方法，利用所述步骤3)中得到的深度图边缘像素作为初始种子点，并以彩色图边缘作为生长限制；区域生长时对深度值进行初步修复，同时更新标记图。
6.如权利要求1所述的Kinect深度图像获取方法，其特征是:所述步骤6)中，将一种三边滤波器应用于经过步骤5)初步修复后的深度图像。
7.—种Kinect深度图像获取装置，其特征是，包括Kinect设备以及配套的软件系统，其中软件系统执行如权利要求1 - 6所述的Kinect深度图像获取方法。
【文档编号】G06T5/00GK103455984SQ201310392878
【公开日】2013年12月18日 申请日期:2013年9月2日 优先权日:2013年9月2日
【发明者】王好谦, 田雨时, 张永兵, 王兴政, 戴琼海 申请人:清华大学深圳研究生院