一种基于kinect的裸眼3D UI交互方法
【技术领域】
[0001] 本发明在基于裸眼3D n新技术的基础之上，利用kinect实现了一种交互方法， 该方法进一步拉近了虚拟世界与现实生活的距离。
【背景技术】
[0002] 裸眼3D显示技术作为显示行业内的一个重要发展方向，目前在视频显示领域已 经取得了比较成熟的成果，如何打破单一的视频显示模式，将模型、图文与视频进行融合， 以裸眼3D n的形式呈现出来，目前本团队已经取得了显著的成果。
[0003] 随着技术的发展，人机交互日趋简易化，易操作化，人们对交互的体验已不再满足 于借助鼠标、键盘等辅助媒介的体验，裸眼3D UI虽然给人以更好的视觉感受，但在人机交 互体验方面仍存在一定的不足，尤其是大屏裸眼3D产品对观看距离有一定的限制，以46寸 4k裸眼3D广告机为例，最佳观看距离在3米左右，故如果采用键盘鼠标对其进行操作将存 在很大的不便。基于此，本发明借助Kinect设备，在视觉享受的同时将交互体验融入其中， 进一步拉近了人与虚拟世界的距离，在呈现方式上给人以耳目一新的感觉，在实现了裸眼 3D内容呈现多样性的同时加入与客户互动交流的新体验，本发明尤其适用于广告机系统、 产品展示及科研教学等。
【发明内容】
[0004] 本发明解决的问题是利用kinect实现裸眼3D n的人机交互。具体实现步骤如 下：
[0005] 第一步：将Kinect接入计算机系统；
[0006] 第二步：通过深度图信息，对人体进行识别，主要是针对手掌部位的识别，通过识 别判定是否需要进行操作响应，当检测当前画面中存在动态的手势时，则进入第三步，否则 循环进行第二步的检测；
[0007] 第三步：通过手心深度信息的获取，判断手心对应n的区域，计算机将操作信息 反馈给对应区域进行操作响应，鉴于裸眼3D n在制作中是采用模块独立渲染的方式，即 ui中涉及的视频模块、文字模块及产品模型展示模块等均是经过独立的多宫格视图渲染合 成，最终以动态库的形式合成展现为一个完整的ui界面，故本步骤进行操作对应模块的检 测，该模块可以单独对手势信息进行响应。
[0008] 第四步：手势响应，此处需要将Kinect采集到的彩色图像和深度图像进行骨骼特 征的提取，提取后的骨骼信息经由DTW动态规划算法的加权的不同，利用分类树的统计方 法进行训练，最终实现有效的手势识别的检测与响应。此处手势信息的检测主要分为两部 分，一是手部与摄像头的距离变动，另一个是手势的挥动。通过这两种手势信息，可以简单 地定义对裸眼3D n的点击、旋转、关闭等操作。具体的见下文中的实施例的介绍。同理我 们也可以根据不同的界面的操作需求进行各种不同的手势定义，本发明只以其中的一种比 较简单的实施例进行加以阐述。
[0009] 本发明在进行手势识别操作中很主要的信息是来自于人手与摄像头的距离信息， 而在Kinect中生成的深度图是用灰度图的灰度信息来表示的，其与实际的距离并不成标 准的线性关系，故当人手与摄像头的距离减小时，由于Kinect中的金字塔视场会导致获取 的图像的分辨率增大，故本发明在实际的应用中，根据识别到的手掌的大小即图像的灰度 值大小，将获取的图像的灰度值转换为实际距离的深度值。根据Kinect的转换原理，实际 距离的深度值d为：
[0010]
【主权项】
1. 一种基于Kinect的裸眼3Dn交互方法，其特征在于包括以下步骤： a:将Kinect接入计算机系统； b:通过深度图信息，对人体进行识别，主要是针对手掌部位的识别，通过识别判定是否 需要进行操作响应； c:通过手心深度信息的获取，判断手心对应UI的区域，计算机将操作信息反馈给对应 区域进行操作响应； d:手势响应，根据人手与摄像头距离的变化以及挥手等操作，定义具体的响应结果进 行最终的n操作响应。
2. 根据权利要求1所述的基于Kinect的裸眼3Dn交互方法，其特征在于在b步骤 中，对于深度信息的获取，Kinect中生成的深度图是用灰度图的灰度信息来表示的，其与实 际的距离并不成标准的线性关系，故当人手与摄像头的距离减小时，由于Kinect中的金字 塔视场会导致获取的图像的分辨率增大，故本发明在实际的应用中，根据识别到的手掌的 大小即图像的灰度值大小，将获取的图像的灰度值转换为实际距离的深度值，根据Kinect 的转换原理，实际距离的深度值d为：
其中，K= 0? 1237m，M= 0? 038m，\为Kinect获取的某一像素点的深度值。 根据实际深度距离值，转换为原始像素位置（i，j，d)的实际位置（x，y，z)，转换公式 为：
其中s= 0. 0021。
3. 根据权利要求2中所述的在获取距离信息后，需要进入权利要求1中的c步骤进行 区域的响应。此处考虑到裸眼3D渲染内容格式的特殊性，需要选取一个固定视图作为坐标 参考图进行位置确定。
4. 根据权利要求1中的d步骤，其应该包括以下几个特征：1)当检测到人手与摄像机 的距离减小超过阈值a(根据实际情况进行设定）时，响应为点击操作；2)在操作模型区域 时，手势向左挥动时，模型向左转动90度，同理向右或是上下方向挥动，则模型向对应方向 旋转90度；3)当人手与摄像机的距离增大超过阈值b时（根据实际情况进行设定），则响 应关闭当前UI。
5. 根据权利要求4中提到的手势信息响应，其特征在于对Kinect采集到的彩色图像和 深度图像进行骨骼特征的提取，提取后的骨骼信息经由DTW动态规划算法的加权不同，利 用有效的统计方法进行训练，最终实现有效的动态手势识别的检测与响应。
【专利摘要】本发明基于裸眼3D UI，借助Kinect设备，解决了大屏裸眼3D由于观看距离的限制而在UI互动操作中存在不便的问题。本发明通过对Kinect获取的深度图像信息进行处理，通过动态手势的识别，最终达到远距离手势操控裸眼3D UI的效果。本发明在视觉享受的同时将交互体验融入其中，进一步拉近了人与虚拟世界的距离，在呈现方式上给人以耳目一新的感觉，本发明的引入，将更进一步推动裸眼3D产品的发展。
【IPC分类】G06F3-01, G06K9-00
【公开号】CN104714649
【申请号】CN201510144823
【发明人】王子强
【申请人】王子强
【公开日】2015年6月17日
【申请日】2015年3月31日