基于体感设备的人机交互集成装置的制作方法

本发明属于人机交互技术领域，具体涉及一种基于体感设备的人机交互集成装置。

背景技术：

虚拟现实，简称VR技术，是利用计算机模拟产生的三维空间，提供使用者视觉，听觉，触觉等感官的模拟，让使用者如同身临其境一般体验虚拟的世界。虚拟现实(VR)的概念从上世纪50年代提出以来，引起广泛关注，并且随着硬件技术和视频技术日益成熟，VR产业开始启动商业化进程。在裸眼3D显示中嵌入识别跟踪的功能，将给予人们一种全新的人机交互VR体验，如在游戏、社交等领域方面的应用，特别是可实现深度拓展的裸眼3D显示技术，有望成为真正实用的新一代产品。国务院发布的“十三五”规划中也指出，加强内容和技术装备协同创新，加快裸眼3D等核心技术创新发展。

传统的人机交互方式大多依赖于鼠标、键盘等接触式设备，而新型的人机交互方式包括人脸识别、手势识别、体感识别等，已经成为一项研究热点。如今的手势识别技术可分为可穿戴设备的手势识别和基于图像处理的手势识别，对于该两种识别方法，存在以下特点：

(1)对于手势识别方法而言，其具有的识别精度、效率高，但是相应地也有成本高、维护难、实际应用不方便等缺点；

(2)对于基于图像处理的手势识别方法，由于其更多地依赖于算法，而不是硬件去实现，成本较低，有更好的市场前景，常见的有基于摄像头或Leap motion的手势识别技术。Leap motion可用于识别丰富的手势动作，但是无法像Kinect一样获得全身体感交互体验。而像Kinect,Xtion,Real sense等这一类体感交互设备拥有较长距离体感交互的优势，可以对用户的全身动作进行跟踪识别。在Kinect的舒适范围内其骨骼追踪效果可以达到毫米级，但在较近距离处会出现视觉盲区，并且在手势识别方面准确率不高。

技术实现要素：

为了解决单一体感装置距离上和识别精确度上的缺陷问题，本发明的目的在于提供一种基于体感设备的人机交互集成装置，克服远近距离体感识别与识别精度的困难，实现了远距离、近距离以及各种手势或者工具的识别操作，大大提升了3D虚拟现实的人机交互的体感享受。

为实现上述目的，本发明按以下技术方案予以实现：

本发明所述基于体感设备的人机交互集成装置，包括：

Kinect摄像头，用于获取用户的骨骼图像信息和深度图像信息；

Leap Motion体感设备，用于获取用户的手部或工具图像信息；

摄像头，用于获取位于Kinect摄像头视觉盲区的图像信息，位于所述Kinect摄像头的一侧；

处理终端，用于接收并处理所述骨骼图像信息、深度图像信息、手部或工具图像信息和位于Kinect摄像头视觉盲区的图像信息；

显示终端，用于显示初始图像，并将经过处理终端处理后的图像信息进行动态显示，以实现人机交互操作；

所述Kinect摄像头安装于所述显示终端的顶部；所述Leap Motion体感设备与处理终端连接。

进一步地，所述处理终端包括接收单元、计算处理单元和发送单元；所述接收单元用于接收所述骨骼图像信息、深度图像信息、手部或工具图像信息和位于Kinect摄像头视觉盲区的图像信息；所述计算处理单元用于计算并处理以上所述图像信息；所述发送单元用于将已经计算并处理后的图像信息发送至显示终端。

进一步地，所述计算处理单元用于计算并处理所述图像信息，具体是：对所述图像信息进行颜色空间分离、滤波及分割提取轮廓处理，获取特征点，以判别进入具体模式的处理。

进一步地，根据人体与检测设备的相对位置关系，利用图像信息计算出人体手指或手心的特征点空间分布，综合各时刻特征点的空间分布，计算手指或手心的特征点的运动放向、速度与加速度，与其预存的手势进行匹配，判断出使用者的目标动作，用于实现3D键盘的处理。

进一步地，根据人体与检测设备的相对位置关系，利用图像信息计算出持笔的手的特征点空间分布，综合各时刻特征点的空间分布，在显示终端上描绘出特征点的三维运动轨迹，并且摄像头对另一只手的手势动作进行识别，实现模式启动，模式切换或模式终止功能，用于实现3D画板的处理。

进一步地，根据人体与检测设备的相对位置关系，利用图像信息计算出双手特征点的空间分布，综合各时刻特征点的空间分布，当一定时间段内特征点的变化量少于阈值，将检测结果与其预存的手势进行匹配，判断出使用者的目标动作，实现3D模型的旋转、平移或放缩操作，或对3D模型的特定部位进行选取，用于实现3D模型手势控制的处理。

进一步地，所述摄像头设置为两个，分别位于所述Kinect摄像头的两侧。

进一步地，所述显示终端为裸眼3D显示器，包括2D模式和3D模式。

进一步地，不同的操作模式，包括3D键盘，3D画板及3D模型独立配置子手势库，在每一模式下运行时，只需判断子手势库及公共手势库中的手势。

与现有技术相比，本发明的有益效果是：

本发明所述基于体感设备的人机交互集成装置借助Kinect和摄像头采集信息，可在不同纵深距离下进行人眼跟踪，因此不同纵深均可观看到良好的3D显示效果，启动体感控制功能，根据用户作出的手势类型进入对应的操作模式。本发明实现了远距离与近距离的人机交互结合，弥补了单一体感装置距离上和识别精确度上的缺陷，多种体感设备的结合也让系统功能更加强大。

附图说明

下面结合附图对本发明的具体实施方式作进一步详细的说明，其中：

图1是本发明所述的基于体感设备的人机交互集成装置的结构示意简图；

图2是本发明所述的基于体感设备的人机交互集成装置中Kinect摄像头和Leap Mot ion体感设备的视区示意图；

图3是本发明所述的基于体感设备的人机交互集成装置中摄像头的视区示意图；

图4是本发明所述的基于体感设备的人机交互集成装置的进行人机交互的实现方法的流程图；

图5是本发明实施例1所述的基于体感设备的人机交互集成装置运用于3D键盘中的触控平台示意图；

图6是本发明实施例2所述的基于体感设备的人机交互集成装置运用于3D画板中的触控平台示意图；

图7是本发明实施例3所述的基于体感设备的人机交互集成装置运用于骨骼跟踪的触控平台示意图；

图8是本发明实施例4所述的基于体感设备的人机交互集成装置运用于3D模型手势控制的触控平台示意图。

图中：

11：Kinect摄像头 12：显示终端 13：Leap Motion体感设备 14：摄像头

21：为触控识别区 22：触控预判区

31：笔

41：Kinect检测识别区 42：Kinect的舒适视区 43：Leap Motion视区

44：双摄像头视区

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

如图1～图8所示，本发明所述的基于体感设备的人机交互集成装置，通过将多种体感设备的优点结合起来，提供一种高精度的3D人机交互系统，其中通过Kinect摄像头11获取骨骼图像信息和深度图像信息，从而可以的获取全身体感交互体验，达到毫米级的高精度，并且配合摄像头14将其近距离的盲区进行弥补，真正做到360度无死角的体验。同时，还结合Leap Motion体感设备13能够捕捉到丰富的手势动作，从而实现了远距离、近距离以及各种手势或者工具的识别操作，大大提升了3D虚拟现实的人机交互的体感享受。

如图1所示，所述的基于体感设备的人机交互集成装置包括Kinect摄像头11、Leap Motion体感设备13、摄像头14、处理终端和显示终端12。

其中所述Kinect摄像头11安装于所述显示终端12的顶部，便于捕捉人体的几何3D体征，用于获取用户的骨骼图像信息和深度图像信息。其拥有获取深度数据的功能，通过深度图像的追踪进行骨骼识别，使人体的几何3D体征有一个清晰的定位，并准确识别出动作信息。本发明通过Kinect SDK系统开发工具包中相应API应用程序接口获得人体的深度图像与骨骼信息，并且它在获取深度图像过程中，不受光照以及环境变化等外部的影响，即使在光照很低的情况下也能够捕获到人体的深度图像和相应的骨骼信息。实时跟踪人体的骨骼位置即可获取人体的静态位置和动作信息。其视区如图2所示，具体位于视区41和视区42所在的区域。所述视区41为1m—3.5m；1.2m—1.3m划入Kinect识别跟踪区，又3m以外区域Kinect的识别精度低，不予采用，因此Kinect识别舒适区42，为1.2m—3m。

所述Leap Motion体感设备13与所述处理终端连接，用于获取用户的手部或工具图像信息，其可以是无线的方式，也可以是有线的方式连接。同时其视区如图2所示，具体位于43所在的区域。其具有的识别手势功能是通过利用Leap Motion SDK编写的代码来识别手势，Leap Motion SDK是现有的一种基于Leap Motion的数据存储、数据交换、数据读写、数据识别和编辑引擎平台，通过该模块实现手势控制的效果。Leap Motion SDK定义了一个可以表示每个基本追踪到的物体的类，手类描述了一个被Leap追踪到的物理形式的手。一个“手”对象提供了访问它自己尖端(手指)的列表，以及一个描述的手的坐标、朝向和运动的属性，可以通过它们在帧中相对位置获取手对象。从中可以获取手掌重心坐标、手的朝向与手的运动速度。

除了可以获取手部信息外，Leap Motion还可以获取尖端对象的信息，尖端对象可以被表示为手指和工具，例如如图7中的笔。也就是可以指出方向的东西。尖端对象有着许多描述手指和工具的属性，主要包括尖端坐标、尖端速度、指向、宽度、触摸距离、触摸区域。

所述摄像头14，用于获取位于Kinect摄像头11视觉盲区的图像信息，位于所述Kinect摄像头11的一侧；在实际使用过程中，其优选设置为两个，即分别位于所述Kinect摄像头11的两侧，即双摄像头设计。由于Kinect摄像头11的识别是有一定的范围的，当用户离屏幕较近时，可以使用Kinect的半身模式进行识别，但离屏幕过近时，Kinect摄像头11无法识别到完整的半身，这时用户处于Kinect的视觉盲区，此时将使用双摄像头11对人体进行定位。其视区如图3所示，双CCD摄像头检测识别范围44，为0.6m—1.3m。其中1m—1.3m为CCD摄像头14与Kinect摄像头11的过渡地带，此区域内，1m—1.2m范围内CCD摄像头14识别精度高，因此1m—1.2m划入CCD识别跟踪区。

具体来讲，所述Leap Motion体感设备13的控制范围为2.5cm—60cm，负责近距离精细手势识别；双摄像头14控制范围为0.6m—1.2m，负责简单手势控制；Kinect摄像头11控制范围为1.2m—3m，负责在中远距离进行骨骼跟踪。

所述处理终端，用于接收并处理所述骨骼图像信息、深度图像信息、手部或工具图像信息和位于Kinect摄像头11视觉盲区的图像信息；其在图示中未显示，具体则是位于显示终端12内，用于处理各种接收的图像信息，具体采用混合高斯背景模型将背景和前景分离开，然后通过几何特征识别前景(即人体)的头部、颈部、躯干、上肢，在关键位置描出骨骼点，得到骨骼信息。

具体地，所述处理终端包括接收单元、计算处理单元和发送单元；所述接收单元用于接收所述骨骼图像信息、深度图像信息、手部或工具图像信息和位于Kinect摄像头视觉盲区的图像信息；所述计算处理单元用于计算并处理以上所述图像信息；所述发送单元用于将已经计算并处理后的图像信息发送至显示终端。

对于不同的运用场景下，所述处理终端担当着不同的处理角色，对图像进行颜色空间分离，滤波及分割提取轮廓处理，获取特征点，具体地，在本发明中，主要可以实现3D键盘、3D画板和3D模型手势控制的处理。

其中，对于3D键盘的处理，根据人体与检测设备的相对位置关系，利用图像信息计算出人体手指或手心特征点的空间分布，综合各时刻特征点的空间分布，计算手指或手心特征点的运动放向、速度与加速度，与其预存的手势进行匹配，判断出使用者的目标动作，用于实现3D键盘的处理。

对于3D画板的处理，根据人体与检测设备的相对位置关系，利用图像信息计算出持笔的手的特征点空间分布，综合各时刻特征点的空间分布，在显示终端12上描绘出特征点的三维运动轨迹，并且摄像头14对另一只手的手势动作进行识别，实现模式启动，模式切换或模式终止功能，用于实现3D画板的处理。

对于3D模型手势控制的处理，根据人体与检测设备的相对位置关系，利用图像信息计算出双手特征点的空间分布，综合各时刻特征点的空间分布，当一定时间段内特征点的变化量少于阈值，将检测结果与其预存的手势进行匹配，判断出使用者的目标动作，实现3D模型的旋转、平移或放缩操作，或对3D模型的特定部位进行选取，用于实现3D模型手势控制的处理。

所述显示终端12，用于显示初始图像，并将经过处理终端处理后的图像信息进行动态显示，以实现人机交互操作；所述Kinect摄像头11安装于所述显示终端12的顶部；所述Leap Motion体感设备13与显示终端12连接。所述显示终端12采用的是裸眼3D显示器，具有强烈的浸入感，大幅度提高了用户体验。

如图4所示，本发明所述的基于体感设备的人机交互集成装置的进行人机交互的实现方法，包括如下步骤：

步骤一：启动所述人机交互集成装置；

具体包括Kinect摄像头11、显示终端12、Leap Motion体感设备13和摄像头14的启动，从而获取相应的图像信息，以及供下一步的处理；

步骤二：人眼识别跟踪；

通过Kinect摄像头11、摄像头14的图像获取，识别人眼所在位置，并根据人眼所在位置，调整背光启动方式，进入对应纵深的显示模式，使用户获取最佳的3D显示效果；

步骤三：判断进入3D控制模式的类型；

根据用户所在的位置，判断用户进行控制所需的体感控制设备，并提供所具备的3D控制模式予以用户选择。

步骤四：启动3D控制模式的功能

针对进入的具体3D控制模式，从而启动具体对应的体感控制功能，判断用户所作出的手势，进而有效的进行人机交互的体验。

为了更好的说明本发明所述的基于体感设备的人机交互集成装置的具体实现的人机交互形式，特举出以下实例进行详细说明：

实施例1：

如图5所示，本发明所述的基于体感设备的人机交互集成装置运用于3D键盘，也就是对3D虚拟影像进行点击操作，其中触控识别区21，触控预判区22，具体实施方法如下：

(1)启动摄像头14和Kinect摄像头11采集信息，判断用户处于哪一设备识别跟踪区域，进行人眼跟踪识别；

(2)显示终端12切换至对应的3D播放模式；

(3)启动Leap Motion体感设备13采集手势信息，所述计算处理单元152对采集的图像进行颜色空间分离，滤波及分割提取轮廓处理，即根据人体与检测设备的相对位置关系，计算出人体手指或手心特征点的空间分布。当人体手指的指尖进入离屏20cm内的触控预判区域时，以白色预判点表示指尖显示在屏幕上；当指尖进入到离屏5cm内的触控识别区时，根据前后帧手指或手心特征点所在的空间位置，运动速度及加速度，与其预存的手势进行匹配，判定是否按下按键，更新图像，执行相应功能。

实施例2：

如图6所示，本发明所述的基于体感设备的人机交互集成装置运用于3D画板中，具体实施方法如下：

(1)启动显示终端12的2D模式；

(2)启动Kinect摄像头11和摄像头14，采集信息，判断用户处于哪一设备的人眼识别跟踪范围内，进行人眼跟踪，并切换至对应3D播放模式下；

(3)启动Leap Motion体感设备13，所述计算处理单元152对采集的图像进行颜色空间分离，滤波及分割提取轮廓处理，获取特征点，即根据人体与检测设备的相对位置关系，计算出持笔的手的特征点空间分布，综合各时刻特征点的空间分布，在显示终端12上描绘出特征点的三维运动轨迹，并且摄像头14对另一只手的手势动作进行识别，实现模式启动，模式切换或模式终止功能。即当笔31的尖端进入Leap Motion体感设备13检测识别区后，提取笔尖位置，计算出对应的特征点空间分布，然后综合，从而在显示终端12上描绘出三维运动轨迹，同时匹配笔31的尖端参数与cvLine函数的变量，进行划线，显示在显示终端11上。另外，通过摄像头14对另一只手的手势动作进行识别，实现模式启动、切换或终止。

(4)当指尖进离屏30cm区域内，切换至手势识别模式，Leap Motion体感设备13采集手势信息，根据手势控制图像缩放大小以及拖动等操作，如图8所示。

使用3D画板功能时，提取实时笔尖位置，当笔尖进入识别区，进入输入识别模式。然后匹配指尖位置与cvline函数的变量，对笔尖位置进行划线操作。笔尖距离屏幕越近，线条越粗，有“笔锋”效果。同时，通过手指数量与多指位置配合，自定义“挥手手势”。当系统检测到“挥手”手势，覆盖原图达到清屏效果。对于画好的图像还可以进行缩放、拖动操作：提取两只指尖实时位置。当指尖进入设定的区域后,进入手势识别模式。手势识别区域位于距离屏幕30cm以内。将两只指尖位置与图像对角线上两个顶点进行匹配，从而控制图像缩放大小以及拖动等操作。

实施例3：

如图7所示，本发明所述的基于体感设备的人机交互集成装置运用于3D模型手势控制中，具体实施方法如下：

(1)启动显示终端12的2D模式；

(2)启动Kinect摄像头11和摄像头14，采集信息，判断用户处于哪一设备的人眼识别跟踪范围内，进行人眼跟踪，并切换至对应3D播放模式下；

(3)启动Leap Motion体感设备13，所述计算处理单元152对实时采集的图像进行颜色空间分离，滤波及分割提取轮廓处理，获取特征点，即根据人体与检测设备的相对位置关系，计算出双手特征点的空间分布，综合各时刻特征点的空间分布，当一定时间段内特征点的变化量少于阈值，将检测结果与其预存的手势进行匹配判断出使用者的目标动作；

(4)实现3D模型的旋转、平移或放缩操作，用于实现3D模型手势控制的处理，具体参考如图8的(a)、(b)、(c)之间的变化。。

3D模型的获取主要依靠Kinect的点云扫描功能，Kinect摄像头11的深度图像上的每一像素点除了包含X、Y像素坐标以外，其像素点的灰度值代表着空间深度距离，也就是说深度图把Kinect视野内的每一处可视表面的三维坐标都记录了下来，此时只需要在3D空间中进行绘点，如果移动Kinect摄像头(或者把物体做相对旋转)便能把物体360度的表面信息进行录取与重建。

利用Kinect摄像头11从多个角度取得的物体的深度图像在3D空间中不断加入，由于位置拍摄角度改变时，Kinect摄像头11会自动记录位置信息从而令每一帧之间的关联都被记录。就这样重复的深度数据被去除，加上平滑算法，物体表面得到较好的重建，于是在3D空间中的点面分布变构成了点云。通过Kinect的SDK工具包，将模型保存为OBJ文件，并使用开源软件MeshLab(一个开源、可移植和可扩展的三维几何处理系统，主要用于交互处理和非结构化编辑三维三角形网格，旨在提供一整套三维扫描、编辑、清洗、拼合、检查、呈现和转换网格数据的工具)进行显示。

在3D模型显示之后，如图8所示，可以结合Leap Motion体感设备13实现对3D模型的缩放、拖动、旋转控制。

本发明所述基于体感设备的人机交互集成装置的其它结构参见现有技术，在此不再赘述。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，故凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何修改、等同变化与修饰,均仍属于本发明技术方案的范围内。