1.一种基于体感设备的人机交互集成装置,其特征在于,包括:
Kinect摄像头,用于获取用户的骨骼图像信息和深度图像信息;
Leap Motion体感设备,用于获取用户的手部或工具图像信息;
摄像头,用于获取位于Kinect摄像头视觉盲区的图像信息,位于所述Kinect摄像头的一侧;
处理终端,用于接收并处理所述骨骼图像信息、深度图像信息、手部或工具图像信息和位于Kinect摄像头视觉盲区的图像信息;
显示终端,用于显示初始图像,并将经过处理终端处理后的图像信息进行动态显示,以实现人机交互操作;
所述Kinect摄像头安装于所述显示终端的顶部;
所述Leap Motion体感设备与处理终端连接。
2.根据权利要求1所述的基于体感设备的人机交互集成装置,其特征在于:
所述处理终端包括接收单元、计算处理单元和发送单元;
所述接收单元用于接收所述骨骼图像信息、深度图像信息、手部或工具图像信息和位于Kinect摄像头视觉盲区的图像信息;
所述计算处理单元用于计算并处理以上所述图像信息;
所述发送单元用于将已经计算并处理后的图像信息发送至显示终端。
3.根据权利要求2所述的基于体感设备的人机交互集成装置,其特征在于:
所述计算处理单元用于计算并处理所述图像信息,具体是:
对所述图像信息进行颜色空间分离、滤波及分割提取轮廓处理,获取特征点,以判别进入具体模式的处理。
4.根据权利要求3所述的基于体感设备的人机交互集成装置,其特征在于:
根据人体与检测设备的相对位置关系,利用图像信息计算出人体手指或手心的特征点空间分布,综合各时刻特征点的空间分布,计算手指或手心的特征点的运动放向、速度与加速度,与其预存的手势进行匹配,判断出使用者的目标动作,用于实现3D键盘的处理。
5.根据权利要求3所述的基于体感设备的人机交互集成装置,其特征在于:
根据人体与检测设备的相对位置关系,利用图像信息计算出持笔的手的特征点空间分布,综合各时刻特征点的空间分布,在显示终端上描绘出特征点的三维运动轨迹,并且摄像头对另一只手的手势动作进行识别,实现模式启动,模式切换或模式终止功能,用于实现3D画板的处理。
6.根据权利要求2所述的基于体感设备的人机交互集成装置,其特征在于:
根据人体与检测设备的相对位置关系,利用图像信息计算出双手特征点的空间分布,综合各时刻特征点的空间分布,当一定时间段内特征点的变化量少于阈值,将检测结果与其预存的手势进行匹配,判断出使用者的目标动作,实现3D模型的旋转、平移或放缩操作,或对3D模型的特定部位进行选取,用于实现3D模型手势控制的处理。
7.根据权利要求1所述的基于体感设备的人机交互集成装置,其特征在于:
所述摄像头设置为两个,分别位于所述Kinect摄像头的两侧。
8.根据权利要求1所述的基于体感设备的人机交互集成装置,其特征在于:
所述显示终端为纵深可调式裸眼3D显示器,包括2D模式和3D模式,可实现在不同纵深下的2D/3D播放。
9.根据权利要求2所述的基于体感设备的人机交互集成装置,其特征在于:
不同的操作模式,包括3D键盘,3D画板及3D模型独立配置子手势库,在每一模式下运行时,只需判断子手势库及公共手势库中的手势。