一种基于体感技术的虚拟触控系统和方法与流程

本发明涉及图像识别和智能控制技术领域，特别涉及了一种基于体感技术的虚拟触控系统和方法。

背景技术：

随着移动设备的大量普及，越来越多的人们采用手机、平板等移动设备进行拍照、浏览网页等操作，能随时随地将移动终端中的信息投影在任意平面上，以及在投影图像上进行交互式操作成为了当下需求。

传统的虚拟触控方式如图1所示，它由投影装置、红外光发射器、红外摄像镜头、主控制器组成。当手指触碰到投影模块在一界面表面上的投影时，阻断并反射红外光线至红外摄像镜头，通过主控制器的处理，确定手指按压点的位置信息，并根据位置信息控制投影，从而实现通过虚拟触控方式对设备进行操作。

如中国专利申请(申请号：201620832077)提出了一种基于虚拟触控技术的投影装置，就是参照上述方式实现的。这种方式只能实现一些简单的虚拟交互，例如点击、长按等，无法实现鼠标、滑动、缩放等复杂手势。

技术实现要素：

为了解决上述背景技术提出的技术问题，本发明旨在提供一种基于体感技术的虚拟触控系统和方法，不依赖于投影识别装置，且能够实现复杂的虚拟交互。

为了实现上述技术目的，本发明的技术方案为：

一种基于体感技术的虚拟触控系统，包括主控模块以及分别与之连接的体感设备和执行设备，所述体感设备包括3D体感芯片以及分别与之连接的红外发射器、红外接收器和RGB摄像头，所述RGB摄像头采集投影区域的RGB图像，3D体感芯片通过红外发射器和红外接收器获取投影区域的深度信息，主控模块根据体感设备获取的信息识别出用户在投影区域的手势，并据此控制执行设备执行相应操作。

一种基于体感技术的虚拟触控方法，包括以下步骤：

(1)拍摄投影区域，测量空间三维数据，输出RGB图像和图像的深度信息；

(2)基于每帧图像的深度、亮度和色度信息，计算出投影所在的平面方程和区域，如果没有识别出投影，就在平面方程上模拟投影区域；

(3)针对每帧图像的深度信息，提取出手的深度信息，筛选出手的关键信息，并进行归一化处理；

(4)取连续几帧归一化处理后的图像，提取特征值，归一化构造多维特征向量，并计算该特征向量与预先保存的手势特征向量的欧式距离，如果欧式距离小于预设阈值，则手势匹配成功；

(5)计算步骤(4)识别出的手势的位置和持续时间，将手势类型、位置和持续时间转化为相应的操作指令，从而控制执行设备执行相应的操作。

进一步地，在步骤(2)中，首先，在深度图中取3个点，计算得到一个平面方程，然后再将剩余的点逐步代入以纠正该平面方程，得到稳定的平面方程；然后，结合RGB图当中投影区域的亮度、与周围环境的对比度和色度，计算出投影区域的宽度和高度，确定投影区域在平面方程上的大小和位置。

进一步地，在步骤(3)中，所述手的关键信息包括手的大小、区域和每根手指的关节点信息。

进一步地，在步骤(3)中，所述归一化处理包括尺寸归一、参考零点归一和方向归一。

进一步地，在步骤(4)中，所述多维特征向量包括手势法人运动速度、运动角度和运动轨迹特征。

采用上述技术方案带来的有益效果：

本发明通过体感设备可以自动识别投影的区域，而且，如果没有识别到投影，系统会模拟一个投影区域，只是用户看不见，一样实现用户对设备的虚拟操作。同时，本发明通过手势识别方法实现复杂手势的识别，从而实现复杂的虚拟交互。

附图说明

图1是传统虚拟触控方式示意图；

图2是本发明的系统组成框图；

图3是本发明的方法流程图；

图4是本发明支持的几种虚拟触控方式。

具体实施方式

以下将结合附图，对本发明的技术方案进行详细说明。

如图2所示，一种基于体感技术的虚拟触控系统，包括主控模块以及分别与之连接的体感设备和执行设备，所述体感设备包括3D体感芯片以及分别与之连接的红外发射器、红外接收器和RGB摄像头，所述RGB摄像头采集投影区域的RGB图像，3D体感芯片通过红外发射器和红外接收器获取投影区域的深度信息，主控模块根据体感设备获取的信息识别出用户在投影区域的手势，并据此控制执行设备执行相应操作。

如图3所示，一种基于体感技术的虚拟触控方法，具体步骤如下。

步骤1：拍摄投影区域，测量空间三维数据，输出RGB图像和图像的深度信息。

步骤2：基于每帧图像的深度、亮度和色度信息，计算出投影所在的平面方程和区域，如果没有识别出投影，就在平面方程上模拟投影区域。

首先，在深度图中取3个点，计算得到一个平面方程，然后再将剩余的点逐步代入以纠正该平面方程，得到稳定的平面方程；然后，结合RGB图当中投影区域的亮度、与周围环境的对比度和色度，计算出投影区域的宽度和高度，确定投影区域在平面方程上的大小和位置。

平面方程和投影区域是不断刷新的，所以，不管投影区域如何变动，系统都是自动识别的。

步骤3：针对每帧图像的深度信息，提取出手的深度信息，筛选出手的关键信息，并进行归一化处理。

所述关键信息包括手的大小、区域、每个手指的关节点数据等。对手的归一化处理包括尺寸归一、参考零点归一、方向归一。通过归一化，可以提高手操作的可靠性、稳定性和准确性。

步骤4：取连续几帧归一化处理后的图像，提取特征值，归一化构造多维特征向量，并计算该特征向量与预先保存的手势特征向量的欧式距离，如果欧式距离小于预设阈值，则手势匹配成功。

特征向量包括运动速度、运动角度、运动轨迹等特征，特征向量归一化的意义在于较少手差异性带来的识别差异及稳定性。手势识别采用AP聚类算法。

步骤5：计算步骤4识别出的手势的位置和持续时间，将手势类型、位置和持续时间转化为相应的操作指令，从而控制执行设备执行相应的操作。图4展示了几种本发明支持的虚拟触控方式，包括点击、长按、滑动和缩放等。

实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。