集成手势识别与超声波触觉反馈的装置及其方法和用途与流程

本发明涉及虚拟现实技术领域，特别涉及一种集成手势识别与超声波触觉反馈的装置及其方法和用途。

背景技术：

虚拟现实技术是利用计算机仿真技术，在虚拟世界中进行真实世界物体的再现还原，并且通过设置一定的交互命令，使得用户可以与虚拟世界中的物体进行感官上的交互，从而沉浸于虚拟世界中。由于vr技术本身高度的沉浸性仿真效果，以及在国防、医学、教育、商业、制造业和娱乐游戏等领域的突出作用，虚拟现实技术被视为21世纪最有应用价值和市场前景的技术之一，而触觉反馈一直被认为是实现虚拟现实完全沉浸的重要组成部分。

当前在虚拟现实环境里面缺乏触觉的模拟以及输入方式单一被认为是影响沉浸感的一个重要的问题。缺乏触觉反馈会让人无法感觉到真正手持虚拟物品。现有的机械式触觉反馈方案无法做到全方位覆盖，而且只能提供方向单一的力。

部分公司的虚拟现实、增强现实产品使用手柄控制器来进行输入，这是在目前手势识别方案还有欠缺情况下的权宜方案。但是vr手柄也有着明显的缺陷：对于手部关节的精细动作无法还原；无法进行手部动作的精准定位；容易受周围环境的影响而降低精度。

目前已经面世的骨架式带压力板的手套只能在各个手指关节之间放置一片压力板，与真正的现实世界完全不同。只能小部分模拟压力，无法保证逼真度，用户体验差。

手势识别在虚拟现实和增强现实领域被部分公司采用。但是单纯通过摄像头识别手势需要将手置于摄像头的视野范围且使用者的手需一直抬起，无法长时间使用。而且由于使用环境非常复杂，周围的各种环境干扰也很大，会造成识别精度低，识别速度慢。

为了保证vr和ar交互控制的逼真度和沉浸度，需要进一步提高用户之间的交互性以及用户与识别设备之间的可交互性，因此，需要更加精确地识别手部运动及动作细节。现有技术通过在识别设备中加装三维摄像模组来识别游戏过程中的用户手部动作，但是经常遇到识别精度低，夜晚不能正常识别等问题。

技术实现要素：

本发明的目的是至少解决上述缺陷与不足之一，该目的是通过以下技术方案实现的。

本发明提供了一种集成手势识别与超声波触觉反馈的装置，包括：手套本体以及镶嵌在所述手套本体上的多个功能单元，所述功能单元用于对处于所述手套本体内的人手进行手势数据采集并根据采集到的人手手势数据对所述人手提供超声波触觉反馈。

进一步地，所述多个功能单元包括用于获取人手手势数据的摄像头、为所述摄像头提供光线的照明单元以及超声波喷头组件，其中，所述多个功能单元中的第一功能单元包括所述摄像头、所述照明单元以及所述超声波喷头组件中的至少一种，所述多个功能单元中的第二功能单元包括所述摄像头、所述照明单元以及所述超声波喷头组件中的至少另一种，所述多个功能单元中的第三功能单元包括所述摄像头、所述照明单元以及所述超声波喷头组件中的至少其余一种。

进一步地，每个功能单元均包括用于获取人手手势数据的摄像头、为所述摄像头提供光线的照明单元以及超声波喷头组件。

进一步地，还包括计算模块，所述计算模块用于对采集到的手势数据进行计算处理，进行手势识别，并生成手势反馈信息。

进一步地，还包括计算模块，所述计算模块用于对所述摄像头采集到的手势数据进行计算处理，进行手势识别，并生成手势反馈信息。

进一步地，还包括控制模块以及通讯模块，所述控制模块用于接收所述手势反馈信息并根据所述手势反馈信息控制所述超声波喷头组件发出超声波。

进一步地，所述超声波喷头组件包括至少一个超声波喷头。

进一步地，所述通讯模块为usb模块、蓝牙模块、gprs/3g/4g/5g模块、wifi模块、zigbee模块或特定协议的网络通讯模块中的一种或多种。

进一步地，所述集成手势识别与超声波触觉反馈的装置还包括内置的电池和/或能够与外部电源以有线或无线的方式连接的电源接口。

进一步地，所述手套本体固定在手腕处或者所述手套本体不固定在手腕处。

进一步地，所述手套本体为方形体、圆形体或其他任意形状。

进一步地，所述手套本体外部为柔性材质或刚性材质。

进一步地，所述手套本体内部表面覆有单色涂层或带图案的涂层。

进一步地，还包括终端设备，并且所述终端设备能够接收所述摄像头采集到的手势数据，进行手势识别，并生成手势反馈信息。

本发明还提供了一种利用上述集成手势识别与超声波触觉反馈的装置进行超声波手势识别和触觉反馈的方法，包括：

选择虚拟环境，并将虚拟环境信息发送至集成手势识别与超声波触觉反馈的装置；

所述集成超声波手势识别与触觉反馈的装置实时采集处于手套本体内的人手的手势并将获取的手势信息传输至计算模块；

利用所述计算模块进行手势识别并生成手势反馈信息，根据所述手势反馈信息发射出超声波提供触觉反馈。

本发明还提供了另一种利用上述集成手势识别与超声波触觉反馈的装置进行超声波手势识别和触觉反馈的方法，包括：

选择虚拟环境，并将虚拟环境信息发送至集成手势识别与超声波触觉反馈的装置；

所述集成手势识别与超声波触觉反馈的装置实时采集处于手套本体内的人手的手势并将获取的手势信息传输至终端设备；

利用所述终端设备进行手势识别并生成手势反馈信息，将所述手势反馈信息传输至所述集成超声波手势识别与触觉反馈的装置；

利用所述集成手势识别与超声波触觉反馈的装置接收手势反馈信息，并根据所述手势反馈信息发射出超声波提供触觉反馈。

进一步地，还包括根据所述手势反馈信息来调节超声波的发射方式。

进一步地，调节超声波的发射方式包括调节超声波的脉冲、调节超声波的频率、调节超声波的发射方向、调节超声波的强度中的一种或多种。

本发明还涉及上述集成手势识别与超声波触觉反馈的装置在在虚拟现实、增强现实或混合现实中的用途。

本发明的优点如下：

(1)本发明触觉反馈的真实感强，可以模拟多种角度、力度的触感，进一步增加了虚拟现实体验的逼真度和沉浸度。

(2)本发明集成手势识别到手套内部可以使使用环境变得简单，简化算法，从而提高识别速度与识别精度。

(3)本发明将手势识别和触觉反馈集成到手套内，设备集成度高，可以完美替代手柄控制器。

(4)本发明体积小、重量轻，可以长时间穿戴和操作。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。

图1为本发明实施例提供的集成手势识别与超声波触觉反馈的装置的装配示意图。

图2为本发明实施例提供的集成手势识别与超声波触觉反馈的装置的功能单元的结构示意图。

图3为本发明实施例提供的集成手势识别与超声波触觉反馈的装置的功能单元的另一结构示意图。

图4为本发明实施例提供的集成手势识别与超声波触觉反馈的装置的另一功能单元的布置示意图。

图5为本发明实施例提供的集成手势识别与超声波触觉反馈的装置的结构示意图。

图6为本发明实施例提供的集成手势识别与超声波触觉反馈的装置的操作流程图。

图7为本发明实施例提供的集成手势识别与超声波触觉反馈的装置的另一操作流程图。

图中附图标记如下：

1-手套本体2-功能单元

201-超声波探头202-摄像头

203-照明单元3-控制模块

4-通讯模块5-计算模块

6-集成电路板

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施方式。虽然附图中显示了本公开的示例性实施方式，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

图1为本发明具体实施例提供的集成手势识别与超声波触觉反馈的装置的装配示意图，如图1所示，本发明所述的一种基于超声波的集成手势识别与超声波触觉反馈的装置包括手套本体1和镶嵌在手套本体1上的多个功能单元2，每个功能单元2用于对处于手套本体1内的人手进行手势数据采集并根据采集到的人手手势数据对人手提供超声波触觉反馈。

图2为本发明具体实施例提供的基于超声波的集成手势识别与超声波触觉反馈的装置的功能单元的结构示意图，如图2所示，每个功能单元2均包括用于获取人手手势数据的摄像头201、为所述摄像头提供光线的照明单元202以及超声波喷头组件203。而超声波喷头组件203根据摄像头201提供的手与手指的位置通过程序设置用不同的角度和强度进行超声波发射以此来形成触感。

手套本体1内部布满了功能单元2，用户可以利用功能单元2将按压虚拟物体的触感投射到用户的双手上，让用户在不接触屏幕的情况下于半空中获得触觉反馈。

在本实施例中，所述功能单元2均匀分布在手套本体1内部的各个部位，在另一实施例中，可以对某些部位的功能单元2进行适当的增删组合。例如，手指、手心部位活动较多，手背处活动较少，可以适当减少手背处功能单元2的布置，这种功能单元2的增删组合包括但不限于本实施例。

此外，如图4所示，功能单元2并不完全相同，其中一些只包含摄像头201，另一些只包含照明单元202，还有一些只包含超声波喷头203，它们的数量和位置分布并不完全相同，可以根据需要设置。

多个功能单元2中的第一功能单元包括摄像头201、照明单元202以及超声波喷头组件203中的至少一种，多个功能单元2中的第二功能单元包括摄像头201、照明单元202以及超声波喷头组件202中的至少另一种，多个功能单元2中的第三功能单元包括摄像头201、照明单元202以及超声波喷头组件203中的至少其余一种。

由第一功能单元、第二功能单元、第三功能单元组成的超声波触觉反馈的装置能够完成完整的手势识别和触觉反馈。

在另一实施例中，多个功能单元2也可以镶嵌于一整块集成电路板6上，再将集成电路板6设置于手套本体1内部。如图4所示，多个功能单元2排列于集成电路板6上，将功能单元2集中设置在一整块集成电路板6上，可以减少电连接。

根据本公开的实施方式，所述功能单元2的照明单元202可以发出可见光或者不可见光以便追踪识别手势动作，例如，照明单元202可以发出红外光，即使在白天，摄像头201也可以精确追踪识别手势信息，不受光线的影响。另外，所述照明单元202可以根据环境不同发出颜色、频率或亮度不同的光线以便被摄像头201追踪识别，例如，在白天，由于光线充足，照明单元202发白光，摄像头201不能精确追踪识别手势信息，如果发红光，则摄像头201可以精确追踪识别手势信息；在夜晚，由于光线较暗，照明单元202可以发白光，以便被摄像头201追踪识别；再如，在游戏中，根据游戏进度内容，在激烈战斗中，照明单元202发出脉冲快闪红光，在平和阶段，照明单元202发出脉冲的蓝光；在室内游戏时，照明单元202发出亮度较低的光，游戏场景转移到室外时，照明单元202发出亮度较高的光等等。

超声波喷头组件203的每一个超声波喷头都可以喷出受控制的力，这样超声波便可以覆盖它所包围的全部肢体。同时每个喷头均比较小巧，可以完美布到各种形状的表面上，让手部感受到力的反馈，给用户带来更真实的体验，提高虚拟现实体验的逼真度，例如，在游戏中，两玩家在虚拟世界内格斗，一旦对方被击中，或者自己被击中，超声波喷头都会刺激皮肤产生触感，当自己被击中的时，手部产生触感，感觉好像真被击中一样。

每个功能单元2上的超声波喷头组件203的数量可以根据需要设置，如图3所示，图中示出了本发明的功能单元2的另一实施例的结构示意图，超声波喷头组件203由3个超声波喷头组成，每一个超声波喷头都可以喷出受控制的力来刺激手部的神经元，在手部创建不同的触感。

用户还可以对触觉反馈的效果进行调整，例如调节超声波的脉冲或频率减弱反馈的力度，或者增加触觉反馈持续的时间来满足个性化的用户体验需求。

将摄像头201和超声波喷头组件203集成到功能单元2上，能够很好的跟踪人手的每个关节，并且精确的捕捉人手的各种手势和动作，无论白天黑夜，可以全天候识别跟踪手部动作，实现手势识别和控制。此外还能够使用户和虚拟环境中的虚拟物件互动产生更自然更具沉浸感触觉反馈，大大提高了用户体验。本发明将手势识别追踪和触觉反馈结合在一款紧凑而又舒适的设备中，使虚拟现实体验更具交互性、更具沉浸感和更加身临其境。

图5为本发明具体实施例提供的集成超声波触感与手势识别装置的结构示意图，如图5所示，手套本体1还包括控制模块3、通讯模块4和计算模块5。

计算模块5与控制模块3电连接，用于对采集到的人手的各个部位的空间位置信息和手势信息通过算法进行计算处理，对人手手势进行准确定位识别，并生成手势反馈信息。计算模块5对手势的识别计算过程不局限于一类或几类具体的算法。利用计算模块5可以轻易识别出用户手指的位置，提高追踪识别的准确度，在虚拟环境中方便对用户手指建模，提高虚拟环境的逼真度，增强用户体验度。

在手套本体1背部安装控制模块3，控制模块3为集成电路板及主控芯片，通过超细导线电连接各个功能单元2。控制模块3用于接收计算模块5提供的人手手势识别反馈信息并根据手势反馈信息控制超声波喷头组件203发出超声波，生成触觉反馈。

在另一实施方式中，本装置进行手势识别时，无需通过计算模块5，可直接将摄像头201采集到的人手手势数据通过通讯模块4传递给终端设备，利用终端设备预置的算法进行手势识别。

将摄像头201采集到的人手手势数据通过通讯模块4传输至终端设备，终端设备将采集到的人手手势数据和虚拟环境信息结合，利用终端设备内置的程序算法，生成人手手势反馈信息，并将人手手势反馈信息通过通讯模块4发送至控制模块3，控制模块3根据接收到的人手手势反馈信息发出触觉指令到功能单元2，功能单元2的超声波喷头组件203从各个方位向手部发射出超声波，以此来形成触感，并且将虚拟环境中生成的触感反馈给操作者，使操作者产生身临其境的沉浸感。

通讯模块4固定于控制模块3旁，用于连接集成手势识别与超声波触觉反馈的装置和终端设备，实现通讯和数据交换，通讯模块4为usb模块、蓝牙模块、gprs/3g/4g/5g模块、wifi模块、zigbee模块或特定协议的网络通讯模块中的一种或多种。优选实施例中，将通讯模块4设置为无线模式可以让本装置不受空间约束，提高使用的自由度。

控制模块3和功能单元2的电源供给，既可以由手套中的内置电池来供给，也可以通过有线或无线的电源接口连接外部电源设备供电，本发明不以此为限。

手套本体1用于搭载和固定功能单元2及其他模块，可穿戴于用户手腕部，在手腕处可将手套本体1与人手固定，人手在手套本体1内部活动。将手套本体1固定于手腕的设计可有效避免用户体验时手套过于松动而丧失沉浸感，手指关节的弯曲度和手指的力度都能准确传达，以便用户与虚拟物体自然地交互。

在本发明的其它具体实施方式中，手套本体1可以不与手腕固定，直接设置为固定状态，即将手套本体1固定设置在桌面上，人手在手套本体1内活动，此时可以方便习惯坐在计算机前的用户抓拿物体，让用户的手指更灵活，vr体验过程更加自然舒服。

手套本体1可以为方形体、圆形体或者其它任意形状，本发明不局限于此，只要能够实现对手部动作的精确识别跟踪和触觉反馈即可。例如，可以是柔性的手套型，也可以是球形，甚至可以不是全封闭的(例如西方的花剑的半包围式护手)。

手套本体1外部为柔性材质或刚性材质，手套本体1使用透气的柔性材料，可以让用户穿戴更舒服，也方便手部灵活活动。将手套本体1设置为固定状态时，采用刚性材质可方便固定。

手套本体1内部表面覆有单色涂层或带图案的涂层，设置为带图案的涂层，这些图案以及其中包含的标记将便于在手势识别过程中定位人手的每个部位的相对和绝对位置。

如图6所示，根据本公开的实施方式，利用该集成手势识别与超声波触觉反馈的装置进行触觉反馈和手势识别的方法包括如下步骤：

1)选择虚拟环境，并将虚拟环境信息发送至集成手势识别与超声波触觉反馈的装置；

具体地，接通电源后，集成手势识别与超声波触觉反馈的装置开始工作，在该装置对应的软件上选择合适的虚拟场景信息。

2)集成手势识别与超声波触觉反馈的装置实时采集处于手套本体内的人手的手势并将获取的手势信息传输至计算模块；

人手在集成手势识别与超声波触觉反馈的装置内活动，功能单元2的摄像头201实时采集人手手势信息，并将获取的人手手势信息传输至计算模块5，以提供精确的手势识别跟踪。

3)利用计算模块进行手势识别并生成手势反馈信息，根据所述手势反馈信息发射出超声波提供触觉反馈。

具体地，计算模块5在接收到所述摄像头201采集的手势动作数据后，利用算法进行统一解析处理，进行手势识别，并生成手势反馈信息。

集成手势识别与超声波触觉反馈的装置的控制模块3接收到手势反馈信息后，控制模块3控制功能单元2的超声波喷头组件203从不同的角度向手部发射出超声波，以此来形成触感，并且将虚拟环境中生成的触感反馈给操作者，使操作者产生身临其境的沉浸感。

调节超声波的发射方式，可以对触觉反馈的效果进行调整，能够满足个性化的用户体验需求。调节超声波的发射方式包括调节超声波的脉冲、调节超声波的频率、调节超声波的发射方向、调节超声波的强度中的一种或多种。

如图7所示，在另一实施方式中，该集成手势识别与超声波触觉反馈的装置只负责手势数据的采集，手势识别的过程发生在终端设备，该触觉反馈和手势识别的方法包括如下步骤：

1)选择虚拟环境，并将虚拟环境信息发送至集成手势识别与超声波触觉反馈的装置。

2)集成手势识别与超声波触觉反馈的装置实时采集处于手套本体内的人手的手势数据并将获取的手势信息传输至终端设备。

终端设备在接收到所述摄像头201采集的手势动作数据后，进行统一解析处理。

3)利用终端设备进行手势识别并生成手势反馈信息，并将手势反馈信息传输至集成手势识别与超声波触觉反馈的装置。

具体地，终端设备将从集成手势识别与超声波触觉反馈的装置接收到的人手手势信息和虚拟环境信息结合进行数据处理和解析后，进行手势识别，并生成手势反馈信息。同时，当终端设备检测到手部需要有触觉反馈(例如，在虚拟场景里，当手触碰到虚拟的物体时候，物体会给手部一个力的触觉反馈)的时候，终端设备会把手势反馈信息通过通讯模块4发送到集成手势识别与超声波触觉反馈的装置。

4)利用集成手势识别与超声波触觉反馈的装置接收手势反馈信息，并根据所述手势反馈信息发射出超声波提供触觉反馈。

集成手势识别与超声波触觉反馈的装置的控制模块3接收到手势反馈信息后，控制模块3控制功能单元2的超声波喷头组件203从各个方位向手部发射出超声波，以此来形成触感，并且将虚拟环境中生成的触感反馈给操作者，使操作者产生身临其境的沉浸感。

为便于理解，下面结合具体的应用场景对本实施例进行描述：

首先，用户将集成手势识别与超声波触觉反馈的装置通过wifi连接到计算机，在计算机对应的软件上选择合适的场景信息，例如屏幕中出现地球模型。用户为找到某地在地球模型上的位置，做出“按压地球”的动作，用户所穿戴的集成手势识别与超声波触觉反馈的装置中的功能单元2追踪手部动作，获取手部动作信息，并实时发送至计算机，计算机把该手部动作信息与虚拟场景信息结合分析得到手势反馈信息，然后计算机把该手势反馈信息发送至集成手势识别与超声波触觉反馈的装置，使得集成手势识别与超声波触觉反馈的装置里的超声波喷头组件203根据该手势手部反馈信息对应的发射出超声波，使用户感受到有力施压于手上，产生类似触摸地球模型的触感。同时，用户还可以使用该集成手势识别与超声波触觉反馈的装置对虚拟场景里的地球模型进行移动和托举等，并产生真实的移动或托举的感觉。

本实施例在视觉的虚拟场景中增加触觉反馈，通过手部的活动实现与虚拟场景相互作用，为操作者提供了一种更加直接、更加自然的人机交互方式，提高了用户的体验。

在本发明的另一实施方式中，集成手势识别与超声波触觉反馈的装置可以运用到帮助病人康复上。传统的康复项目采用2d图片的方式帮助手术后的病人恢复运动能力，例如，在2d屏幕上显示一个苹果，让康复患者去用手抓，而抓到后显示一个奖励。采用本发明可以让患者真正的有距离感的抓到苹果，并有触觉的反馈。

本发明提供的集成手势识别与超声波触觉反馈的装置也可以与其他虚拟现实设备配合使用，虚拟场景信息由眼镜进行投影显示，例如当用户戴上虚拟现实眼镜并操作计算机，会获取带有书桌的书房虚拟场景信息，虚拟环境会在虚拟现实眼镜中实时显示，当用户触摸书桌时，不仅能通过虚拟现实眼镜看到3d场景画面演示，还能通过基于超声波的集成手势识别与超声波触觉反馈的装置感觉到触摸书桌的动作，让用户能够更好地感受到虚拟环境的变化，增加与虚拟环境的互动。

本发明提供的集成手势识别与超声波触觉反馈的装置，将手势识别和触觉反馈高度集成到一微型功能单元上，并将功能单元镶嵌在手套本体内部，实时反馈手部操作，实现对用户手部动作的精确识别追踪，并将终端设备反馈回来的触觉信息转换成直接作用于人手的力或力矩，使操作者产生“身临其境”的触觉临场感效果，从而实现在虚拟环境中产生真实的触摸感受，而且它克服了手柄控制器机械结构复杂、手的活动范围小和传统数据手套不具有力反馈功能的缺点，具有广泛的使用前景，可应用于虚拟现实、增强现实以及混合现实等各种技术中。

根据本公开的实施方式，终端设备可以是具备通信功能的设备。例如，终端设备可以是台式pc电脑、智能手机、平板电脑、便携式多媒体播放器、便携式医疗设备、数码相机或可穿戴设备等。

需要指出的是，示例性方法中指出的动作可不按照附图中所示或说明书中所述顺序发生。例如，连续的两个动作可能在执行时实质上是同时执行的，或者部分动作在某些时候会以相反的顺序执行，这将取决于所涉及到的功能。

可以理解地，为实现上述手势识别和触觉反馈，必有一套相应的驱动和应用软件(未示出)配合完成。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。