三维空间中使用手进行输入的系统的制作方法

本发明涉及空间计算，尤其涉及一种三维空间中使用手进行输入的系统。

背景技术：

1、随着vr、ar、mr等空间交互技术不断发展，如何让用户更加方便的在空间中进行人机交互，提高用户体验、提高输入效率是一个难题。

2、现有技术中常用的输入方法包括以下几种：

3、（1）通过传统键盘、鼠标以及手绘板等硬件设备进行输入。主要用于电脑的输入，也有一些vr、ar、mr设备可以连接这类设备进行输入。传统硬件的缺点：当前的硬件输入设备主要是在与屏幕2d空间交互中产生的，用户的交互范围被限制在了屏幕范围。其中电脑的使用有固定的桌面，适合安放键盘、鼠标、触控板等硬件设备，可以自然的操作。手机、平板不需要固定的桌面，视角在屏幕中，输入的虚拟按键也在屏幕中，也可以很自然的操作。

4、但在三维空间中的交互视角并不局限在屏幕的2d空间中，头部转向的自由度更大，视角更为开阔，且增加了人与身边3d环境的可交互性，可交互区域提升了一个纬度，这是使用三维空间交互的目的。如果使用硬件设备进行输入，就会影响三维空间中灵活自由的交互方式，丧失使用三维空间交互的意义。

5、（2）通过在设备触摸屏幕上显示出虚拟键盘、虚拟摇杆，然后用手指在屏幕上滑动或敲击对应位置进行交互输入。主要用于手机、平板。由于三维空间交互的设备大多是头显设备，不具备触摸屏，即便添加触摸屏依旧存在传统硬件输入设备的缺点。

6、（3）通过设备中成像的空间悬浮虚拟键盘，用手或手柄在空间中点击虚拟键盘的位置进行输入，现有的vr、ar、mr设备，大多采用这种方式。由于空间中成像虚拟键盘，无论是用手指点击还是手柄点击都和虚拟键盘没有物理接触，存在以下缺陷：

7、①用户的胳膊在操作过程中会很累，由于没有适当的物理接触作为支撑，手部的悬空操作会导致用户的胳膊很快就疲劳。②无法实现盲打。空间中的虚拟键盘给用户的仅仅是视觉指示，并没有像键盘中“f”“j”键这样有触感的位置标识，且不像键盘一样可以将胳膊支撑在桌子上作为感知参考。用户必须看着虚拟键盘才可以准确的点击对应的键位进行输入。③不适合在移动中输入，只要用户位置发生变化，即便空间中虚拟键盘跟随用户移动，也很难准确的点击到上面的键位。④无法快速大量输入，因为依靠视觉感知空间距离，每次输入都会很慢，导致目前三维空间的输入只能缓慢输入少量内容。⑤在空间中显示虚拟键盘在一定程度上会遮挡用户的视野。

8、（4）通过制定特定手势姿势与字符的对应关系，然后用手在图像采集设备前方摆出相应的手势图像，将对应的字符进行输入。常用的有通过人工智能训练模型或直接用特定算法识别手势姿势。该输入方式具有以下缺陷：需要大量的手势来参与交互，用户记忆这些姿势与字符的对应关系会很困难。有些姿势对手部的柔韧性有要求，不适合所有用户输入效率低，每种字符切换手势输入会导致手部疲劳，速度也很慢。只能模拟字符输入，无法模拟鼠标、摇杆、触控板的输入。如果是人工智能训练图像与字符的对应关系，会导致开发成本上升，训练出的模型占用空间较大。如果是利用图像来检测姿势，那么手势与采集图像的设备需要特定角度，如果角度偏差过大，识别率会很低。

9、（5）通过生物电的方式进行输入，戴手环、戒指等感知生物电的设备，摆出不同姿势或触摸设备的特殊位置反馈输入。由于生物电检测姿势的技术目前还不成熟，识别准确率非常低。

10、（6）通过投影的方式，将虚拟的键盘，触控板投射在真实空间中的某个位置，然后用手点击投射的位置，通过阻断光线等传感机制触发对应的键位输入。虽然投影可以让用户在桌子等物理位置上进行点击划动，但是由于没有特征点触感，无法做到盲打以及快速输入，也无法满足用户移动中输入。

技术实现思路

1、本发明拟解决的技术问题是针对以上不足，提供一种三维空间中使用手进行输入的系统，依赖人体自身的感知系统，可以双向感知输入操作的位置和节奏，适合盲打和快速输入，用户移动时能准确的进行输入，具有操作简单，不易疲劳，虚拟键盘不会遮挡视野等优点。

2、为解决以上问题，本发明采用的技术方案如下：

3、三维空间中使用手进行输入的系统，在手部设定多个可交互区域，并对多个可交互区域分别定义不同的输入事件；可交互区域包括被动感知区域和主动操作区域，利用主动操作区域对被动感知区域进行触发实现三维空间中信息的交互输入。

4、作为一种改进，所述主动操作区域对被动感知区域进行触发的方法为空间位置计算方式，在被动感知区域的位置设立坐标系，并设定触发的触发范围，当主动操作区域进入触发范围后，能进行三维空间中信息的交互输入。

5、作为一种改进，当被动感知区域为平面时，在被动感知区域上选取不在同一直线上的三个追踪点建立所述坐标系，坐标系为二维坐标系；在坐标系中建立与被动感知区域位置对应的空间被动感知区域；在主动操作区域上选取一个操作点；当操作点在所述坐标系的投影位于空间被动感知区域内，且操作点到所述坐标系的垂直距离小于设定值时，认定主动操作区域进入触发范围，能进行三维空间中信息的交互输入。

6、作为一种改进，当被动感知区域为三维空间时，在被动感知区域位置建立所述坐标系，坐标系为三维坐标系；在主动操作区域上选取一个操作点；当操作点到被动感知区域的距离小于设定值时，认定主动操作区域进入触发范围，能进行三维空间中信息的交互输入。

7、作为一种改进，所述主动操作区域对被动感知区域进行触发的方法为碰撞器方式，在被动感知区域的位置和主动操作区域的位置分别设立碰撞器，碰撞器的位置实时与其对应的被动感知区域或主动操作区域的位置同步；当主动操作区域对应的碰撞器与被动感知区域对应的碰撞器发生碰撞或穿插时，能进行三维空间中信息的交互输入。

8、作为一种改进，所述主动操作区域对被动感知区域进行触发的方法为碰撞器加射线方式，在被动感知区域的位置设立碰撞器，碰撞器的位置实时与其对应的被动感知区域的位置同步；在3d引擎中设置射线，在主动操作区域上选取一个操作点作为射线的端点；从主动操作区域向被动感知区域发射射线，根据射线在碰撞器上的碰撞点进行三维空间中信息的交互输入。

9、作为一种改进，以手部位置为基准参照，在三维空间中映射多个可交互区域时，采用医学解剖结构、手部纹理结构、触觉结构以及空间位置结构中的一种或多种的组合；对多个可交互区域进行编号和分类，以手部结构为依据进行一级区分标记，以手部常用部位的关联性为依据进行二级区分标记，以手部具体位置为依据进行三级区分标记；建立输入布局：对多个可交互区域分别定义不同的输入事件，进行功能区域布局，建立空间中信息的交互输入模式。

10、作为一种改进，将多个可交互区域中的被动感知区域和主动操作区域组合使用，设置多组功能区域布局，不同的功能区域布局之间能通过特定的指令或手势进行切换。

11、作为一种改进，所述输入布局包括键盘模式输入布局、或鼠标模式输入布局、或触控板模式输入布局、或摇杆模式输入布局，或悬浮操作模式输入布局中的一种或多种的组合。

12、本发明采用以上技术方案，与现有技术相比，具有以下优点：

13、使用本系统进行输入，除了空间交互设备本身，该方法不再需要额外携带输入设备；解决了现有技术中，硬件输入设备不方便携带的问题。

14、本系统的操作方式不需要复杂的姿势或动作，只需要简单的手部动作即可完成。使用本系统进行输入，用户移动时也能准确的进行输入。本系统依赖人体自身的感知系统，可以双向感知输入操作的位置和节奏，适合盲打和快速输入。

15、本系统依靠手部特征点之间的接触进行判断，不需要特定角度图形的识别。本系统不需要胳膊大幅抬起点击的操作，只需要手部的小幅度移动，操作幅度和姿势类似目前操作智能手机，不会产生疲劳。本系统不单可以模拟键盘输入，同时也可以模拟鼠标、触屏以及摇杆等输入方式。

16、本系统在输入不是必须显示键位的对应提示，通过手部的感知就可以准确找到对应的键位区域，解决了现有技术中虚拟键盘遮挡视野的问题。

17、下面结合附图和实施例对本发明进行详细说明。