一种虚拟键盘输入信息的方法、介质以及电子设备与流程

本技术涉及信息输入领域，具体而言本技术实施例涉及一种虚拟键盘输入信息的方法、介质以及电子设备。

背景技术：

1、现有的头戴式显示设备中涉及到的技术主要包括虚拟现实(virtual reality，简称vr)、增强现实(augmented reality，简称ar)、混合现实(mixed reality，简称mr)，以及它们的某种组合和/或衍生组合等，其实现原理是在将显示内容呈现给用户之前以某种方式进行调整，以给用户提供更好的沉浸式体验。

2、然而相关技术的基于虚拟键盘的信息输入方法存在诸多缺陷，例如，通过手柄射线(即从用户手持的手柄等输入设备中发射出的一条射线)点击虚拟键盘以选中某个按键的方式处理速度慢，通过语音输入转换为文字的方式准确性不足。也就是说，相关技术中通过一个外部控制设备(例如，手柄等)或者通过语音来操作虚拟键盘上的输入按键完成输入，而通过外部控制设备控制虚拟键盘的输入存在处理速度慢的问题，通过语音进行文字输入准确度低且易受周围环境噪声的干扰。

技术实现思路

1、本技术实施例的目的在于提供一种虚拟键盘输入信息的方法、介质以及电子设备，本技术实施例基于双手组合完成虚拟键盘的字符输入方法，既能保证输入的准确性，字符输入速度也显著快于借助于手柄等输入设备的射线输入方式。

2、第一方面，本技术实施例提供一种虚拟键盘输入信息的方法，所述方法包括：确认第一只手的手指选中虚拟键盘上的第一虚拟按键；根据第二只手的手势确认是否将所述第一虚拟按键作为输入按键。

3、本技术的一些实施例通过双手组合(一只手用于选中虚拟键盘上的按键，另一只手用于确认)来完成输入按键的选择，提升输入按键选择的准确性。

4、在一些实施例中，所述根据第二只手的手势确认是否将所述第一虚拟按键作为输入按键，包括：在所述第一虚拟按键被选中的状态下，监测到所述第二只手完成目标动作，则将所述第一虚拟按键作为所述输入按键；在所述第一虚拟按键被选中的状态下，未监测到所述第二只手结束目标动作的状态，则不将所述第一虚拟按键作为所述输入按键。

5、本技术的一些实施例通过第一只手和第二只手的相关状态共同确定是否将某个虚拟按键作为输入按键，提升输入按键选择的准确性。

6、在一些实施例中，所述监测到第二只手完成目标动作，包括：若根据连续采集的多帧图像监测到所述第二只手呈现多个有序状态，则确认所述第二只手完成所述目标动作，其中，所述多个有序状态包括：准备作出所述目标动作的第一状态、保持所述目标动作的第二状态以及结束所述目标动作的第三状态，或，所述多个有序状态包括：保持所述目标动作的第二状态以及结束所述目标动作的第三状态。

7、本技术的一些实施例通过识别到第二只手的多个连续状态后才确认第二只手完成了目标动作，可以提升确认结果的准确性。

8、在一些实施例中，在所述将所述第一虚拟按键作为所述输入按键之后，所述方法还包括：根据所述目标动作的属性信息生成与所述输入按健对应的目标输入信息，其中，所述输入按键对应多种输入信息，所述目标输入信息属于所述多种输入信息中的一种。

9、本技术的一些实施例通过目标动作的属性信息切换与虚拟按键对应的输入信息，可以提升技术方案的通用性。

10、在本技术的一些实施例中，所述属性信息包括：所述目标动作的持续时长、所述目标动作的频率或者参与所述目标动作的手指类型。

11、在一些实施例中，所述目标动作为至少两根手指的捏合。

12、本技术的一些实施例通过将捏合作为第二只手执行的目标动作，由于捏合的手势较容易识别所以可以提升识别目标动作的准确度，进而提升对输入按键选择的准确性。

13、在一些实施例中，所述准备作出所述目标动作的第一状态为准备捏合、所述保持所述目标动作的第二状态为捏合状态以及所述结束所述目标动作的第三状态为松开捏合状态。

14、本技术的一些实施例通过识别第二只手是否连续出现准备捏合(需要接触的两根或多根手指处于靠拢的状态)、捏合状态(即需要接触的两根手指或者三根手指处于接触状态)以及松开捏合三个状态或三个状态中的部分状态来确认第二只手完成了目标动作，可以提升对完成目标动作事件识别的准确性，进而提升对输入按键选择的准确性。

15、在一些实施例中，所述第一虚拟按键为字母健；所述方法还包括：获取所述捏合的状态的持续时长；其中，所述根据所述目标动作的属性信息切换与所述输入按健对应的目标输入信息，还包括：根据所述持续时长选择与所述字母健对应的大写字母或小写字母作为所述目标输入信息。

16、本技术的一些实施例通过判断捏合的持续时长的差异切换选中的目标虚拟按键对应的大写字母或者小写字母作为输入，提升技术方案的通用性。

17、在一些实施例中，所述根据所述持续时长选择与所述字母健对应的大写字母或小写字母作为所述目标输入信息，包括：根据所述持续时长与时长阈值的大小关系确定所述目标输入信息属于大写字母或小写字母。

18、本技术的一些实施例通过将捏合的持续时长与预先设定的时长阈值的大小关系来切换与目标虚拟按键对应的大写字母或者小写字母作为最终的输入信息，提升大小写切换的便捷性并提升切换大小写事件的处理速度。

19、在一些实施例中，所述确认第一只手的手指选中虚拟键盘上的第一虚拟按键，包括：若确认所述第一只手的手指与所述虚拟键盘上的所述第一虚拟按键接触，则确认所述第一只手的手指选中所述第一虚拟按键；或，若确认与所述第一只手的手指对应的虚拟手指与所述虚拟键盘的所述第一虚拟按键接触，则确认所述第一只手的手指选中所述第一虚拟按键。

20、本技术的一些实施例通过是否与相应虚拟按键接触来判定该虚拟按键是否被第一只手选中作为候选输入按键，提升数据处理的速度和准确性。

21、在一些实施例中，所述方法还包括：获取所述第一只手的手指在真实空间中的手指骨骼点坐标，得到第一骨骼点坐标；将所述第一骨骼点坐标转换为虚拟空间中的第二骨骼点坐标；其中，所述第一只手的手指与所述虚拟键盘上的所述第一虚拟按键接触，包括：通过所述第二骨骼点坐标和所述第一虚拟按键在虚拟空间中的坐标确认所述第一只手的手指与所述第一虚拟按键接触。

22、本技术的一些实施例通过判定第一只手的手指坐标来确定其是否与虚拟按键接触，提升数据处理的速度。

23、在一些实施例中，所述方法还包括：生成与所述第一只手对应的虚拟手，得到第一虚拟手；获取所述第一虚拟手的虚拟手指在虚拟空间中的手指骨骼点坐标，得到第二骨骼点坐标；其中，所述第一只手的手指对应的虚拟手指与所述虚拟键盘的所述第一虚拟按键接触，包括：通过所述第二骨骼点坐标和所述第一虚拟按键在所述虚拟空间中的坐标确认所述虚拟手指与所述第一虚拟按键接触。

24、本技术的一些实施例通过构建的第一只手的虚拟手来确定是否接触了虚拟键盘上的某个虚拟按键以将该按键作为候选虚拟按键，可以在空间中灵活放置虚拟键盘的位置，提升技术方案的通用性。

25、在一些实施例中，所述方法还包括：生成所述虚拟键盘并通过可穿戴显示器向目标对象提供所述虚拟键盘，其中，所述虚拟键盘包括多个虚拟按键。

26、第二方面，本技术的一些实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时可实现如第一方面任意实施例所述的方法。

27、第三方面，本技术的一些实施例提供一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述程序时可实现如第一方面任意实施例所述的方法。

28、第四方面，本技术的一些实施例提供一种计算机程序产品，所述的计算机程序产品包括计算机程序，其中，所述的计算机程序被处理器执行时可实现如第一方面任意实施例所述的方法。

29、第五方面，本技术的一些实施例提供一种虚拟键盘输入信息的装置，所述装置包括：候选输入按键选择模块，被配置为确认第一只手的手指选中虚拟键盘上的第一虚拟按键；确认模块，被配置为根据第二只手的手势确认是否将所述第一虚拟按键作为输入按键。