增强现实设备操控方法、装置、电子设备及可读存储介质与流程

本技术涉及计算机，具体而言，本技术涉及一种增强现实设备操控方法、装置、电子设备及可读存储介质。

背景技术：

1、增强现实技术是一种将虚拟信息与真实世界融合的技术，广泛运用了多媒体、三维建模、实时跟踪及注册、智能交互、传感等多种技术手段，将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后，应用到真实世界中，两种信息互为补充，从而实现对真实世界的“增强”。

2、随着增强现实技术的普及，增强现实设备也越来越普遍，用户在使用增强现实设备时需要进行增强现实设备的操控。目前主要有两种操控方式，其一为使用单独的握持设备(例如手柄或手机)，具体来说，使用手柄或手机触控屏进行操控。但是，该方式即使不在操作状态时也需要使用手部长时间握持，不适合长时间操作，而且会妨碍手部的日常活动。其二是使用隔空手势，具体来说，使用计算机视觉技术通过增强现实设备的摄像头捕捉识别用户在面前挥舞的手势，进而实现操控。该方式对周围环境要求苛刻，比如无法在暗光环境下进行操作。另外，该方式必须将手抬到头戴显示设备的摄像头能够覆盖到的区域，长时间操作会导致疲劳。

3、因此，针对上述问题，有必要提供一种新的增强现实设备操控方法。

技术实现思路

1、本技术的目的旨在至少能解决上述的技术缺陷之一，本技术实施例所提供的技术方案如下：

2、第一方面，本技术实施例提供了一种增强现实设备操控方法，包括：

3、建立与用户的增强现实设备之间的通信连接；

4、在用户发出手部动作时，获取手部动作对应的动作类型；

5、基于动作类型获取对应的操控信息，并将操控信息通过通信连接发送至增强现实设备，以使增强现实设备基于操控信息进行相应操控。

6、在本技术的一种可选实施例中，在用户发出手部动作时，获取手部动作对应的动作类型，包括：

7、在用户发出手部动作时，通过预设传感器采集手腕关节运动和/或手腕肌肉运动所产生的电学信号；

8、基于电学信号获取手部动作对应的动作类型。

9、在本技术的一种可选实施例中，基于电学信号获取手部动作对应的动作类型，包括：

10、将电学信号输入训练好的预设动作识别模型，输出手部动作的动作类型分别为各预设动作类型的概率，其中，训练好的预设动作识别模型是基于预设训练样本集训练得到的，训练样本集中的每一训练样本为标注有对应的预设动作类型的样本电学信号；

11、基于手部动作的动作类型分别为各预设动作类型的概率，确定手部动作对应的动作类型。

12、在本技术的一种可选实施例中，基于手部动作的动作类型分别为各预设动作类型的概率，确定手部动作对应的动作类型，包括：

13、将手部动作的动作类型分别为各预设动作类型的概率中最大概率对应的预设动作类型，确定为手部动作对应的动作类型。

14、在本技术的一种可选实施例中，基于动作类型获取对应的操控信息，包括：

15、将动作类型作为操控信息；

16、将操控信息通过通信连接发送至增强现实设备，以使增强现实设备基于操控信息进行相应操控，包括：

17、将手部动作的动作类型通过通信连接发送至增强现实设备，以使增强现实设备基于预设操控指令映射表获取动作类型对应的操控指令，若操控指令属于预设操控指令授权列表，则执行操控指令；

18、其中，预设操控指令映射表中存储有各动作类型与各操控指令之间的对应关系，预设操控指令授权列表中存储有授权用户使用的各操控指令。

19、在本技术的一种可选实施例中，该方法还包括：

20、接收增强现实设备发送的预设操控指令映射表和预设操控指令授权列表，预设操控指令映射表中存储有各动作类型与各操控指令之间的对应关系，预设操控指令授权列表中存储有授权用户使用的各操控指令。

21、在本技术的一种可选实施例中，基于动作类型获取对应的操控信息，包括：

22、基于预设操控指令映射表获取动作类型对应的操控指令；

23、将操控信息通过通信连接发送至增强现实设备，以使增强现实设备基于操控信息进行相应操控，包括：

24、若操控指令属于预设操控指令授权列表，则将操控指令通过通信连接发送至增强现实设备，以使增强现实设备执行操控指令。

25、第二方面，本技术实施例提供了一种增强现实设备操控装置，其特征在于，包括：

26、通信连接建立模块，用于建立与用户的增强现实设备之间的通信连接；

27、动作类型获取模块，用于在用户发出手部动作时，获取手部动作对应的动作类型；

28、操控模块，用于基于动作类型获取对应的操控信息，并将操控信息通过通信连接发送至增强现实设备，以使增强现实设备基于操控信息进行相应操控。

29、在本技术的一种可选实施例中，动作类型获取模块具体用于：

30、在用户发出手部动作时，通过预设传感器采集手腕关节运动和/或手腕肌肉运动所产生的电学信号；

31、基于电学信号获取手部动作对应的动作类型。

32、在本技术的一种可选实施例中，动作类型获取模块进一步用于：

33、将电学信号输入训练好的预设动作识别模型，输出手部动作的动作类型分别为各预设动作类型的概率，其中，训练好的预设动作识别模型是基于预设训练样本集训练得到的，训练样本集中的每一训练样本为标注有对应的预设动作类型的样本电学信号；

34、基于手部动作的动作类型分别为各预设动作类型的概率，确定手部动作对应的动作类型。

35、在本技术的一种可选实施例中，动作类型获取模块进一步用于：

36、将手部动作的动作类型分别为各预设动作类型的概率中最大概率对应的预设动作类型，确定为手部动作对应的动作类型。

37、在本技术的一种可选实施例中，操控模块具体用于：

38、将动作类型作为操控信息；

39、将手部动作的动作类型通过通信连接发送至增强现实设备，以使增强现实设备基于预设操控指令映射表获取动作类型对应的操控指令，若操控指令属于预设操控指令授权列表，则执行操控指令；

40、其中，预设操控指令映射表中存储有各动作类型与各操控指令之间的对应关系，预设操控指令授权列表中存储有授权用户使用的各操控指令。

41、在本技术的一种可选实施例中，该装置还可以包括映射表接收模块，用于：

42、接收增强现实设备发送的预设操控指令映射表和预设操控指令授权列表，预设操控指令映射表中存储有各动作类型与各操控指令之间的对应关系，预设操控指令授权列表中存储有授权用户使用的各操控指令。

43、在本技术的一种可选实施例中，操控模块具体用于：

44、基于预设操控指令映射表获取动作类型对应的操控指令；

45、若操控指令属于预设操控指令授权列表，则将操控指令通过通信连接发送至增强现实设备，以使增强现实设备执行操控指令。

46、第三方面，本技术实施例提供了一种电子设备，包括存储器和处理器；

47、存储器中存储有计算机程序；

48、处理器，用于执行计算机程序以实现第一方面实施例或第一方面任一可选实施例中所提供的方法。

49、第四方面，本技术实施例提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现第一方面实施例或第一方面任一可选实施例中所提供的方法。

50、第五方面，本技术实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行时实现第一方面实施例或第一方面任一可选实施例中所提供的方法。

51、本技术实施例提供的技术方案带来的有益效果是：

52、首先获取用户的手部动作对应的动作类型，然后基于动作类型来获取对应的操作信息，进而将该操作信息发送至用户的增强现实设备，以使增强现实设备按照操作信息执行相应的操作。该方案实现了通过手部动作操控增强现实设备，实现操控所需的手部运动少，手部运动幅度小，且手部也无需守护在特定范围运动，极大的提高了用户对增强现实设备的操控体验。