手势识别方法、装置、设备、介质和程序与流程

本技术实施例涉及人工智能领域，尤其涉及一种手势识别方法、装置、设备、介质和程序。

背景技术：

1、扩展现实(extended reality，xr)，是指通过计算机将真实与虚拟相结合，打造一个可人机交互的虚拟环境，xr也是虚拟现实(virtual reality，vr)、增强现实(augmentedreality，ar)和混合现实(mixed reality，mr)等多种技术的统称。通过将三者的视觉交互技术相融合，为体验者带来虚拟世界与现实世界之间无缝转换的“沉浸感”。

2、在xr场景中，用户可以通过凝视控制、手持硬件设备(例如控制器)控制、手势控制、可穿戴设备(例如，腕带)控制、语音控制等中的一种或多种与电子设备进行交互，从而实现对电子设备对应的虚拟环境中的虚拟对象进行控制。目前随着动作捕捉技术的发展，使用手势进行控制将成为更主流的控制方式，但是，现有的手势识别技术识别准确率低，不能满足用户需求。

技术实现思路

1、本技术实施例提供一种手势识别方法、装置、设备、介质和程序，能够提高手势的识别准确率。

2、第一方面，本技术实施例提供一种手势识别方法，所述方法包括：

3、获取待识别手势的关键点信息；

4、根据所述待识别手势的关键点信息，确定所述待识别手势的识别信息，所述识别信息包括以下一种或者多种：手的姿态、手的朝向和手的骨骼的接触关系；

5、根据所述识别信息，确定所述待识别手势的手势类型。

6、在一些实施例中，手的姿态参数包括以下参数中至少一个：各手指的第一弯曲参数，各手指的第二弯曲参数和外展参数；

7、其中，所述第一弯曲参数为指掌关节的弯曲参数、所述第二弯曲参数为各手指的远端关节的弯曲参数，所述外展参数用于描述两根手指之间的开合状态。

8、在一些实施例中，当所述待识别手势的识别信息包括所述手的姿态时，所述根据所述待识别手势的关键点信息，确定所述待识别手势的识别信息，包括：

9、根据所述待识别手势的关键点信息，确定手的姿态参数的取值；

10、所述根据所述待识别手势的识别信息，确定所述待识别手势的手势类型，包括：

11、将所述手的姿态参数的取值，与预设手势的姿态参数的阈值进行比较；

12、根据比较结果确定所述待识别手势的手势类型。

13、在一些实施例中，所述第一弯曲参数和所述第二弯曲参数包括是否弯曲的标识信息，所述开合参数包括是否开合的标识信息。

14、在一些实施例中，所述第一弯曲参数和所述第二弯曲参数包括弯曲角度，所述开合参数包括开合间距。

15、在一些实施例中，当所述待识别手势的识别信息包括所述手的骨骼的接触关系时，所述根据所述待识别手势的关键点信息，确定所述待识别手势的识别信息，包括：

16、根据所述待识别手势的关键点信息，确定所述待识别手势的骨骼的坐标；

17、根据所述待识别手势的骨骼的坐标，确定手的骨骼之间的接触关系。

18、在一些实施例中，手的骨骼包括23个骨骼，其中，小拇指和大拇指分别包括5个骨骼，食指、中指和无名指分别包括4个骨骼，手腕处包括1个骨骼。

19、在一些实施例中，当所述待识别手势的识别信息包括手的朝向时，所述根据所述待识别手势的关键点信息，确定所述待识别手势的识别信息，包括：

20、根据所述待识别手势的关键点信息，确定所述待识别手势的起始位置和检测方向；

21、根据所述待识别手势的起始位置和所述检测方向建立一个三维坐标系；

22、将预设手势的参考方向映射到所述坐标系中，得到所述参考方向在所述坐标系中的映射方向；

23、对所述映射方向和所述检测方向进行比较，得到所述手的朝向。

24、在一些实施例中，所述将预设手势的参考方向映射到所述坐标系中，得到所述参考方向在所述坐标系中的映射方向，包括：

25、将所述参考方向投影到所述坐标系的预设平面内，得到投影方向，所述投影方向为所述参考方向在所述坐标系中的映射方向。

26、在一些实施例中，对所述映射方向和所述检测方向进行比较，得到所述手的朝向，包括：

27、确定所述映射方向和所述检测方向的夹角；

28、当所述夹角小于或等于预设角度，则确定所述手的朝向为所述参考方向。

29、在一些实施例中，所述待识别手势的起始位置为以下位置的任意一个：手掌位置、手腕位置、手掌位置加上第一偏移量对应的位置、手腕位置加上第二偏移量对应的位置。

30、在一些实施例中，所述检测方向为以下方向中的任意一个：除大拇指外的四指所指的方向、掌心所朝方向、大拇指所指的方向。

31、在一些实施例中，所述参考方向为以下方向中的任意一个：面向脸部的方向、背离脸部的方向、朝向天空的方向、朝向地面的方向。

32、在一些实施例中，所述根据所述待识别手势的识别信息，确定所述待识别手势的手势类型，包括：

33、获取前一时刻的手势类型的识别结果；

34、当前一时刻的手势类型的识别结果为前一时刻的手势类型与预设手势类型不同，则将所述预设手势类型的识别信息的阈值增加一阈值宽度，得到所述预设手势类型的识别信息的目标阈值范围，其中，前一时刻和当前时刻的预设手势类型相同；

35、根据所述待识别手势的识别信息的取值和所述预设手势类型的识别信息的目标阈值范围，确定所述待识别手势的手势类型；

36、当前一时刻的手势类型的识别结果为前一时刻的手势类型与预设手势类型相同，则根据所述待识别手势的识别信息的取值和所述预设手势类型的识别信息的阈值，确定所述待识别手势的手势类型。

37、在一些实施例中，根据所述待识别手势的识别信息，确定所述待识别手势的手势类型之后，还包括：

38、获取所述待识别手势的手势类型的持续时间；

39、当所述待识别手势的手势类型的持续时间小于预设持续时间，确定所述待识别手势的手势类型不生效；

40、当所述待识别手势的手势类型的持续时间大于或等于所述预设持续时间，确定所述待识别手势的手势类型生效。

41、在一些实施例中，所述方法还包括：

42、在初次识别到所述待识别手势的手势类型时，对所述待识别手势的手势类型的持续时间开始计时；

43、当检测到所述待识别手势的手势类型变换了，则停止对所述待识别手势的手势类型的持续时间计时。

44、在一些实施例中，所述获取待识别手势的关键点信息，包括：

45、获取图像数据；

46、利用手部检测算法检测所述图像数据中是否存在手；

47、当所述图像数据中存在手时，利用关键点检测算法检测手的关键点信息。

48、在一些实施例中，所述获取待识别手势的关键点信息，包括：

49、获取手部的穿戴设备采集到的传感器数据，所述传感器数据包括手的关节点的运动数据；

50、根据所述传感器数据，确定所述待识别手势的关键点信息。

51、另一方面，本技术实施例提供一种手势识别装置，所述装置包括：

52、获取模块，用于获取待识别手势的关键点信息；

53、确定模块，用于根据所述待识别手势的关键点信息，确定所述待识别手势的识别信息，所述识别信息包括以下一种或者多种：手的姿态、手的朝向和手的骨骼的接触关系；

54、识别模块，用于根据所述识别信息，确定所述待识别手势的手势类型。

55、另一方面，本技术实施例提供一种电子设备，所述电子设备包括：处理器和存储器，所述存储器用于存储计算机程序，所述处理器用于调用并运行所述存储器中存储的计算机程序，以执行如上述任一项所述的方法。

56、另一方面，本技术实施例提供一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序使得计算机执行如上述任一项所述的方法。

57、另一方面，本技术实施例提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述的方法。

58、本技术实施例提供的手势识别方法、装置、设备、介质和程序，该方法包括：获取待识别手势的关键点信息，根据待识别手势的关键点信息，确定待识别手势的识别信息，该识别信息包括以下一种或者多种：手的姿态、手的朝向和手的骨骼的接触关系，根据该识别信息，确定待识别手势的手势类型，该识别方法能够快速准确的识别手势。