一种手势交互方法、装置、电子设备及存储介质与流程

本公开涉及扩展现实，尤其涉及一种手势交互方法、装置、电子设备及存储介质。

背景技术：

1、目前，在应用扩展现实(extended reality，xr)设备过程中，在用户在佩戴这类设备进行沉浸体验时，完成一些设备功能的触发或者选择通常比较繁琐，人机交互性能差。

技术实现思路

1、为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种手势交互方法、装置、电子设备及存储介质，可以通过引导用户变换手势进而触发显示交互界面，以便于手势操作选择其中的功能控件，简单便捷，提升了人机交互性能和用户体验感。

2、为了实现上述目的，本公开实施例提供的技术方案如下：

3、第一方面，本公开提供一种手势交互方法，该方法包括：

4、获取第一现实场景图像，响应于在第一现实场景图像中检测到与第一预设手势匹配的第一手势，显示引导信息，引导信息用于引导用户做出与第二预设手势匹配的第二手势；

5、获取至少一帧现实场景图像，响应于在至少一帧现实场景图像中检测到第二手势，显示交互界面，交互界面中包括至少一个功能控件。

6、作为本公开实施例一种可选的实施方式，显示交互界面之后，该方法还包括：确定交互界面中的界面基准点指向第二手势的手部目标点的第一空间向量；确定第一空间向量在交互界面上的第一投影向量；在第一投影向量指向目标功能控件的情况下，执行目标功能控件对应的操作。

7、作为本公开实施例一种可选的实施方式，在第一投影向量指向目标功能控件的情况下，执行目标功能控件对应的操作，包括：在第一投影向量和/或第一空间向量满足预设条件，且第一投影向量指向目标功能控件的情况下，执行目标功能控件对应的操作；

8、第一投影向量和/或第一空间向量满足预设条件，包括：第一投影向量的长度小于第一长度阈值；和/或，第一空间向量的长度小于第二长度阈值。

9、作为本公开实施例一种可选的实施方式，确定交互界面中的界面基准点指向第二手势的手部目标点的第一空间向量之后，方法还包括：显示第一空间向量对应的指示射线。

10、作为本公开实施例一种可选的实施方式，引导信息包括以下至少一种：标识、文本、动画、语音。

11、作为本公开实施例一种可选的实施方式，第二手势为从第一手势变化为目标手势的动态手势，或者，第二手势为目标手势。

12、作为本公开实施例一种可选的实施方式，显示引导信息，包括：在第一手势对应的第一位置显示引导信息；其中，第一位置为第一手势上的目标特征区域的位置，目标手势为目标手指接触目标特征区域的手势。

13、作为本公开实施例一种可选的实施方式，显示引导信息，包括：在第一手势对应的第一位置显示引导信息；其中，第一位置处于第一手势中第一手指和第二手指之间，目标手势为第一手指和第二手指的捏合手势。

14、作为本公开实施例一种可选的实施方式，引导信息为动画，该方法还包括：在从第一手势变化为目标手势的过程中，在第一位置显示的引导信息随着目标手指与目标特征区域之间的距离变化。

15、作为本公开实施例一种可选的实施方式，引导信息为动画，该方法还包括：在从第一手势变化为目标手势的过程中，在第一位置显示的引导信息随着第一手指和第二手指之间的距离变化。

16、作为本公开实施例一种可选的实施方式，在显示交互界面之后，方法还包括：获取第二现实场景图像，响应于在第二现实场景图像中未检测到第二手势，取消显示交互界面。

17、作为本公开实施例一种可选的实施方式，在显示交互界面之后，方法还包括：确定交互界面中的界面基准点指向第二手势的手部目标点的第二空间向量；确定第二空间向量在交互界面上的第二投影向量；在第二投影向量的长度大于或等于第一长度阈值的情况下，取消显示交互界面；或者，在第二空间向量的长度大于或等于第二长度阈值的情况下，取消显示交互界面。

18、第二方面，本公开提供一种手势交互装置，该装置包括：

19、获取模块，用于获取第一现实场景图像，响应于在第一现实场景图像中检测到与第一预设手势匹配的第一手势，显示引导信息，引导信息用于引导用户做出与第二预设手势匹配的第二手势；

20、显示模块，用于获取至少一帧现实场景图像，响应于在至少一帧现实场景图像中检测到第二手势，显示交互界面，交互界面中包括至少一个功能控件。

21、作为本公开实施例一种可选的实施方式，显示模块，还用于确定交互界面中的界面基准点指向第二手势的手部目标点的第一空间向量；确定第一空间向量在交互界面上的第一投影向量；在第一投影向量指向目标功能控件的情况下，执行目标功能控件对应的操作。

22、作为本公开实施例一种可选的实施方式，显示模块，具体用于在第一投影向量和/或第一空间向量满足预设条件，且第一投影向量指向目标功能控件的情况下，执行目标功能控件对应的操作；

23、第一投影向量和/或第一空间向量满足预设条件，包括：第一投影向量的长度小于第一长度阈值；和/或，第一空间向量的长度小于第二长度阈值。

24、作为本公开实施例一种可选的实施方式，显示模块，还用于显示第一空间向量对应的指示射线。

25、作为本公开实施例一种可选的实施方式，引导信息包括以下至少一种：标识、文本、动画、语音。

26、作为本公开实施例一种可选的实施方式，第二手势为从第一手势变化为目标手势的动态手势，或者，第二手势为目标手势。

27、作为本公开实施例一种可选的实施方式，获取模块，具体用于在第一手势对应的第一位置显示引导信息；其中，第一位置为第一手势上的目标特征区域的位置，目标手势为目标手指接触目标特征区域的手势。

28、作为本公开实施例一种可选的实施方式，获取模块，具体用于在第一手势对应的第一位置显示引导信息；其中，第一位置处于第一手势中第一手指和第二手指之间，目标手势为第一手指和第二手指的捏合手势。

29、作为本公开实施例一种可选的实施方式，引导信息为动画，获取模块，还用于在从第一手势变化为目标手势的过程中，在第一位置显示的引导信息随着目标手指与目标特征区域之间的距离变化。

30、作为本公开实施例一种可选的实施方式，引导信息为动画，获取模块，还用于在从第一手势变化为目标手势的过程中，在第一位置显示的引导信息随着第一手指和第二手指之间的距离变化。

31、作为本公开实施例一种可选的实施方式，显示模块，还用于获取第二现实场景图像，响应于在第二现实场景图像中未检测到第二手势，取消显示交互界面。

32、作为本公开实施例一种可选的实施方式，显示模块，还用于确定交互界面中的界面基准点指向第二手势的手部目标点的第二空间向量；确定第二空间向量在交互界面上的第二投影向量；在第二投影向量的长度大于或等于第一长度阈值的情况下，取消显示交互界面；或者，确定交互界面中的界面基准点指向第二手势的手部目标点的第二空间向量；在第二空间向量的长度大于或等于第二长度阈值的情况下，取消显示交互界面。

33、第三方面，本公开提供一种电子设备，该电子设备包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如第一方面或其任意一种可选的实施方式所述的手势交互方法。

34、第四方面，本公开提供一种计算机可读存储介质，包括：所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如第一方面或其任意一种可选的实施方式所述的手势交互方法。

35、第五方面，本公开提供一种计算机程序产品，包括：所述计算机程序产品中包括计算机程序，当计算机程序被处理器执行时实现如第一方面或其任意一种可选的实施方式所述的手势交互方法。

36、本公开实施例提供的技术方案与现有技术相比具有如下优点：

37、本公开实施例提供了一种手势交互方法、装置、电子设备及存储介质，该方法首先获取第一现实场景图像，响应于在第一现实场景图像中检测到的与第一预设手势匹配的第一手势，显示引导信息，以引导用户做出与第二预设手势匹配的第二手势，然后获取至少一帧现实场景图像，响应于在至少一帧现实场景图像中检测到的第二手势，显示交互界面，进而便于用户通过手势来选择交互界面中包括的功能控件，通过引导用户从第一手势变化至第二手势，进而触发显示交互界面，使得手势操作简单便捷，提升了人机交互性能以及用户体验感。

38、进一步，显示引导信息能够直观地引导不熟悉使用xr设备的用户做出第二手势，从而快捷地唤出交互界面，以便于用户通过交互界面实现xr设备的多元化功能，降低了xr设备的操作难度。