交互方法、装置、电子设备、存储介质及计算机程序产品与流程

本公开涉及扩展现实，尤其涉及一种交互方法、装置、电子设备、存储介质及计算机程序产品。

背景技术：

1、扩展现实(extended reality，简称xr)，是指通过计算机将真实与虚拟相结合，打造一个可人机交互的虚拟环境，这也是ar、vr、mr等多种技术的统称。通过将三者的视觉交互技术相融合，为体验者带来虚拟世界与现实世界之间无缝转换的“沉浸感”。

2、目前，用户在使用主流扩展现实设备时，主要借助手势或手柄实现与扩展现实设备的交互。此类交互方式局限性大、操作模式单一，无法满足用户多样化的交互需求。

技术实现思路

1、为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种交互方法、装置、电子设备、存储介质及计算机程序产品。

2、第一方面，本公开提供了一种交互方法，包括：

3、获取扩展现实设备采集的音频信息；

4、基于所述音频信息，确定用户嘴部动作特征信息；

5、至少基于所述用户嘴部动作特征信息，得到扩展现实场景感知信息；

6、输出所述扩展现实场景感知信息。

7、第二方面，本公开还提供了一种交互装置，包括：

8、采集模块，用于获取扩展现实设备采集的音频信息；

9、确定模块，用于基于所述音频信息，确定用户嘴部动作特征信息；

10、处理模块，用于至少基于所述用户嘴部动作特征信息，得到扩展现实场景感知信息；

11、输出模块，用于输出所述扩展现实场景感知信息。

12、第三方面，本公开还提供了一种电子设备，所述电子设备包括：

13、一个或多个处理器；

14、存储装置，用于存储一个或多个程序；

15、当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上所述的交互方法。

16、第四方面，本公开还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述的交互方法。

17、第五方面，本公开还提供了一种计算机程序产品，包括计算机程序或指令，所述计算机程序或指令被处理器执行时实现如上所述的交互方法。

18、本公开实施例提供的技术方案与现有技术相比具有如下优点：

19、本公开实施例提供的技术方案通过设置获取扩展现实设备采集的音频信息；基于音频信息，确定用户嘴部动作特征信息；至少基于用户嘴部动作特征信息，得到扩展现实场景感知信息；输出扩展现实场景感知信息。本公开实施例提供的技术方案实质是提供一种新的交互方式，以丰富用户与扩展现实设备的交互方式，满足用户多样化的交互需求，为用户提供身临其境的真实感。

技术特征：

1.一种交互方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述基于所述音频信息，确定用户嘴部动作信息，包括：

3.根据权利要求1所述的方法，其特征在于，还包括：

4.根据权利要求3所述的方法，其特征在于，

5.根据权利要求3所述的方法，其特征在于，所述获取用户嘴部动作修正信息，包括：

6.根据权利要求3所述的方法，其特征在于，所述获取用户嘴部动作修正信息，包括：

7.根据权利要求3所述的方法，其特征在于，所述获取用户嘴部动作修正信息，包括：

8.根据权利要求1中所述的方法，其特征在于，还包括：

9.根据权利要求1中所述的方法，其特征在于，所述扩展现实场景感知信息包括下述中的至少一种：

10.一种交互装置，其特征在于，包括：

11.一种电子设备，其特征在于，所述电子设备包括：

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-9中任一项所述的方法。

13.一种计算机程序产品，包括计算机程序或指令，其特征在于，所述计算机程序或指令被处理器执行时实现如权利要求1-9中任一项所述的方法。

技术总结
本公开涉及一种交互方法、装置、电子设备、存储介质及计算机程序产品，方法包括：获取扩展现实设备采集的音频信息；基于所述音频信息，确定用户嘴部动作特征信息；至少基于所述用户嘴部动作特征信息，得到扩展现实场景感知信息；输出所述扩展现实场景感知信息。其提供了一种新的交互方式，以丰富用户与扩展现实设备的交互方式，满足用户多样化的交互需求，为用户提供身临其境的真实感。

技术研发人员：程林,郭嘉
受保护的技术使用者：北京字跳网络技术有限公司
技术研发日：
技术公布日：2024/3/31