交互方法、头显设备、电子设备及可读存储介质与流程

本申请涉及虚拟现实，具体而言，本申请涉及一种交互方法、头显设备、电子设备及可读存储介质。

背景技术：

1、目标对象在穿戴增强现实(augmented reality，ar)或混合现实(mixed reality，mr)头显设备后，可同时观看现实的物理空间和头显设备所展示的虚拟空间，可使用自身的目标部位(例如手部)和虚拟空间中的虚拟物体(例如虚拟键盘)进行交互。

2、目标对象在通过手部与虚拟物体直接交互时，由于缺少触觉信息，很难依靠触觉对虚拟物体进行盲控(也称免视交互eyes-free)，为此，目标对象需要通过该头显设备观看物理空间中的手部和虚拟空间的虚拟物体的交互。

3、然而，由于目标对象穿戴该头显设备后可视角度有限，很难看到手部和虚拟物体之间的交互操作，若目标对象想要看到手部和虚拟物体之间的交互操作，则需要目标对象低头，但由于生理原因，一旦头部向下转动超过30°，就会明显感到疲劳和不适；或者需要目标对把手部抬高，在手部没有支撑的使用场景下(比如站立状态)，也会很快导致上臂疲劳。

技术实现思路

1、本申请实施例提供了一种交互方法、头显设备、电子设备、计算机可读存储介质及计算机程序产品，用于解决背景技术中的技术问题。

2、根据本申请实施例的第一方面，提供了一种交互方法，应用于头显设备，方法包括：

3、采集物理空间中目标对象的目标部位实时的位姿信息；

4、将位姿信息映射至预设的虚拟空间中的虚拟部位，虚拟空间包括目标虚拟物体；虚拟空间为头显设备所展示的虚拟空间；

5、在目标对象的视线范围内，实时展示虚拟现实画面；虚拟现实画面展示基于虚拟部位在虚拟空间中实时的位姿信息，对目标虚拟物体进行交互的结果。

6、根据本申请实施例的第二方面，提供了一种头显设备，该头显设备包括：

7、采集模块，用于采集物理空间中目标对象的目标部位实时的位姿信息；

8、映射模块，用于将位姿信息映射至预设的虚拟空间中的虚拟部位，虚拟空间包括目标虚拟物体；虚拟空间为头显设备所展示的虚拟空间；

9、展示模块，用于目标对象的视线范围内，实时展示虚拟现实画面；虚拟现实画面展示基于虚拟部位在虚拟空间中实时的位姿信息，对目标虚拟物体进行交互的结果。

10、在一种可能的实现方式中，该头显设备还包括：

11、目标区域确定模块，用于确定虚拟空间中的目标区域，目标区域包括虚拟部位和目标虚拟物体；

12、虚拟现实画面采集模块，用于通过预设的虚拟摄像机实时采集目标区域的画面，获得虚拟现实画面。

13、在一种可能的实现方式中，位姿信息包括姿态信息和第一坐标系下的第一目标坐标；第一坐标系为在物理空间建立的坐标系；

14、映射模块具体用于获取预先建立的第一坐标系和第二坐标系之间的转换规则；第二坐标系为在虚拟空间建立的坐标系；根据转换规则将第一坐标系下的第一目标坐标转换为第二坐标系下的第二目标坐标；在虚拟空间的第二目标坐标处展示虚拟部位，并将姿态信息映射至虚拟部位。

15、在一种可能的实现方式中，该头显设备还包括：

16、目标虚拟物体确定模块，用于通过以下任意一种方式确定目标虚拟物体：

17、响应于目标对象对目标控件的触发操作，确定目标对象的注视点，将注视点所在的虚拟物体作为目标虚拟物体；目标控件为头显设备的物理控件，或目标控件为头显设备的外接设备的物理控件或虚拟控件；

18、在虚拟空间中设置预设交互区域，将处于预设交互区域的虚拟物体作为目标虚拟物体；

19、响应于虚拟部位触发虚拟物体处于激活状态，将处于激活状态的虚拟物体作为目标虚拟物体；

20、确定虚拟部位所接触的虚拟物体，将虚拟部位所接触的虚拟物体作为目标虚拟物体。

21、在一种可能的实现方式中，展示模块包括：

22、展示区域设置子模块，用于在虚拟空间中设置展示区域，展示区域位于视线范围；

23、展示子模块，用于将虚拟现实画面展示于展示区域。

24、本申请实施例中提供了一种可能的实现方式，虚拟现实画面采集模块还用于在虚拟空间中设置多个虚拟摄像机，通过多个虚拟摄像机同时采集不同视角的多张虚拟现实画面；

25、展示子模块具体用于若视线范围包括多个展示区域，则在每个展示区域对应展示一张虚拟现实画面；若视线范围包括一个展示区域，则将多张虚拟现实画面进行拼接，得到一张拼接后的虚拟现实画面，将拼接后的虚拟现实画面展示于展示区域。

26、在一种可能的实现方式中，展示子模块具体还用于若虚拟现实画面为二维图像，则对虚拟现实画面进行裁剪、更改投影角度以及更改透明度中的至少一种处理，将处理后的虚拟现实画面展示于展示区域。

27、在一种可能的实现方式中，展示子模块具体还用于若虚拟现实画面为三维立体图像，则识别虚拟现实画面，获得虚拟部位和目标虚拟物体的三维模型数据以及虚拟部位目标虚拟物体之间的相对位姿信息；根据虚拟部位和目标虚拟物体的三维模型数据分别生成虚拟部位的三维模型和目标虚拟物体的三维模型；在展示区域中，根据相对位姿信息展示虚拟部位的三维模型和目标虚拟物体的三维模型。

28、根据本申请实施例的第三方面，提供了一种电子设备，该电子设备包括存储器、处理器及存储在存储器上的计算机程序，处理器执行程序时实现如第一方面所提供的方法的步骤。

29、根据本申请实施例的第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所提供的方法的步骤。

30、根据本申请实施例的第五方面，提供了一种计算机程序产品，该计算机程序产品包括计算机指令，该计算机指令存储在计算机可读存储介质中，当计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行实现如第一方面所提供的方法的步骤。

31、本申请实施例提供的技术方案带来的有益效果是：

32、本申请实施例通过采集物理空间中目标对象的目标部位实时的位姿信息；将位姿信息映射至预设的虚拟空间中的虚拟部位，虚拟空间包括目标虚拟物体；在目标对象的视线范围内，实时展示虚拟现实画面，虚拟现实画面展示基于虚拟部位在虚拟空间中实时的位姿信息，对虚拟物体进行交互的结果，目标对象观看该虚拟现实画面即实现观看自身的目标部位和目标虚拟物体之间的交互操作，一方便可以缓解目标对象低头或抬高手部观看目标部位和目标虚拟物体之间的交互造成的疲劳，另一方通过观看交互操作，可以提高交互操作的准确性。

技术特征：

1.一种交互方法，其特征在于，应用于头显设备，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述在目标对象的视线范围内，实时展示虚拟现实画面，之前还包括：

3.根据权利要求1所述的方法，其特征在于，所述位姿信息包括姿态信息和第一坐标系下的第一目标坐标；所述第一坐标系为在所述物理空间建立的坐标系；

4.根据权利要求2所述的方法，其特征在于，所述通过预设的虚拟摄像机实时采集所述目标区域的画面，之前还包括：

5.根据权利要求2所述的方法，其特征在于，所述在目标对象的视线范围内，实时展示虚拟现实画面，包括：

6.根据权利要求5所述的方法，其特征在于，所述通过预设的虚拟摄像机实时采集所述目标区域的画面，包括：

7.根据权利要求5所述的方法，其特征在于，所述将所述虚拟现实画面展示于所述展示区域，包括：

8.根据权利要求5所述的方法，其特征在于，所述将所述虚拟现实画面展示于所述展示区域，还包括：

9.一种头显设备，其特征在于，包括：

10.一种电子设备，包括存储器、处理器及存储在存储器上的计算机程序，其特征在于，所述处理器执行所述计算机程序以实现权利要求1-8任一项所述方法的步骤。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-8任一项所述方法的步骤。

技术总结
本申请实施例提供了一种交互方法、头显设备、电子设备及可读存储介质，涉及虚拟现实技术领域。该方法包括：采集物理空间中目标对象的目标部位实时的位姿信息；将位姿信息映射至预设的虚拟空间中的虚拟部位，虚拟空间包括目标虚拟物体；在目标对象的视线范围内，实时展示虚拟现实画面，虚拟现实画面展示基于虚拟部位在虚拟空间中实时的位姿信息，对虚拟物体进行交互的结果。本申请实施例实现了让目标对象观看交互结果，可缓解目标对象低头或抬高手部观看目标部位和目标虚拟物体之间的交互造成的疲劳，同时可以提高交互操作的准确性。

技术研发人员：杨天翼,尹子硕,陈昊芝
受保护的技术使用者：北京正负无限科技有限公司
技术研发日：
技术公布日：2024/2/1