一种用于混合现实的人机交互系统、方法及装置与流程

本发明涉及混合现实设备领域，尤其涉及一种用于混合现实的人机交互系统、方法及装置。

背景技术：

1、目前，为混合现实(mr)、增强现实(ar)、虚拟现实(vr)(以下统称xr)头戴显示设备定制开发软件往往需要投入大量专业的人力资源。开发团队需要掌握专业的编辑工具，如unreal engine、unity等软件的使用知识，熟悉c++、c#等编程语言，同时有着丰富的软件设计、开发、调试和项目管理经验，才可以开发出高质量的xr软件产品。然而，在许多商业、工业的xr使用场景中，最终用户往往不具备符合以上要求的软件开发团队，而临时雇佣外包团队又让最终用户面临开发周期长、预算高、项目管理困难的挑战。

2、目前，在商业、工业场景中，常见的xr技术使用需求包含：在真实世界中，根据客户的需求显示对应的虚拟资源。如何采用无代码手段，帮助用户在没有相关软件开发经验的情况下编辑、生成并使用虚拟内容的人机交互系统、方法及装置是本领域技术人员亟待解决的一个技术问题。

技术实现思路

1、本发明提供一种用于混合现实的人机交互系统、方法及装置，以解决上述技术问题。

2、为解决上述技术问题，本发明提供一种用于混合现实的人机交互方法，包括：

3、展示流程设计，包括：设计至少一个展示步骤，所述展示步骤中包含至少一个需要展示的虚拟内容；设计各展示步骤的触发条件；

4、内容布置，包括：设置所述虚拟内容的属性，所述属性至少包括所述虚拟内容在3d空间中的摆放位姿；以及

5、展示使用，包括：在每个所述展示步骤中，基于设置好的属性展示对应的虚拟内容。

6、在一些实施例中，所述虚拟内容至少包括以下一种或多种的组合：文本、图片、视频、音频、3d模型和动画。

7、在一些实施例中，多个所述展示步骤按照固定顺序依次进行展示。

8、在一些实施例中，多个所述展示步骤根据触发条件进行展示。

9、在一些实施例中，所述触发条件包括时间条件、位置条件、方向条件、用户输入事件、预存程序脚本或自定义程序脚本。

10、在一些实施例中，所述用户输入事件包括按压物理按键或者输入指示信号。

11、在一些实施例中，所述触发条件为经过逻辑运算的多个触发条件的组合。

12、在一些实施例中，所述虚拟内容的属性还包括：所述虚拟内容的大小、颜色、动画行为、播放速度或音量。

13、在一些实施例中，所述虚拟内容在3d空间中的摆放位姿的设置方式包括：

14、基于3d空间获取基准定位；

15、通过与所述虚拟内容绑定的锚定物将所述虚拟内容移动至待摆放位置处，计算所述锚定物与所述基准定位的关系并记录，摆放好的位置定义为锚定位置；

16、基于所述锚定位置确定所述虚拟内容的摆放位姿。

17、在一些实施例中，所述基准定位通过对3d空间中的参考物进行识别和定位后获取。

18、在一些实施例中，所述参考物至少包括环境、物体或标识。

19、在一些实施例中，所述锚定物为手持移动设备。

20、在一些实施例中，所述锚定物上带有定位图案，所述锚定位置通过对所述定位图案进行识别和定位后获取。

21、在一些实施例中，所述定位图案包括图片、二维码、条形码或特定图形。

22、在一些实施例中，采用搭载于头戴显示设备上的图像获取设备对所述参考物和所述定位图案进行识别和定位。

23、在一些实施例中，将所述锚定位置确定为所述虚拟内容的摆放位姿。

24、在一些实施例中，将所述锚定位置进行数学运算后确定所述虚拟内容的摆放位姿。

25、本发明的第二方面提供了一种用于混合现实的人机交互系统，包括：

26、展示流程设计模块，用于设计至少一个展示步骤，所述展示步骤中包含至少一个需要展示的虚拟内容；设计各展示步骤的触发条件；

27、内容布置模块，用于设置所述虚拟内容的属性，所述属性至少包括所述虚拟内容在3d空间中的摆放位姿；以及

28、展示使用模块，用于在每个所述展示步骤中，基于设置好的属性展示对应的虚拟内容。

29、在一些实施例中，所述虚拟内容至少包括以下一种或多种的组合：文本、图片、视频、音频、3d模型和动画。

30、在一些实施例中，多个所述展示步骤按照固定顺序依次进行展示。

31、在一些实施例中，多个所述展示步骤根据触发条件进行展示。

32、在一些实施例中，所述触发条件包括时间条件、位置条件、方向条件、用户输入事件、预存程序脚本或自定义程序脚本。

33、在一些实施例中，所述用户输入事件包括按压物理按键或者输入指示信号。

34、在一些实施例中，所述触发条件为经过逻辑运算的多个触发条件的组合。

35、在一些实施例中，所述虚拟内容的属性还包括：所述虚拟内容的大小、颜色、动画行为、播放速度或音量。

36、在一些实施例中，所述虚拟内容在3d空间中的摆放位姿的设置方式包括：

37、基于3d空间获取基准定位；

38、通过与所述虚拟内容绑定的锚定物将所述虚拟内容移动至待摆放位置处，计算所述锚定物与所述基准定位的关系并记录，摆放好的位置定义为锚定位置；

39、基于所述锚定位置确定所述虚拟内容的摆放位姿。

40、在一些实施例中，所述基准定位通过对3d空间中的参考物进行识别和定位后获取。

41、在一些实施例中，所述参考物至少包括环境、物体或标识。

42、在一些实施例中，所述锚定物为手持移动设备。

43、在一些实施例中，所述锚定物上带有定位图案，所述锚定位置通过对所述定位图案进行识别和定位后获取。

44、在一些实施例中，所述定位图案包括图片、二维码、条形码或特定图形。

45、在一些实施例中，采用搭载于头戴显示设备上的图像获取设备对所述参考物和所述定位图案进行识别和定位。

46、在一些实施例中，将所述锚定位置确定为所述虚拟内容的摆放位姿。

47、在一些实施例中，将所述锚定位置进行数学运算后确定所述虚拟内容的摆放位姿。

48、本发明的第三方面还提供了一种用于混合现实的人机交互装置，应用于如上所述的方法中，所述装置包括至少一个处理器，至少一个手持移动设备和至少一个头戴显示设备，

49、所述处理器被配置为执行展示流程设计步骤；

50、所述手持移动设备被配置为与所述头戴显示设备配合执行内容布置步骤；

51、所述头戴显示设备被配置为执行展示使用步骤。

52、在一些实施例中，所述处理器集成于所述头戴显示设备中。

53、在一些实施例中，所述处理器集成于所述手持移动设备中。

54、与现有技术相比，本发明提供的用于混合现实的人机交互系统、方法及装置采用无代码的手段，在无需客户具备相关软件开发经验的情况下，编辑、生成并使用各种虚拟内容，最终实现在真实世界中，根据客户的需求显示对应的虚拟资源的目的。