一种基于混合现实技术的远程指导方法及系统与流程

本发明涉及混合现实，尤其涉及一种基于混合现实技术的远程指导方法。

背景技术：

1、混合现实技术(mr，mixed reality)的应用越来越广泛，该技术通过在现实场景呈现虚拟场景信息，在现实世界、虚拟世界和用户之间搭起一个交互反馈的信息回路，以增强用户体验的真实感，并且，微软推出了一款独一无二的混合现实(mr)设备——hololens，其能够做到在空间中投影虚拟物体。

2、对于石油行业而言，综合录井仪是石油钻井现场数据采集与监控中心，其作业地点分布点多面广，现场技术人员需要与远程专家的互动连线进行指导交流工作，例如通过监控画面、音视频通讯等方式交流。但由于传统方式的局限性使得目前存在诸多问题，例如，监控画面无法覆盖现场所有关键作业信息，音视频通讯无法有效的传递相对空间位置和问题的空间位置等信息，现场技术人员与远程专家无法真实互动导致沟通效率低下等，传统的指导方法已经无法满足现有的需求，如何将混合现实技术有效应用于石油录井作业中，提升作业过程沟通效率，需要进一步探索。

3、因此，现有技术中存在对混合现实技术进行改进并应用于录井作业远程指导方法的需求。

技术实现思路

1、有鉴于此，本发明实施例的目的在于提出一种基于混合现实技术的远程指导方法、系统，以期提升沟通效率。

2、基于上述目的，本发明实施例的一方面提供了一种基于混合现实技术的录井作业远程指导方法，包括以下步骤：

3、根据现场技术人员所处的真实环境的信息创建虚拟环境模型；

4、分别创建远程专家虚拟形象和现场技术人员虚拟形象；

5、将创建的远程专家虚拟形象导入到现场技术人员所佩戴的第一混合现实设备；

6、将创建的虚拟环境模型和现场技术人员虚拟形象导入到远程专家所佩戴的第二混合现实设备；

7、将所述虚拟环境模型和所述真实环境进行空间位置对齐，基于所述远程专家与所述虚拟环境模型的交互来相应地控制所述远程专家虚拟形象与所述真实环境的交互，并且基于所述现场技术人员与所述真实环境的交互来相应地控制所述现场技术人员虚拟形象与所述虚拟环境模型的交互。

8、在一些实施方式中，所述第一混合现实设备和所述第二混合现实设备为hololens眼镜。

9、在一些实施方式中，在所述真实环境与所述虚拟环境模型相对应的位置分别建立第一定位点和第二定位点，基于所述第一定位点和所述第二定位点将所述虚拟环境模型和所述真实环境进行空间位置对齐。

10、在一些实施方式中，基于所述第一定位点和所述第二定位点将所述虚拟环境模型和真实环境进行空间位置对齐包括：

11、所述虚拟环境模型以所述第一定位点为坐标原点，所述真实环境以所述第二定位点为坐标原点，通过计算虚拟环境模型和真实环境的空间变换矩阵以进行空间位置对齐。

12、在一些实施方式中，所述第一定位点处设置有可被所述第一混合现实设备识别的第一标志物，所述第二定位点处设置有可被所述第二混合现实设备识别的第二标志物。

13、在一些实施方式中，所述第一标志物和所述第二标志物为二维码。

14、在一些实施方式中，响应于所述第一混合现实设备扫描第一标志物而将创建的远程专家虚拟形象导入到所述第一混合现实设备。

15、在一些实施方式中，响应于所述第二混合现实设备扫描第二标志物将创建的虚拟环境模型和现场技术人员虚拟形象导入到远程专家所佩戴的第二混合现实设备。

16、在一些实施方式中，所述真实环境中包括一个或多个真实设备，所述虚拟环境模型中包括相对应的一个或多个虚拟设备，所述真实设备与所述虚拟设备的数据实时同步。

17、在一些实施方式中，通过视频捕捉设备和推流服务器实时同步所述真实设备与所述虚拟设备的数据。

18、在一些实施方式中，所述虚拟设备的显示界面为与所述真实设备的显示界面等比显示、缩放显示以及旋转显示。

19、在一些实施方式中，所述远程专家与所述虚拟环境模型的交互包括所述远程专家的语音、触摸、面部表情或动作、手部姿势或动作、头部姿势或动作和肢体姿势或动作；所述现场技术人员与所述真实环境的交互包括所述现场技术人员的语音、触摸、面部表情或动作、手部姿势或动作、头部姿势或动作和肢体姿势或动作。

20、在一些实施方式中，所述远程专家与所述虚拟环境模型的交互还包括所述远程专家基于手势射线与所述虚拟环境模型中的虚拟设备的交互，所述手势射线所指向的位置基于坐标系变换实时同步至所述远程专家虚拟形象指向的真实设备处。

21、在一些实施方式中，响应于所述虚拟设备的显示界面为缩放显示和/或旋转显示，将缩放显示和/或旋转显示的显示界面分辨率反算至等比显示界面状态，再基于坐标系变换将所述远程专家通过手势射线所指向的所述虚拟设备的位置实时同步至所述远程专家虚拟形象指向的真实设备处。

22、本发明另一方面还提出了一种基于混合现实技术的远程指导系统，所述系统包括：

23、信息采集模块，所述信息采集模块配置用于采集现场技术人员所处的真实环境的信息；

24、模型构建模块，所述模型构建模块配置用于根据采集到的真实环境的信息创建虚拟环境模型，并且创建远程专家虚拟形象和现场技术人员虚拟形象；

25、现场技术人员佩戴的第一混合现实设备，所述第一混合现实设备配置用于呈现创建的远程专家虚拟形象；

26、远程专家佩戴的第二混合现实设备，所述第二混合现实设备配置用于呈现创建的虚拟环境模型和现场技术人员虚拟形象；

27、控制装置，所述控制装置配置用于：将呈现在所述第二混合现实设备上的所述虚拟环境模型和所述现场技术人员所处的所述真实环境进行空间位置对齐，基于所述远程专家与所述虚拟环境的交互来相应地控制所述远程专家虚拟形象与所述真实环境的交互，并且基于所述现场技术人员与所述真实环境的交互来相应地控制所述现场技术人员虚拟形象与所述虚拟环境模型的交互。

28、在一些实施方式中，还包括视频捕捉设备和推流服务器，所述视频捕捉设备和所述推流服务器用于获取所述真实环境中的一个或多个真实设备的设备数据并且将所述设备数据实时同步到所述虚拟环境模型中相对应的一个或多个虚拟设备中。

29、在一些实施方式中，所述第一混合现实设备和所述第二混合现实设备为hololens眼镜。

30、在一些实施方式中，所述第一混合现实设备配置用于感测所述现场技术人员与所述真实环境的交互，所述第二混合现实设备配置用于感测所述远程专家与所述虚拟环境模型的交互。

31、在一些实施方式中，所述远程专家与所述虚拟环境模型的交互包括所述远程专家的语音、触摸、面部表情或动作、手部姿势或动作、头部姿势或动作和肢体姿势或动作；所述现场技术人员与所述真实环境的交互包括所述现场技术人员的语音、触摸、面部表情或动作、手部姿势或动作、头部姿势或动作和肢体姿势或动作。

32、在一些实施方式中，基于所述远程专家与所述虚拟环境的交互来相应地控制所述远程专家虚拟形象与所述真实环境的交互包括：在所述真实环境中，通过所述远程专家虚拟形象模拟或再现所述远程专家的语音、动作及表情；并且基于所述现场技术人员与所述真实环境的交互来相应地控制所述现场技术人员虚拟形象与所述虚拟环境模型的交互包括：在所述虚拟环境模型中，通过所述现场技术人员虚拟形象模拟或再现所述远程专家的语音、动作及表情。

33、本发明至少具有以下有益技术效果：

34、本发明中，现场技术人员和远程专家通过佩戴混合现实设备同时进入彼此所在的环境以进行实时沟通，现场技术人员通过佩戴第一混合现实设备以看到远程专家的虚拟形象，远程专家通过佩戴第二混合现实设备以进入虚拟环境模型并看到现场技术人员虚拟形象，通过将虚拟环境模型和真实环境空间位置对齐以达到双方“面对面”交流的效果，本发明的方法不仅可以使得双方可以同时共享真实环境的数据信息，还可以实时同步双方的语音、动作及表情等信息，达到远程专家瞬间抵达真实现场的效果。

35、本发明提出的一种混合现实技术的远程指导方法还可以进一步应用于石油录井作业现场，通过构建录井仪的虚拟模型，当现场技术人员和远程专家同时佩戴混合现实设备时，远程专家可以瞬间抵达录井仪现场进行“面对面”交流指导使得双方更清晰、直观地了解录井作业的有效信息，并且更直接、真实、自然的进行交流指导，有效提升了巡井效率。