一种基于HoloLens的MR车间巡视方法与流程

本发明涉及混合现实(mr)应用领域，尤其涉及一种基于hololens的mr车间巡视方法。

背景技术：

hololens是微软推出的首个不受线缆限制的全息计算机设备，通过将某些计算机生成的效果叠加于现实世界之上实现周围真实环境中与全息影像的互动。hololens将会追踪用户的移动和视线，进而生成适当的虚拟对象，通过光线投射到用户的眼中。hololens空间映射技术提供了周围环境中真实世界的详细表示，允许开发人员创建更加真实的混合现实体验。通过将真实世界与虚拟世界合并，可以使全息影像看起来是更加真实。

在传统车间巡视过程中，首先需要对目标进行建模生成三维虚拟场景，将三维虚拟场景通过hololens显示，并与实际场景重叠。当hololens指向现实场景中的目标时，从与传感器或监测仪器连接的数据库中获取目标信息，并将目标信息在三维虚拟场景中显示。传统车间现场巡视方式现场能直接查看设备物理外观状态，却很难查看设备实时运行状态数据。传统车间现场巡视方式设备实时运行状态数据无空间关系，不能和设备空间关系建立直接关联，需要借助管理人员逻辑思考进行关联，巡视效率低下。

因此，本领域的技术人员致力于开发一种基于hololens的mr车间巡视方法。

技术实现要素：

有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是如何快速高效地集成获取设备实时运行状态数据，以及如何准确高效地实现设备实时运行状态数据虚拟面板与物理设备进行叠加。

为实现上述目的，本发明提供了一种基于hololens的mr车间巡视方法。本发明的一个实施例中，包括以下步骤：

s10、通过构建软件建立后台数据中心，上述后台数据中心集成多种数据源的采集及存储，并对外提供数据服务接口；

s20、采集环境信息，确定需要巡视的区域范围，打开并戴上hololens行走，在行走中采集环境信息；

s30、三维场景重建；

s40、将从上述后台数据中心请求的数据绑定至信息面板；

s50、固定上述信息面板的位置，保存上述信息面板在三维重建场景中的空间坐标。

可选地，在上述实施例中的基于hololens的mr车间巡视方法，上述环境信息通过环境感知摄像头和深度感知摄像头进行采集。

可选地，在上述实施例中的基于hololens的mr车间巡视方法，上述步骤s30还包括：

s31、使用建模软件制作上述信息面板并导入unity3d中；

s32、在所述unity3d中使用hololens插件为上述信息面板绑定脚本，添加空间锚点定位功能；

s33、使用预制体调用环境感知摄像头和深度感知摄像头定期进行对周围环境进行扫描，更新环境信息数据；

s34、三维场景重建，将具有空间锚点定位功能的物体从虚拟场景空间坐标映射到三维重建场景空间坐标。

进一步地，上述hololens插件为mixedrealitytoolkit，上述脚本为taptoplace.cs。

进一步地，上述预制体为mixedrealitytoolkit中的spatialmapping。

可选地，在上述实施例中的基于hololens的mr车间巡视方法，上述步骤s40还包括：

s41、所述unity3d中向上述后台数据中心接口获取目标数据；

s42、将目标数据在上述信息面板数据中显示；

s43、发布程序并部署到上述hololens。

可选地，在上述任一实施例中的基于hololens的mr车间巡视方法，上述步骤s50还包括：

s51、通过单击手势点击上述信息面板使其跟随上述hololens移动；

s52、当观察对象及与观察对象相关联的信息面板同时出现在视野范围内时再次单击信息面板固定其位置；

s53、绑定世界锚点组件，保存上述信息面板在三维重建场景中的空间坐标。

进一步地，世界锚点组件为worldanchor。

可选地，在上述任一实施例中的基于hololens的mr车间巡视方法，上述多种数据源包括mes(生产执行系统)实时数据、实时设备健康数据、实时生产综合统计数据。

可选地，在上述任一实施例中的基于hololens的mr车间巡视方法，上述后台数据中心对外提供基于zmq发布订阅模式的数据推送服务以及基于http服务的数据请求服务。

可选地，在上述任一实施例中的基于hololens的mr车间巡视方法，上述后台数据中心对外提供基于tcp、udp等协议的数据请求服务。

可选地，在上述任一实施例中的基于hololens的mr车间巡视方法，上述建模软件包括3dmax和maya。

可选地，在上述任一实施例中的基于hololens的mr车间巡视方法，上述构建软件包括visualstudio、eclipse和intellij。

发明人通过上述任一实施例中的基于hololens的mr车间巡视方法，只需要制作简单的数据面板模型即可实现hololens的mr车间巡视，工作量小，开发效率高，制作周期短；通过建立后台数据中心可以集成更多种类的数据信息，能够更加全面直观地反应车间的生产状况；能够快速高效地集成获取设备实时运行状态数据，以及准确高效地实现设备实时运行状态数据虚拟面板与物理设备进行叠加。

以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。

附图说明

图1是本发明的一个较佳实施例的原理示意图；

图2是本发明的一个较佳实施例的流程示意图；

图3是本发明的一个较佳实施例步骤s30的流程示意图；

图4是本发明的一个较佳实施例步骤s40的流程示意图；

图5是本发明的一个较佳实施例步骤s50的流程示意图。

具体实施方式

以下参考说明书附图介绍本发明的多个优选实施例，使其技术内容更加清楚和便于理解。本发明可以通过许多不同形式的实施例来得以体现，本发明的保护范围并非仅限于文中提到的实施例。

在附图中，结构相同的部件以相同数字标号表示，各处结构或功能相似的组件以相似数字标号表示。附图所示的每一组件的尺寸和厚度是任意示出的，本发明并没有限定每个组件的尺寸和厚度。为了使图示更清晰，附图中有些地方适当夸大了部件的厚度。

如图1所示，本发明通过hololens利用slam技术对真实世界进行环境扫描，重建三维场景，通过空间映射技术将虚拟场景中的物体坐标映射到重建三维场景空间坐标，通过特定的手势操作将虚拟场景中的物体移动到合适的位置，使观察对象与虚拟场景中的物体同时出现在视野范围内，实现虚拟场景对齐，达到虚实融合的效果。

如图2所示，一个较佳实施例的流程包括以下步骤：

s10、通过构建软件建立后台数据中心，后台数据中心集成多种数据源的采集及存储，并对外提供数据服务接口；

s20、采集环境信息，确定需要巡视的区域范围，打开并戴上hololens行走，在行走中采集环境信息；

s30、三维场景重建；

s40、将从上述后台数据中心请求的数据绑定至信息面板；

s50、固定上述信息面板的位置，保存上述信息面板在三维重建场景中的空间坐标。

可选地，构建软件可以选择使用visualstudio、eclipse和intellij。

可选地，数据源可以包括mes(生产执行系统)实时数据、实时设备健康数据和实时生产综合统计数据等多种实时数据。

可选地，后台数据中心的数据提供方式可以为基于zmq发布订阅模式的数据推送服务、基于http的数据请求服务、基于tcp或者udp等协议的数据提供服务，可以是上述几种方式的组合，也可以是其中某一种方式。

可选地，上述环境信息可以通过环境感知摄像头和深度感知摄像头进行采集。

如图3所示，本发明的另一个较佳实施例，把前文实施例的步骤s30进行了拆分，包括如下步骤：

s31、使用建模软件制作信息面板并导入unity3d中；

s32、所述unity3d中使用hololens插件为信息面板绑定脚本，添加空间锚点定位功能；

s33、使用预制体调用环境感知摄像头和深度感知摄像头定期进行对周围环境进行扫描，更新环境信息数据；

s34、三维场景重建，将具有空间锚点定位功能的物体从虚拟场景空间坐标映射到三维重建场景空间坐标。

可选地，s31中建模软件可以使用3dmax或者maya。

可选地，s32中使用的hololens插件为mixedrealitytoolkit，绑定的脚本为taptoplace.cs。

可选地，s32中使用的预制体为mixedrealitytoolkit中的spatialmapping。

如图4所示，本发明的另一个较佳实施例，把前文实施例的步骤s40进行了拆分，包括如下步骤：

s41、在所述unity3d中向上述后台数据中心接口获取目标数据；

s42、将上述目标数据在上述信息面板数据中显示；

s43、发布程序并部署到上述hololens。

可选地，后台数据中心的数据提供方式可以为基于zmq发布订阅模式的数据推送服务、基于http的数据请求服务、基于tcp或者udp等协议的数据提供服务，可以是上述几种方式的组合，也可以是其中某一种方式。

可选地，s43中可以选择在unity3d中选择uwp平台发布程序，将发布好的程序通过visualstudio部署到hololens中，部署完成后打开浏览器输入hololensip地址，打开windowsdeviceportal上传配置信息文件。

如图5所示，本发明的另一个较佳实施例，把前文实施例的步骤s50进行了拆分，包括如下步骤：

s51、通过单击手势点击信息面板使其跟随hololens移动；

s52、当观察对象及与观察对象相关联的信息面板同时出现在视野范围内时再次单击信息面板固定其位置；

s53、绑定世界锚点组件，保存上述信息面板在三维重建场景中的空间坐标。

进一步地，s53中世界锚点组件解释为worldanchor，worldanchor保存上述信息面板在三维重建场景中的空间坐标。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。