一种基于增强现实的煤机装备培训系统及培训方法与流程

本发明属于增强现实领域，具体是一种基于增强现实的煤机装备培训系统及培训方法。

背景技术：

1、我国拥有丰富的煤炭资源，目前，我国的煤炭开采方式以井工开采为主。煤机装备具有大型化，复杂化等特点，煤矿井下环境特殊，具有粉尘、水雾、瓦斯等等特点。安全，熟练的使用煤炭机械装备是每一个煤矿作业人员必备的技能，然而在现阶段，我培养煤矿工人的方式是先进行视频，幻灯片教学，而后直接进行井下实操。这种培训方式虽然一定程度上能满足监管人员和作业人员的需求，但培训内容少，无法涵盖煤矿井下作业等场景，在实践经验不足的情况下进入煤矿井下实操，井下环境复杂多变，水雾、粉尘、瓦斯浓度等因素都时刻干扰着工人对状况的判断，工作效率大大降低，甚至做出错误操作而引发危险。

技术实现思路

1、本发明为了解决现有煤机装备培训内容少、培训效果差、学员体验感差等问题，提供了一种基于增强现实的煤机装备培训系统及培训方法。

2、本发明采取以下技术方案：一种基于增强现实的煤机装备培训系统，包括：

3、云服务器系统，用于承担煤机装备培训系统部署，三维模型库储存与管理、理论知识文件存储服务；

4、增强现实系统，用于对待培训的煤机装备模型进行三维建模；

5、三维场景系统，用于构建煤机装备所处的巷道模型；

6、视觉系统，用于三维模型的运动跟踪以及手势命令的识别；

7、模拟操作系统，用于模拟巷道作业环境，记录学员的各项步骤和锻炼学员的操作能力并进行考核打分，直至成绩合格。

8、在一些实施例中，三维场景系统中巷道重建的具体过程为：利用三维扫描设备将激光发射至巷道墙面，通过接收返回的信号并进行采样、处理、计算将三维信息数字化输出成点云数据；点云数据经过滤波、平滑、法向等预处理；使用泊松重建曲面，实现巷道的三维重建。

9、在一些实施例中，视觉系统包括对工作台的识别、对按键和摇杆的识别以及对手势的识别。

10、在一些实施例中，视觉系统的识别过程包括：

11、通过特征提取进行识别；

12、客户端ar智能眼镜的安卓程序向云端服务器发送http get请求；

13、云服务器接收到请求，并在 http 头中添加 "content-type：text/event-stream"；

14、云服务器系统建立一个持续的http连接，向客户端ar智能眼镜的安卓程序发送数据，直至连接关闭；系统从云服务器系统的数据库获取到手势图片，进行比对处理。

15、在一些实施例中，模拟操作系统的工作流程包括：

16、获取煤机装备模型、巷道地形及环境数据；

17、通过增强现实技术在工作台搭建模拟设备、巷道环境；

18、语音提示操作；

19、设备、环境状态更新；

20、记录操作考核打分。

21、一种培训方法，基于增强现实的煤机装备培训系统，

22、包括：

23、s1：佩戴ar智能眼镜观影式学习煤机装备知识；

24、s2：获取煤机装备模型参数，获取掘进机的相关参数和运动效果，获取巷道的地形数据，获取空间环境数据；

25、s3：基于获取的数据，工作台上搭建出三维虚拟掘进机模型，构建出巷道模型，环境状态动态监测栏；

26、s4：视觉系统捕捉学员手势动作，实现虚拟角色在三维场景中的作业任务；

27、s5：记录操作过程，对本次模拟操作进行考核打分，合格即可进行后续设备的模拟操作，不合格则需要重复训练本环节。

28、在一些实施例中，s1包括，ar智能眼镜访问云服务器系统，云服务器系统上导入包括的基础知识讲解视频，根据视觉系统识别到手势，选择播放、暂停视频以及放大缩小视频。

29、在一些实施例中，s4包括，

30、视觉系统识别到工作台，在工作台上加载出掘进机在巷道的透视模型、桌面的虚拟按键以及动态变化的环境状态动态监测栏；

31、根据语音提示，首先按下标写着“开启”的虚拟按键，按下之后，耳机会传出掘进机待机振动的声音；如果长时间未操作，系统对需要按下的按键高亮，提示尽快完成此项操作；

32、根据语音提示，按下对应功能按键，设备完成对应操作；

33、未能按下正确按键时，系统响起警报声，环境中灯光闪烁，学员扣除此项分数。

34、与现有技术相比，本发明具有以下有益效果：

35、本发明专利提出的基于增强现实的煤机装备培训系统，将虚拟场景与现实操作相结合，人机交互性，沉浸感强，能够提高学员培训兴趣，另外，开发煤机装备培训系统可以针对不同场景进行自主编辑，提高系统的适用性。

36、本发明专利提出的基于增强现实的煤机装备培训系统，模型文件经过降维后储存在云服务器端，响应速度快，调取方式简单。基于视觉系统的手势识别轻松操控设备，适用于煤机装备的快速体验。

37、本发明专利提出了一种煤机装备培训的新方法，利用基于增强现实技术来提高作业人员的安全意识和操作水平，减少煤炭开采事故的发生。

38、本发明专利提出的基于增强现实的煤机装备培训系统，将虚拟场景与现实操作相结合，人机交互性，沉浸感强，能够提高学员培训兴趣，另外，开发煤机装备培训系统可以针对不同工作内容编辑场景，提高系统的适用性。

技术特征：

1.一种基于增强现实的煤机装备培训系统，其特征在于，包括：

2.根据权利要求1所述的基于增强现实的煤机装备培训系统，其特征在于，所述三维场景系统中巷道重建的具体过程为：利用三维扫描设备将激光发射至巷道墙面，通过接收返回的信号并进行采样、处理、计算将三维信息数字化输出成点云数据；点云数据经过滤波、平滑、法向等预处理；使用泊松重建曲面，实现巷道的三维重建。

3.根据权利要求1所述的基于增强现实的煤机装备培训系统，其特征在于，所述视觉系统包括对工作台的识别、对按键和摇杆的识别以及对手势的识别。

4.根据权利要求3所述的基于增强现实的煤机装备培训系统，其特征在于，所述视觉系统的识别过程包括：

5.根据权利要求1所述的基于增强现实的煤机装备培训系统，其特征在于，所述模拟操作系统的工作流程包括：

6.一种培训方法，采用如权利要求1或2或3或4或5所述的基于增强现实的煤机装备培训系统，其特征在于，

7.根据权利要求6所述的培训方法，其特征在于，所述s1包括，ar智能眼镜访问云服务器系统，云服务器系统上导入包括的基础知识讲解视频，根据视觉系统识别到手势，选择播放、暂停视频以及放大缩小视频。

8.根据权利要求6所述的培训方法，其特征在于，所述s4包括，

技术总结
本发明属于增强现实领域，具体是一种基于增强现实的煤机装备培训系统及培训方法。包括：云服务器系统，用于承担煤机装备培训系统部署，三维模型库储存与管理、理论知识文件存储服务；增强现实系统，用于对待培训的煤机装备模型进行三维建模；三维场景系统，用于构建煤机装备所处的巷道模型；视觉系统，用于三维模型的运动跟踪以及手势命令的识别；模拟操作系统，用于模拟巷道作业环境，记录学员的各项步骤和锻炼学员的操作能力并进行考核打分，直至成绩合格。本发明将虚拟场景与现实操作相结合，人机交互性，沉浸感强，能够提高学员培训兴趣。

技术研发人员：贾运红,徐慈强,田原,韩霏,赵辉,王婵娟,焦晓峰,任晓文,马琪杰,王光肇,张凯,高源,李杰,林广旭,宋扬
受保护的技术使用者：中国煤炭科工集团太原研究院有限公司
技术研发日：
技术公布日：2024/3/24