一种基于混合现实的变电设备培训系统及方法与流程

本发明涉及电力设备，尤其是涉及一种基于混合现实的变电设备培训系统及方法。

背景技术：

1、随着社会的不断发展和经济的不断增长，电力作为现代社会不可或缺的能源供应方式，已经成为支撑社会各项活动和产业运转的重要基础设施。然而，随着电力系统规模的不断扩大和电网结构的日益复杂，电力设备的运维和维修管理任务变得愈加繁重和复杂。同时，为了保障电力系统的稳定运行，防范大面积停电事故的发生，对电力设备的维修和管理显得尤为关键。在传统的电力设备维修与管理中，主要采用计划检修维护体制。然而，这种传统体制在应对日益复杂的电力设备运维挑战时，已经显示出严重的缺陷。传统方法高度依赖于现场维修人员的技术水平，导致作业效率不高，因为不同技术人员的技术差异会出现维修不足或过剩、盲目维修等问题，影响电力设备的可靠性；同时随着电力设备规模数量的不断扩大，传统的一线员工数量已难以满足电力设备行业迅猛发展的需求，亟需扩招采用大量的新生代员工，但新员工专业知识与经验均有所欠缺，不能直接上岗来满足复杂电力设备的维修和管理需求，需要经过大量的岗前培训和考核后才能进入一线工作。目前的培训主要通过文字资料和图片视频的基础知识讲解来让新员工熟悉操作内容，缺少实际上手操作的经验不能给新员工直观的感受，且无法深入理解变电设备的内部构造，因此实际培训效果不理想，培训效率不高。

2、在中国专利文献上公开的“一种变电设备检修仿真培训方法”，其公开号为cn106504607a，公开日期为2017-03-15，包括以下步骤：(1)学员登录系统(；2)选择变电设备的种类和型号；(3)选择检修工具；(4)选择进入的系统模式；(5)学员在仿真场景中按照不同模式的要求完成操作。但是该技术依然是通过电脑进行的培训，其在训练和学习时是通过鼠标或键盘的操作间接的反映到显示屏中的虚拟人物上，点击不同的操作步骤来控制虚拟人物进行操作，这与文字资料和图片视频的学习资料相比虽然能在一定程度上增强新员工对变电设备的直观感受，但是仍然无法代替实际上手操作对于新员工的训练效果，不利于新员工熟悉变电设备的内部构造，因此实际培训效果仍然有待提高，培训效率不高。

技术实现思路

1、本发明是为了克服现有技术中进行变电设备的培训训练时新员工缺少实际上手操作的经验，不能直观深入地了解变电设备的内部构造，因而实际培训效果不理想培训效率低的问题，提供了一种基于混合现实的变电设备培训系统及方法，基于混合现实技术将虚拟的变电设备三维模型与真实环境空间相融合，实现真实和虚拟的交互，可以通过在真实环境中叠加虚拟模型中的设备零部件的组装拆分、意外事故场景的模拟来对新员工进行实际操作的培训，同时还设置有全息互动模块，可以使新员工进行沉浸式的培训学习，更好地理解变电设备的结构和操作，从而提高培训效果和效率。

2、为了实现上述目的，本发明采用以下技术方案：

3、一种基于混合现实的变电设备培训系统，包括：

4、混合现实模块，构建变电设备的三维模型和对应的场景模型，将虚拟的模型与采集到的真实环境空间融合后投影到混合现实设备中；

5、全息互动模块，将混合现实模块构建的虚拟的模型投影到现实世界，并通过人机交互模块进行互动操作；

6、人机交互模块，包括有混合现实设备，进行互动操作指令的输入；

7、控制中枢，控制培训系统的工作并收集工作过程中的数据信息，包括有数据分析反馈模块。

8、本发明中混合现实模块通过头戴式显示器或智能眼镜等混合现实设备，用户可以在现实环境中看到虚拟的设备模型，进行虚拟展示、操作维护指导和培训等功能；全息互动模块利用全息投影技术，将虚拟图像投影到现实世界中，通过虚拟模型的投影和用户与虚拟模型的实时互动，实现沉浸式的培训体验；人机交互模块通过混合现实设备采集用户发出的互动操作指令信息输入到系统内，间接控制各个模块的具体工作状态，如对变电设备的三维模型的选择、缩放和转动操作；控制中枢接收其余模块的数据信息并根据互动操作指令控制系统的工作，其包含的数据分析反馈模块可以对收集的数据进行分析并反馈相应的结果；为变电设备的培训、操作和教学提供了创新的方式，通过将虚拟模型投影到现实世界中，实现虚拟与现实的融合，增强培训用户的直观感受，提高培训的效果。

9、作为优选，所述混合现实模块包括：

10、三维建模单元，建立包含变电设备的外观、结构和内部组成的三维模型以及对应的场景模型；

11、真实环境采集单元，对真实环境进行扫描形成真实环境空间数据并建立空间坐标系；

12、场景构建单元，将虚拟的模型和真实环境空间进行融合得到混合现实场景，并根据互动操作指令实时调整。

13、本发明中的混合现实模块还包括有空间定位单元，定位三维模型在真实环境空间中的坐标位置、定位混合现实设备对应的用户在真实环境空间中的坐标位置，利于后续反馈到全息互动模块中，在真实环境中实现沉浸式的交互体验；场景构建单元根据当前所在真实环境的真实环境空间和空间坐标系，确定虚拟模型在真实环境空间的融合位置，在后续进行全息投影时可以直接将真实空间环境与当前真实环境相互重叠匹配，准确地将虚拟模型投影在真实环境的对应位置。

14、作为优选，所述人机交互模块包括通过手势控制操作指令的手势识别单元、通过语音进行操作指令控制的语音识别单元和通过操作外接设备进行控制的外接设备单元，三者中的至少一种；

15、所述人机交互模块可以同时接入若干个混合现实设备进行团队交互。

16、本发明中人机交互模块可以接入若干个混合现实设备，从而能同时实现对多人的教学培训，多用户可以通过全息互动模块在同一空间中看到彼此的虚拟模型，可以进行实时的互动、讨论和合作，提高培训的互动性和团队合作能力；对于指令操作的输入可以选择手势、语音或者外接设备的任意一种或多种，根据实际情况和需要进行选择。

17、作为优选，所述控制中枢还包括：

18、模拟学习模块，控制混合现实模块构建虚拟学习场景，进行变电设备培训知识的学习；

19、模拟训练模块，将虚拟的模型与真实环境空间融合投影到现实世界后，进行变电设备的日常操作维护、巡视检查和故障处理的训练；

20、考核评估模块，对模拟学习和模拟训练的结果进行考核评估。

21、本发明中控制中枢除了包括数据分析反馈模块，还有模拟学习模块、模拟训练模块和考核评估模块，在模拟学习模块中可以只利用混合现实模块将虚拟学习场景和变电设备的虚拟模型投影到混合现实设备中供用户学习观看，也可以再利用全息互动模块投影到现实世界进行学习；模拟训练模块需要通过全息互动模块将虚拟的模型投影到现实世界后，结合人机交互模块进行用户和虚拟模型的互动来完成训练操作；考核评估模块可以对模拟学习的知识掌握程度和模拟训练的操作熟练与准确程度进行考核。

22、作为优选，所述数据分析反馈模块根据培训系统工作过程中的数据，分析每个培训人员的学习、训练和考核情况，生成其对应的学习和训练方案。

23、本发明中考核评估模块中储存有大量考核题目且可以实时更新题库内容；数据反馈分析模块分析每个培训人员出错率最高的题目类型，针对性地提高相应类型题目的比例以及相应类型的操作培训，使培训人员更好地掌握变电设备的培训内容，提高培训效果。

24、作为优选，所述模拟学习模块包括：

25、设备基础学习单元，对变电设备的三维模型进行整体展示讲解和拆分展示讲解；

26、设备结构学习单元，对变电设备的三维模型的内部结构和各个结构之间的关系进行讲解；

27、标准演示学习单元，演示模拟训练模块中各个训练项目的标准操作过程。

28、本发明中模拟学习模块包括至少三种学习单元，设备基础学习单元、设备结构学习单元和标准演示学习单元，进行知识学习等级的层层递进，在完成设备基础知识的学习和考核后可以进行后续的设备结构知识学习，在完成设备结构知识的学习和考核后可以进入标准演示学习单元，学习标准操作过程，夯实培训学员的知识掌握程度，由易到难由浅到深地掌握变电设备的培训内容。

29、作为优选，所述系统还包括用户管理模块，管理不同用户的信息和权限，进行用户的注册、登录和身份验证，以及包含多个用户的团队的建立。

30、本发明中用户管理模块负责用户的注册、登录和身份验证，用户可以通过个人账号登录系统，管理个人信息和操作记录；也可以建立团队模式，将具体的数据信息设置为只有团队所属用户可以观看操作。

31、作为优选，所述用户管理模块中进行用户的身份验证时，混合现实设备采集待登录对象的人脸信息；

32、根据采集的待登录对象的人脸信息和注册时储存的人脸信息匹配，判断待登录对象是否合法；若待登录对象合法，控制中枢发送登录控制信息至混合现实设备登录培训系统。

33、本发明中在进行用户注册时，可以采用人脸信息、登录密码、指纹信息等作为进行登录的身份验证数据，通过混合现实设备输入身份验证数据与注册时保存的身份验证数据相匹配来判断待登录对象的登录情况，对于已注册的用户登录其之前注册的账号，对于位注册的用户则跳出注册提醒。

34、一种基于混合现实的变电设备培训方法，包括：

35、构建变电设备的三维模型和对应场景模型并保存在虚拟模型库中；

36、响应于登录用户对模拟学习模块或模拟训练模块或考核评估模块的选择，从虚拟模型库中调取对应的虚拟模型进行模拟显示；

37、响应于登录用户通过人机交互模块输入的互动操作指令，显示虚拟模型在互动操作指令下的状态变化。

38、本发明中培训人员在登录变电设备培训系统后，可以通过人机交互模块输入选择指令，选择进入模拟学习模块、模拟训练模块或考核评估模块进行相应的学习训练或考核操作；同时对于投影到混合现实设备或现实空间中的虚拟模型，能够通过输入的互动操作指令控制虚拟模型的拆分、缩放、转动等状态，以供培训人员从不同角度详细地学习了解变电设备的内部结果的关系；变电设备的三维模型是提前构建并保存在虚拟模型库中的，对应的场景模型和三维模型的融合可以模拟各种不同环境、不同故障情况下的变电设备情况，使的培训内容更加贴合实际。

39、作为优选，所述显示虚拟模型在互动操作指令下的状态变化包括：

40、以当前操作用户的视角模拟并显示虚拟模型在互动操作指令下的状态变化；和/或，

41、以团队中任一用户的视角模拟并显示虚拟模型在互动操作指令下的状态变化。

42、本发明中在团队模式下进行多人学习培训时，某一个培训人员的训练操作情况可以同时传输到其他培训人员处进行观看，在多角度下观看当前正在进行的模拟操作的情况，以便于培训人员学习和发现问题；此外这种方式可以帮助培训人员共同解决问题、协同完成任务，增强了培训的互动性和团队合作能力；同时培训导师可以通过远程连接参与互动或演示，为培训人员提供指导和支持。

43、本发明具有如下有益效果：基于混合现实技术将虚拟的变电设备三维模型与真实环境空间相融合，实现真实和虚拟的交互，可以通过在真实环境中叠加虚拟模型中的设备零部件的组装拆分、意外事故场景的模拟来对新员工进行实际操作的培训，同时还设置有全息互动模块，可以使新员工进行沉浸式的培训学习，更好地理解变电设备的结构和操作，从而提高培训效果和效率；设置的数据分析与反馈模块可以收集学习用户的操作数据，分析用户的操作习惯和错误，根据数据反馈给用户个性化的操作指导和培训建议，进行更具针对性的指导培训，提高培训效果。