一种基于AR眼镜的二次安措执行监护系统及方法与流程

本发明涉及智能变电站运维技术，尤其涉及一种基于ar眼镜的二次安措执行监护系统及方法。

背景技术：

1、(augmentedreality，简称ar)技术是指将计算机生成的虚拟信息叠加到用户所在的真实世界的一种新兴技术，这种技术在1990年被提出，可实现计算机虚拟世界与现实世界的深度融合交互。近年来，以ar智能眼镜为代表的智能穿戴产品发展越趋成熟，以其穿戴方便、释放双手、便捷交互的特点深受大家的欢迎，已开始逐步应用到人们的工作生活中。当前，变电站安措执行方式为监护人手持纸质安措票进行唱票，操作人员听到执行内容后对比确认安措执行对象并完成安措执行操作，操作完成后由监护人员完成执行校核工作，过程中操作人无法通过视觉感知安措操作内容，仅靠听觉感知，过程中存在难以对操作对象进行反复核实的问题，容易导致安措执行偏差。

2、如何将ar技术应用于变电站安措执行中是值得研究的问题。

技术实现思路

1、本发明要解决的技术问题就在于：针对现有技术存在的技术问题，本发明提供一种基于ar眼镜的二次安措执行监护系统及方法，将ar眼镜应用于安措执行操作过程中，展示安措任务，辅助操作人员完成安措操作，并在操作过程中对执行项进行确认，使得ar眼镜实现了监护人的功能，对于操作人员在安措操作过程中实时给予帮助。

2、为解决上述技术问题，本发明提出的技术方案为：

3、一种基于ar眼镜的二次安措执行监护系统，包括ar眼镜、ar识别终端和ar后台服务器，所述ar眼镜、ar识别终端和ar后台服务器依次连接，所述ar眼镜还与ar后台服务器连接，其中：

4、所述ar识别终端包括ar识别模块，ar识别模块用于获取ar眼镜上传的图像或视频数据，并从所述图像或视频数据中识别出安措执行对象的信息，然后将所述安措执行对象的信息发送给ar后台服务器；

5、所述ar后台服务器包括业务处理模块，业务处理模块用于解析安措票得到解析结果，并将解析结果发送给ar眼镜，还用于获取ar识别模块识别出的安措执行对象的信息并与解析结果中的执行项信息进行比较得到对应执行项的监护确认结果，并将监护确认结果发送给ar眼镜；

6、所述ar眼镜包括数据解析成像模块，数据解析成像模块用于获取解析结果和监护确认结果，根据解析结果生成安措票画面并显示在ar眼镜视窗的目标位置，同时在安措票画面上显示已执行项和未执行项，并根据监护确认结果在安措票画面上显示已执行项的安措监护确认结果。

7、进一步的，所述ar眼镜还包括ar人机交互模块，ar人机交互模块用于获取语音信息，并通过训练好的语音识别模型识别语音信息得到对应的操作指令，还用于获取手势信息，并通过训练好的手势识别模型识别手势信息得到对应的操作指令，然后将所述操作指令发送给ar后台服务器；

8、所述业务处理模块用于获取操作指令，若操作指令为选择安措任务指令，从ar后台服务器的安措票数据库中选取对应的安措票，然后执行解析安措票的步骤；若操作指令为人工确认指令，将执行项的监护确认结果修改为成功后发送至ar眼镜。

9、进一步的，所述ar眼镜还包括ar接口模块，所述ar识别终端还包括无线通讯模块，所述ar后台服务器还包括无线接口模块，所述ar眼镜的ar扫描模块依次通过ar接口模块与无线通讯模块和ar识别模块连接，所述ar识别模块依次通过无线通讯模块与无线接口模块和业务处理模块连接，所述业务处理模块依次通过无线接口模块与ar接口模块和数据解析成像模块连接。

10、进一步的，所述ar后台服务器包括人机操作模块，所述人机操作模块依次通过无线接口模块和ar接口模块连接ar扫描模块，所述人机操作模块用于获取ar扫描模块采集的图像或视频数据，以实时显示安措执行对象的状态。

11、进一步的，从所述图像或视频数据中识别出安措执行对象的信息时，所述ar识别模块通过训练好的文字识别模型，从所述图像或视频数据中识别出文字信息，并通过训练好的图像识别模型，从所述图像或视频数据中识别出安措执行对象的状态信息。

12、进一步的，获取安措执行对象的信息并与解析结果中的执行项信息进行比较得到对应执行项的监护确认结果时，所述业务处理模块将所述文字信息和状态信息与当前执行项的执行项描述进行匹配，若匹配结果一致，当前执行项监护确认结果为监护确认成功。

13、进一步的，所述业务处理模块将所述文字信息和状态信息与当前执行项的执行项描述进行匹配时，首先将所述文字信息和当前执行项的执行项描述中的编号和/或名称进行匹配，若匹配结果不一致，则当前执行项监护确认结果为监护确认失败；若匹配结果一致，再将所述状态信息和当前执行项的执行项描述中的状态描述进行匹配，若匹配结果不一致，则当前执行项监护确认结果为监护确认失败，若匹配结果一致，则当前执行项监护确认结果为监护确认成功。

14、进一步的，所述数据解析成像模块在安措票画面上显示已执行项和未执行项，并根据监护确认结果在安措票画面上显示已执行项的安措监护确认结果时，遍历安措票中所有执行项，若当前执行项存在监护确认结果，将当前执行项标记为已执行项，若当前执行项不存在监护确认结果，将当前执行项标记为未执行项，若已执行项的监护确认结果为监护确认成功，将已执行项用第一颜色标注，若已执行项的监护确认结果为监护确认失败，将已执行项用第二颜色标注。

15、本发明还提出一种基于ar眼镜的二次安措执行监护方法，应用于任一所述的基于ar眼镜的二次安措执行监护系统，包括以下步骤：

16、步骤1、获取安措票并进行人工复核修正后存入ar后台服务器的安措票数据库；

17、步骤2、ar眼镜获取并显示全部厂站列表以及各厂站下的安措任务列表；

18、步骤3、ar眼镜的ar人机交互模块获取执行厂站以及需要执行的安措任务对应的语音或手势信息，并生成对应的选择安措任务指令后发送给ar后台服务器(3)，ar后台服务器的业务处理模块从安措票数据库中选取对应的安措票，将选取的安措票解析并将解析结果发送至ar眼镜；

19、步骤4、ar眼镜的数据解析成像模块根据解析结果生成安措票画面并显示在ar眼镜视窗的目标位置，并标注安措票画面中的当前执行项，ar眼镜的ar扫描模块实时采集图像或视频数据并传输至ar识别终端，ar识别模块从所述图像或视频数据中识别出安措执行对象的信息，然后发送给ar后台服务器；

20、步骤5、ar后台服务器的业务处理模块将安措执行对象的信息与当前执行项的执行项信息进行比较得到当前执行项的监护确认结果，并将监护确认结果发送给ar眼镜；

21、步骤6、ar眼镜的数据解析成像模块将根据监护确认结果在安措票画面上显示当前执行项的安措监护确认结果，若当前执行项的安措监护确认结果为监护确认成功，选取安措票画面的下一执行项作为当前执行项并返回步骤4，直到安措票画面的所有执行项均得到监护确认结果；若当前执行项的安措监护确认结果为监护确认失败，返回步骤4，直到当前执行项的安措监护确认结果为监护确认成功。

22、进一步的，所述方法还包括：若ar眼镜的ar人机交互模块获取人工确认指令对应的语音或手势信息，生成人工确认指令后发送给ar后台服务器，ar后台服务器的业务处理模块修改当前执行项的监护确认结果为监护确认成功，并将监护确认结果发送给ar眼镜，跳转步骤6。

23、与现有技术相比，本发明的优点在于：

24、1、本发明提供了一种基于ar眼镜的二次安措执行监护系统，还提供了一种基于ar眼镜的二次安措执行监护方法，实现利用ar眼镜指引安措执行，并完成安措执行结果的监护确认。

25、2、本发明提升了安措执行过程的可靠性和便捷性，并在ar眼镜上展示安措票及安措监护确认结果，操作人员可实时比对安措票进行安措执行操作，对变电站安全可靠运行具有重要意义。