一种基于智能AR眼镜的燃气场站巡检系统及方法与流程

本发明属于天然气行业场站巡检，涉及一种基于智能ar眼镜的燃气场站巡检系统及方法。

背景技术：

1、在当今数字化时代技术革命浪潮下，寻求通过新的技术和产品解决企业自身长期面临的痛点问题，是燃气行业亟待解决的问题。对于燃气企业而言，确保场站设备的安全、可靠、稳定运行是企业发展的基础，使用过程中任意设备的缺陷故障，都有可能影响安全。将ar技术和产品综合应用到燃气企业的设备维修、设备巡检、培训指导系统中，可以一次性解决以上痛点问题，重新定义一线员工的工作、学习，甚至思考方式，提供了革命性的变革。

2、目前，大多数燃气企业在设备巡检与维修、应急管理、实操培训等方面仍然采用传统的人工方式，随着燃气行业对国民经济关切越来越大，为了确保燃气行业稳定、可靠、安全运行，因此急需对现行的设备运维和应急管理模式进行调整，同时在员工培训和远程运维指导方面也需要借助信息技术提高效率和质量。

技术实现思路

1、为解决上述技术问题，本发明提供一种基于智能ar眼镜的燃气场站巡检系统及方法，将智能ar技术应用到燃气场站设备巡检系统中，主要包括智能ar眼镜、智能巡检ar眼镜端软件、后端管理平台、平台服务器。智能ar眼镜为可穿戴设备，主要用作智能巡检软件的新型载体，并可安装到安全帽上且内嵌通讯单元通过通讯卡将数据传输到平台服务器；智能巡检ar眼镜端控制装置主要用于进行远程巡检操作，可进行标准化巡检作业，接收报警、查看设备动态参数、历史数据、作业指导书、唤起远程保障协作等；后端管理平台主要用于设备管理，巡检路线管理，巡检记录的查看，远程保障的协作指导、以及与其他数据平台的对接等；平台服务器用来安装和部署后端管理平台并接收智能ar眼镜端软件传输过来的现场数据。

2、本发明通过ai识别算法结合ar视频技术对巡检现场的设备运行场景、周边运行环境、设备运行状态进行自动识别，实现对隐患的排查及判定。通过ai识别算法对现场设备的运行状态、运行场景以及运行环境进行判定，排查设备故障隐患、判定运行场景的安全隐患以及现场运行环境的缺陷情况并上报后台预警。

3、本发明通过ar新技术的应用，运用ai识别算法结合ar眼镜视频，及时发现设备运行隐患以及运行环境的安全隐患，排除隐患，确保设备的安全运行。通过本发明能够快速、高效地得到远程专家指导来解决问题，打破时空差距，助力增效。

4、为达到上述目的，本发明采用如下技术方案：

5、一种基于智能ar眼镜的燃气场站巡检系统及方法，包括智能ar眼镜、智能巡检ar眼镜端控制装置、后端管理平台、平台服务器；

6、所述智能ar眼镜为可穿戴设备，装载智能巡检ar眼镜端控制装置；

7、所述智能巡检ar眼镜端控制装置安装在安全帽上且内嵌通讯单元，通过通讯单元将数据传输到部署在平台服务器端的后端管理平台；所述智能巡检ar眼镜端控制装置用于进行远程巡检操作，进行标准化巡检作业，接收报警，查看设备动态参数、历史数据、作业指导书，唤起远程保障协作；

8、所述后端管理平台用于设备管理、巡检路线管理、巡检记录的查看、远程保障的协作指导以及与其他数据平台的对接；所述其他数据平台包括数据湖平台、智慧燃气综合管理平台；

9、所述平台服务器用来安装和部署后端管理平台并接收智能巡检ar眼镜端控制装置传输过来的现场数据。

10、进一步地，所述智能巡检ar眼镜端控制装置实现基于智能ar眼镜的ai识别算法；所述ai识别算法包括实时场景判别、设备运行状态判定和人员安全操作是否规范的判定。

11、本发明还提供一种基于智能ar眼镜的燃气场站巡检系统及方法，包括：利用智能ar眼镜装载的智能巡检ar眼镜端控制装置中的ai识别算法，获得异常场站现场环境数据；所述异常场站现场环境数据包括浓烟、火焰、高温感知；设备运行数据、现场人员规范操作数据，通过内嵌在智能ar眼镜的通讯单元，将数据传输到平台服务器；所述设备运行数据包括仪表计量数据、仪表指示灯闪烁；所述现场人员规范操作数据包括佩戴安全帽、穿反光衣、佩戴绝缘手套、吸烟；通过所述智能巡检ar眼镜端控制装置进行远程巡检操作，进行标准化巡检作业，接收报警、查看设备动态参数、历史数据、作业指导书、唤起远程保障协作；利用所述平台服务器安装后端管理平台，接收智能巡检ar眼镜端控制装置传输过来的现场数据；利用所述后端管理平台进行设备管理、巡检路线管理、巡检记录的查看、远程保障的协作指导以及与其他数据平台的对接，所述其他数据平台包括数据湖平台、智慧燃气综合管理平台。

12、进一步地，所述ai识别算法进行实时场景判别、设备运行状态判定和人员安全操作是否规范的判定。

13、进一步地，所述实时场景判别包括：通过红外测温传感设备或者摄像头，判断设备是否存在异常，并对发现的异常进行告警；利用focal loss函数改进神经网络的损失函数，并改进mobilenetv2模型来实现实时场景判别；

14、focal loss函数改进神经网络的损失函数fl(p)的计算公式如式(1)所示：

15、fl(p)＝-αt[1-p(x)]γlogp(x)    (1)

16、式中，αt表示样本平衡系数，γ表示惩罚因子；fl(p)表示熵损失，p为模型预测正例概率值，范围为[0,1]，x为时间参数，p(x)为对应时间参数的样本正例概率值；

17、mobilenetv2模型首先对图像进行第1层卷积，得到特征图像的像素大小，如式(2)所示：

18、

19、其中，n为输出的特征图像像素大小，w为输入图像的大小，f为卷积核的大小，p为填充像素，s为步长；

20、接着对特征图像进行批规范化操作，使得每个卷积层对同批次数据实施归一化，如式(3)所示：

21、x＝[x1,x2,···,xm]    (3)

22、其中，x为单个卷积层输入样本数,m为样本数，xm为第m个样本；

23、进行归一化处理首先计算该同批次数据的均值，如式(4)所示：

24、

25、其中，b为单个批次层间输出值的集合，μb为某批次输出值的均值，xi为第i个样本，m表示样本数；

26、接着计算同批次数据的总体方差，如式(5)所示：

27、

28、其中，为同批次数据的总体方差；

29、接着进行规范化处理，如式(6)所示：

30、

31、其中，ε为规范化尺度调整系数，取1；表示经过规范化处理后的第i个样本值；

32、规范化处理后，应用批归一化函数进行缩放与平移，如式(7)所示：

33、

34、其中，γ和β为需要被训练的参数，γ和β需要在程序中反向传播学习获得；yi为函数bn处理后函数值；

35、经过缩放与平移得到yi，将yi作为输入经过relu6非线性激活函数处理向下传递，激活函数如式(8)所示：

36、relu6(yi)＝min[max(yi,0),6]    (8)。

37、进一步地，所述设备运行状态判定包括：

38、通过对于刀闸、闪烁灯光、仪表数据、后台信息的识别、调取与判断，判定设备当前的运行状态是否正常；采用基于物联网与图像识别的数据处理模型，通过图像视觉识别设备信息，进而调取该图像视觉设备的后台物联数据来实现运行状态判定功能，具体方法为：

39、首先对图像进行灰度化、二值化、滤波、分割的预处理操作并初步分析，灰度化处理采用加权平均法，如式(9)所示：

40、

41、其中，gray(k,l)表示灰度化数值，r(k,l)表示图像红色分量像素值，g(k,l)表示图像绿色分量像素值，b(k,l)表示图像蓝色分量像素值；

42、图像二值化方法具体选择大津算法方法，如式(10)所示：

43、v＝frontp*backp*(frontmean-backmean)2    (10)

44、其中，frontp表示前景像素个数/总个数，即前景占总图的比例，backp表示背景像素个数/总个数,即背景占总图的比率，frontmean表示前景所有像素灰度值均值，backmean表示背景所有像素灰度值均值，v表示大津算法求得阈值；

45、图像滤波采用均值滤波方法，如式(11)所示：

46、

47、其中，k.height表示高度，k.width表示宽度，k表示滤波输出值；

48、图像分割使用贝叶斯原理，如式(12)所示：

49、

50、其中，x表示目标阈值,l表示总的阈值，p(x|l)表示x占l的概率比值，p(xl)表示x与l同时包含的概率值，p(l)表示l的概率值，p(l)|x)表示x情况下l发生的概率，p(x)表示x的概率值；

51、接着采用卷积神经网络识别设备信息，输入输出公式如式(13)、式(14)所示，总误差计算如式(15)所示，梯度下降与反向传播如式(16)所示：

52、v＝conv2(l,x,"valid")+b    (13)

53、

54、

55、

56、式(13)中，v为最终输入值，conv2表示两层卷积，valid为式(12)中求得p(x|l),b为自定调参值；式(14)中，y为输出值，为卷积计算；式(15)中，e为总误差计算值，d为算子容积误差，yl为l的累计误差，表示d-yl的范数平方且算子数为2；式(16)中e为下降分量，wij为曲线曲率，vij为在i，j不同值时的输入值。

57、进一步地，所述人员安全操作是否规范的判定包括：借助深度姿态估计模型openpose检测人员的动作和姿态，通过卷积神经网络进行衣服检测与分类，通过图像分割确定人员装备的安全穿戴，通过卷积神经网络进行人脸识别，通过ocr光学字符识别技术判别人员的证件等，通过对已知着装的人员、已知动作的人员、已知身份的人员进行识别训练，进而实现判定功能；

58、深度姿态估计模型openpose首先建立有效关键点对检测函数，如式(17)所示：

59、

60、其中w(u)是对两个关键点的向量dj1和dj2之间的位置进行插值，如式(18)所示：

61、w(u)＝(1-u)dj1+udj2    (18)

62、其中，l是人群归因分数，d是两个关键点的向量，j1为第1关键点的向量表示，j2为第2关键点的向量表示；u为权重参数，值取[0,1]，w是两个关键点之间的插值点，e_dot是通过计算人群归因分数l和向量dij之间的点积得到的计算值。

63、有益效果：

64、本发明借助智能ar眼镜代替传统的移动巡检终端设备，通过ar、大数据、云计算、ai识别等技术，实现信息可视化显示、设备数据实时查看、错误判断、专家远程协助等功能，一线巡检人员佩戴ar眼镜智能终端进行巡检，专家使用个人电脑远程提供技术支持，管理人员做巡检监控、巡检标准管控、规范作业流程等操作整体把控巡检业务的开展和提升巡检的业务水平，实现作业人员“一专多能”，高效排查天然气企业场站隐患风险。