一种基于AI可视化多传感器融合技术的输电巡检方法与流程

本发明涉及电力监测，具体涉及一种基于ai可视化多传感器融合技术的输电巡检方法。

背景技术：

1、目前，基于实时视频的物体检测可视化技术应用在各行各业已经非常广泛，可视化的物体检测技术指的是将实时视频抽取成帧，然后利用深度神经网络对每一帧进行ai分析，然后将每帧识别结果组合成视频进行实时显示。它一直以来都是很热门的研究领域，广泛用于安防及数字多媒体领域。电力行业也逐步将ai技术运用到电力巡检等各个方面。有的将其用于输电线路巡检，传统输电线路巡检都是用人工方式去巡检，这种方式太耗费人力，特别是在大山深处巡检尤其困难。有的将其用于电缆隧道巡检，用于预防隧道内火灾、塌方、洪水监测，例如重庆交通大学朱鹏浩、张世义等人在其研究《基于多传感器融合的隧道智能巡检系统》，以及国网浙江省电力公司将其ai用于图像辨别的光缆线路故障定位及可视化方法及系统。

2、输电线路巡检近些年来发展非常迅猛，其巡检业务每年都是通过安排人员去爬山涉水进行人工巡检，巡检效率十分低下。因此，要借助最新的人工智能技术对输电线路隐患进行实时检测以代替繁重的人工巡检任务。但是市面上目前已上市的可视化设备只是用ai来进行输电线路隐患分析，而无法感知隐患具体的距离并判断隐患是否对输电线路造成潜在影响。

技术实现思路

1、本发明的目的在于提供一种基于ai可视化多传感器融合技术的输电巡检方法，该方法用于解决现有输电线路采用人工巡检方式过于繁重及效率低下问题，通过边缘网关下发指令控制摄像头拍照获取指定视野范围的照片，以及结合ai可视化技术与多传感器融合技术，从而实现对输电线路进行更高效的巡检。

2、为解决上述问题，本发明所采用的技术方案如下：

3、一种基于ai可视化多传感器融合技术的输电巡检方法，该方法包括以下步骤：步骤s1，制定可视化输电巡检方式；

4、步骤s2，根据巡检方式控制摄像头转动到指定位置；

5、步骤s3，由边缘网关下发指令，通过http协议读取摄像头的实时视频流；

6、步骤s4，对实时视频流进行ai可视化分析，判断是否存在输电隐患目标，若存在隐患目标则执行步骤s5；否则，延时等待继续执行获取实时视频流，并检测当前视频帧；

7、步骤s5，对当前视频帧进行ai可视化分析，若识别出当前视频帧有输电隐患，输出检测和识别结果并保存到本地目录；

8、步骤s6，当识别到有输电隐患时，启动毫米波雷达对当前场景进行测距；若隐患距离小于安全距离时，则启动ai雷达双告警机制；若隐患距离大于用户自定义数值安全距离时，则不启动ai雷达双告警机制，并往控制后台传输ai告警信息；

9、步骤s7，将识别结果传回控制后台进行web页面展示；

10、步骤s8，继续执行可视化输电巡检方式。

11、根据本发明提供的一种基于ai可视化多传感器融合技术的输电巡检方法，在从摄像头获得视频帧序列后，选择第一帧为背景帧，根据其背景帧来进行摄像头控制角度及焦距设置，并通过边缘网关下发指令。

12、根据本发明提供的一种基于ai可视化多传感器融合技术的输电巡检方法，对当前视频帧进行ai可视化分析，包括：截取当前区域图像，将截取的待处理图像输入深度神经网络模型来识别隐患目标类别以及隐患位置坐标；若检测到有输电隐患时，则启用毫米波雷达对隐患进行测距。

13、根据本发明提供的一种基于ai可视化多传感器融合技术的输电巡检方法，在使用深度神经网络模型来识别隐患目标类别及其位置坐标时，包括：

14、步骤s11，输入待处理图像至深度神经网络模型，首先将图片缩放至640*640分辨率，并进行归一化处理；

15、步骤s12，通过深度神经网络模型将归一化处理后的图像经过多个卷积、池化、上采样、下采样、特征拼接操作，将图像映射到高维特征空间；

16、步骤s13，经过特征提取网络获得图像中每个目标的特征信息，其中，特征提取网络通过不同的深度卷积以及残差模块提取不同层次的特征，浅层特征有利于小目标检测，深层特征有利于目标识别；

17、步骤s14，预测输出，通过分类和回归算法得到每一个隐患类别及位置信息。

18、根据本发明提供的一种基于ai可视化多传感器融合技术的输电巡检方法，步骤s12中的初始化卷积依次包括focus模块、3×3×64的卷积a、swish激活函数、3×3×128的卷积b、split模块；将归一化处理后的图像首先经过focus模块将图片进行切片，通过3×3×64的卷积a进行上采样得到特征图，然后经过swish激活函数处理再经过卷积b提取特征作为下一级网络输入。

19、根据本发明提供的一种基于ai可视化多传感器融合技术的输电巡检方法，步骤s13中，特征提取网络包括预设数量的残差卷积模块，在每几个残差卷积之间连接一个1×1×64的卷积c进行下采样；每个残差卷积模块从输入到输出依次为1*1*64卷积c、激活函数swish、1×1×128的卷积d、激活函数swish、图像特征值相加。

20、根据本发明提供的一种基于ai可视化多传感器融合技术的输电巡检方法，步骤s13中，特征提取网络利用深层特征通过空间金字塔池化csp之后，与浅层特征一起经过路径聚合网络fpn、pan进行特征融合，通过多层次特征学习提升目标检测与识别精度。

21、根据本发明提供的一种基于ai可视化多传感器融合技术的输电巡检方法，步骤s14中，预测输出具体包括：通过softmax函数，在边框回归预测时，使用到giou_loss损失函数，得到隐患目标的类别、置信度和目标框的坐标；其中，输出具体信息为目标框的在图像中的坐标，包括物体四个点的x、y值，隐患目标的的类别及预测概率。

22、根据本发明提供的一种基于ai可视化多传感器融合技术的输电巡检方法，在进行预测时，进行三种尺度的预测，取最后三个尺度的特征图，经过fpn和pan之后，将三个尺度的特征输入到检测模块进行回归和分类得到输出结果；其中，检测模块由3个残差模块加上固定通道数的卷积构成。

23、根据本发明提供的一种基于ai可视化多传感器融合技术的输电巡检方法，当检测到目标的概率大于设定阈值时，即当前像素点位属于待检测图像的可能性大于设定值，则保留该结果，并对目标框进行非极大值抑制筛选去重，确定该位置处交并比iou最大的目标框，最后将该目标框及其置信度作为最终结果输出并显示；其中，阈值设定为0.1～0.4之间。

24、根据本发明提供的一种基于ai可视化多传感器融合技术的输电巡检方法，在执行步骤s7时，通过边缘网关及mqtt协议将识别结果、检测后带标注的图片以及雷达测距生成的txt文件传回后台服务器，用于web页面展示。

25、由此可见，相对于现有技术，本发明具有以下有益效果：

26、1、本发明可以实现基于摄像头的大区域内目标检测与识别，可配合巡检任务在摄像头视域范围较大或目标成像区域较小的情况下，实现输电线路隐患目标的实时监测与识别，其准确性和实时性较好。

27、2、本发明采用了三阶段过程，首先对后台人员对监控视频进行检测，以下发指令调整摄像头焦距和角度等，确保拍摄的图片是较好的状态时，再进入第二阶段的深度学习网络检测识别过程，降低边缘网关功耗。当检测到有隐患时，则启用超声波雷达进行隐患距离测量。若没有检测到隐患，则不启用雷达测距，进一步降低边缘端设备的功耗。

28、3、本发明在小目标检测与识别问题中，结合了fpn和pan，在卷积过程中尽可能地保留了足够丰富的小目标特征信息。

29、4、本发明在具体预测输出时，通过softmax函数，特别的在边框回归预测时，使用到giou_loss损失函数，使用了该损失函数在计算量不变的情况下可以有效的改进边框贴合度。

30、下面结合附图和具体实施方式对本发明作进一步详细说明。