融合可见光与红外图像处理的电网线路缺陷分析方法与流程

1.本发明涉及电力设备巡检、可见光图像照度增强、红外图像识别等技术领域，尤其涉及一种融合可见光与红外图像处理的电网线路缺陷分析方法。


背景技术：

2.在电网巡视中，在白天开展红外图像存在诸多问题，包括白天阳光的干扰、阳光照射导致设备温升等。因此需要在阳光弱时开展红外拍摄，但同时也产生了照度不足影响视线的问题。
3.此外，现有电网线路的巡视作业主要依靠可见光和红外图像进行故障诊断，但是仅依靠一种类型图像难以判断缺陷发生的原因，如可见光图像主要发现设备表面缺陷，而红外图像只能发现存在异常温升。由于不同的缺陷原因所采取的消缺方式不同，如内部缺陷温升则是需要更换设备，而外部沾污导致发热温升则是需要进行清洗。


技术实现要素：

4.为了解决红外、可见光图像拍摄对环境要求的矛盾，对可见光图像进行照度增强，实现在低照度情况下的巡视查看及红外拍摄。同时，采用深度学习分割过程中，存在红外图像分割不完整或区域过多的情况，需要对红外图像的目标识别提取进行精细分割。
5.同时，通过融合可见光和红外图像，将有助于放电与温升共同用于缺陷的诊断分析，进一步提升缺陷分类的准确度。
6.因此，本发明针对现有技术存在的不足，本发明提出一种基于可见光与红外图像处理的无人机夜巡辅助方法，用于解决夜间线路巡视中面临照度不足以及红外缺陷分析效率低的问题。首先，通过对低照度可见光图像进行照度增强，巡视人员在无需额外照明装置的情况下，就能够进行肉眼辨识、查看线路设备；其次，自动进行红外图像中的设备目标进行分割识别，实现目标部件温度的提取。最后，将可见光与红外图像的处理进行融合，综合诊断设备的缺陷类型。
7.本发明目的是实现可见光照度增强、放电点标识及红外图像目标温度智能提取，并将图像智能处理算法与无人机现场巡视进行融合，能够具备以下效果：一是增强后的图像可以辅助作业人员在低照度环境下巡视查看，并且标识出异常放电点；二是红外图像中自动识别设备目标并提取温度数值，便于作业人员发现设备的异常温升；三是融合红外图像与可见光图像的处理结果，进一步细分设备的故障类型。本发明可解决传统夜间巡视中由于照度不足导致巡视效率低、缺陷查找难度大、缺陷分析效率低等问题，提升了无人机夜巡的作业效率和智能化水平，保障电力设备可靠运行。
8.本发明具体采用以下技术方案：
9.一种融合可见光与红外图像处理的电网线路缺陷分析方法，其特征在于，包括以下步骤：
10.步骤s1：边缘计算终端从无人机提取拍摄的可见光和红外图像；
11.步骤s2：边缘计算终端对可见光图像进行自适应照度增强，并标识图中的放电点，同时将图像传输到巡视设备上，辅助作业人员观察现场情况；
12.步骤s3：边缘计算终端对红外图像通过“图+数”融合的智能分割算法提取包括绝缘子、耐张线夹的目标设备，并提取温度数值用于辅助设备状态的诊断
13.步骤s4：将红外图像识别的目标设备与可见光图像的放电点位置进行匹配关联，并综合可见光图像中的目标设备放电点和红外图像中的目标设备温度数值，判断设备的故障状态。
14.进一步地，步骤s2具体包括以下步骤：
15.步骤s21：采用经过正常照度可见光图像样本训练的卷积神经网络作为分解网络对可见光图像s进行分解，得到反射图像r和入射光图像i；
16.步骤s22：使用卷积神经网络作为增强网络，对入射光图像i的光照分布进行估测并提升入射光图像i的照度，得到图像i’；同时，对反射图像r中的噪声进行抑制，得到图像r’；并将调整后的反射图像r’和入射光图像i’进行相乘，得到增强后的可见光图像s’；
17.步骤s23：在得到增强的可见光图像后，进行放电点的检测，标识处放电点的位置。
18.进一步地，步骤s3具体包括以下步骤：
19.步骤s31：对提取的红外图像进行温度矩阵解析，得到红外图像和温度矩阵；
20.步骤s32：构建encoder-decoder卷积网络，由encoder对红外图像原图进行编码并得到图像特征，在decoder中将图像特征进行融合实现目标的初步分割，得到图像f1；
21.步骤s33：考虑图像f1中的分割目标与实际目标存在偏差，即存在缺失或过多的情况，需要进一步处理提升分割目标的准确度；选取f1中分割目标上的中心点p，并以p为中心，以沿横向或纵向进行拓展，得到中心点集合tl；对集合tl中的点进行拟合得到中心线斜率；
22.步骤s34：由p向与中心线垂直方向移动1个点，得到点p2，确认点p2与p之间的温差是否超过5℃，并进行重复执行，直至得到分割后的目标集合m；分别在沿中心线以w*h选取矩形框mi，与中心点p选取的矩形框m0进行相似度计算，若mi与m0的相似度值大于set，则矩形框mi中的点属于分割目标，继续移向下一个点，重复步骤s33和s34；若mi与m0的相似度值小于set，则矩形框mi中的点不属于分割目标；
23.步骤s35：根据以上步骤得到精细提取后的中心点集合tlc，并进一步映射到温度矩阵中，得到表征目标区域的温度数值。
24.进一步地，步骤s4具体包括以下步骤：
25.步骤s41：按照红外图像和可见光图像之间的像素比例，将可见光图像中的放电点位置映射到红外图像上；
26.步骤s42：根据红外图像中识别的设备，将设备的温度与放电点位置进行融合，综合判定放电发热缺陷、内部发热缺陷及其严重程度。
27.进一步地，采用轮询方式提取无人机拍摄的最新可见光图像和红外图像，并采用无线传输将处理后的结果返回给地面终端，辅助作业人员巡视查看。
28.进一步地，在步骤s1中，采用无人机上搭载的边缘计算终端提取无人机拍摄的可见光和红外图像，并计算可见光图像的照度值。
29.进一步地，还包括，步骤s5：边缘计算终端通过无线通信模块实时反馈处理后拍摄
图像及巡检结果，地面手持终端显示并存储图像和巡检结果。
30.与现有技术相比，本发明及其优选方案针对夜间巡视中面临的实际问题：可见光图像照度不足，导致作业人员无法查看；红外图像需要人工使用专门的软件进行部件温度分析和状态诊断，工作效率低且易错漏。通过对可见光图像和红外图像进行智能处理，解决夜间巡视所面临的问题。
附图说明
31.下面结合附图和具体实施方式对本发明进一步详细的说明：
32.图1为本发明实施例过程的流程图。
33.图2为本发明实施例的可见光图像处理流程图。
34.图3为本发明实施例的红外图像处理结构图。
35.图4为本发明实施例的融合可见光和红外图像的缺陷诊断图。
具体实施方式
36.在下文中，将参考附图对本技术的具体实施例进行详细地描述，依照这些详细的描述，所属领域技术人员能够清楚地理解本技术，并能够实施本技术。在不违背本技术原理的情况下，各个不同的实施例中的特征可以进行组合以获得新的实施方式，或者替代某些实施例中的某些特征，获得其它优选的实施方式。
37.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本技术的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
38.为让本专利的特征和优点能更明显易懂，下文特举实施例，作详细说明如下：
39.如图1-图4所示，本实施例提供一种融合可见光与红外图像处理的电网线路缺陷分析方法；针对无人机夜间巡视中的可见光图像，通过照度增强提供可用于肉眼查看电网设备的可见光图像；针对红外巡视图像，通过图像分割以及缺陷诊断，实现对目标部件的状态分析。在辅助无人机夜间巡视作业现场拍摄的同时，提升设备状态缺陷分析效率，大幅提升了无人机夜间巡视的质效。
40.以夜间开展复合绝缘子的巡视为例，实施的步骤包括以下：
41.在步骤s1中，采用大疆m300无人机挂载了可见光和红外镜头，在巡视过程中同时拍摄可见光和红外图像；同时，通过osdk扩展板实现边缘计算终端和无人机的硬件连接；同时，在边缘计算终端内编写自启动脚本程序，终端自动对无人机拍摄图像进行轮询，在发现新拍摄的红外和可见光图像后，将图像提取到终端的存储器中。
42.在步骤s2中，为了降低计算量，将可见光图像裁剪压缩至与红外图像一样的尺寸，同时终端对可见光图像进行图像照度检测，如果照度符合要求，则进行放电点的查找；如果照度不符合要求，则对进行可见光图像增强。在可见光图像的增强过程中，采用经过正常照度可见光图像样本训练的卷积神经网络(分解网络)对可见光图像s进行分解，得到反射图像r和入射光图像i；进一步使用卷积神经网络(增强网络)对入射光图像i的光照分布进行估测并提升入射光图像i的照度，得到图像i’；同时，对反射图像r中的噪声进行抑制，得到
图像r’；并将调整后的反射图像r’和入射光图像i’进行相乘，得到增强后的可见光图像s’；
43.在可见光图像增强处理后，放电点在可见光图像中以淡蓝色区域呈现，为了进一步标识出放电点区域，采用以下方法进行放电区域标识：
44.(1)在有放电点的历史图像中，提取包含放电点的图像区域作为参考样本；为了提升识别准确度，图中的放电点区域分为核心区域c和扩展区域t，即一个放电点对应一组{c,t}且扩展区域的半径是核心区域半径的λ倍，其中c＝{(x
c1
,y
c1
),...,(x
cm
,y
cm
)}，t＝{(x
t1
,y
t1
),...,(x
tn
,y
tn
)}。同时，分析核心区域和扩展区域的图像特征值，并设定最大偏差值δ1，δ2；
45.(2)以一个半径r的区域对待处理的图像进行扫描，得到待定核心区域ri，将ri和核心区域c进行匹配度计算，若匹配度偏差大于δ1，则继续进行下个区域的扫描；若匹配度偏差小于δ1，则以核心区域为中心，对外扩展λ比例，得到待定扩展区域gi，将gi和扩展区域t进行匹配度计算，若匹配度偏差大于δ2，则继续进行下个区域的扫描；若匹配度偏差小于δ2，则选择的核心区域为放电点区域；
46.(3)重复步骤2，直至完成全图的扫描，得到放电点的集合f＝{(x
fi
，y
fi
)}。
47.在步骤s3中，边缘计算终端对红外图像通过“图+数”智能分割算法识别绝缘子、耐张线夹等电力设备，并提取目标设备的温度数值；
48.(1)边缘计算终端启动轮询程序，通过onboard扩展板接口从无人机中提取红外图像，并对红外图像进行温度解析，得到温度数值矩阵；
49.(2)边缘计算模块运行图像智能分割模型，可以得到粗分割的目标区域；
50.(3)红外图像“粗”分割的目标存在目标提取不完整、边缘不整齐、分割范围过大等问题，采用温度数值矩阵，进行目标区域的精细提取，具体如下：
51.(3.1)先进行粗分割图像的坐标提取，根据全部坐标点可以得到中心点c(xi，yj)，并计算粗分割图像的温度平均值t
mean
；
52.(3.2)将中心点分割图像映射到温度矩阵中，得到分割图像的中心点温度数值和分割图像区域的平均温度；
53.(3.3)以中心点位起点，分别向上下左右四个方向进行扩展，以向左扩展方式为例：寻找中心点左侧的最邻近点(x
i-1
，yj)，同时查找该点的上下相邻点(x
i-1
，y
j-1
)，(x
i-1
，y
j+1
)，若各个点的温度值均大于区域平均温度的数值t
mean
，确定下一个中心点为(x
i-1
，yj)；若点(x
i-1
，y
j-1
)对应的温度值小于t
mean
，则备选点为(x
i-1
，yj)，(x
i-1
，y
j+1
)，(x
i-1
，y
j+2
)，若各个点的温度值均大于区域平均温度的数值t
mean
，则确定中心点为(x
i-1
，y
j+1
)；若点(x
i-1
，y
j+1
)对应的温度值小于t
mean
，则备选点为(x
i-1
，y
j-2
)，(x
i-1
，y
j-1
)，(x
i-1
，yj)，若各个点的温度值均大于区域平均温度的数值t
mean
，则确定下一个中心点为(x
i-1
，y
j-1
)；若点(x
i-1，yj)对应的温度值小于t
mean
，则停止扩展；重复上述步骤，可以得到扩展后的中心点集合，即lc＝{(x
c,i
，y
c,j
)}，集合可以形成一条中心点连接线；
54.(3.4)进一步对中心点连接线利用最小二乘法进行拟合，得到中心点连接线的斜率，然后选取中心点连接线一端的端点，沿着与在连接线的垂直方向进行拓展，若相邻点两点之间的温度值超过5℃，则认为是部件边界；逐点拓展后，可得到新的分割部件图像；
55.(3.5)在新分割部件图像中，选取端部的中心点，并以w*h矩形框选取区域dl1的温度数值。同时以点c(xi，yj)为中心，同样选取一个w*h矩形框dc。
56.计算dc和dl1内图像的相似度：
57.(3.5.1)首先，对两个框中的温度数值进行归一化处理，得到的两个框区域为x，y；
58.(3.5.2)然后，进行两个框的相似度计算
[0059][0060][0061][0062][0063][0064]
相似度判断准则为：
[0065]
取c3＝(k*l)^2/2,一般地k＝0.03,l＝1
[0066]
(3.5.3)若相似度值s大于δ3，则该端点属于目标设备；若相似度值小于δ3，则该端点不属于目标设备，则向右选择下一个中心点，并进行相似度计算；
[0067]
(3.5.4)最后，将相似度匹配的矩形框中心点进行汇总，确定精细提取后的目标设备中心线tlc＝{(x
tc,i
，y
tc,i
)}，i∈[0,n)，n为中心点的数量，并根据中心线上的点坐标得到对应的中心线温度数值。
[0068]
在步骤s4中，将红外图像识别的目标设备与可见光图像的放电点位置进行匹配关联，并综合可见光图像中的目标设备放电点和红外图像中的目标设备温度数值，判断设备的故障状态。
[0069]
可见光图像中的点(x
fi
，y
fi
)放电情况为v＝disch(x
fi
，y
fi
)，若v＝0,该点无放电，若v＝1,则该点有放电；其映射到红外温度矩阵中的点坐标为(xi，yi)，即(xi，yi)＝tran((x
fi
，y
fi
))；而(xi，yi)对应的温度数值为w(xi，yi)。
[0070]
设计df函数对点(xi，yi)对应的温度值w(xi，yi)和可见光图中的放电情况disch(x
fi
，y
fi
)进行综合判断：
[0071][0072]
setvalue根据环境温度进行设定。其中，0表示温度正常且无放电，1表示存在温升但无放电，2表示温度正常但有放电，3表示存在温升并有放电。
[0073]
因此，在中心线tlc的点对应df数值，即为：df＝{dfi}。
[0074]
进一步对df序列进行综合分析，判断准则如下：
[0075]
(1)若df中，dfi＝3的点占整个中心线的比例p
df＝3
》setp3,则判定部件的状态为3；
[0076]
(2)若df中，dfi＝3的点占整个中心线的比例p
df＝3
《setp3,且p
df＝1
》setp1,则判定部件的状态为2；
[0077]
(3)若df中，p
df＝3
《setp3且p
df＝1
《setp1,p
df＝2
》setp2,则判定部件的状态为1,；
[0078]
(4)其余情况，则判定部件的状态为0
[0079]
输出结果，0表示部件无故障，1表示部件表面污闪温升，2表示部件存在内部缺陷温升，3表示既有污闪又有内部缺陷导致温升。
[0080]
以上所述是本发明的优选实施方式，应当指出的是，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进接润饰，这些改进和润饰也视为本发明的保护范围。
[0081]
本专利不局限于上述最佳实施方式，任何人在本专利的启示下都可以得出其它各种形式的融合可见光与红外图像处理的电网线路缺陷分析方法，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本专利的涵盖范围。