配网线路无人机巡检的人工智能缺陷识别方法和系统与流程

1.本发明涉及配网技术领域，具体涉及一种配网线路无人机巡检的人工智能缺陷识别方法和系统。


背景技术：

2.配网是指从输电网或地区发电厂接受电能，通过配电设施就地分配或按电压逐级分配给各类用户的电力网。是由架空线路、电缆、杆塔、配电变压器、隔离开关、无功补偿器及一些附属设施等组成的，在电力网中起重要分配电能作用的网络。配网线路一般暴露在室外，运行时就必然会受到自然环境、社会环境的影响。雷电、暴风雨等极端天气可能会破坏或损毁配电网设备，或者造成电击等事故的产生。而在城乡一体化化建设过程中，存在不合理的绿化植株建设问题，违章建筑的建设问题；人为地偷盗、乱接线、故意破坏配网线路等问题，这些问题都会对配电设备的正常运行造成影响，甚至导致安全事故的发生及法律风险。
3.由于配电网设备高可靠性的要求，设备停电试验项目很少，日常巡视是主要的设备状态管控手段，运维人员对于有效且高效的巡检手段需求较为迫切。在配网巡检过程中，针对日常刚需的巡检工作会浪费大量的人力，且巡检过程难免出错，巡检环境恶劣，有时对巡检人员的人身安全造成伤害等情况。因此，无人机开始被用于配网线路巡检。
4.在无人机巡检时，设备故障的自动识别和智能诊断技术尤为重要。目前国内在电力图像诊断领域的研究主要是针对常见的线路缺陷类型或特定问题进行检测识别，例如输电线断股、螺丝脱落、绝缘子破损、防振锤破损、线夹破损、间隔棒的定位的话，若出现其他情况，则会识别错误，这导致配网缺陷识别准确率低。


技术实现要素：

5.(一)解决的技术问题
6.针对现有技术的不足，本发明提供了一种配网线路无人机巡检的人工智能缺陷识别方法和系统，解决了现有技术中配网缺陷识别准确率低的技术问题。
7.(二)技术方案
8.为实现以上目的，本发明通过以下技术方案予以实现：
9.本发明提供了一种配网线路无人机巡检的人工智能缺陷识别方法，包括：
10.获取原始样本库，所述原始样本库包括配网线路的典型部件图像和缺陷图像；对所述缺陷图像进行图像增广，得到人工样本，所述原始样本库和所述人工样本构成配网线路典型部件及缺陷样本库；
11.基于所述配网线路典型部件及缺陷样本库和fpn+faster
‑
rcnn网络获取研判模型；
12.基于研判模型对待检测的巡检视频图像进行检测。
13.优选的，所述对所述缺陷图像进行图像增广包括：
14.基于生成对抗网络对缺陷图像进行图像增广。
15.优选的，所述fpn+faster
‑
rcnn网络包括：fpn层和faster
‑
rcnn层，所述fpn层用于提取配网线路典型部件巡检影像缺陷特征，所述faster
‑
rcnn层用于识别配网线路典型设备部件。
16.优选的，所述基于所述配网线路典型部件及缺陷样本库和fpn+faster
‑
rcnn网络获取研判模型，包括：
17.基于所述配网线路典型部件及缺陷样本库构建三元组；
18.基于三元组训练fpn+faster
‑
rcnn网络，得到研判模型。
19.优选的，所述基于所述配网线路典型部件及缺陷样本库构建三元组，包括：
20.从配网线路典型部件及缺陷样本库中所有类中随机选取两个图像块，再从另一个类中选择一个图像块，每个三元组中含有两个相似图像块，一个不相似图像块。
21.优选的，基于三元组训练fpn+faster
‑
rcnn网络，得到研判模型，包括：
22.将三元组的训练集放入fpn+faster
‑
rcnn网络中，根据fpn+faster
‑
rcnn网络建立各层网络的权值，得到正向传播的输出，将实际输出与目标输出计算其残差，并用极小化误差的方法反向调整权值矩阵，在有限次的迭代过程中调整整个fpn+faster
‑
rcnn网络，得到研判模型。
23.本发明还提供一种配网线路无人机巡检的人工智能缺陷识别系统，所述系统包括计算机，所述计算机包括：
24.至少一个存储单元；
25.至少一个处理单元；
26.其中，所述至少一个存储单元中存储有至少一条指令，所述至少一条指令由所述至少一个处理单元加载并执行以实现以下步骤：
27.s1、获取原始样本库，所述原始样本库包括配网线路的典型部件图像和缺陷图像；对所述缺陷图像进行图像增广，得到人工样本，所述原始样本库和所述人工样本构成配网线路典型部件及缺陷样本库；
28.s2、基于所述配网线路典型部件及缺陷样本库和fpn+faster
‑
rcnn网络获取研判模型；
29.s3、基于研判模型对待检测的巡检视频图像进行检测。
30.优选的，所述对所述缺陷图像进行图像增广包括：
31.基于生成对抗网络对缺陷图像进行图像增广。
32.优选的，所述fpn+faster
‑
rcnn网络包括：fpn层和faster
‑
rcnn层，所述fpn层用于提取配网线路典型部件巡检影像缺陷特征，所述faster
‑
rcnn层用于识别配网线路典型设备部件。
33.优选的，所述基于所述配网线路典型部件及缺陷样本库和fpn+faster
‑
rcnn网络获取研判模型，包括：
34.基于所述配网线路典型部件及缺陷样本库构建三元组；
35.基于三元组训练fpn+faster
‑
rcnn网络，得到研判模型。
36.(三)有益效果
37.本发明提供了一种配网线路无人机巡检的人工智能缺陷识别方法和系统。与现有
技术相比，具备以下有益效果：
38.本发明通过对缺陷图像进行图像增广，对样本数量较少、特征不明显等的缺陷图像数据样本进行扩充，为研判模型的构建提供足够的数据，提高模型的准确率。
附图说明
39.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
40.图1为本发明实施例中的配网线路无人机巡检的人工智能缺陷识别方法的框图；
41.图2为本发明实施例中三元组的构造的示意图，其中(a)为训练前三元组的构造，(b)为训练后三元组的构造；
42.图3为为本发明实施例中配网线路导线断股缺陷识别示意图。
具体实施方式
43.为使本发明实施例的目的、技术方案和优点更加清楚，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
44.本申请实施例通过提供一种配网线路无人机巡检的人工智能缺陷识别方法，解决了现有技术中配网缺陷识别准确率低的技术问题，实现提高了配网缺陷识别的准确率，降低配网线路巡检传统作业成本，提高巡检效率。
45.本申请实施例中的技术方案为解决上述技术问题，总体思路如下：
46.随着人工智能和工业自动化的发展，设备故障的自动识别和智能诊断技术应用的越来越广泛，基于图像识别的智能诊断技术拥有识别速度快、准确率高、适用范围广等优点，从而引起广泛的关注。在配网线路无人机巡检技术中，准确地研判出配网线路典型设备部件是否存在缺陷是配网线路无人机巡检技术的关键步骤，更是无人机巡检配网线的基础。本发明实施例通过基于fpn+faster
‑
rcnn网络的研判模型对待检测的巡检视频图像进行检测，提高图像识别的准确率。
47.为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
48.本发明提供了一种配网线路无人机巡检的人工智能缺陷识别方法，如图1所示，该方法包括步骤s1～s3，具体如下：
49.s1、获取原始样本库，所述原始样本库包括配网线路的典型部件图像和缺陷图像，对缺陷图像进行图像增广，得到人工样本，所述原始样本库和所述人工样本构成配网线路典型部件及缺陷样本库。
50.s2、基于配网线路典型部件及缺陷样本库和fpn+faster
‑
rcnn网络获取研判模型。
51.s3、基于研判模型对待检测的巡检视频图像进行检测。
52.本发明实施例通过对缺陷图像进行图像增广，对样本数量较少、特征不明显等的
缺陷图像数据样本进行扩充，为研判模型的构建提供足够的数据，提高模型的准确率。
53.在一实施例中，s1、获取原始样本库，所述原始样本库包括配网线路的典型部件图像和缺陷图像，对缺陷图像进行图像增广，得到人工样本，所述原始样本库和所述人工样本构成配网线路典型部件及缺陷样本库。具体实施过程如下：
54.在本发明实施例中，配网线路主要包括：城乡结合部配网线路、城周山区丘陵配网线路和平原地区配网线路，获取这些
55.配网线路的典型部件图像和缺陷图像。配网线路的典型部件和缺陷具体见表1
‑
1至表1
‑
8：
56.表1
‑
1基础及防护设施状态缺陷
[0057][0058]
表1
‑
2杆塔状态缺陷
[0059]
[0060][0061]
表1
‑
3导线状态缺陷
[0062][0063]
表1
‑
4绝缘子串状态缺陷
[0064][0065]
表1
‑
5金具状态缺陷
[0066][0067]
表1
‑
6防雷设施及接地装置状态缺陷
[0068][0069][0070]
表1
‑
7辅助设施状态缺陷
[0071][0072]
表1
‑
8架空线防护区状态缺陷
[0073][0074]
在具体实施过程中，原始样本库中不同类别缺陷图像的样本数量占总样本数量的比重差异较大，通过生成对抗网络将缺陷图像原始样本进行增广。生成对抗网络在训练的过程中，判别器与生成器交替运行，不断博弈、学习并优化自身。为了防止判别器学习的速度过慢而导致生成器难以学习，一般地，每训练k次判别器再训练1次生成器，其中k为大于0的整数，如k＝3。具体如下：
[0075]
第一步，需要固定生成器g去训练判别器d。训练开始时，从原始数据库中的缺陷图
像中随机选出一批真实样本x，输入到判别器d中，判别器d输出判别概率d(x)。判别概率d(x)与样本的真实性标签，即1比较，得到误差lossd1；再将随机噪声z输入到生成器g得到伪造样本g(z)，并将g(z)输入到判别器中，得到判别概率d(g(z))。伪造样本的判别概率d(g(z))与其真实性标签，即0比较，得到误差lossd2。判别器d的总误差表示为lossd＝lossd1+lossd2。得到误差lossd后，将误差反向传播至判别器d中各个网络结点，并更新网络中的参数。至此，判别器d的一轮学习完成。
[0076]
第二步，需要固定判别器d去训练生成器g。将随机噪声z输入生成器g，得到伪造样本g(z)。再将g(z)作为输入送进判别器d，得到判别器给出的概率数值d(g(z))。与在判别器求误差的过程不同，判别器中伪造样本g(z)的真实性标签是0，即标注为“人工样本”。而在生成器中，其目的就是要训练出人工样本去“欺骗”判别器，使判别器认为人工样本就是真实样本，并给出判别概率d(g(z))接近1的结果。因此在生成器中，通常将输出的真实性标签设置为1，这样会使生成器g将随机噪声z朝着与真实样本相似的方向进行拟合。同样，得到伪造样本的真实性判别概率d(g(z))与真实性标签1的误差lossg之后，将误差反向传播至生成器g中的各个结点，并更新网络中的参数。至此，生成器g的一轮学习完成。
[0077]
第三步，如果有足够的样本，并且判别器d可以在每次对于生成器g的博弈训练中达到最优，那么最终v(g，d)将达到全局最优解。此时可以获得一个最优的生成器*g，使得此时的判别器*d对于真实样本x和伪造样本g(z)的判别概率都为0.5。这意味着生成器g的人工样本已经可以“以假乱真”，判别器*d已无法区分真实样本和人工样本。从而实现小缺陷样本的增广。
[0078]
人工样本和原始样本库构成配网线路典型部件及缺陷样本库。
[0079]
s2、基于配网线路典型部件及缺陷样本库和fpn+faster
‑
rcnn网络获取研判模型，其中，所述fpn+faster
‑
rcnn网络的fpn层用于提取配网线路典型部件巡检影像缺陷特征，faster
‑
rcnn层用于识别配网线路典型设备部件。
[0080]
采用配网线路典型部件及缺陷样本库中的图像训练fpn+faster
‑
rcnn网络。具体为：
[0081]
s201、基于所述配网线路典型部件及缺陷样本库构建三元组。
[0082]
用配网线路典型部件及缺陷样本库中大量的无标签的图像训练fpn+faster
‑
rcnn网络，参考alexnet网络结构来设计本发明实施例中的fpn+faster
‑
rcnn网络结构。然而，由于对图像没有标记，不能准确确定代价函数(loss function)并确定合适的优化方案。在本发明实施例中，用欧氏距离来判断两个图像块的相似性，在图像集合中，两个非常相近的块在视觉编码映射的空间中也是相近的，但是仅仅采用相似性特征约束是远远不够的，会导致所有点在映射到空间中的一个点。因此，为了训练fpn+faster
‑
rcnn网络，引入第三个块，组成新型的三元组。在训练过程中，采用代价函数来保证在映射空间中第一个块与其相似块比第一个块和随机块距离更近。
[0083]
基于新型的三元组的相似度比较，新型的三元组的构造有利于在优化过程中获取类间和类内距离，如图2所示。对于每一个三元组，采用以下构造策略：从配网线路典型部件及缺陷样本库中所有类(缺陷类型)中随机选取两个图像块，再从另一个类中选择一个图像块，每个三元组中含有两个相似图像块，一个不相似图像块。依此策略，训练后的三元组分布，在汉明距离中，匹配的图像块被聚的更近(在虚线圈中的块)，不匹配块被分开，有这样
的设定就可以保证相似的块有相似的哈希编码。
[0084]
s202、基于所述配网线路典型部件及缺陷样本库构建三元组。具体为：
[0085]
将三元组的训练集放入fpn+faster
‑
rcnn网络中，根据fpn+faster
‑
rcnn网络建立各层网络的权值，得到正向传播的输出，将实际输出与目标输出计算其残差，并用极小化误差的方法反向调整权值矩阵，在有限次的迭代过程中调整整个fpn+faster
‑
rcnn网络，得到研判模型。
[0086]
下面对fpn+faster
‑
rcnn网络的进行说明：
[0087]
采用深度神经网络fpn+faster
‑
rcnn网络(为方便叙述，下文均写为深度神经网络)中的fpn层来抽取配网线路典型部件及缺陷样本库中的训练图像的图像特征，深度神经网络的目标是建立一种完美的映射h(x)，从网络中抽取p维特征向量并映射到q维哈希二进制编码h∈{0,1}
q
，h是一个每一维都是1或者0的q维向量。用非线性的转换函数φ(
·
)表示图像特征提取和哈希编码过程，输入为原始图像，输出为哈希编码。表达式如下：
[0088]
h＝φ(i)
[0089]
目标是，每一类图像块会有同一个哈希编码，用加权汉明距离来计算哈希编码之间的差异度，用θ(
·
)表示，表达式如下：
[0090]
θ(h(x
i
),h(x
j
))＝h(x
i
)wh(x
j
)＝σ
k
ω
k
h
k
(x
i
)h
k
(x
j
)
[0091]
其中，矩阵w是一个对角阵，对角阵的每一维用ω
k
表示，w(k,k)＝ω
k
。h(x
i
),h(x
j
)差异度越大，θ(h(x
i
),h(x
j
))值越大。下文中为了简化表达，用h
i
,h
j
表示h(x
i
),h(x
j
)。
[0092]
带权重的哈希编码，可以对哈希编码的每一位赋予的不同的权重，这个权重是根据不同的训练集从深度神经网络中学习出来的。
[0093]
目标是最大化类间距离，最小化类内距离，相似块有相似的编码。为了让深度神经网络能达到这个目标，设定专门的代价函数(loss function)为：
[0094]
φ(i)＝φ
w
+ψ
w
[0095]
其中：
[0096]
φ
w
表示最大边界项(max
‑
marginterm)，最大化控制类间距离；
[0097]
ψ
w
表示正则项(regulationterm)，控制相似块有相似编码；
[0098]
φ
w
最大边界项，最大化控制类间距离，采用块与块之间差异度来控制，要保证
[0099][0100]
其中，三者构成一个三元组，在第i个三元组中，表示同一类的哈希码，表示两类的哈希码，满足表示两类的哈希码，满足表示同类哈希码与异类哈希码之间差异度的差值，所以最大边界项应该表示为：
[0101][0102]
控制相似块有相似编码的正则项ψ
w
定义如下：
[0103][0104]
其中，h
i
,h
j
分别为图像块i
i
,i
j
的哈希编码(hash code)。s表示相似度矩阵，对于相似度矩阵中的元素s
ij
表示训练集中图像块i
i
,i
j
之间的相似度，s
ij
越大代表图像块越相近，反之，越远。矩阵s是一个对称矩阵，即s
ij
＝s
ji
。
[0105]
定义一个对角矩阵u，其中拉普拉斯矩阵l＝u
‑
s，其中，l∈m
×
m则正则项可以转化为
[0106][0107]
其中，矩阵r＝[r1,r2,
…
,r
m
]，r∈q
×
m，m是图像的总数量。tr(
·
)表示矩阵的迹。基于三元组的正则化模型可表示为：
[0108][0109]
接下来，对目标函数进行优化，
[0110]
tr(rlr
t
)＝r
it
(rl
i
)+(rl
i
)
t
r
i
‑
r
it
l
ii
r
i
[0111]
其中，l
i
代表矩阵l的第i列。定义r
‑
i
为矩阵r去除第i列之后的子矩阵，l
i,
‑
i
为向量l
i
去除第i个值后的向量。
[0112][0113]
应用深度神经网络从输入图像集中抽取特征，网络的底层由卷积层(convolution)、下采样层(pooling)、全连接层(full connection)组成，生成特征后，应用一个全连接层和一个正切函数(tanh
‑
like)层来输出二进制哈希编码，在深度神经网络的顶层，是一个计算哈希编码每一位权重的层，就这样，在深度神经网络中，深度哈希学习和特征学习通过反向传播进行联合优化。整个深度神经网络采用局部连接，权值共享的策略，采用不同的卷积核就能提取不同的特征，共享权值可以减少很多权值，下采样层通过下采样可以对图像加权平均。
[0114]
在另一实施例中，s3、基于研判模型对待检测的巡检视频图像进行检测。具体实施过程如下：
[0115]
输入待检测的巡检视频图像，通过由fpn+faster
‑
rcnn训练而成的研判模型对待检测的巡检视频图像进行处理。输出设备缺陷检测结果。图3展示了采用研判模型识别配网线路导线断股缺陷。
[0116]
本发明实施例还提供一种配网线路无人机巡检的人工智能缺陷识别系统，该系统包括计算机，该计算机包括：至少一个存储单元；至少一个处理单元；其中，所述至少一个存储单元中存储有至少一条指令，所述至少一条指令由所述至少一个处理单元加载并执行以实现上述步骤。
[0117]
可理解的是，本发明实施例提供的上述配网线路无人机巡检的人工智能缺陷识别系统与上述配网线路无人机巡检的人工智能缺陷识别方法相对应，其有关内容的解释、举例、有益效果等部分可以参考配网线路无人机巡检的人工智能缺陷识别方法中的相应内容，此处不再赘述。
[0118]
综上所述，与现有技术相比，具备以下有益效果：
[0119]
1、本发明实施例通过生成对抗网络对缺陷图像进行图像增广，对样本数量较少、特征不明显等的缺陷图像数据样本进行扩充，为研判模型的构建提供足够的数据，提高模型的准确率。
[0120]
2、本发明实施例基于fpn提取配网线路典型部件巡检影像缺陷特征，通过fpn+
faster
‑
rcnn相结合针对配网线路巡检缺陷进行检测识别，提高了缺陷识别的精度。从而提高无人机巡检的配网缺陷识别准确率。
[0121]
需要说明的是，通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0122]
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0123]
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。