基于图像语义分割的输电线路工程缺陷检测方法与流程

1.本技术涉及输电工程技术领域，具体涉及一种基于图像语义分割的输电线路工程缺陷检测方法。


背景技术：

2.随着时代发展，我国的输电线路工程已经形成较为完备的体系，但由于我国国土面积大，导致当前我国的输电线路分布广，且所处环境地形复杂，电力线和相关的架线探杆长期处于野外环境中，难免会因自然条件而产生老化，输电线路设备老化后，不仅影响供电，而且存在巨大的安全风险；
3.在现有技术中，工程人员通过高空无人机定期的拍摄输电线路工程，获取输电线路图像，并通过输电线路图像判断输电线路工程是否有缺陷，但由于无人机拍摄位置和拍摄角度不固定，工程人员无法很好的识别输电线路图像，降低了输电线路缺陷检测速度，影响输电线路工程运维效率和安全性。


技术实现要素：

4.本技术实施例提供一种基于图像语义分割的输电线路工程缺陷检测方法，至少能保证，本技术方案能实现输电线路缺陷检测的智能化，在保证缺陷检测精确度的同时，减少用于生成缺陷识别模型的数据量，提高缺陷检测模型训练速度，提高缺陷上报及处理效率。
5.第一方面，本技术实施例提供了一种基于图像语义分割的输电线路工程缺陷检测方法，应用于基于图像语义分割的输电线路工程缺陷检测系统，所述方法包括：
6.获取输电线路图像；
7.根据预设的输电线路历史数据训练语义分割模型；
8.将所述输电线路图像输入所述语义分割模型，对所述输电线路图像进行特征提取处理，得到图像拍摄参数；
9.根据所述图像拍摄参数从预设的输电线路缺陷图像集中，确定目标缺陷图像；
10.对所述目标缺陷图像进行模型训练处理，得到缺陷识别模型；
11.将所述输电线路图像输入到所述缺陷识别模型，使所述缺陷识别模型对所述输电线路图像进行特征提取处理，得到多个目标缺陷特征；
12.通过所述缺陷识别模型对所述多个目标缺陷特征进行特征融合，获取目标缺陷图像的特征向量；
13.通过所述缺陷识别模型根据所述特征向量对目标缺陷图像进行分类处理，得到缺陷分类结果；
14.根据预设的映射关系表确定所述缺陷分类结果对应的输电线路缺陷。
15.可选的，在一些实施例中，所述拍摄参数包括拍摄角度和拍摄位置，所述将所述输电线路图像输入所述语义分割模型，对所述输电线路图像进行特征提取处理，得到图像拍摄参数，包括：
16.将所述输电线路图像输入所述语义分割模型，对所述输电线路图像进行特征提取处理，得到图像特征集，所述图像特征集包括所述输电线路图像中输电线路的位置信息；
17.根据所述图像特征集得到所述拍摄角度和所述拍摄位置。
18.可选的，在一些实施例中，所述根据所述图像拍摄参数从预设的输电线路缺陷图像集中，确定目标缺陷图像，包括：
19.根据所述拍摄位置从所述输电线路缺陷图像集多个输电线路缺陷图像；
20.根据所述拍摄角度从所述多个输电线路缺陷图像中得到目标缺陷图像。
21.可选的，在一些实施例中，所述缺陷识别模型为目标检测模型，所述对所述目标缺陷图像进行模型训练处理，生成缺陷识别模型，包括：
22.对所述目标缺陷图像进行预处理，得到标准化缺陷图像；
23.对所述标准化缺陷图像进行模型训练处理，生成目标检测模型。
24.可选的，在一些实施例中，所述根据预设的映射关系表确所述缺陷分类结果对应的输电线路缺陷，包括：
25.在所述映射关系表中存在所述缺陷分类结果对应表项的情况下，根据所述映射关系表确定所述缺陷分类结果对应的具体缺陷；
26.在所述映射关系表中不存在所述缺陷分类结果对应表项的情况下，确定所述输电线路图像中不存在缺陷。
27.可选的，在一些实施例中，在所述映射关系表中存在所述缺陷分类结果对应表项的情况下，所述方法还包括：
28.将所述输电线路图像分割为多个输电线路子图像；
29.将输电线路子图像输入到所述缺陷识别模型，使所述缺陷识别模型对所述输电线路子图像进行特征提取处理，得到多个目标缺陷特征；
30.通过所述缺陷识别模型对所述多个目标缺陷特征进行特征融合，获取目标缺陷图像的特征向量；
31.通过所述缺陷识别模型根据所述特征向量对目标缺陷图像进行分类处理，得到输电线路子图像的缺陷分类结果；
32.根据预设的映射关系表确定所述输电线路子图像的缺陷分类结果对应的输电线路缺陷。
33.可选的，在一些实施例中，根据所述图像拍摄参数从预设的输电线路缺陷图像集中，确定目标缺陷图像后，还包括：
34.计算所述目标缺陷图像与所述输电线路图像的余弦相似度；
35.在所述余弦相似度大于相似度阈值的情况下，确定所述输电线路图像中存在缺陷；
36.在所述余弦相似度小于或者等于相似度阈值的情况下，对所述目标缺陷图像进行模型训练处理，得到缺陷识别模型；
37.将所述输电线路图像输入到所述缺陷识别模型，使所述缺陷识别模型对所述输电线路图像进行特征提取处理，得到多个目标缺陷特征；
38.通过所述缺陷识别模型对所述多个目标缺陷特征进行特征融合，获取目标缺陷图像的特征向量；
39.通过所述缺陷识别模型根据所述特征向量对目标缺陷图像进行分类处理，得到缺陷分类结果；
40.根据预设的映射关系表确定所述缺陷分类结果对应的输电线路缺陷。
41.第二方面，本技术实施例提供了一种基于图像语义分割的输电线路工程缺陷检测系统，所述系统包括：
42.传感识别模块，用于获取输电线路图像；
43.图像处理模块，用于根据预设的输电线路历史数据训练语义分割模型，将所述输电线路图像输入所述语义分割模型，对所述输电线路图像进行特征提取处理，得到图像拍摄参数；
44.模型训练模块，用于根据所述图像拍摄参数从预设的输电线路缺陷图像集中，确定目标缺陷图像，对所述目标缺陷图像进行模型训练处理，生成缺陷识别模型；
45.缺陷识别模块，用于将所述输电线路图像输入到所述缺陷识别模型，使所述缺陷识别模型对所述输电线路图像进行特征提取处理，得到多个目标缺陷特征，通过所述缺陷识别模型对所述多个目标缺陷特征进行特征融合，获取目标缺陷图像的特征向量，通过所述缺陷识别模型根据所述特征向量对目标缺陷图像进行分类处理，得到缺陷分类结果，根据预设的映射关系表确定所述缺陷分类结果对应的输电线路缺陷。
46.第三方面，本技术实施例提供了一种控制器，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面中任意一项所述的基于图像语义分割的输电线路工程缺陷检测方法。
47.第四方面，本技术实施例提供了一种计算机可读存储介质，存储有计算机可执行指令，计算机可执行指令用于执行如第一方面中任意一项所述的基于图像语义分割的输电线路工程缺陷检测方法。
48.本技术至少具有以下有益效果：通过获取输电线路图像，对所述输电线路图像进行语义分割处理，得到图像拍摄参数，根据所述图像拍摄参数从预设的输电线路缺陷图像集中，确定目标缺陷图像，对所述目标缺陷图像进行模型训练处理，生成缺陷识别模型，根据所述缺陷识别模型对所述输电线路图像进行缺陷检测，得到输电线路检测结果，其中，通过语义分割处理获取图像拍摄参数，根据图像拍摄参数能缩小用于训练的输电线路缺陷图像集，进而得到能更准确识别输电线路缺陷的目标缺陷图像，在保证缺陷检测精确度的同时，减少用于生成缺陷识别模型的数据量，提高缺陷检测模型训练速度，更加高效的进行缺陷检测，保障输电线路工程安全，更加快速准确的识别输电线路图像，提高输电线路工程运维效率和安全性。
附图说明
49.图1为本技术一实施例提出的基于图像语义分割的输电线路工程缺陷检测方法的流程图；
50.图2为本技术另一实施例提出的基于图像语义分割的输电线路工程缺陷检测方法的流程图；
51.图3为本技术另一实施例提出的基于图像语义分割的输电线路工程缺陷检测方法的流程图；
52.图4为本技术另一实施例提出的基于图像语义分割的输电线路工程缺陷检测方法的流程图；
53.图5为本技术另一实施例提出的基于图像语义分割的输电线路工程缺陷检测方法的流程图；
54.图6为本技术另一实施例提出的基于图像语义分割的输电线路工程缺陷检测方法的流程图；
55.图7为本技术另一实施例提出的基于图像语义分割的输电线路工程缺陷检测方法的流程图；
56.图8为本技术另一实施例提出的控制器的结构图。
具体实施方式
57.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本技术，并不用于限定本技术。
58.在一些实施例中，虽然在系统示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于系统中的模块划分，或流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语第一、第二等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
59.随着社会的发展，我国的输电线路工程已经形成较为完备的体系，但由于我国国土面积大，导致当前我国的输电线路分布广，且所处环境地形复杂，电力线和相关的架线探杆长期处于野外环境中，难免会因自然条件而产生老化，输电线路设备老化后，不仅影响供电，而且存在巨大的安全风险；在现有技术中，工程人员通过高空无人机定期的拍摄输电线路工程，获取输电线路图像，并通过输电线路图像判断输电线路工程是否有缺陷，但由于无人机拍摄位置和拍摄角度不固定，工程人员无法很好的识别输电线路图像，降低了输电线路缺陷检测速度，影响输电线路工程运维效率和安全性。
60.为至少解决上述问题，本技术公开了一种基于图像语义分割的输电线路工程缺陷检测方法，应用于基于图像语义分割的输电线路工程缺陷检测系统，方法包括：获取输电线路图像，对输电线路图像进行语义分割处理，得到图像拍摄参数，根据图像拍摄参数从预设的输电线路缺陷图像集中，确定目标缺陷图像，对目标缺陷图像进行模型训练处理，生成缺陷识别模型，根据缺陷识别模型对输电线路图像进行缺陷检测，得到输电线路检测结果。
61.其中，基于图像语义分割的输电线路工程缺陷检测方法至少具有以下有益效果，通过语义分割处理获取图像拍摄参数，根据图像拍摄参数能缩小用于训练的输电线路缺陷图像集，进而得到能更准确识别输电线路缺陷的目标缺陷图像，生成缺陷识别模型，对输电线路图像进行缺陷检测，得到输电线路检测结果，提高缺陷检测模型训练速度，更加快速准确的识别输电线路图像，提高输电线路工程运维效率和安全性。
62.下面结合附图，对本技术实施例作进一步描述。
63.参考图1，为本技术另一实施例提出的基于图像语义分割的输电线路工程缺陷检测方法的流程图，在一些实施例中，基于图像语义分割的输电线路工程缺陷检测方法，包括但不限于以下步骤：
64.步骤s110，获取输电线路图像；
65.步骤s120，根据预设的输电线路历史数据训练语义分割模型；
66.步骤s130，将输电线路图像输入语义分割模型，根据语义分割网络对输电线路图像进行特征提取处理，得到图像拍摄参数；
67.步骤s140，根据图像拍摄参数从预设的输电线路缺陷图像集中，确定目标缺陷图像；
68.步骤s150，对目标缺陷图像进行模型训练处理，得到缺陷识别模型；
69.步骤s160，将输电线路图像输入到缺陷识别模型，使缺陷识别模型对输电线路图像进行特征提取处理，得到多个目标缺陷特征；
70.步骤s170，通过缺陷识别模型对多个目标缺陷特征进行特征融合，获取目标缺陷图像的特征向量；
71.步骤s180，通过缺陷识别模型根据特征向量对目标缺陷图像进行分类处理，得到缺陷分类结果；
72.步骤s190，根据预设的映射关系表确定缺陷分类结果对应的输电线路缺陷。
73.在一些实施例中，根据输电线路图像得到图像拍摄参数的步骤，包括，根据预设的输电线路历史数据训练语义分割模型，将输电线路图像输入语义分割模型，根据语义分割网络对输电线路图像进行特征提取处理，得到图像拍摄参数，其中，语义分割网络可以根据将图像中不同的物体区分开，故通过语义分割网络可以有效的识别输电线路信息和输电线路所处环境信息，进而根据输电线路信息和输电线路所处环境信息可以确定该输电线路图像的具体拍摄位置和具体拍摄角度，可以想到的是，如何训练语义分割模型，和如何利用语义分割模型识别输电线路信息和输电线路所处环境信息，相关领域技术人员可以根据实际情况进行选择，不对本技术构成限制。
74.在一些实施例中，根据输电线路图像进行特征提取处理得到的输电线路信息和输电线路所处环境信息，可以通过预置映射关系表或回归模型，根据输电线路信息和输电线路所处环境信息确定图像的拍摄角度和拍摄位置，具体的，根据输电线方向、输电线离地高度、塔杆高度、输电线长度、地面方向、塔杆方向等数据，确定拍摄角度，根据所处环境信息中的植被分布和表征建筑确定拍摄位置。
75.在一些实施例中，缺陷识别模型分为特征提取层、特征融合层和特征分类层，其中，将输电线路图像输入到缺陷识别模型，使缺陷识别模型对输电线路图像进行特征提取处理，得到多个目标缺陷特征，通过缺陷识别模型对多个目标缺陷特征进行特征融合，获取目标缺陷图像的特征向量，通过缺陷识别模型根据特征向量对目标缺陷图像进行分类处理，得到缺陷分类结果。
76.在一些实施例中，缺陷识别模型为卷积神经网络，卷积神经网络包括卷积层、下采样层和全连接层，其中，卷积层即为特征提取层，下采样层即为特征融合层，全连接层即为特征分类层卷积神经网络的网络结构能够较好的对输电线路图像同时进行特征提取和分类，使得特征提取有助于特征分类，并减少网络的训练参数，使得神经网络结构变得简单，加快缺陷检测速度。
77.在一些实施例中，缺陷识别模型包含1个数据输入层、5个卷积层(其中3个卷积层之后有池化层)和3个全连接层，输入层输入输电线路图像，5个卷积层采用了5个卷积池化
组,分别有2、2、4、4、4个连续卷积层,每个卷积池化组有一个池化层，所有的卷积层都使用3
×
3大小的卷积核。5个卷积池化组之后是3个全连接层,最后一个全连接层是输出层,有n个节点,对应网络输出的n个类别，其中，通过在输电线路图像进行处理前，会对输电线路图像进行预处理，使输电线路图像格式匹配，通过5个卷积层对电线路图像进行特征提取，通过池化层对提取的特征进行特征融合，通过卷积池化组之后的3个全连接层对特征进行分类，进而得到对应的输电线路缺陷识别结果，可以想到的是,上述模型结构，在保证训练速度的同时，有效的提高了的神经网络深度，使该缺陷识别模型可以提取到更高层、更具有鲁棒性的特征,另外,由于模型的全连接层也得到了充分的训练,使该缺陷识别模型具有更高的识别精度。
78.在一些实施例中，在模型训练过程中，本技术的缺陷识别模型通过可变形卷积来额外增加偏移量参数，进而提高实现有效特征信息的精准定位，可以想到的是，传统卷积同一卷积层中始终是大小相同的矩形，存在不同位置上的目标存在不同的尺度变换无法适配的问题，因此要实现有效特征信息的精准定位，就必须实现卷积大小的自适应选择，故本技术的缺陷识别模型通过额外增加偏移量参数来实现卷积大小的自适应选择，具体的，假设一个采样点数量为n的卷积核，用w和p分别代表第采样点处的卷积核权重和对应的预设的偏移量。以空洞为1的3
×
3传统卷积为例,则共有9个采样点。令x(p)代表输入特征x在位置p处的特征值，y(p)代表输出特征y在位置p处的特征值，具体的，在输入特征x后添加一传统卷积层，用来生成偏移量和调和系数,当前卷积层的空间分辨率与输入特征图一致，输出通道数为3n，其中前2n个通道对应学习到的采样点的偏移量(每个偏移量包含x轴和y轴两个方向)，剩下的n个通道是额外经过sigmoid层后生成的各采样点的调和系数。需要注意的是，这个单独添加的卷积层的卷积核应初始化为0，偏移量和调和系数分别初始化为0和0.5，学习率是已有层的0.1倍。因为偏移量通常为浮点数，因此通过双线性插值法计算得到采样点的像素值，进而使特征信息的提取更加有效和准确，使该缺陷识别模型具有更高的识别精度。
79.在一些实施例中，图像拍摄参数包括但不限于图片灰度，输电线路结构在输电线路图像中所占比例、电线方向、输电线离地高度、塔杆高度、输电线长度、地面方向、塔杆方向等数据，可以根据以上任意一个或多个图像拍摄参数从预设的输电线路缺陷图像集中，确定目标缺陷图像，其中，目标缺陷图像为对应参数与输电线路图像相同的输电线路缺陷图像集，通过该步骤可以有效减少后续根据缺陷图像生成识别模型的计算量，更加快速准确的识别输电线路图像，提高输电线路工程运维效率。
80.在一些实施例中，获取输电线路图像，包括但不限于，通过无人机根据预设巡演线路获取输电线路图像，输电线路图像包括图片、视频等图像资源，具体的，根据预先设定的模型调整无人机上设置的双摄像头进行拍照，获取输电线路工程的输电线路图像。
81.在一些实施例中，语义分割是对图像中的每一个像素进行分类并标注其语义，包括但不限于，有监督语义分割、无监督语义分割、视频语义分割。
82.在一些实施例中，对输电线路图像进行语义分割处理，得到图像拍摄参数，包括但不限于：对输电线路图像进行预处理和缺陷检测得到图像拍摄参数，其中预处理方法有阈值分割、平滑处理、滤波降噪等常见方法，缺陷检测步骤中有采用分类器、边缘检测、特征提取等常见方法，通过对输电线路图像进行语义分割处理，得到图像拍摄参数，进而在后续步
骤中可以根据图像拍摄参数从预设的输电线路缺陷图像集中，确定目标缺陷图像，进而降低图像资源的识别难度。
83.在一些实施例中，对输电线路图像进行语义分割处理，根据预设的语义分割算法对输电线路图像进行语义分割处理，其中，预设的语义分割算法包括但不限于，根据卷积神经网络分类算法进行语义分割；或者，根据历史图像数据生成分类器，根据分类器继续语义分割；根据u-net算法，通过产生原始训练数据的扭曲版而增加训练数据，使cnn编码器-解码器变得更加鲁棒以抵抗这些形变，并能从更少的训练图像中进行学习，将cnn编码器-解码器和crf精炼过程相结合以产生目标标签，提高语义分割模型的训练速度，进而提高输电线路图像的缺陷检测效率。
84.在一些实施例中，通过使用根据u-net算法训练语义分割模型，能对预设的输电线路历史数据进行扩展，更加有效的进行数据标注，同时，u-net语义分割模型具有5个池化层pooling layer，能更有效的提取输电线路图像特征，对输电线路图像进行多尺度特征识别，提高语义分割模型的精度，得到更加精准图像拍摄参数。
85.在一些实施例中，u-net语义分割模型为由fire模块组成的轻量级网络，其中轻量级网络采用如下构造，语义分割模型以卷积层开始，接着使用3个fire模块，最后以卷积层结束，其中，每个fire模块中的filter数量逐渐增加。在整个网络没有使用全连接层的情况下，通过设置结束卷积层使用的卷积核的个数为n(n为分类类别数)、尺寸大小为1*1，在结束卷积层后的池化层采用全局平均池化层配置，能在到达全连接神经网络精度的同时，降低权重，减少计算复杂度，节约算力资源，提高语义分割模型的特征提取速度。
86.在一些实施例中，u-net算法训练出的u-net语义分割模型，包括特征提取部分和上采样部分，u-net语义分割模型由收缩路径和扩张路径组成。其中，收缩路径用于获取上下文信息，扩张路径用于精确的定位，且两条路径相互对称，进而提高语义分割精度。
87.在一些实施例中根据卷积神经网络进行语义分割，其中，卷积神经网络根据空洞卷积算法，在神经网络的每一层都使用大小不同的卷积核，使每一层都能捕获各种比例的特征，能提高卷积神经网络的特征复杂度，进而提高语义分割的精度，使语义分割处理能更好的得到图像拍摄参数，进而根据图像拍摄参数进行后续处理。
88.在一些实施例中，根据图像拍摄参数从预设的输电线路缺陷图像集中，确定目标缺陷图像，可以想到的是，预设的输电线路缺陷图像集中各输电线路缺陷图像集拥有对应的图像拍摄参数，比如，该输电线路缺陷图像的地理位置、在输电工程中所处的具体部分、拍摄该输电线路缺陷图像的拍摄角度、拍摄该输电线路缺陷图像的拍摄高度等特征信息，该特征信息可以根据输电线路的历史数据生成，也可以由工作人员手动输入。
89.在一些实施例中，确定的目标缺陷图像，为与图像拍摄参数对应的存在缺陷的输电线路图像，即根据输电线路图像确定拍摄图片的位置信息等参数，选取相同位置的存在缺陷的输电线路图像生成识别模型，进而能准确识别输电线路图像中可能存在的缺陷的情况下，出去了预设的输电线路缺陷图像集中除目标缺陷图像外图像的训练过程，从而进一步提高识别进度和识别速度，提高输电线路工程运维效率和安全性。
90.在一些实施例中，对目标缺陷图像进行模型训练处理，生成缺陷识别模型，包括，根据深度度量学习算法，对目标缺陷图像进行模型训练处理，生成缺陷识别模型，其中，深度度量学习算法即为深度度量网络，具有概念提取可以由简单到复杂，指神经网络包含很
多隐含层，每一层中非线性处理单元的构成方式取决于要解决的问题；每一层中学习模型也可按需求灵活调整为有监督或者无监督学习,有利于调整学习策略,从而提高模型生成效率，无标签数据优势明显的特点，通过深度度量网络生成缺陷识别模型，能进一步缩短模型训练周期，提高识别进度和识别速度，提高输电线路工程运维效率和安全性。
91.在一些实施例中，根据缺陷识别模型对输电线路图像进行缺陷检测，得到输电线路检测结果，包括，根据缺陷识别模型对输电线路图像进行缺陷检测，得到输电线路检测结果，根据图像拍摄参数确定输电线路检测结果对应缺陷在输电线路工程中的具体位置，根据拍摄参数确定缺陷所在具体位置，能使工作人员跟加及时的进行相应的维修工作，同时省去工作人员根据输电线路检测结果判断具体位置的过程，进一步节约人力，实现输电线路缺陷检测的智能化，更加有效识别输电线路图像，提高缺陷上报及处理效率。
92.在一些实施例中，通过语义分割处理获取图像拍摄参数，根据图像拍摄参数能缩小用于训练的输电线路缺陷图像集，进而得到能更准确识别输电线路缺陷的目标缺陷图像，生成缺陷识别模型，对输电线路图像进行缺陷检测，得到输电线路检测结果，更加快速准确的识别输电线路图像，提高输电线路工程运维效率和安全性。
93.参考图2，为本技术另一实施例提出的基于图像语义分割的输电线路工程缺陷检测方法的流程图，在一些实施例中，拍摄参数包括拍摄角度和拍摄位置，对输电线路图像进行语义分割处理，得到图像拍摄参数，基于图像语义分割的输电线路工程缺陷检测方法，包括但不限于以下步骤：
94.步骤s210，将输电线路图像输入语义分割模型，根据语义分割网络对输电线路图像进行特征提取处理，得到图像特征集，图像特征集包括输电线路图像中输电线路的位置信息；
95.步骤s220，根据图像特征集得到拍摄角度和拍摄位置。
96.在一些实施例中，将输电线路图像输入语义分割模型，根据语义分割网络对输电线路图像进行特征提取处理，得到图像特征集，图像特征集包括输电线路图像中输电线路的位置信息，根据图像特征集得到拍摄角度和拍摄位置，包括，对输电线路图像进行语义分割处理，得到图像拍摄参数，包括，对输电线路图像进行语义分割处理，得到图像特征集，将图像特征集输入到预设的神经网络模型，得到拍摄角度和拍摄位置，其中，根据拍摄角度和拍摄位置可以有效的确定输电线路图像的具体拍摄位置，进而在后续过程中，根据拍摄角度和拍摄位置从预设的输电线路缺陷图像集中，确定目标缺陷图像，对目标缺陷图像进行模型训练处理，生成缺陷识别模型，根据缺陷识别模型对输电线路图像进行缺陷检测，得到输电线路检测结果。
97.在一些实施例中，对输电线路图像进行语义分割处理，得到图像特征集，其中，图像特征集为根据预设的语义特征参数对输电线路图像进行特征提前所得到的语义特征集，即该语义特征集可能是一些仅能判断出图像中各物体特征的特征集，仅完成了输电线、输电杆塔、地面等属性分类的原始的数据集，故需要将图像特征集输入到预设的神经网络模型进行二次处理，得到拍摄角度和拍摄位置，可以想到的是，在本技术实施例中，具体的语义分割方法和神经网络模型设置不对本技术构成限制，相关领域技术人员可以根据实际情况进行调整。
98.参考图3，为本技术另一实施例提出的基于图像语义分割的输电线路工程缺陷检
测方法的流程图，在一些实施例中，根据图像拍摄参数从预设的输电线路缺陷图像集中，确定目标缺陷图像，包括：
99.步骤s310，根据拍摄位置对输电线路缺陷图像集进行筛选处理，得到拍摄位置对应的多个输电线路缺陷图像；
100.步骤s320，根据拍摄角度对多个输电线路缺陷图像进行筛选处理，得到拍摄位置和拍摄角度对应的目标缺陷图像。
101.在一些实施例中，根据拍摄位置从输电线路缺陷图像集多个输电线路缺陷图像，根据拍摄角度从多个输电线路缺陷图像中得到目标缺陷图像，包括，根据拍摄位置从输电线路缺陷图像集多个输电线路缺陷图像，根据拍摄角度从多个输电线路缺陷图像中得到目标缺陷图像，其中，可以想到的是，相同拍摄位置的输电线路缺陷图像之间的关联度大于相同拍摄角度的输电线路缺陷图像之间的关联度，故先根据拍摄位置从输电线路缺陷图像集多个输电线路缺陷图像，再根据拍摄角度从多个输电线路缺陷图像中得到目标缺陷图像，能简单有效的从预设的输电线路缺陷图像集中，确定目标缺陷图像，进而更加快速准确的识别输电线路图像，提高输电线路工程运维效率和安全性。
102.参考图4，为本技术另一实施例提出的基于图像语义分割的输电线路工程缺陷检测方法的流程图，在一些实施例中，缺陷识别模型为目标检测模型，对目标缺陷图像进行模型训练处理，生成缺陷识别模型，基于图像语义分割的输电线路工程缺陷检测方法，包括但不限于以下步骤：
103.步骤s410，对目标缺陷图像进行预处理，得到标准化缺陷图像；
104.步骤s420，对标准化缺陷图像进行模型训练处理，生成目标检测模型。
105.在一些实施例中，对目标缺陷图像进行预处理，得到标准化缺陷图像，对标准化缺陷图像进行模型训练处理，生成目标检测模型，其中，对目标缺陷图像进行预处理，得到标准化缺陷图像，包括但不限于以下步骤，根据分量法、加权平均法等方法，对图像灰度化，减少所需处理的数据量，达到提高处理速度的目的对彩色图像进行处理，降低根据颜色的三个通道依次进行处理的时间开销；对灰度化的图像进行几何变换处理，通过平移、转置、缩放等等操作，修正图像采集过程中所产生的误差；对几何变换处理后的图像进行图像增强，对图像信息进行失真处理，增强图像中的有用信息，改善图像的视觉效果，强调图像中的感兴趣的特征，进而提高图像质量，提高生成的目标检测模型的精准度，增强算法包括空间域法和频率域法。
106.参考图5，为本技术另一实施例提出的基于图像语义分割的输电线路工程缺陷检测方法的流程图，在一些实施例中，根据缺陷识别模型对输电线路图像进行缺陷检测，得到输电线路检测结果，基于图像语义分割的输电线路工程缺陷检测方法，包括但不限于以下步骤：
107.步骤s510，在映射关系表中存在缺陷分类结果对应表项的情况下，根据映射关系表确定缺陷分类结果对应的具体缺陷；
108.步骤s520，在映射关系表中不存在缺陷分类结果对应表项的情况下，确定输电线路图像中不存在缺陷。
109.在一些实施例中，根据缺陷识别模型对输电线路图像进行缺陷检测，得到输电线路检测结果，包括但不限于，在映射关系表中存在缺陷分类结果对应表项的情况下，根据映
射关系表确定缺陷分类结果对应的具体缺陷；或者，根据缺陷识别模型对输电线路图像进行缺陷检测，得到缺陷值，在缺陷值大于缺陷阈值的情况下，确定输电线路图像中存在缺陷，在缺陷值小于或者等于缺陷阈值的情况下，确定输电线路图像中不存在缺陷，其中，根据预设缺陷阈值，对输电线路图像进行缺陷检测，更加快速准确的识别输电线路图像，提高输电线路工程运维效率和安全性。
110.参考图6，为本技术另一实施例提出的基于图像语义分割的输电线路工程缺陷检测方法的流程图，在一些实施例中，在根据缺陷识别模型对输电线路图像进行缺陷检测，得到缺陷值后，基于图像语义分割的输电线路工程缺陷检测方法，包括但不限于以下步骤：
111.步骤s610，将输电线路图像分割为多个输电线路子图像；
112.步骤s620，将输电线路子图像输入到缺陷识别模型，使缺陷识别模型对输电线路子图像进行特征提取处理，得到多个目标缺陷特征；
113.步骤s630，通过缺陷识别模型对多个目标缺陷特征进行特征融合，获取目标缺陷图像的特征向量；
114.步骤s640，通过缺陷识别模型根据特征向量对目标缺陷图像进行分类处理，得到输电线路子图像的缺陷分类结果；
115.步骤s650，根据预设的映射关系表确定输电线路子图像的缺陷分类结果对应的输电线路缺陷。
116.在一些实施例中，在映射关系表中不存在缺陷分类结果对应表项的情况下，确定输电线路图像中不存在缺陷，将输电线路图像分割为多个输电线路子图像，根据缺陷识别模型对输电线路子图像进行缺陷检测，得到输电线路检测结果，其中，可以想到的是，在映射关系表中不存在缺陷分类结果对应表项的情况下，存在当前尺寸的图片缺陷无法被检测识别的问题，故为了提高精度，将输电线路图像分割为多个输电线路子图像，并根据输电线路图像的图像参数调整输电线路子图像，图像参数包括但不限于尺寸和像素，同时根据缺陷识别模型对输电线路子图像进行缺陷检测，得到精细度更高的输电线路检测结果。
117.在一些实施例中，可以根据预设的分割次数，多次在映射关系表中不存在缺陷分类结果对应表项的情况下，确定输电线路图像中不存在缺陷的情况下，将输电线路图像分割为多个输电线路子图像，重复分割图像再次检测过程，进而使图像语义分割的输电线路工程缺陷检测方法的精细度达到预期要求。
118.参考图7，为本技术另一实施例提出的基于图像语义分割的输电线路工程缺陷检测方法的流程图，在一些实施例中，根据图像拍摄参数从预设的输电线路缺陷图像集中，确定目标缺陷图像后，基于图像语义分割的输电线路工程缺陷检测方法，包括但不限于以下步骤：
119.步骤s710，计算目标缺陷图像与输电线路图像的余弦相似度；
120.步骤s720，在余弦相似度大于相似度阈值的情况下，确定输电线路图像中存在缺陷；
121.步骤s730，在余弦相似度小于或者等于相似度阈值的情况下，对目标缺陷图像进行模型训练处理，得到缺陷识别模型；
122.步骤s740，将输电线路图像输入到缺陷识别模型，使缺陷识别模型对输电线路图像进行特征提取处理，得到多个目标缺陷特征；
123.步骤s750，通过缺陷识别模型对多个目标缺陷特征进行特征融合，获取目标缺陷图像的特征向量；
124.步骤s760，通过缺陷识别模型根据特征向量对目标缺陷图像进行分类处理，得到缺陷分类结果；
125.步骤s770，根据预设的映射关系表确定缺陷分类结果对应的输电线路缺陷。
126.在一些实施例中，计算目标缺陷图像与输电线路图像的余弦相似度，在余弦相似度大于相似度阈值的情况下，确定输电线路图像中存在缺陷，在余弦相似度小于或者等于相似度阈值的情况下，对目标缺陷图像进行模型训练处理，生成缺陷识别模型，并根据缺陷识别模型对输电线路图像进行缺陷检测，得到输电线路检测结果，其中，余弦相似度为常见的相似度指标，具有容易计算的特点，根据目标缺陷图像与输电线路图像的余弦相似度可以快速的确定目标缺陷图像与输电线路图像是否相似，但余弦相似度在图片较为相近的情况下，精度比较低，故在本技术实施例中，使用余弦相似度作为低精度识别，若余弦相似度大于相似度阈值的情况下，则输电线路图像中必然存在缺陷，能更加快速的识别输电线路图像；但反之余弦相似度小于或者等于相似度阈值不一定存在缺陷，此时再目标缺陷图像进行模型训练处理，生成缺陷识别模型，并根据缺陷识别模型对输电线路图像进行缺陷检测，得到输电线路检测结果，进行高精度识别，更加准确的识别输电线路图像，结合两种识别方式，实现更加快速准确的识别输电线路图像，提高输电线路工程运维效率和安全性。
127.在一些实施例中，本技术提供了一种基于图像语义分割的输电线路工程缺陷检测系统，系统包括：
128.传感识别模块，用于获取输电线路图像；
129.图像处理模块，用于根据预设的输电线路历史数据训练语义分割模型，将输电线路图像输入语义分割模型，根据语义分割网络对输电线路图像进行特征提取处理，得到图像拍摄参数；
130.模型训练模块，用于根据图像拍摄参数从预设的输电线路缺陷图像集中，确定目标缺陷图像，对目标缺陷图像进行模型训练处理，生成缺陷识别模型；
131.缺陷识别模块，用于将输电线路图像输入到缺陷识别模型，使缺陷识别模型对输电线路图像进行特征提取处理，得到多个目标缺陷特征，通过缺陷识别模型对多个目标缺陷特征进行特征融合，获取目标缺陷图像的特征向量，通过缺陷识别模型根据特征向量对目标缺陷图像进行分类处理，得到缺陷分类结果，根据预设的映射关系表确定缺陷分类结果对应的输电线路缺陷。
132.在一些实施例中，传感识别模块获取输电线路图像，并将电线路图像传输至图像处理模块，图像处理模块对输电线路图像进行语义分割处理，得到图像拍摄参数，并将拍摄参数发送至模型训练模块，模型训练模块根据图像拍摄参数从预设的输电线路缺陷图像集中，确定目标缺陷图像，对目标缺陷图像进行模型训练处理，生成缺陷识别模型，缺陷识别模块读取缺陷识别模型，并根据缺陷识别模型对输电线路图像进行缺陷检测，得到输电线路检测结果，其中，通过语义分割处理得到图像拍摄参数，对输电线路缺陷图像集进行精简，进而实现对输电线路缺陷图像集的分类，得到对应输电线路图像的目标缺陷图像，进而更加快速准确识别输电线路缺陷的目标缺陷图像，生成缺陷识别模型，对输电线路图像进行缺陷检测，得到输电线路检测结果，更加快速准确的识别输电线路图像，提高输电线路工
程运维效率和安全性。
133.在一些实施例中，传感识别模块包括但不限于，通过图像采集设备根据线路巡视位对输电线路进行监测图片拍摄照片、视频等图像资源；图像采集设备包括但不限于，无人机设备、高清摄像头等能被远程控制的传感设备。
134.在一些实施例中，基于图像语义分割的输电线路工程缺陷检测系统中，拍摄参数包括拍摄角度和拍摄位置，对输电线路图像进行语义分割处理，得到图像拍摄参数，包括：对输电线路图像进行语义分割处理，得到图像特征集，将图像特征集输入到预设的神经网络模型，得到拍摄角度和拍摄位置。
135.在一些实施例中，基于图像语义分割的输电线路工程缺陷检测系统中，根据图像拍摄参数从预设的输电线路缺陷图像集中，确定目标缺陷图像，包括：根据拍摄位置从输电线路缺陷图像集多个输电线路缺陷图像，根据拍摄角度从多个输电线路缺陷图像中得到目标缺陷图像。
136.在一些实施例中，基于图像语义分割的输电线路工程缺陷检测系统中，缺陷识别模型为目标检测模型，对目标缺陷图像进行模型训练处理，生成缺陷识别模型，包括：对目标缺陷图像进行预处理，得到标准化缺陷图像，对标准化缺陷图像进行模型训练处理，生成目标检测模型。
137.在一些实施例中，基于图像语义分割的输电线路工程缺陷检测系统中，根据缺陷识别模型对输电线路图像进行缺陷检测，得到输电线路检测结果，包括：根据缺陷识别模型对输电线路图像进行缺陷检测，得到缺陷值，在缺陷值大于缺陷阈值的情况下，确定输电线路图像中存在缺陷，在缺陷值小于或者等于缺陷阈值的情况下，确定输电线路图像中不存在缺陷。
138.在一些实施例中，基于图像语义分割的输电线路工程缺陷检测系统中，在根据缺陷识别模型对输电线路图像进行缺陷检测，得到缺陷值后，还包括，在缺陷值小于或者等于缺陷阈值的情况下，将输电线路图像分割为多个输电线路子图像，根据缺陷识别模型对输电线路子图像进行缺陷检测，得到输电线路检测结果。
139.在一些实施例中，基于图像语义分割的输电线路工程缺陷检测系统中，根据图像拍摄参数从预设的输电线路缺陷图像集中，确定目标缺陷图像后，还包括，计算目标缺陷图像与输电线路图像的余弦相似度，在余弦相似度大于相似度阈值的情况下，确定输电线路图像中存在缺陷，在余弦相似度小于或者等于相似度阈值的情况下，对目标缺陷图像进行模型训练处理，生成缺陷识别模型，并根据缺陷识别模型对输电线路图像进行缺陷检测，得到输电线路检测结果。
140.参考图8，本技术实施例还提供了一种控制器800，包括：存储器820、处理器810及存储在存储器上并可在处理器上运行的计算机程序,处理器810执行计算机程序时实现如上述实施例中任意一项的基于图像语义分割的输电线路工程缺陷检测方法，例如，执行以上描述的图1中的方法步骤s110至s190、图2中的方法步骤s210至s220、图3中的方法步骤s310至s320、图4中的方法步骤s410至s420、图5中的方法步骤s510至s520、图6中的方法步骤s610至s650、图7中的方法步骤s710至s770。
141.此外，本技术的一实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个控制处理器执行，例如，
执行以上描述的图1中的方法步骤s110至s190、图2中的方法步骤s210至s220、图3中的方法步骤s310至s320、图4中的方法步骤s410至s420、图5中的方法步骤s510至s520、图6中的方法步骤s610至s650、图7中的方法步骤s710至s770。
142.本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如总处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于ram、rom、eeprom、闪存或其他存储器技术、cd-rom、数字多功能盘(dvd)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。