一种基于deeplabv3+的复合绝缘子实时分割方法及系统
技术领域
1.本发明属于输电线路领域，具体涉及一种基于deeplabv3+的复合绝缘子实时分割方法及系统，可应用于输电线路运维中的无人机智能巡检检测。
背景技术：
2.随着使用规模和运行年限增长，复合绝缘子近年来频繁出现异常发热等缺陷，缺陷进一步发展可能导致内绝缘击穿、断串等严重故障。用红外检测技术对绝缘子进行缺陷检测是一种较为成熟的带电检测技术，通过复合绝缘子的红外图像可以直观反映出绝缘子的过热缺陷，以便提前发现缺陷，防止其恶化的发生。因此，为了对红外复合绝缘子进行过热缺陷检测，就必须将复合绝缘子从复杂的红外背景中分割出来，以免将无关背景中的发热点识别为绝缘子过热缺陷。另外，以往我国输电线路的巡视一般采用人工巡视，但这种方式效率低下，还会对工作人员的人身安全带来威胁，近几年来，我国加大了无人机巡线技术的研发投入，目前国内大部分电力公司检修部门采用无人机进行巡检，为了使无人机巡检更加高效、智能，将嵌入式设备搭载在无人机上进行实时巡检成为了研究热点。
3.传统的绝缘子分割主要包括边缘检测和模板匹配法，需要人工进行分割结果的确认及标注结果调整。虽然边缘检测法能够适用于诸多绝缘子的形状，但是因为其准确率较低，无法直接作为巡检人员的参考。模型匹配法则只能适用于特定的一种或几种的绝缘子形状，如果存在绝缘子背景复杂的情况，无法得到较好的准确率。
4.对于复合绝缘子的实时分割难点，主要在于复合绝缘子相比于其他绝缘子有着更为复杂的边缘形状，且嵌入式设备中可利用计算资源相较于上位机少。相比于传统图像处理方法，语义分割在复合绝缘子实时分割上表现出更大的潜力，因为深度学习在大规模的绝缘子图像上进行模型训练，其分割的绝缘子能达到很高的精度，但是大部分学者的研究是在上位机上使用算法，不利于现场高效巡检，且由于复合绝缘子的结构复杂，在精度上仍有很大的提升空间。因此，研发一种复合绝缘子实时分割方法具有较高的实际应用价值。
5.申请号为cn201911104286.7的中国专利公开了一种基于实例分割的复合绝缘子过热缺陷检测方法，其利用分割网络对复合绝缘子进行分割。在深度学习领域广泛应用的mask r-cnn深度学习网络原有框架基础上做进一步改进，该网络在实例分割的精度和计算效率上具有显著的优势。mask r-cnn网络的设计比较简单，其在faster r-cnn基础上，在原本的两个分支上(分类与边界框回归)增加了一个分支进行语义分割，其次对roi pooling层进行了改进，提出roi align方法，在下采样的时候，对像素进行对准，使得像素分割更准确一些。该专利利用mask r-cnn实例分割网络完成了复合绝缘子的分割。但是由于mask r-cnn的backbone是two stage的faster r-cnn，这导致其fps很低，即实时性很差。
6.申请号为cn201910062932.1的中国专利公开了一种基于形状特征和图像分割的绝缘子识别和定位方法，该方法属于图像处理技术及电网检测领域，具体步骤分为：(1)通过对原始绝缘子图像进行预处理以减少噪声干扰、提高图像对比度；(2)引入自适应粒子群优化算法，并结合最大类间方差法对绝缘子图像进行分割；(3)通过形态学滤波以及面积滤
波形成二值图像，对二值图像进行骨架提取，根据hough变换结果对绝缘子区域进行初始定位；(4)依靠绝缘子的形状特征实现绝缘子的精确定位。该方法充分利用了绝缘子形状特征的先验知识和图像处理的技术方法，实现了绝缘子串的自动识别定位，为后续绝缘子故障诊断奠定了基础。该发明切实可行，提高了定位的准确性和高效性。该专利较好的实现了在简单背景下的绝缘子的分割 ，但是由于这种传统方法过于依赖图像的预处理，预处理直观影响到分割效果，而图像的预处理又很大程度上由人工进行形状特征算子的选取，因此，特征选取过程复杂，且对于实际巡检时复杂多变的背景，分割精度不佳。
技术实现要素：
7.本发明的目的在于提供一种基于deeplabv3+的复合绝缘子实时分割方法及系统，该方法及系统有利于提高复合绝缘子分割的实时性和准确性。
8.为实现上述目的，本发明采用的技术方案是：一种基于deeplabv3+的复合绝缘子实时分割方法，包括以下步骤：s1、获取电力巡检过程中拍摄的含有复合绝缘子的电力设备红外图，构建原始数据集；s2、对原始数据集进行数据扩增，得到训练数据集；s3、构建改进deeplabv3+网络：将deeplabv3+的主干网络替换为轻量化神经网络 mobilenetv2以提高实时性，并引入轻量级高效通道注意力模块eca以实现无降维的局部跨通道交互，然后在deeplabv3+的输出端加入pointrend精细分割模块进行后处理以进一步提高语义分割结果；通过训练数据集对改进deeplabv3+网络进行训练，得到训练好的改进deeplabv3+网络；s4、通过训练好的改进deeplabv3+网络对拍摄到的电力设备红外图进行处理，以实时分割出复合绝缘子。
9.进一步地，所述步骤s1的具体实现方法为：获取电力巡检过程中拍摄的电力设备红外图，并从中筛选出含有复合绝缘子的电力设备红外图，构成原始数据集；采用图像标注工具对原始数据集图片中的复合绝缘子芯棒及伞盘部分进行标注。
10.进一步地，所述步骤s2的具体实现方法为：对原始数据集进行数据扩增，增大数据量，形成训练数据集；数据扩增的方法为：读取原始数据集中图片，对图片进行水平翻转、垂直翻转、旋转设定角度或随机裁剪，得到新的图片；将新得到的图片与原始数据集中图片一起构成训练数据集。
11.进一步地，所述步骤s3中，构建改进deeplabv3+网络时，将mobilenetv2与deeplabv3+相融合，采用mobilenetv2 网络作为编码器，使用 linear，防止relu破坏特征；使用深度可分离卷积，减少运算量以及参数量并提高通道数，获得图像中的更多特征。
12.进一步地，所述改进deeplabv3+网络包括编码器和解码器，所述编码器包括空洞卷积和结合mobilenetv2卷积网络的空间金字塔，所述空洞卷积将mobilenetv2中以任意分辨率计算的特征提取出来，在全局池化之前，利用输入图像空间分辨率与最终输出图像空间分辨率的比率来作为输出步幅，根据计算资源的预算来控制编码器特征的密度；所述空间金字塔使用不同空洞率的空洞卷积将mobilenetv2计算出的特征进行多尺度融合，丰富语义信息的同时权衡精度和运行时间；所述解码器由两个具有不同卷积核的卷积结构组
成，用于利用相同的卷积网络来减少信道数量。
13.进一步地，所述步骤s3中，在mobilenetv2中引入eca模块，eca的实现方法为：先对各特征进行全局平均池化，然后自适应kernel运算，再通过sigmoid函数得到各特征，而后进行前向传播，将各特征的重要性权重赋给原来的特征图。
14.进一步地，所述步骤s3中，采用pointrend精细分割模块对分割结果进行后处理，以使分割结果的边缘更加光滑并提高分割精度；pointrend将图像渲染思路引进语义分割中，使用双线性插值对网络输出的细粒度特征进行上采样，在上采样结果中选取若干个最不确定点，作为边界分割困难点，同时结合由细粒度特征直接获取的困难点，使用多层感知机进行标签预测；重复上述上采样-选择点-标签预测过程，直到达到所需分辨率；通过在上采样过程中实现自适应细分以尽可能保留轮廓信息，在分割中保留边界点，提高分割精度。
15.本发明还提供了一种基于deeplabv3+的复合绝缘子实时分割系统，包括存储器、处理器以及存储于存储器上并能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，能够实现上述的方法步骤。
16.与现有技术相比，本发明具有以下有益效果：本发明提供了一种基于deeplabv3+的复合绝缘子实时分割方法及系统，本发明在deeplabv3+编码器部分中使用mobilenetv2网络替代传统xception网络，大大减少了计算时间和参数数量，提高了分割的实时性；同时，通过引入超强通道注意力模块(eca-net)进一步增强特征表示对场景分割的判别能力；此外，引入pontrend分割模块，细化了绝缘子边缘，提高分割准确度。通过将本发明部署在无人机的嵌入式设备上，在减少人工巡检工作量的同时，可以提高巡检的效率和准确度，具有很强的实用性和广阔的应用前景。
附图说明
17.图1是本发明实施例的方法实现流程图。
18.图2是本发明实施例中将deeplabv3+的主干网络替换为mobilenetv2的网络模型示意图。
19.图3是本发明实施例中eca模块的示意图。
20.图4是本发明实施例中pointrend上采样自适应细分过程示意图。
21.图5是本发明实施例中pointrend的实现流程图。
22.图6是本发明实施例中改进前后deeplabv3+对复合绝缘子的分割效果图。
具体实施方式
23.下面结合附图及实施例对本发明做进一步说明。
24.应该指出，以下详细说明都是示例性的，旨在对本技术提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本技术所属技术领域的普通技术人员通常理解的相同含义。
25.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本技术的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
26.复合绝缘子分割在嵌入式平台实现问题近似于一个多目标优化问题，要同时考虑到分割性能、网络参数大小与运行时间。因此，本实施例提供了一种基于deeplabv3+的复合绝缘子实时分割方法，来实现复合绝缘子的高精度提取。如图1所示，该方法包括以下步骤：s1、获取电力巡检过程中拍摄的含有复合绝缘子的电力设备红外图，构建原始数据集。
27.s2、对原始数据集进行数据扩增，得到训练数据集。
28.s3、构建改进deeplabv3+网络：将deeplabv3+的主干网络替换为轻量化神经网络 mobilenetv2以提高实时性，并引入轻量级高效通道注意力模块eca以实现无降维的局部跨通道交互，然后在deeplabv3+的输出端加入pointrend精细分割模块进行后处理以进一步提高语义分割结果；通过训练数据集对改进deeplabv3+网络进行训练，得到训练好的改进deeplabv3+网络。
29.s4、通过训练好的改进deeplabv3+网络对拍摄到的电力设备红外图进行处理，以实时分割出复合绝缘子。
30.步骤s1的具体实现方法为：首先，获取电力巡检过程中拍摄的电力设备红外图。其中包含有各式各样的电力设备，本发明只并从中筛选出含有复合绝缘子的电力设备红外图，构成原始数据集。然后，采用图像标注工具对原始数据集图片中的复合绝缘子芯棒及伞盘部分进行标注。
31.步骤s2的具体实现方法为：对原始数据集进行数据扩增，增大数据量，形成训练数据集。为了避免模型过拟合以及提高模型的泛化能力，因此利用数据扩增算法对原始数据集进行数据扩增。数据扩增的方法为：读取原始数据集中设定数量的图片，分别对图片进行水平翻转、垂直翻转、旋转设定角度或随机裁剪等处理，得到新的图片；将新得到的图片与原始数据集中图片一起构成训练数据集。
32.步骤s3中，构建改进deeplabv3+网络时，将mobilenetv2与deeplabv3+相融合，采用mobilenetv2 网络作为编码器，使用 linear，防止relu破坏特征；使用深度可分离卷积，减少运算量以及参数量并提高通道数，获得图像中的更多特征。
33.deeplabv3+底层网络适应性强，为了追求分割精度，研究者们将 resnet 融入其中。此类模型分类精确度高，但是模型深度不断加深，从而导致模型复杂度增加。复杂的分割模型会受到硬件内存的制约，对移动端或嵌入式设备要求较高，不能满足特定场景中的低延迟、高响应率的分割要求。为了达到实时分割的要求，本发明构建改进deeplabv3+网络的第一步是：将将轻量化神经网络 mobilenetv2与其相融合。引入轻量化mobilenetv2网络作为编码器，使用 linear，防止relu破坏特征；使用深度可分离卷积，减少运算量以及参数量并提高通道数，获得图像中的更多特征。改进网络模型如图2所示。
34.所述改进deeplabv3+网络包括编码器和解码器（结构c），所述编码器包括结构a和结构b。
35.结构 a表示空洞卷积，该结构将mobilenetv2中以任意分辨率计算的特征提取出来，在全局池化之前，利用输入图像空间分辨率与最终输出图像空间分辨率的比率来作为输出步幅，根据计算资源的预算来控制编码器特征的密度。对于语义分割任务来说，在去除最后一个或两个块中的跨距后采用步幅为 16 的输出来进行更密集的特征提取。因为当 decoder 输出步幅为9时，分割性能相对于输出步幅为18时，性能虽有提升，但会增加计算
的复杂度。所以在本发明中，编码器采用的输出步幅为18，这样做的好处是平衡了分割精度和速度。
36.结构 b表示的是结合mobilenetv2卷积网络的空间金字塔，该结构使用不同空洞率的空洞卷积将mobilenetv2计算出的特征进行多尺度融合，丰富语义信息的同时有效权衡了精度和运行时间。
37.结构 c由两个具有不同卷积核的卷积结构组成，作用是利用相同的卷积网络来减少信道数量，解决低层特征包含大量通道而导致的训练困难问题。在gpu资源有限的情况下，将模型的输出步幅设为4，对密度特征映射进行适当取舍，简化解码器。
38.本实施例中，在mobilenetv2中引入轻量级高效通道注意力 (efficient channel attention, eca)模块来提高网络性能。eca-net主要对se-net模块进行了一些改进，提出了一种不降维的局部跨信道交互策略(eca 模块)和自适应选择一维卷积核大小的方法，从而实现了性能上的提优。该模块只增加了少量的参数，却能获得明显的性能增益。避免降维对于学习通道注意力非常重要，适当的跨信道交互可以在显著降低模型复杂度的同时保持性能。因此，通过不降维的局部跨信道交互策略，可以通过一维卷积有效地实现。实验证明，本发明选用eca 模块是高效可行的。
39.高效通道注意力模块(eca)如图3所示，其实现流程为：先对各特征进行全局平均池化，然后自适应kernel运算，再通过sigmoid函数得到各特征，而后进行前向传播，将各特征的重要性权重赋给原来的特征图。
40.在不降低维数的通道级全局平均池化之后，eca通过考虑每个通道及其k个邻居来捕获局部跨通道交互信息。实践证明，该方法保证了模型效率和计算效果。eca可以通过大小为k的快速1d卷积来有效实现，其中卷积核大小为k，代表了局部跨信道交互的覆盖率，即，该通道附近有多少邻居参与了这个信道的注意力预测。与主干模型相比，带有eca模块的深度cnn引入了很少的额外参数和几乎可以忽略的计算，同时带来了性能增益。eca模块通过避免降低通道维度来学习有效的通道注意力，同时以极其轻量级的方式获取跨通道的交互信息。
41.eca模块首先对卷积得到的特征图进行squeeze操作，得到channel级的全局特征，然后对全局特征进行excitation操作，学习各个channel间的关系，也得到不同channel的权重，最后乘以原来的特征图得到最终特征，这种注意力机制让模型可以更加关注信息量最大的channel特征，而抑制那些不重要的channel特征。
42.原始图像通过上述方法改进后的deeplabv3+输出预测图像。由于deeplabv3+改用了轻量化mobilenetv2网络模型作为编码器，大大减少了计算时间和参数数量，但图像边缘分割效果不好，造成分割精度下降。因此，本发明采用pointrend精细分割模块对分割结果进行后处理，以使分割结果的边缘更加光滑并提高分割精度。
43.pointrend将图像渲染思路引进语义分割中，使用双线性插值对网络输出的细粒度特征进行上采样，在上采样结果中选取若干个最不确定点，作为边界分割困难点，同时结合由细粒度特征直接获取的困难点，使用多层感知机进行标签预测；重复上述上采样-选择点-标签预测过程，直到达到所需分辨率；通过在上采样过程中实现自适应细分以尽可能保留轮廓信息，在分割中保留边界点，提高分割精度。
44.pointrend将图像渲染思路引进语义分割中，使用双线性插值对cnn网络输出的细
粒度特征进行上采样，在上采样结果中选取若干个最不确定点(预测概率接近0.5)，作为边界分割困难点，同时结合由cnn细粒度特征直接获取的困难点，使用多层感知机(multi-layer perceptron, mlp)进行标签预测。重复上述上采样-选择点-标签预测过程，直到达到所需分辨率。通过在上采样过程中实现自适应细分能够尽可能保留轮廓信息，在分割中保留边界点，提高分割精度。pointrend上采样自适应细分过程如图4所示。
45.如图5所示，pointrend的实现流程为：a.对featuremap上的点做不稳定排序，选取n个点出来。代码中n是8096。
46.b.在mobilenetv2的第一层上对应的n个点的特征提出来。
47.例如用的主干网络为mobilenetv2，那就以它为例。这个网络输出c1,c2,c3,c4。其中c1是较高分辨率下的featuremap(1/4)，c4是最终的featuremap（1/16）。将上面n个点在这两个图上的对应特征提出来。
48.c.将n个点的对应位置的特征粘合到一起。torch.cat函数实现。例如 c1的特征是[1, 19, 8096]，c2的特征是[1, 1256 8096] 那结果就是[1, 275, 8096]。
[0049]
d.使用mlp进行细分预测。
[0050]
本发明还提供了一种基于deeplabv3+的复合绝缘子实时分割系统，包括存储器、处理器以及存储于存储器上并能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，能够实现上述的方法步骤。
[0051]
miou（平均像素交并比）和acc（像素精度）是语义分割的最重要的两个评价指标。通过实验验证，改进后miou从60%上升到82%，有了明显的提升。acc方面也从95%提升到97%。改进前后deeplabv3+对复合绝缘子的分割效果如图5所示。
[0052]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、cd-rom、光学存储器等）上实施的计算机程序产品的形式。
[0053]
本技术是参照根据本技术实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
[0054]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
[0055]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
[0056]
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。