一种基于视觉的巡线位置偏移识别系统、方法及无人机与流程

本发明涉及的是电力系统及无人机技术领域，具体地，是一种用于电力公司无人机巡线的基于视觉的巡线位置偏移识别系统、方法及无人机。

背景技术：

电力系统架空线路规模大、周边环境复杂，气候变化多端。为保证电力系统的安全平稳运行，预防事故的发生，需要进行定期巡检。鉴于复杂的气象及地理条件、严酷的巡检环境，仅依靠人工巡检不仅费时费力，而且巡视密度较低，很难满足要求。无人机具有操控简单、反应速度灵敏、飞行灵活、续航时间长、成本低廉等优点，现已成为电力公司重要的巡检工具。采用无人机进行输电线路巡查，不但提高了输电线路运维的效率和质量，还可降低劳动强度和成本，保障巡线作业人员的人身安全。

目前无人机依靠工作人员遥控操作，不但对操作人员的操作水平有较高要求，而且由于电力线路附近的电磁干扰较为严重。可能会出现操作不稳定，甚至操作失灵等故障，造成巡线设备，甚至是输电线路的损害。如果能够赋予无人机一定的自主判断能力，在偏移巡线位置，或是距离输电线路过近时能够自主调节自身位置，将有望提升巡线工作的稳定性和安全性。同时该方案也可作为未来无人机自动巡线技术的一部分。

基于深度学习的识别算法往往需要大量有标注的样本用于模型训练，绝缘子、防震锤等器件面积较大，形状也较为稳定，相对容易标注。而输电线路的标注则不同于绝缘子等器件的标注，根据输电线路形状和尺寸的特点，往往需要像素级的标注才可以满足要求。这对标注人员提出了较高的要求，也极大地增加了标注的工作量。如果能够改进识别算法，降低对样本标注的要求，则可以极大地降低标注成本，也可以促进无人机巡线位置的偏移识别算法的应用。

目前没有发现同本发明类似技术的说明或报道，也尚未收集到国内外类似的资料。

技术实现要素：

针对现有技术中存在的上述不足，本发明的目的是提供一种基于视觉的巡线位置偏移识别系统、方法及无人机，该识别系统、方法及无人机结合强弱监督学习来确定无人机当前位置，并在无人机发生位置偏移时发出信号，实现无人机巡线位置偏移识别。

本发明是通过以下技术方案实现的。

根据本发明的一个方面，提供了一种基于视觉的巡线位置偏移识别系统，包括特征提取网络、电力线识别模块以及电力塔架及部件识别模块；其中：

所述特征提取网络，输入无人机巡线时采集的图像，提取图像的各级特征信息，用于电力线识别模块和电力塔架及部件识别模块的识别工作；

所述电力线识别模块，根据特征提取网络提取的各级特征信息，对输入图像中的电力线进行识别；当电力线不存在或电力线出现中断时，切换至电力塔架及部件识别模块；

所述电力塔架及部件识别模块，根据非电力线部件识别框的大小及位置确定无人机当前位置是否偏移。

优选地，所述特征提取网络采用卷积神经网络。

优选地，所述电力线识别模块采用弱监督学习的方式，通过是否含有电力线这一类别标签对模块进行训练。

在本发明中，所述弱监督方式是指：在标记样本时不需要非常详细得标注，进一步地，若标记图片中电力线的详细位置，则为强监督，若只标注该图中是否含有电力线，则为弱监督，若不标注，则为无监督。

优选地，所述训练的方法为：对训练集中的每张图片给予一个标签，标签为含有电力线或不含有电力线，然后将图片和标签一起输入卷积神经网络进行训练，训练所得的卷积神经网络即具有将图像分类为含有电力线或不含电力线的能力。

优选地，所述电力线识别模块进行电力线识别的过程为：

s1，采用滑动窗口的方式对输入图像的每一个子区域进行分类，若分类为无电力线区域，该区域置零，若分类为存在电力线区域，则执行s2计算该区域特征图；

s2，综合特征提取网络提取的各级特征信息，将综合后的结果与固定尺寸的高斯核相乘得到最终的特征图；

按照s1和s2的过程遍历整张输入图像，即可识别出输入图像中电力线的位置；

其中：

所述滑动窗口、高斯核以及特征图尺寸均相同。

优选地，所述s2具体为：

设f1至f5为特征提取网络提取的各级特征信息，将f5做双线性插值升采样后与f4结合，得到中间值m4；将m4与f3结合，得到中间值m3；将m3与f2结合，得到中间值m2；将m2与f1结合，得到中间值m1；将m1与高斯核相乘，得到最终的特征图m0；

其中，所述结合是指两图作矩阵乘法。

优选地，所述电力塔架及部件识别模块基于深度学习，采用目标检测算法，在检测到非电力线部件之后，识别该部件种类及位置，得到识别框的大小及位置，对比事先设定的阈值，确定无人机当前位置是否合理，并在位置偏移时发出信号。

根据本发明的第二个方面，提供了一种基于视觉的巡线位置偏移识别方法，包括如下步骤：

特征提取：根据无人机巡线时采集的图像，提取图像的各级特征信息，用于电力线识别和电力塔架及部件识别；

电力线识别：根据提取的各级特征信息，对输入图像中的电力线进行识别；当电力线不存在或电力线出现中断时，切换至电力塔架及部件识别；

电力塔架及部件识别：根据非电力线部件识别框的大小及位置确定无人机当前位置是否偏移。

优选地，所述电力线识别的过程为：

s1，采用滑动窗口的方式对输入图像的每一个子区域进行分类，若分类为无电力线区域，该区域置零，若分类为存在电力线区域，则执行s2计算该区域特征图；

s2，综合特征提取网络提取的各级特征信息，将综合后的结果与固定尺寸的高斯核相乘得到最终的特征图：设f1至f5为特征提取网络提取的各级特征信息，将f5做双线性插值升采样后与f4结合，得到中间值m4；将m4与f3结合，得到中间值m3；将m3与f2结合，得到中间值m2；将m2与f1结合，得到中间值m1；将m1与高斯核相乘，得到最终的特征图m0；所述结合是指两图作矩阵乘法；

按照s1和s2的过程遍历整张输入图像，即可识别出输入图像中电力线的位置；

其中：

所述滑动窗口、高斯核以及特征图尺寸均相同。

优选地，所述电力塔架及部件识别的过程为：在检测到非电力线部件之后，识别该部件种类及位置，得到识别框的大小及位置，对比事先设定的阈值，确定无人机当前位置是否合理，并在位置偏移时发出信号。

根据本发明的第三个方面，提供了一种无人机，所述无人机安装有上述任一项所述的基于视觉的巡线位置偏移识别系统。

与现有技术相比，本发明具有如下有益效果：

本发明提供的基于视觉的巡线位置偏移识别系统、方法及无人机，降低了对训练样本的标注要求，有助于提升巡线工作的稳定性和安全性，同时也可作为未来无人机自动巡线技术的一部分。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明实施例中所提供的特征提取网络的结构示意图；

图2为本发明实施例中所提供的电力线识别模块提取特征图的过程简图；

图3为本发明所提供的基于视觉的无人机巡线位置偏移识别方法流程图。

具体实施方式

下面对本发明的实施例作详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

本发明实施例提供了一种基于视觉的巡线位置偏移识别系统，包括：特征提取网络、电力线识别模块以及电力塔架及部件识别模块。其中：

所述特征提取网络主要由一个卷积神经网络构成，所述卷积神经网络提取图像的各级特征，用于后续的识别工作。特征提取网络的结构如图1所示。

所述电力线识别模块，采用弱监督学习方法对模块进行训练，并使用前述特征提取网络所提取的各级特征对图像中的电力线进行识别。在cnn(卷积神经网络)体系结构中，高层次特征图包含与预测相关的更多信息，但分辨率较低。虽然低层次特征图具有较高分辨率，但它包含的与预测相关的信息较少。该模块结合中间卷积层的特征图，得到与预测相关的高分辨率信息，并将这些信息用于电力线的定位。对输入图像使用滑动窗口对每一个子区域进行分类，滑动步长为窗口大小的一半。若分类为无电力线的区域，则该区域置零，以减少背景的干扰。若分类为存在电力线的区域，则计算其特征图m0。图2为模块提取特征图m0的过程。其中的f1至f5为各级输出，由于池化层的关系，因此需要将f5做双线性插值升采样之后才可以和f4结合，结合的过程为两图作矩阵乘法，得到中间值m4。后续同理，直至得到m1。为强调中心部分响应，抑制边缘区域的响应，将m1与尺寸为滑动窗口大小的高斯核相乘，得到最后与滑动窗口大小一致的特征图m0。按照此过程遍历整张图像，即可识别出图像中电力线的位置。若图像中不存在电力线路，或电力线路出现中断，则切换至电力塔架及部件识别模块进行识别。

所述电力塔架及部件识别模块，采用目标检测算法，识别输电线路上的各类器件，识别的输出结果为图像中包含的部件的种类及大小。该模块会事先设定阈值，大于上限或小于下限均会发出异常信号。器件类型及阈值大小均可根据实际需要做相应调整。

本发明实施例同时提供了一种上述基于视觉的无人机巡线位置偏移识别系统的识别方法，包括如下步骤：

特征提取：根据无人机巡线时采集的图像，提取图像的各级特征信息，用于电力线识别和电力塔架及部件识别；

电力线识别：根据提取的各级特征信息，对输入图像中的电力线进行识别；当电力线不存在或电力线出现中断时，切换至电力塔架及部件识别；

电力塔架及部件识别：根据非电力线部件识别框的大小及位置确定无人机当前位置是否偏移。

所述电力线识别的过程为：

s1，采用滑动窗口的方式对输入图像的每一个子区域进行分类，若分类为无电力线区域，该区域置零，若分类为存在电力线区域，则执行s2计算该区域特征图；

s2，综合特征提取网络提取的各级特征信息，将综合后的结果与固定尺寸的高斯核相乘得到最终的特征图。

所述s2具体为：设f1至f5为特征提取网络提取的各级特征信息，将f5做双线性插值升采样后与f4结合，得到中间值m4；将m4与f3结合，得到中间值m3；将m3与f2结合，得到中间值m2；将m2与f1结合，得到中间值m1；将m1与高斯核相乘，得到最终的特征图m0；所述结合是指两图作矩阵乘法。

按照s1和s2的过程遍历整张输入图像，即可识别出输入图像中电力线的位置。

其中：

所述滑动窗口、高斯核以及特征图尺寸均相同。

所述电力塔架及部件识别的过程为：在检测到非电力线部件之后，识别该部件种类及位置，得到识别框的大小及位置，对比事先设定的阈值，确定无人机当前位置是否合理，并在位置偏移时发出信号。

基于以上基于视觉的无人机巡线位置偏移识别系统及识别方法，本发明实施例同时提供了一种无人机，所述无人机安装有上述任一项所述的基于视觉的巡线位置偏移识别系统和/或执行上述任一项所述的基于视觉的巡线位置偏移识别方法。

下面结合一具体应用实例，对本发明上述实施例中的技术方案进一步详细描述。

使用带有类别标签的电力线数据集，包含电力线和未包含电力线的各1000张，用于训练电力线识别模块。使用带有位置及类别标签的输电线路器件数据集，绝缘子类及塔架类各300张作为训练集，训练电力塔架及部件识别模块。

电力线识别模块使用1024×1024固定大小输入，若输入图像非该尺寸则对输入进行尺寸变换。滑动窗口设置为128×128，步长横竖均为64像素，m1与尺寸为128×128的高斯核相乘得到用于识别的特征图m0。巡线照片尺寸为4000×3000像素，电力塔架及部件识别模块设定其中绝缘子的识别框大小阈值上、下限分别为3200×800、1200×300。塔架的识别框大小阈值上、下限分别为2000×3000、1200×2000。

在使用无人机巡线时，在无人机到达指定位置后开始识别。沿线飞行时电力线识别模块实时进行检测，在检测到电力线不存在或电力线出现中断时，切换至电力塔架及部件识别模块，根据识别结果判定无人机当前位置是否合理。若不合理，返回当前位置过近或过远的信号。

本发明上述实施例提供的基于视觉的巡线位置偏移识别系统、方法及无人机，其中识别系统包括：特征提取网络、电力线识别模块、电力塔架及部件识别模块；各个部分相互配合，在无人机巡线时实时执行当前位置识别的工作，并在无人机偏离巡线目标时发出信号。特征提取网络由一个卷积神经网络构成，负责提取图像的各级特征，用于后续的识别工作。电力线识别模块在训练时仅需类别标签，无需位置标签，大大降低了样本标注的工作量。电力塔架及部件识别模块基于目标检测算法，在电力线识别模块识别到电力线形状变化时开始检测，识别此处的部件类型，根据识别框的大小及位置确定无人机当前位置是否合理。本发明上述实施例提供的基于视觉的巡线位置偏移识别系统、方法及无人机，实现了对巡线无人机的位置识别，并在位置偏移时发出信号，可用于辅助操控或无人机自动巡线等工作。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。