基于多源信息融合的配电线路精准语义分割方法与流程

本发明涉及计算机视觉与图像处理技术领域，具体涉及一种基于多源信息融合的配电线路精准语义分割方法。

背景技术：

随着我国经济的蓬勃发展，目前社会生产及人民日常生活处处都离不开用电，这使得对供电部门提出了更高的要求，不仅要保证充足的供电量，还要保证较高的供电可靠性。“对配电线路进行带电作业”的技术就是为了满足在持续供电的条件下，对供电设备以及供电线路进行维护检修，测试等相关作业而诞生的，该技术目前已广泛应用到相关领域，用以保证供电的可靠性。

然而作业人员在对配电线路进行带电作业时具有较高的危险性，所以精确的安全预警系统在带电作业时是非常重要的。而对配电线路进行精准语义分割又是带电作业安全预警中最为核心的技术之一，语义分割的精度直接决定了安全预警的可靠性。现有的配电线路的架设环境较为复杂，设施布置较为密集，因此单一的传感器采集到的配电线路信息很容易受周围复杂环境因素影响，使得获取的数据信息不准确，进而导致安全预警的可靠性降低。而且现有的配电线路语义分割大都存在精度不高，预警的可靠性低等问题。

图像语义分割是指从像素的角度将表达不同语义类别的像素按区域分割开来，是图像处理任务的核心技术之一。随着步入人工智能时代，使得图像语义分割逐渐成为了无人驾驶、室内导航等前沿科科技领域的研究热点。

在图像语义分割领域，以深度学习为代表的机器学习技术不断取得更好的成绩，逐渐替代了传统的分割方法。相较于传统的分割方法，基于深度学习的分割方法可以通过搭建深度学习网络自主学习、提取图像的特征，从而进行端到端的分类学习，这样可以有效地提高语义分割的速度和精度。

2015年，首次提出了全卷积网络(fullyconvolutionalnetworks，fcn)，这是人们首次将深度学习技术用于语义分割领域，它将卷积神经网络中用于图片分类任务的全连接层全部转化为了卷积层，并且引入反卷积层及跳跃结构，确保了网络的稳定性和鲁棒性。随着fcn的出现，深度学习正式进入图像语义分割领域。

作为在医学图像分割领域中最常用的模型，u-net以其最典型的u型对称结构被人熟记，u型对称结构的的两侧分别做下采样操作和上采样操作。其中通过下采样可以获取图像的上下文信息，而上采样可以对语义分割的边界实现精准定位，这样使得模型可以在训练较少数据的情况下具有较高的分割能力。同年，一个名为segnet的语义分割模型问世，其采用编码器-解码器结构来对图像进行语义分割，并利用maxpool的索引进行上采样，从而节省了网络模型的内存。

google团队的deeplab系列的语义分割模型也在语义分割领域不断进步。deeplabv1是由深度卷积神经网络(dcnn)和全连接的条件随机场(crf)构成，这样可以有效地解决深度卷积神经网络定位不精确的问题。而deeplabv2语义分割模型的在deeplabv1的基础上进行了创新，在模型结构上融合了空洞空间卷积池化金字塔(aspp)模块。该模块可以有效地提高网络分割能力。同年改进的deeplabv3版本问世，其核心思想是改进aspp结构并引入了批量归一化层，从而提升网络的分割精度。而最新的deeplabv3+语义分割模型在deeplabv3的基础上增加了编解码器和xception主干网络，提高了网络语义分割的速度和精度。

此外，zhao等人提出的pspnet语义分割模型引入了金字塔池化模块，这样可以使语义分割网络提高获取图像全局上下文信息的能力。以及he等人提出的mask-rcnn语义分割模型，其主要对faster-rcnn模型进行了扩展，在其基础上增加了一个用于分割任务网络分支，采用roialign替代faster-rcnn中的roipooling,同时将残差网络与特征金字塔网络(fpn)相结合用于对图像进行特征提取，使得网络在检测到目标的同时对其实现高质量地分割。

通过大量实验表明，基于深度学习的图像语义分割算法在处理图像语义分割方面都具有较好的表现。然而带电作业环境复杂，且对分割精度要求较高，传统的语义分割模型并不能满足工作需求。

技术实现要素：

发明目的：针对现有技术中存在的问题，本发明提供一种基于多源信息融合的配电线路精准语义分割方法，采用激光雷达，融合高精度视觉相机作为多源信息输入，基于改进的mask-rcnn语义分割模型，对配电线路实现精准的语义分割。

技术方案：本发明提供了一种基于多源信息融合的配电线路精准语义分割方法，在配电线路一侧安装有激光雷达和高精度视觉相机，其均与配电线路精准语义分割系统电连接，所述配电线路精准语义分割系统获取激光雷达和高精度视觉相机信息后通过以下步骤实现语义分割：

setp1：获取激光雷达的3d点云图和高精度视觉相机的rgb图像，对两者进行配准融合；

setp2：对mask-rcnn网络进行改进，修改resnet的下采样结构，对resnet网络拆解大核卷积，将大核卷积由多层小卷积替代，提出新的网络结构，构建改进的mask-rcnn语义分割模型；

setp3：对mask-rcnn语义分割模型损失函数进行改进，在原mask-rcnn的损失函数末尾新增了一个l2范数损失函数，以增加配电线路形状的约束；

setp4：在带电作业现场采集相关配电线路图片制成数据集，并将其分为测试集和训练集；

setp5：对所述数据集进行预处理，利用测试集和训练集对所述改进的mask-rcnn语义分割模型进行训练与测试；

setp6：将setp1融合后的数据作为网络输入，输入到改进的mask-rcnn语义分割模型中进行语义分割。

进一步地，所述改进的mask-rcnn语义分割模型修改mask-rcnn的候选区域，所述候选区域选取方法为：

首先，将setp1获取的图片用霍夫直线(弧线)检测算法，来提取候选区域，对于检测到无直线(弧线)的区域直接进行舍弃，把原有2000个候选区域缩小为100个候选区域；

然后，直接将图片归一化到卷积网络需要的格式，整张图片送入卷积网络，将第五层的普通池化层替换为roi池化层，图片然后经过5层卷积操作后，得到一张特征图，开始得到的坐标信息通过一定的映射关系转换为对应特征图的坐标，截取对应的候选区域，经过roi层后提取到固定长度的特征向量，送入全连接层。

进一步地，修改后的新的网络结构以resnet50作为主干网络，resnet使用了跨层连接。

进一步地，将新的网络结构的中间n×n的卷积块改为1个1×n和n×1的卷积块对，并将每对卷积块并联起来。

进一步地，所述setp2中改进后的损失函数定义为：

l＝lcls+lbox+αlmask+βlre(1)

其中，lcls，lbox，lmask分别为mask-rcnn语义分割模型损失函数中的分类损失，检测框损失和掩膜损失，lre为3d点云数据配准损失，α，β分别表示掩膜损失和配准损失的权重系数；lmask、lre、lcls以及lbox分别定义为：

lcls(pi,pi^*)＝-log[pipi^*+(1-pi)(1-pi^*)](4)

其中，y⁽ⁱ⁾，y'⁽ⁱ⁾分别为真实值和预测值；pi为锚点的预测分类概率；锚点是正样本时，pi^*＝1；锚点是负样本时，pi^*＝0；ti是锚点的预测偏移量，表示锚点相对于真实值的偏移量；r是smoothl1函数，

进一步地，所述激光雷达的3d点云图和高精度视觉相机的rgb图像进行融合的具体步骤为：首先需定义一个统一坐标系，建立起3d点云图与rgb图像特征点与特征点之间的配准联系，将雷达点云图上空间坐标系上的点pi＝(x,y,z)映射到二维空间中的平面坐标系中，并将其作为网络输入，输入到后续的语义分割模型中。

进一步地，利用测试集和训练集对所述改进的mask-rcnn语义分割模型进行训练与测试时，需要对数据集做如下处理：

1)图片缩放：在改进的mask-rcnn语义分割模型的训练和测试期间，将数据集里面的图片缩放成960×540；

2)数据增强：将数据集里面的图片去均值并利用水平翻转进行训练。

有益效果：

1、本发明基于多源信息融合的方式来采集数据，可利用多个维度的信息来实现对配电线路的准确识别、提取，有效提高了对配电线路提取的准确及完整性，进而保证了安全预警系统的可靠性。

2、本发明基于对resnet网络一种经典的改进方法-拆解大核卷积，即将大核卷积由多层小卷积替代，这样可以加深网络深度。

3、本发明提出的网络结构：将中间n×n的卷积块改为n个1×n和n×1的卷积块对，并将每对卷积块并联起来，这样可以在加快网络计算速度的同时，又减小网络过拟合的概率。

4、本发明在损失函数末尾新增了一个l2损失，以增加配电线路形状约束。

附图说明

图1为激光雷达的3d点云图与rgb图像数据融合原理图；

图2为主干网络resnet101结构图；

图3为resnet改进结构图；

图4为本发明实施例配电线路分割结果图。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

本发明公开了一种基于多源信息融合的配电线路精准语义分割方法，在配电线路一侧安装有激光雷达和高精度视觉相机，其均与配电线路精准语义分割系统电连接，所述配电线路精准语义分割系统获取激光雷达和高精度视觉相机信息后通过一下步骤实现语义分割：

setp1：获取激光雷达的3d点云图和高精度视觉相机的rgb图像，对两者进行配准融合。

setp2：对mask-rcnn网络进行改进，修改resnet的下采样结构，对resnet网络拆解大核卷积，将大核卷积由多层小卷积替代，提出新的网络结构，构建改进的mask-rcnn语义分割模型，以增加配电线路的检测速度。

原mask-rcnn在特征提取上，首先将输入图片用选择搜索算法(selectivesearch)得到2000个候选区域(regionproposals)的坐标信息。在本发明中，因为配电线路具有非常明显的直线或弧线的几何特征，所以我们对于图片利用霍夫直线(弧线)检测算法，来提取候选区域，对于检测到无直线(弧线)的区域直接进行舍弃，把原有2000个候选区域缩小为100个候选区域。通过这样的操作可以极大的加快网络的训练和检测速度。

然后，直接将图片归一化到卷积网络需要的格式，整张图片送入卷积网络，将第五层的普通池化层替换为roi池化层，图片然后经过5层卷积操作后，得到一张特征图(featuremaps)，开始得到的坐标信息通过一定的映射关系转换为对应特征图的坐标，截取对应的候选区域，经过roi层后提取到固定长度的特征向量，送入全连接层。

setp3：对mask-rcnn语义分割模型损失函数进行改进，在原mask-rcnn的损失函数末尾新增了一个l2范数损失函数，以增加配电线路形状的约束；

setp4：在带电作业现场采集相关配电线路图片制成数据集，并将其分为测试集和训练集。

setp5：对所述数据集进行预处理，利用测试集和训练集对所述改进的mask-rcnn语义分割模型进行训练与测试。

setp6：将setp1融合后的数据作为网络输入，输入到改进的mask-rcnn语义分割模型中进行语义分割。

对于多源信息融合输入：

由于配电线路的架设环境较为复杂，设施布置较为密集,因此单一的传感器采集到的配电线路信息很容易受周围复杂环境因素影响，使得获取的数据信息不准确，进而导致安全预警的可靠性降低。而基于多源信息融合的方式来采集数据，可利用多个维度的信息来实现对配电线路的准确识别、提取，有效提高了对配电线路提取的准确及完整性，进而保证了安全预警系统的可靠性。

因带电作业的环境较为复杂，本发明采用激光雷达，融合高精度视觉相机作为多源信息输入，激光雷达的3d点云图可以精确获取目标的位置信息，而rgb视觉相机可以很好地获取周围视觉信息，将两者相融合可以更精确地获取到带电作业周围的环境信息，提高传感器的抗干扰能力，确保对配电线路实现完整、准确的识别和提取。

由于雷达点云图为3d数据，为满足mask-rcnn语义分割模型输入的要求，需使得雷达3d点云图和rgb图像的融合结果为4通道rgb-d数据。雷达3d点云图和rgb图像的融合算法主要过程如下：首先需定义一个统一坐标系，建立起3d点云图与rgb图像点与点之间的配准联系。将雷达点云图的空间坐标系上的点pi＝(x,y,z)映射到二维空间中的平面坐标系中，映射公式如下：

其中，是映射后的图像坐标，h和w是所需范围图像表示的高度和宽度。f＝fu+fd为激光雷达垂直视野范围，fu是水平线上的仰角大小，fd是水平线下的俯角大小。r＝||pi||²表示球面坐标系上点的范围。这样就可以将3d点云图上的点映射在rgb图像上的坐标。从而实现数据融合，并将其作为网络输入，输入到后续的语义分割模型中。

改进的mask-rcnn语义分割模型

一、改进网络结构

mask-rcnn是一个非常灵活的框架，可以完成目标检测、语义分割等多种图像处理任务。为了保证网络对配电线路分割的精度，本发明将对mask-rcnn网络进行改进。根据配电线路的特点修改了resnet中的下采样结构。

本发明以resnet50作为主干网络。resnet使用了跨层连接，使得训练更加容易。resnet50的网络结构如图2所示。

基于对resnet网络一种经典的改进方法-拆解大核卷积，即将大核卷积由多层小卷积替代，结构图如图3所示，这样可以加深网络深度。这种思想来自于inceptionv2网络。

基于上述改进方法，本发明提出了一种新的网络结构：将中间n×n的卷积块改为n个1×n和n×1的卷积块对，并将每对卷积块并联起来。这样可以在加快网络计算速度的同时，又减小网络过拟合的概率。参见附图3，本发明实施例以5*5卷积块为例，将5*5卷积块改为5个1×5和5×1的卷积块对，并将每对卷积块并联起来。

二、改进模型的损失函数

由于配电线路的形状固定，本发明对mask-rcnn语义分割模型损失函数进行了一些优化，在mask-rcnn语义分割模型的损失函数末尾新增了一个l2损失函数，以加强形状约束，本发明将改进后的损失函数定义为：

l＝lcls+lbox+αlmask+βlre(1)

其中，lcls，lbox，lmask分别为mask-rcnn语义分割模型损失函数中的分类损失，检测框损失和掩膜损失，lre为3d点云数据配准损失，α，β分别表示掩膜损失和配准损失的权重系数；lmask、lre、lcls以及lbox分别定义为：

lcls(pi,pi^*)＝-log[pipi^*+(1-pi)(1-pi^*)](4)

其中，y⁽ⁱ⁾，y'⁽ⁱ⁾分别为真实值和预测值；pi为锚点的预测分类概率；锚点是正样本时，pi^*＝1；锚点是负样本时，pi^*＝0；ti是锚点的预测偏移量，表示锚点相对于真实值的偏移量；r是smoothl1函数，

实验与分析

本发明采用的实验环境如表1所示，对模型训练过程中各项参数如表2所示参数：

表1实验环境

表2训练参数

对于setp4的数据集处理如下：

本发明使用激光雷达，融合高精度视觉相机在带电作业现场采集相关配电线路图片制成数据集，数据集一共1800张图片。首先对数据集进行预处理，图像大小设置为1920×1080。然后用标注工具对数据进行人工标注，生成对应label图和存放标签名称的yaml文件。本发明选取其中的1700张图片用于训练，100张图片用于测试。

另外，在模型训练过程中对数据集做以下操作。

图片缩放：在本文模型的训练和测试期间，为提升模型训练速度，需要将数据集里面的图片缩放成960×540。

数据增强：为了使输入图片满足网络架构的需要，本文将去均值，水平翻转等数据增强也应用于训练中。

本发明基于改进的mask-rcnn模型对10kv配电线路进行语义分割，可视化分割结果如图4所示，其中第一列为原始图片，第二列为label图，第三列为分割结果图。

由图4可见，本发明提出的方法在带电作业的复杂背景下可以对配电线路实现精确的分割。

同时本发明选取了几个经典语义分割模型基于本发明创建的数据集进行对比，其中segnet语义分割模型代表的是文献：badrinarayananv,kendalla,cipollar.segnet:adeepconvolutionalencoder-decoderarchitectureforimagesegmentation[j].ieeetransactionsonpatternanalysisandmachineintelligence,2015:1。u-net语义分割模型代表的是文献：ronnebergero,fischerp,broxt.u-net:convolutionalnetworksforbiomedicalimagesegmentation[j].2015。deeplabv3+语义分割模型代表的是文献：chenlc,zhuy,papandreoug,etal.encoder-decoderwithatrousseparableconvolutionforsemanticimagesegmentation[c]//proceedingsoftheeuropeanconferenceoncomputervision(eccv),2018:801-818。mask-rcnn语义分割模型代表的是文献：he,k.,gkioxari,g.,dollar,p.,etal.(2017).maskr-cnn.in2017ieeeinternationalconferenceoncomputervision(iccv)-maskr-cnn,venice,italy,october22–29,2017(pp.2980–2988)。方法使用平均交并比(miou)对模型性能进行评估。对比结果如表3所示，可以看出本发明提出的方法较其他方法效果更好。

表3与其他模型对比结果

上述实施方式只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明精神实质所做的等效变换或修饰，都应涵盖在本发明的保护范围之内。