基于多源信息融合的配电线路精准语义分割方法与流程

文档序号:26142607发布日期:2021-08-03 14:27阅读:来源:国知局

技术特征:

1.一种基于多源信息融合的配电线路精准语义分割方法,其特征在于,在配电线路一侧安装有激光雷达和高精度视觉相机,其均与配电线路精准语义分割系统电连接,所述配电线路精准语义分割系统获取激光雷达和高精度视觉相机信息后通过以下步骤实现语义分割:

setp1:获取激光雷达的3d点云图和高精度视觉相机的rgb图像,对两者进行配准融合;

setp2:对mask-rcnn网络进行改进,修改resnet的下采样结构,对resnet网络拆解大核卷积,将大核卷积由多层小卷积替代,提出新的网络结构,构建改进的mask-rcnn语义分割模型;

setp3:对mask-rcnn语义分割模型损失函数进行改进,在原mask-rcnn的损失函数末尾新增了一个l2范数损失函数,以增加配电线路形状的约束;

setp4:在带电作业现场采集相关配电线路图片制成数据集,并将其分为测试集和训练集;

setp5:对所述数据集进行预处理,利用测试集和训练集对所述改进的mask-rcnn语义分割模型进行训练与测试;

setp6:将setp1融合后的数据作为网络输入,输入到改进的mask-rcnn语义分割模型中进行语义分割。

2.根据权利要求1所述的基于多源信息融合的配电线路精准语义分割方法,其特征在于,所述改进的mask-rcnn语义分割模型修改mask-rcnn的候选区域,所述候选区域选取方法为:

首先,将setp1获取的图片用霍夫直线(弧线)检测算法,来提取候选区域,对于检测到无直线(弧线)的区域直接进行舍弃,把原有2000个候选区域缩小为100个候选区域;

然后,直接将图片归一化到卷积网络需要的格式,整张图片送入卷积网络,将第五层的普通池化层替换为roi池化层,图片然后经过5层卷积操作后,得到一张特征图,开始得到的坐标信息通过一定的映射关系转换为对应特征图的坐标,截取对应的候选区域,经过roi层后提取到固定长度的特征向量,送入全连接层。

3.根据权利要求1所述的基于多源信息融合的配电线路精准语义分割方法,其特征在于,修改后的新的网络结构以resnet50作为主干网络,resnet使用了跨层连接。

4.根据权利要求3所述的基于多源信息融合的配电线路精准语义分割方法,其特征在于,将新的网络结构的中间n×n的卷积块改为1个1×n和n×1的卷积块对,并将每对卷积块并联起来。

5.根据权利要求1所述的基于多源信息融合的配电线路精准语义分割方法,其特征在于,所述setp2中改进后的损失函数定义为:

l=lcls+lbox+αlmask+βlre(1)

其中,lcls,lbox,lmask分别为mask-rcnn语义分割模型损失函数中的分类损失,检测框损失和掩膜损失,lre为3d点云数据配准损失,α,β分别表示掩膜损失和配准损失的权重系数;lmask、lre、lcls以及lbox分别定义为:

lcls(pi,pi*)=-log[pipi*+(1-pi)(1-pi*)](4)

其中,y(i),y'(i)分别为真实值和预测值;pi为锚点的预测分类概率;锚点是正样本时,pi*=1;锚点是负样本时,pi*=0;ti是锚点的预测偏移量,表示锚点相对于真实值的偏移量;r是smoothl1函数,

6.根据权利要求1所述的基于多源信息融合的配电线路精准语义分割方法,其特征在于,所述激光雷达的3d点云图和高精度视觉相机的rgb图像进行融合的具体步骤为:首先需定义一个统一坐标系,建立起3d点云图与rgb图像特征点与特征点之间的配准联系,将雷达点云图上空间坐标系上的点pi=(x,y,z)映射到二维空间中的平面坐标系中,并将其作为网络输入,输入到后续的语义分割模型中。

7.根据权利要求1所述的基于多源信息融合的配电线路精准语义分割方法,其特征在于,利用测试集和训练集对所述改进的mask-rcnn语义分割模型进行训练与测试时,需要对数据集做如下处理:

1)图片缩放:在改进的mask-rcnn语义分割模型的训练和测试期间,将数据集里面的图片缩放成960×540;

2)数据增强:将数据集里面的图片去均值并利用水平翻转进行训练。


技术总结
本发明涉及计算机视觉与图像处理技术领域,公开了一种基于多源信息融合的配电线路精准语义分割方法,获取激光雷达的3D点云图和高精度视觉相机的RGB图像,对其融合;对Mask‑RCNN网络进行改进,构建改进的Mask‑RCNN语义分割模型;并改进损失函数;在现场采集配电线路图片制成数据集,并将其分为测试集和训练集;对数据集进行预处理,利用测试集和训练集对改进的Mask‑RCNN语义分割模型进行训练与测试;将融合后的数据作为网络输入,输入到改进的Mask‑RCNN语义分割模型中进行语义分割。与现有技术相比,本发明基于改进的Mask‑RCNN语义分割模型,对配电线路实现精准的高速度的语义分割。

技术研发人员:张冬;高明;刘灵光;卢健;盛晓翔;顾礼峰
受保护的技术使用者:国网江苏省电力有限公司淮安供电分公司;淮安宏能集团有限公司;亿嘉和科技股份有限公司
技术研发日:2021.04.01
技术公布日:2021.08.03
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1