结合ResNet50+FPN+DCN的变电站图片鸟巢检测方法与流程

本发明涉及了一种变电站鸟巢检测的方法，尤其是涉及了一种结合resnet50+fpn+dcn的变电站图片鸟巢检测方法。

背景技术：

变电站中的大量设备都部署在室外，容易受到外来鸟巢的影响而产生安全隐患。传统的人工巡检方式，一方面耗时耗力，另一方面对巡检人员有很高的要求。因此，如果能够通过巡检机器人对变电站环境中鸟巢进行自动检测，对于实现智能巡检具有重要意义。借助深度学习方法对巡检机器人拍摄到的巡检影像进行自动化检测，也是亟需解决的难题之一。

技术实现要素：

为了解决背景技术中的问题，本发明提出了一种结合resnet50+fpn+dcn的变电站图片鸟巢检测方法，能准确检测变电站鸟巢并具有良好稳定性。

本发明的技术方案包括以下步骤：

1)采集变电站鸟巢样本图片，对每一图片制作对应的样本标签文件；

所述样本标签文件符合pascalvoc数据集的xml标签文件标准。

2)以resnet50网络框架模型以及fasterr-cnn检测网络模型结合fpn特征金字塔网络模型与dcn可变形卷积核，建立深度学习网络模型；

3)将获得的所有变电站鸟巢样本图片及其对应的变电站鸟巢样本图片随机划分为训练集和测试集；

4)对训练集进行数据增强；

5)利用训练集对fasterrcnn+resnet50+fpn+dcn网络结构的深度学习网络模型进行训练，获得初步训练后的鸟巢检测模型；

6)采用测试集测试初步训练后的鸟巢检测模型的性能，根据测试结果调整训练参数与检测置信度阈值，优化并固化鸟巢检测模型；

7)针对待测图像输入固化后的鸟巢检测模型，输出获得检测结果。

所述的变电站鸟巢样本图片是指人站在地面上，以变电站设备上的鸟巢作为目标物，正对目标物的左右偏差15度和仰视30-45度的范围内采集获得的图片。

所述步骤2)中，深度学习网络模型具体是：在fasterr-cnn检测网络模型中的输入端到中间端的特征图之间的卷积模块部分采用resnet50网络框架模型和fpn特征金字塔网络模型交叉结合所代替，图像输入到resnet50网络框架模型的输入层，并且在resnet50网络框架模型的第二特征提取阶段到第五特征提取阶段的输出均连接到fpn特征金字塔网络模型的输入，fpn特征金字塔网络模型对resnet50网络框架模型的第二特征提取阶段到第五特征提取阶段输出的阶段特征图进行插值融合并输出不同尺度的特征图，产生检测框，且resnet50网络框架模型的最后三个阶段的卷积核改成dcn可变形卷积核。具体来说，是将逐层高阶段的小尺寸特征图通过双线性插值得到与上一阶段尺寸相同的特征图并与之融合，最终在融合得到的3个新的特征图与阶段5输出的特征图上进行检测框的生成。

采用resnet50作为fasterrcnn的骨干网络，采用fpn结合输入图像的浅层轮廓信息与深层语义信息，并将resnet50的最后三个阶段的卷积核改成dcn，而建立了融合了多方面网络结构的深度学习网络模型，改善后的模型网络能够充分利用来自深层和浅层的语义特征。

所述步骤2)中，dcn可变形卷积核是在卷积核映射只能在卷积核的正方形区域内操作基础上对卷积核的每个像素点增加一个偏移量，训练开始时初始化偏移量，训练中将偏移量作为网络参数进行训练，计算方式具体采用如下公式：

式中，p0为卷积核的中心位置，pn是卷积核的当前其他位置p0相对于卷积核的中心位置p0对应所在的一个整数偏移，用来提供附近语义信息，y是卷积层的输出结果，w是卷积核当前位置的权重函数，x(·)是特征图对应位置的取值；δpn表示偏移量，由网络结构中其他卷积层迭代优化计算得到，具体实施均为小数的偏移，式中的x(·)通过双线性插值在该层的输出图中计算得到。

所述步骤3)中对样本的划分具体是指取整个数据集的64％作为训练集，16％作为交叉验证集，剩余的20％作为测试集。

所述步骤4)具体是对训练集中的变电站鸟巢样本图片进行随机翻转、随机亮度增强和颜色通道标准化的多方面处理。

所述的颜色通道标准化具体是针对每个颜色通道采用以下公式处理：

式中，μ和σ分别表示在训练集上统计变电站鸟巢样本图片的rgb通道数值得到的同一通道的均值和方差，x、x′分别表示颜色通道标准化前后的变电站鸟巢样本图片的rgb通道中一通道的像素值。

所述步骤5)中，将训练的图片统一缩放到相同大小，先采用imagenet已知数据预训练resnet50网络框架模型的参数，训练时的参数更新方式为sgd，初始学习率为0.01，动量项为0.9，权值衰减系数1×10^-4，批训练大小为4，训练20个时期；训练采用15000次迭代来慢启动，并采用学习率阶段逐渐下降方式训练。

所述的慢启动具体是指在训练的第1个时期采用初始学习率1/3进行训练，第2个时期开始恢复初始学习率大小进行训练。

所述的学习率阶段下降方式具体是指在第4和第8时期学习率在原基础上缩放1/10。

所述步骤6)中判断统计模型在测试集上的平均准确度，具体的来说，即统计在预测框与真实框重合度超过重合度阈值的框数占总真实框数量的比例。一般的来说，重合度阈值选择0.5。

本发明是首先对采集到的变电站鸟巢数据进行标注，再利用基于resnet50+fpn+dcn的网络模型在fasterr-cnn检测网络模型上对鸟巢的深层语义信息进行学习；利用训练好的模型在测试集上进行鸟巢检测，预测出鸟巢在图片中的位置，并预测对应位置的检测置信度，最终根据设置的重叠阈值去除重叠的检测框，完成变电站鸟巢检测。

本发明能够实现变电站鸟巢的自动检测，具有较高的准确率，并且具有稳定性好，抗干扰能力强，通用性高等有点，具有良好的鲁棒性，能够应用于变电站智能机器人巡检系统。

本发明具有的有益的效果是：

相比于以往的变电站鸟巢检测方法，本发明方法准确率高，鲁棒性好，且对各种变电站环境具有通用性；

本发明在以resnet50为框架的fasterrcnn目标检测模型上增加了fpn，实现了图像浅层几何信息与深层语义信息的融合，提升了模型对小尺寸鸟巢的检测效果；将resnet50的最后三个阶段的卷积核更改为dcn(可变性卷积)，提升了模型对复杂形状鸟巢检测的效果。

本发明方法在高效的前提下实现了高检测精度，具有较强的抗干扰能力。

附图说明

图1为实施例训练样本图片。

图2为实施例faster-rcnn网络结构图。

图3为实施例fpn结构。

图4为实施例dcn结构示意图。

图5为实施例本方法对于鸟巢的检测与定位图。

具体实施方式

下面结合附图及具体实施例对本发明作进一步详细说明。

按照本发明发明内容完整方法实施的实施例及其实施过程如下：

首先，建立变电站鸟巢图像库，图片的典型图如图1所示。其次，建立与图像数据集对应的标签。标签文件满足pascalvoc格式的xml标签文件标准，内容包含图像名称、图像路径、图像的高度宽度以及真实目标框的左上顶点与右下顶点的坐标值。

建立深度学习网络模型，采用基于resnet50框架+fpn+dcn及fasterrcnn目标检测算法构建深度学习目标检测网络。

fasterr-cnn检测网络模型的网络结构如图2所示。在fasterr-cnn检测网络模型中的输入端到中间端的特征图之间的卷积模块部分采用resnet50网络框架模型和fpn特征金字塔网络模型交叉结合所代替，图像输入到resnet50网络框架模型的输入层，并且在resnet50网络框架模型的第二特征提取阶段到第五特征提取阶段的输出均连接到fpn特征金字塔网络模型的输入，fpn特征金字塔网络模型对resnet50网络框架模型的第二特征提取阶段到第五特征提取阶段输出的阶段特征图进行插值融合并输出不同尺度的特征图，产生检测框。具体来说，是将逐层高阶段的小尺寸特征图通过双线性插值得到与上一阶段尺寸相同的特征图并与之融合，最终在融合得到的3个新的特征图与阶段5输出的特征图上进行检测框的生成。

单一resnet50网络架构模型输出的特征图如图3(a)所示，结合了fpn特征金字塔网络模型后整体输出的特征图如图3(b)所示。图中，加粗框代表输入给后续网络的特征图。

另外将resnet50的最后三个阶段的卷积核改成dcn，通过在卷积核中加入偏移量，让深层网络对于形状复杂的鸟巢有更好的特征提取效果，普通卷积核的结构如图4(a)所示，dcn的结构如图4(b)、(c)、(d)所示。

具体实施的dcn可变形卷积核是在卷积核映射只能在卷积核的正方形区域内操作基础上对卷积核的每个像素点增加一个偏移量，训练开始时初始化偏移量，训练中将偏移量作为网络参数进行训练，计算方式具体采用如下公式：

式中，p0为卷积核的中心位置，pn是卷积核的当前其他位置p0相对于卷积核的中心位置p0对应所在的一个整数偏移，用来提供附近语义信息，y是卷积层的输出结果，w是卷积核当前位置的权重函数，x(·)是特征图对应位置的取值；δpn表示偏移量，由网络结构中其他卷积层迭代优化计算得到，具体实施均为小数的偏移，式中的x(·)通过双线性插值在该层的输出图中计算得到。

实验图片共有2370张。其中用于训练的图片有1517张，379张作为交叉验证集，剩余474张作为测试集。在训练图片进入模型训练前进行数据增强，采用随机翻转、随机亮度增强和颜色通道标准化方法。将数据增强后的图片，统一缩放到1000×600大小，采用在imagenet上预训练的resnet50模型参数。参数更新方式为sgd，初始学习率为0.01，动量项为0.9，权值衰减系数1×10-4，批训练大小为4，训练迭代次数50000次。训练采用15000次迭代来慢启动，并采用学习率阶段下降方式。

本方法较有传统模型的检测效果有明显提升。表1给出了本方法与单一以resnet50为骨干网络的faster-rcnn检测网络检测结果的对比结果。检测精度指的是有效检测框对比真实检测框计算准确率(precision)和召回率(recall)后得到的ap。其中，有效检测框是指检测框与标注框的重合度超过0.5。

表1检测模型对比结果

利用训练好的模型在测试集上做测试，在测试样本图片上框出预测框并标上预测的置信度，测试典型结果如图5所示。然后计算检测模型的平均准确度，固化一个效果较好的检测模型。

上述具体实施方式用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改和改变，都落入本发明的保护范围。