一种基于深度学习的电网危害鸟种目标检测方法

1.本发明属于输电线路监测图像数据处理技术领域，具体涉及一种基于深度学习的电网危害鸟种目标检测方法。


背景技术：

2.随着国家对环保的重视和治理投入的增加，绿化状况的改善和提升给人类和动植物的生存、繁衍创造了有利条件，而鸟类就是最大受益者之一。因此，随着电网的不断延伸，架空输电线路遍布山野、河流、村庄和城镇各种复杂地理环境，鸟类在架空线路旁活动的机会日益增多，导致鸟类活动而引起的输电线路故障次数明显上升。电网的安全运行是人类安全和稳定用电的前提，精准且有效的防鸟成为迫切需要。不同鸟类导致的输电线路故障往往不同，而电网巡检人员由于缺乏识鸟工具难以实现电网涉鸟故障的差异化防治。如何快速辅助电网巡检人员定位并识别危害鸟种，对于开展电网涉鸟故障的差异化防治具有重要意义。
3.由于输电线路涉鸟故障具有瞬时性和突发性的特点，需要在最短的时间内检测出目标鸟种的位置和种类，必须缩短检测的时间，才能够及时得到反馈进行相应的操作，有效避免意外事故发生。随着深度学习的发展，许多研究学者开展了鸟类图像识别的研究，但大部分鸟类图像研究仅仅停留在生态学领域，关注输电线路涉鸟故障相关鸟种研究较少。因此，威胁输电线路安全的相关鸟种目标检测的研究对于电网的安全运行是非常必要的。


技术实现要素：

4.鉴于此，本发明的目的在于提供一种基于深度学习的电网危害鸟种目标检测方法，用于准确识别出危害电网安全的危害鸟种，为涉鸟故障的差异化防治提供参考。
5.为实现上述目的，本发明提供如下技术方案：一种基于深度学习的电网危害鸟种目标检测方法，包括如下步骤：
6.s1、构建威胁电网安全的相关鸟种图像数据集与基于改进的dncnn去噪网络模型预处理方法：利用avibase世界鸟类数据库与收集的输电线路巡检图像，建立包含n种鸟类的图像数据集；搭建包含12层的改进dncnn去噪网络模型对鸟种图像数据集进行预处理，将预处理后的鸟种图像数据集按一定比例划分为训练集、验证集和测试集；并对预处理后的鸟种图像进行标注，获得真实目标边界框位置和框内类别信息，再通过k-means算法将真实目标边界框的高和宽作为参数进行聚类，得到最优先验框；
7.s2、构建改进的yolov4鸟种目标检测模型：利用改进的ghostnet替换yolov4中的cspdarknet53特征提取网，并利用深度可分离卷积dsc替换yolov4中spp+panet的3
×
3普通卷积块，且将panet中的连续五次普通卷积块替换为三次深度可分离卷积dsc，形成新的金字塔池化网络spp-dsc+panet-dsc；在改进的ghostnet中选取的特征信息输入spp-dsc+panet-dsc之前引入cbam注意力机制，并将yolo_head预测网络中的3
×
3普通卷积块替换为深度可分离卷积dsc；
8.s3、训练改进的yolov4鸟种目标检测模型：通过对输入的训练集鸟种图像增加灰条进行resize操作，并将在ms coco图像数据集上训练获得的预训练权重，进行包括冻结和非冻结两个阶段的迁移学习，在冻结阶段中，冻结具有权重参数的层，使用较大学习率对非冻结层进行参数调整，在非冻结阶段，较小学习率微调网络所有层的参数；采用mosaic数据增强方式，每次随机选取四幅鸟种图像进行翻转、缩放、色域变换的操作，再将操作后的图像按照上下左右四个方向进行拼凑成一幅鸟种图像加入训练集进行随机增强，mosaic数据增强设置在训练结束前的n个epoch；学习率调整采用线性上升和模拟cos函数下降的余弦退火衰减策略；
9.s4、采用改进的yolov4鸟种目标检测模型对鸟种图像进行检测：将测试集鸟种图像输入至改进的yolov4鸟种目标检测模型中进行检测，并采用非极大值抑制筛选冗余预测边界框，获得最终保留的边界框，实现鸟种目标的检测。
10.进一步地，步骤s1中，所述搭建包含12层的改进dncnn去噪网络模型，第1层由普通卷积conv和激活函数mish组成，其中采用64个3
×
3的卷积核进行特征提取，步长为1，并且在第1层和最后1层添加一个残差连接形成残差块；第2～11层由普通卷积conv、bn层、激活函数mish组成，其中采用64个3
×
3的卷积核进行特征提取，步长为1，并且在第2层和第11层、第3层和第10层、第4层和第9层、第5层和第8层、第6层和第7层分别添加一个残差连接形成5个残差块；最后1层由普通卷积conv组成，其中32个3
×
3的卷积核进行还原输出，步长为1；训练过程中，采用采用动量随机梯度下降sgdm算法对改进的dncnn去噪网络模型参数进行优化；
11.针对于一幅r、g、b三通道的鸟种彩色图像，将训练后的去噪网络模型分别对三个颜色通道进行单独去噪，再将单独去噪后的三幅单通道图像进行合并，生成去噪后的rgb鸟类图像。
12.进一步地，步骤s1中，所述将预处理后的鸟种图像按一定比例划分为训练集、验证集和测试集：训练集与验证集的比例为9:1，训练验证集(训练集+验证集)与测试集的比例为9:1。采用k-means算法将真实边界框的高h＝y
max-y
min
和宽w＝x
max-x
min
作为参数进行聚类分析，最终k-means聚类算法得到(67,107)；(78,192)；(104,134)；(122,206)；(147,269)；(158,153)；(190,209)；(205,303)；(268,246)9个最优先验框。
13.进一步地，步骤s2中，所述改进的yolov4鸟种目标检测模型结构由三部分组成，第一部分为特征提取网络ghostnet-focus，第二部分为空间金字塔池化网络spp-dsc+panet-dsc，第三部分是预测网络yolo_head；
14.首先，搭建由1个cbr层和16个g-bneck层(g-bneck-1～g-bneck-16)组成的轻量级卷积神经网络ghostnet，在ghostnet网络中的cbr层前加入focus层，获得新的主干特征提取网络ghostnet-focus；其中cbr层由普通卷积conv、bn层、激活函数relu组成，g-bneck包含步长为1和步长为2的两个类别，当g-bneck步长为1时，g-bneck层依次包括ghostnet module、bn层、激活函数relu、ghostnet module、bn层，且g-bneck输入和输出之间加入残差学习策略，当g-bneck步长为2时，g-bneck层依次包括ghostnet module、bn层、激活函数relu、2
×
2的深度可分离卷积dsc、bn层、ghostnet module、bn层，在残差部分依次添加2
×
2的深度可分离卷积dsc和1
×
1普通卷积conv，当g-bneck-i中i的值为2、4、6和12时步长为2，反则步长为1，ghostnetmodule由1
×
1普通卷积conv和深度可分离卷积dsc组成，深度可分
离卷积dsc由3
×
3深度卷积与1
×
1逐点卷积组成；
15.然后，选取ghostnet-focus中的g-bneck-5、g-bneck-11、g-bneck-16三个不同特征层的特征信息作为spp-dsc+panet-dsc的输入，进行最大池化操作和由深到浅与由浅到深的特征融合，最终输出f1、f2和f3三个融合特征；三个融合特征经过深度可分离卷积dsc与普通卷积conv之后分别对应yolo_head预测网络中13
×
13
×
45、26
×
26
×
45、52
×
52
×
45三种不同尺寸的预测结果，实现对大、中、小鸟种目标的检测。
16.进一步地，步骤s3中，所述的训练改进的yolov4鸟种目标检测模型：冻结和非冻结阶段各进行50轮，共100轮，在冻结阶段的batchsize和学习率分别为16、1
×
10-3
，在非冻结阶段的batchsize和学习率分别为8、1
×
10-4
；余弦退火学习率衰减中设置最大学习率learning_rate_base为1
×
10-3
、最小学习率learning_rate_min为1
×
10-6
和预热学习率warmup_rate为1
×
10-5
。
17.进一步地，步骤s4中，所述非极大值抑制筛选冗余预测边界框：设定置信度分数阈值score_threshold，剔除置信度分数小于score_threshold的预测框；将保留下的预测框集合p按照置信度分数由大到小排列，并将第一个预测框作为抑制预测框纳入保留框集合k中；计算预测框集合p中剩下的预测框与抑制预测框的并交比iou，删除iou大于给定阈值nms_iou的预测框，直到集合p中预测框数量为0，最终得到保留框集合k，实现鸟种类别和定位检测。非极大值抑制筛选冗余预测边界框的置信度分数阈值score_threshold设置为0.5，给定阈值nms_iou设置为0.3，最终获得保留框集合k显示在预测结果中，实现鸟种类别和定位检测。
18.与现有技术相比，本发明有益效果：
19.本发明构建威胁电网安全的相关鸟种数据集，基于改进的dncnn去噪网络模型对鸟种图像数据集进行预处理，搭建改进的yolov4鸟种目标检测模型结合多种训练技巧对测试集图像进行检测，能够精准定位和识别威胁电网安全的相关鸟种。本发明提出的技术方案具有较好的准确度和检测速度，且模型体积较轻能够有利于实际的部署，可为电网涉鸟故障的差异化防治提供参考，有助于电网巡检人员准确识别鸟类，预防输电线路涉鸟故障。
附图说明
20.图1为本发明的方法流程图；
21.图2为本发明的方法实施流程图；
22.图3为本发明构建的改进yolov4的鸟种目标检测模型。
具体实施方式
23.下面结合实施例对本发明做进一步的描述，有必要在此指出的是以下实施例只是用于对本发明进行进一步的说明，不能理解为对本发明保护范围的限制，该领域的技术熟练人员根据上述发明内容所做出的一些非本质的改进和调整，仍属于本发明保护范围。
24.一种基于深度学习的电网危害鸟种目标检测方法，其流程图如图1和图2所示，包括以下步骤：
25.s1、构建威胁电网安全的相关鸟种图像数据集与基于改进的dncnn去噪网络模型预处理方法：利用avibase世界鸟类数据库与收集的输电线路巡检图像，建立包含n种鸟类
的图像数据集；搭建包含12层的改进dncnn去噪网络模型对鸟种图像数据集进行预处理，将预处理后的鸟种图像数据集按一定比例划分为训练集、验证集和测试集；并对预处理后的鸟种图像进行标注，获得真实目标边界框位置和框内类别信息，再通过k-means算法将真实目标边界框的高和宽作为参数进行聚类，得到最优先验框；
26.本实施例中，从avibase世界鸟类数据库与收集的输电线路巡检图像中选取了黑鹳、东方白鹳、大鸨、白鹭、戴胜、池鹭、红隼、黑领椋鸟、丝光椋鸟、八哥10种鸟类作为研究对象，构建威胁电网安全的相关鸟种图像数据集，其中每种鸟种图像数量为300幅，共计3000幅图像样本。搭建包含12层的改进dncnn去噪网络模型，第1层由普通卷积conv和激活函数mish组成，其中采用64个3
×
3的卷积核进行特征提取，步长为1，并且在第1层和最后1层添加一个残差连接形成残差块；第2～11层由普通卷积conv、bn层、激活函数mish组成，其中采用64个3
×
3的卷积核进行特征提取，步长为1，并且在第2层和第11层、第3层和第10层、第4层和第9层、第5层和第8层、第6层和第7层分别添加一个残差连接形成5个残差块；最后1层由普通卷积conv组成，其中32个3
×
3的卷积核进行还原输出，步长为1；训练过程中，采用采用动量随机梯度下降sgdm算法对改进的dncnn去噪网络模型参数进行优化；针对于一幅r、g、b三通道的鸟种彩色图像，将训练后的去噪网络模型分别对三个颜色通道进行单独去噪，再将单独去噪后的三幅单通道图像进行合并，生成去噪后的rgb鸟类图像；
27.将预处理后的图像按一定比例划分为训练集、验证集和测试集：训练集与验证集的比例为9:1，训练验证集(训练集+验证集)与测试集test set的比例为9:1。因此，训练集包含2430个样本，验证集包含270个样本，测试集包含300个样本。使用标注工具labelimg对预处理后图像进行标注，获得真实边界框的左下顶点坐标(x
min
，y
min
)、右上顶点坐标(x
max
，y
max
)和框内目标所属类别，生成.xml文件；采用k-means算法对真实边界框的高h＝y
max-y
min
和宽w＝x
max-x
min
作聚类分析，在聚类选择中随机选取9个初始先验框尺寸作为聚类中心，判定第i个真实边界框与第j个初始先验框的距离d
ij
＝1-iout
inriuti
tah
l
达到最小值时，其中iout
inriuti
tah
l
是真实边界框和初始先验框的交并比，则第i个真实边界框属于j个初始先验框；所有真实边界框归类完成后，利用取h和w均值更新各个先验框的尺寸，再次进行归类迭代直至先验框的尺寸不再变化，得到(67,107)；(78,192)；(104,134)；(122,206)；(147,269)；(158,153)；(190,209)；(205,303)；(268,246)9个最优先验框。
28.s2、构建改进的yolov4鸟种目标检测模型：利用改进的ghostnet替换yolov4中的cspdarknet53特征提取网络，并利用深度可分离卷积dsc替换yolov4中spp+panet的3
×
3普通卷积块，且将panet中的连续五次普通卷积块替换为三次深度可分离卷积dsc，形成新的金字塔池化网络spp-dsc+panet-dsc；在改进的ghostnet中选取的特征信息输入spp-dsc+panet-dsc之前引入cbam注意力机制，并将yolo_head预测网络中的3
×
3普通卷积块替换为深度可分离卷积dsc；
29.本实施例构建的改进的yolov4鸟种目标检测模型如图3所示，改进的yolov4鸟种目标检测模型结构由三部分组成，第一部分为特征提取网络ghostnet-focus，第二部分为空间金字塔池化网络spp-dsc+panet-dsc，第三部分是预测网络yolo_head；
30.首先，搭建由1个cbr层和16个g-bneck层(g-bneck-1～g-bneck-16)组成的轻量级卷积神经网络ghostnet，在ghostnet网络中的cbr层前加入focus层，获得新的主干特征提取网络ghostnet-focus；其中cbr层由普通卷积conv、bn层、激活函数relu组成，g-bneck包
含步长为1和步长为2的两个类别，当g-bneck步长为1时，g-bneck层依次包括ghostnet module、bn层、激活函数relu、ghostnet module、bn层，且g-bneck输入和输出之间加入残差学习策略，当g-bneck步长为2时，g-bneck层依次包括ghostnet module、bn层、激活函数relu、2
×
2的深度可分离卷积dsc、bn层、ghostnet module、bn层，在残差部分依次添加2
×
2的深度可分离卷积dsc和1
×
1普通卷积conv，当g-bneck-i中i的值为2、4、6和12时步长为2，反则步长为1，ghostnetmodule由1
×
1普通卷积conv和深度可分离卷积dsc组成，深度可分离卷积dsc由3
×
3深度卷积与1
×
1逐点卷积组成；
31.然后，选取ghostnet-focus中的g-bneck-5、g-bneck-11、g-bneck-16三个不同特征层的特征信息作为spp-dsc+panet-dsc的输入，进行最大池化操作和由深到浅与由浅到深的特征融合，最终输出f1、f2和f3三个融合特征；三个融合特征经过深度可分离卷积dsc与普通卷积conv层之后分别对应yolo_head预测网络中13
×
13
×
45、26
×
26
×
45、52
×
52
×
45三种不同尺寸的预测结果，实现对大、中、小鸟种目标的检测。
32.s3、训练改进的yolov4鸟种目标检测模型：通过对输入的训练集鸟种图像增加灰条进行resize操作，并将在ms coco图像数据集上训练获得的预训练权重，进行包括冻结和非冻结两个阶段的迁移学习，在冻结阶段中，冻结具有权重参数的层，使用较大学习率对非冻结层进行参数调整，在非冻结阶段，较小学习率微调网络所有层的参数；采用mosaic数据增强方式，每次随机选取四幅鸟种图像进行翻转、缩放、色域变换的操作，再将操作后的图像按照上下左右四个方向进行拼凑成一幅鸟种图像加入训练集进行随机增强，mosaic数据增强设置在训练结束前的n个epoch；学习率调整采用线性上升和模拟cos函数下降的余弦退火衰减策略；
33.本实施例中，改进的yolov4鸟种目标检测模型训练：步骤s3中，所述的训练改进的yolov4鸟种目标检测模型：冻结和非冻结阶段各进行50轮，共100轮，在冻结阶段的batchsize和学习率分别为16、1
×
10-3
，在非冻结阶段的batchsize和学习率分别为8、1
×
10-4
；余弦退火学习率衰减中设置最大学习率learning_rate_base为1
×
10-3
、最小学习率learning_rate_min为1
×
10-6
和预热学习率warmup_rate为1
×
10-5
。
34.s4、改进的yolov4鸟种目标检测模型对鸟种图像进行检测：将测试集鸟种图像输入至改进的yolov4鸟种目标检测模型中进行检测，并采用非极大值抑制筛选冗余预测边界框，获得最终保留的边界框，实现鸟种目标的检测。
35.本实施例中，设定置信度分数阈值score_threshold，剔除置信度分数小于score_threshold的预测框；将保留下的预测框集合p按照置信度分数由大到小排列，并将第一个预测框作为抑制预测框纳入保留框集合k中；计算预测框集合p中剩下的预测框与抑制预测框的并交比iou，删除iou大于给定阈值nms_iou的预测框，直到集合p中预测框数量为0，最终得到保留框集合k，实现鸟种类别和定位检测。非极大值抑制筛选冗余预测边界框的置信度分数阈值score_threshold设置为0.5，给定阈值nms_iou设置为0.3，最终获得保留框集合k显示在预测结果中，实现鸟种类别和定位检测。利用威胁电网安全的相关鸟种测试集对模型进行测试并与原始yolov4进行对比，检测结果如表1所示。
36.表1 模型对比结果模型
[0037][0038]
根据表1数据可知，本发明提出改进的yolov4鸟种目标检测模型在威胁电网安全的相关鸟种检测的map和fps分别为97.55％、43。相比于yolov4精确度下降0.25％，但是检测速度约为yolov4的2.52倍；并且改进yolov4的参数量和训练出的权重大小缩小约为yolov4的0.15倍，在保证精度的同时提升了检测速度，更有利于实际模型的部署，有助于电网巡检人员准确识别鸟类。
[0039]
以上所述仅表达了本发明的优选实施方式，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的内容加以更改或改型为等同变化的等效实施例。但是，凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。