一种基于航拍图像的识别输电线路中鸟巢的方法与流程

本发明属于图像分类领域，涉及一种利用深度卷积神经网络的识别输电线路航拍图像中鸟巢的方法。

背景技术：

随着我国国民经济的快速发展，对电力能源的需求日益旺盛，与之相应的电力工程建设的力度也在不断加强^[1]。输电线路在电力系统中起着非常重要的作用，直接关系到千家万户的用电问题，大规模断电将给国民经济带来不可估量的损失。因此，输电线路的安全性是电力部门高度关注的问题之一^[2]。

近年来，随着我国自然环境的不断改善，以及相关保护动物的法律法规的不断完善，鸟类的繁衍逐渐加快，鸟类活动日渐频繁，架空输电线路鸟害故障逐年增多，严重威胁着电网的安全运行。鸟害是危及输电线路安全运行的主要故障之一，鸟害、雷害、外力破坏是架空输电线路三大主要障碍，据统计鸟害所占的比例为32％，其中鸟巢或鸟做巢引起线路跳闸的大约占80％左右。如何有效防范鸟巢危害，对确保输电线路安全运行有着重要意义。

目前，对输电线路中鸟巢的识别主要有两种手段，一是人工识别，二是利用图像处理的方法识别。前者是输电线路的传统监测方式，主要通过人力对线路进行检查，发现鸟巢后，工作人员进行排险。这种监控措施耗费了大量的人力物力，难以保证监测结果的时效性和准确性，并不适合大规模推广。我国国土辽阔，地形复杂，平原少、丘陵及山区较多，气象条件复杂，对于特高压和跨区电网等大型工程建成后的日常巡查维护，现有的常规测试和检查手段已不能满足其快速高效的要求。随着自动控制技术、gps导航技术、航空遥感测绘技术及无线通信技术等的发展，无人机的使用已从军事领域拓展到许多民用领域，如地球物理探测、灾情监测、农作物监测。利用无人机航空拍摄能够高效完成电力巡查任务^[1]。

无飞机巡线技术以及基于远程图像识别系统的输电线路监测技术是目前新兴的输电线路监控方法。利用巡线无人机来替代人力进行输电线路巡线操作；而基于航拍图像的识别方法是将无人机及直升机采集来的图像传输至后台监测中心，利用监测中心的图像处理识别系统对输电线路杆塔上鸟巢存在与否的状态进行自动识别。与传统的人工巡检方法相比,这些监测方法更加简单、准确、实时、经济。

基于航拍图像的鸟巢识别依赖于对图像特征的恰当选择与提取。卷积神经网络(convolutionalneuralnetwork，cnn)提供了一种端到端的学习模型，模型中的参数通过梯度下降方法进行训练，经过训练后的卷积神经网络能够学习到图像中的特征，并且完成对图像特征的提取和分类。较于传统的图像识别方法，cnn具有非常出色的特征提取和特征学习能力^[3]。

[1]刘国嵩,贾继强.无人机在电力系统中的应用及发展方向[j].东北电力大学学报,2012,(01):53-56.

[2]仝卫国.基于航拍图像的输电线路识别与状态检测方法研究[d].华北电力大学,2011.

[3]李晓龙,张兆翔,王蕴红,刘庆杰.深度学习在航拍场景分类中的应用[j].计算机科学与探索,2014,(03):305-312.

技术实现要素：

本发明的目的在于提出一种基于航拍图像识别输电线路航拍图像中鸟巢的方法，此方法与传统图像识别方法相比，具有更好的特征提取和特征学习能力，从而能够快速高效地实现输电线鸟巢识别。技术方案如下：

一种基于航拍图像的识别输电线路中鸟巢的方法，包括以下几个步骤：

第一步，制作数据集：收集输电线路的航拍图像，并使用图像增强技术，制作符合格式要求、匹配网络结构的数据集。

第二步，训练神经网络：采用两种不同结构的卷积神经网络alexnet和vgg16网络，使用步骤一得到的数据集，分别训练得到两个基于深度卷积神经网络的分类器，这两个分类器都能够区分图像中有无鸟巢存在，称为网络1和网络2，将两个网络级联，组成鸟巢识别系统。

第三步，识别：首先用网络1对待测试的航拍图像进行分类，得到识别出有鸟巢存在的图像和没有鸟巢存在的图像，分别放在集合1和集合2中。再将集合2中的全部图像使用网络2进行分类，将其中识别出有鸟巢存在的图像再放入集合1中。最终，集合2中剩下的全部图像为本系统识别出的、不存在鸟巢的航拍图像，而集合1中的图像为可能存在鸟巢的航拍图像。

本发明利用深度卷积神经网络的算法，设计一种基于航拍图像的输电线路鸟巢识别系统。该系统以无人机和直升飞机巡线获取的航拍图片库为研究对象，对采集到的图像进行一系列的处理和识别，包括数据集的制作、神经网络的训练和识别模型的测试。本系统为保证电力系统安全运行提供了一种新的高效而准确的手段，大大减少传统方法人工识别的工作量。

附图说明

图1作为网络1的神经网络结构图

图2作为网络2的神经网络结构图

图3网络1和网络2在微调前后的识别效果对比

图4最终级联网络识别模型与微调之后的网络1的识别效果对比

具体实施方式

为使本发明的技术方案更加清楚，下面结合附图对本发明做进一步阐述.。本发明按以下步骤具体实现：

第一步，准备数据集。

(1)准备图片数据和标签数据。

将采用无人机巡线和直升机拍摄方式获取的输电线路航拍图片，包括杆塔的航拍图片收集起来，依据图片中的输电线路中是否有鸟巢存在进行分类，并按照一定的数量比例分为训练集、验证集及测试集。为了匹配不同神经网络的结构，对所有图片进行尺寸归一化，得到尺寸为256*256以及224*224的两个图片集合，用于分别训练网络1和网络2。按照人为分类打包好的图片，制作符合格式要求的标签文件。

(2)进行图像增强。

考虑到输电线路航拍图像的数据量小的特点，为了提高系统的鲁棒性和识别精度，我们对训练数据进行图像增强。本发明采用五种自然图像增强方法对航拍图像进行增强，其中s(o)为增强后图像，s(i)为原始图像：

a)加入图像噪声。选取高斯噪声，椒盐噪声，泊松噪声三种常见图像噪声，并且改变不同的信噪比生成数据。式中n(θ)为噪声，θ为噪声参数。

s(o)＝s(i)+n(θ)

b)图像模糊化。选取均值滤波、高斯滤波、运动模糊、对比度增强滤波等常见滤波器，设定不同参数得到经过滤波器后的图像式中f(·)为滤波器，φ为滤波器参数。

s(o)＝f(s(i)|φ)

c)改变图像明暗度。选取不同的亮度比例20％、50％、80％，将原图像进行亮度值变换。式中f(·)为亮度变化函数。

s(o)＝f(s(i))

d)图像质量调整。将jpeg图像按照jpeg编码规范降低质量，获取75％、90％两种不同质量下的图像。式中m(·)为jpeg编码质量调整函数。

s(o)＝m(s(i))

根据以上几种常见策略，通过利用该类策略对第一步的得到的训练图像进行变换，实现对微航拍图像训练数据集的图像增强。增强后的数据量是原始数据量的13倍。

第二步，训练神经网络。

(1)训练alexnet卷积神经网络作为网络1。alexnet使用5层卷积层、3层全连接层的卷积神经网络结构，采用非线性激活函数relu，并加入dropout技术防止过拟合，在图像分类领域中获得了广泛的应用，网络结构如图1所示。

具体操作时首先设置初始的训练参数，包括设置梯度下降的学习率和是否使用在预训练的模型上微调(finetune)，然后对所有训练图像的计算均值文件，将训练所使用的图像减去均值文件，再输入到神经网络中，经过前向传导、反向传导后即更新一次网络的参数权重，经过多次迭代之后，即可得到训练好的神经网络作为网络1。

(2)训练vgg16卷积神经网络作为网络2。相对于alexnet，vgg16具有更深的网络结构，由13层卷积层、3层全连接层构成，并且在每层卷积层中使用了更具有判别性的、大小为3*3的卷积核，在图像分类领域中vgg16通常具有更好的分类精确度，网络结构如图2所示。我们同样设置各种训练参数，考虑网络权重初始化方式。经过与训练第一个神经网络相同的步骤方法后即得到训练好的神经网络称为网络2。

(3)将网络1与网络2进行级联。将网络1的输出作为网络2的输入，组合为最终的识别模型。由于两个网络结构对输入尺寸的要求不同，进入网络1的图片尺寸为256*256，经过网络1之后的图片要重新进行尺寸变换，变换为匹配网络2的尺寸224*224。

第三步，测试识别模型。

(1)首先用网络1对待测试的航拍图像进行分类，根据网络输出的概率，得到识别出有鸟巢存在的图像和没有鸟巢存在的图像，分别放在集合1和集合2中。

(2)再将集合2中的全部图像使用网络2进行分类，将其中识别出有鸟巢存在的图像再放入集合1中。最终，集合2中剩下的全部图像为本系统识别出的、不存在鸟巢的航拍图像，而集合1中的图像为可能存在鸟巢的航拍图像。

第四步，对实验数据进行分析与处理，评价本系统的识别准确度。

(1)将系统测试的所有图片数量即为all，系统识别出有鸟巢存在的图片集合1中的图像数量记为f，其中包括本来无鸟巢而识别出有鸟巢的、以及本来有鸟巢即识别正确的图片数量，分别记为fp和fn，则f＝fp+fn；将系统识别出无鸟巢存在的图片集合2中的图像数量记为t，其中包括本来无鸟巢即识别正确的、以及本来有鸟巢而没有识别出鸟巢的图片数量，分别记为tp和tn，则t＝tp+tn。本系统根据实际的识别需要，定义了两种识别指标：

考虑到系统实际识别任务的要求，我们选择漏检率最小、工作减少率最大的模型作为本发明的识别系统。

(2)根据网络1和网络2的识别情况，以及网络是否使用微调(finetune)，分别得到两个网络四种情况的漏检率和工作量减少率。如图3所示。将两个网络级联组成本发明的识别模型后的识别结果如图4所示，并与微调之后网络1进行对比。可发现将单独使用两个网络识别鸟巢缺陷，微调前后漏检率一致，网络1比网络2的工作量减少率稍高一些。而将两个网络进行级联之后组成的模型100％的识别出了测试集中存在鸟巢缺陷的样本，并且降低了一半的人工识别工作量，具有良好的效果。