基于生成对抗网络的无人机影像道路信息提取方法与流程

本发明涉及无人机影像道路信息提取技术领域，特别涉及一种基于生成对抗网络的无人机影像道路信息提取方法。

背景技术：

道路作为一种重要的基础设施，在城镇建设、交通运输和军事应用等领域都扮演着重要的角色。随着载有高分辨率传感器的卫星大量投入使用，如何快速、准确地从高分辨率遥感影像中提取道路信息引起了众多国内外学者的关注。在提取方法上，目前较为成熟的还是半自动的提取方法，仍未有一种真正意义上的全自动提取方法，在稳定性方面也还存在着很多问题，距离实际的应用还有很大一段距离。因此，一种稳定高效的全自动道路提取无论是在军事上，还是gis数据更新上都具有重大的意义。然而，遥感图像数据量的巨大以及地表信息的复杂，使得采用人机交互提取道路信息的方法，有效率低下，不及时和不准确的技术短板，从而导致信息处理不及时和决策延误。目前，道路上较多的车辆、房屋阴影及植被的遮挡等情况也给道路信息，尤其是低等级道路信息提取带来了很大的干扰，因此如何高效去除干扰道路信息提取的噪声也是亟待解决的技术难题。深度学习理论和技术的成熟使得针对图像的信息提取准确率迅速提高，以深度学习为背景的图像处理技术，如图像分类^[1-2]，语义分割^[3]、网络训练^[4]和对抗性网络^[5]等研究方向都成为了当前研究的热点。

雒培磊等提出了一种使用卷积神经网络(cnn)自适应地提取特征点的分层卷积特征进行影像配准的方法^[6]。韩洁等引入深度信念网络对高分辨率遥感影像进行分类的操作，使得分类的总体准确率和kappa系数最高^[7]。王港等通过深度学习神经网络训练“高分一号”遥感影像，实现了准确检测机场、操场等基础设施目标^[8]。文献^[12]利用深度卷积神经网络，对包含道路的图片进行训练，但是此方法需要人工选取种子点，只能达到半自动提取道路信息的结果。文献^[13]等采用32*32切片的方法处理遥感图片，利用3层卷积层+1层全链接层的深度学习模型判别道路像素，最后利用线积分卷积对提进一步处理结果的方法，但此方法依然需要人工参与。另外深度学习方法也被广泛应用于地面沉降^[9]，光谱分类^[10]，特征选择^[11]等遥感领域方方面面。

参考文献

[1]simonyank,zissermana.verydeepconvolutionalnetworksforlarge-scaleimagerecognition[j].arxivpreprintarxiv:2014.1409-1556.

[2]rens,hek,girshickr,etal.fasterr-cnn:towardsreal-timeobjectdetectionwithregionproposalnetworks[c]//advancesinneuralinformationprocessingsystems.2015:91-99.

[3]longj,shelhamere,darellt.fullyconvolutionalnetworksforsemanticsegmentation[c]//proceedingsoftheieeeconferenceoncomputervisionandpatternrecognition.2015:3431-3440.

[4]lucp,coupriec,chintalas,etal.semanticsegmentationusingadversarialnetworks[j].arxivpreprintarxiv:1611.08408,2016.

[5]longj,shelhamere,darellt.fullyconvolutionalnetworksforsemanticsegmentation[j].ieeetransactionsonpatternanalysis&machineintelligence,2014,99:640-651

[6]雒培磊,李国庆,曾怡.一种改进的基于深度学习的遥感影像拼接方法[j].计算机工程与应用,2017,53(20):180-186.luopeilei,liguoqing,zengyi.modifiedapproachtoremotesensingimagemosaicbasedondeeplearning.cea,2017,53(20):180-186.

[7]韩洁,李盛阳,张涛.基于深度学习的遥感影像城市扩展方法研究[j].载人航天,2017,23(3):414-418.

hanjie,lishengyang,zhangtao,researchonurbanexpansionmethodbasedondeeplearningofremotesensingimage[j]mannedspaceflight2017,23(3):414-418

[8]王港,陈金勇,高峰,等.基于深度学习的遥感影像基础设施目标检测研究[j].无线电工程,2018(3).wanggang,chenjinyong,gaofeng,etal.targetdetectionofremotesensingimageinfrastructurebasedondeeplearning.[j].radioengineering,2018(3).

[9]郑重,张敬东,杜建华.基于深度学习的遥感影像中地面塌陷识别方法研究[j].现代商贸工业,2017(35):189-192.zhengzhong,zhangjingdong,dujianhua.recognitionmethodofgroundsubsidenceinremotesensingimagebasedondeeplearning[j].modernbusinessandindustry,2017(35):189-192.

[10]chengg,yangc,yaox,etal.whendeeplearningmeetsmetriclearning:remotesensingimagesceneclassificationvialearningdiscriminativecnns[j].ieeetransactionsongeoscience&remotesensing,2018,pp(99):1-11.

[11]zouq,nil,zhangt,etal.deeplearningbasedfeatureselectionforremotesensingsceneclassification[j].ieeegeoscience&remotesensingletters,2015,12(11):2321-2325.

[12]wangj,songj,chenm,etal.roadnetworkextraction:aneural-dynamicframeworkbasedondeeplearningandafinitestatemachine[j].internationaljournalofremotesensing,2015,36(12):3144-3169.

[13]lip,zangy,wangc,etal.roadnetworkextractionviadeeplearningandlineintegralconvolution[c]//igarss2016

[14]liyuxia,helei,pengbo,etal,geometriccorrectionalgorithmofuavremotesensingimagefortheemergencydisaster[c]//igarss-2016.

技术实现要素：

本发明针对现有技术的缺陷，提出一种并提供其制备方法，有效的解决上述现有技术存在的问题。

为了实现以上发明目的，本发明采取的技术方案如下：

一种基于生成对抗网络的无人机影像道路信息提取方法，具体步骤如下：

步骤1，获取训练数据

将处理后的无人机遥感图像裁剪成n×n大小的一系列遥感图像，然后制作标记出道路区域的标签图像，将各遥感图像及其对应的标签图像作为训练数据；

步骤2，构建生成网络

在生成网络中，对于n×n大小的rgb图像遥感图像经过一个端到端训练的图像分割网络，经过卷积与反卷积操作，得到大小为n×n的概率特征图；

步骤3，构建判别网络

1)将训练数据中n×n大小的遥感图像输入到步骤2构建的生成网络中，得到输出特征图，将输出特征图与n×n大小的遥感图像分别经过一次卷积操作，将卷积得到的特征图连接起来作为判别网络的输入，经过判别网络之后得到一个介于0和1之间的输出，判别网络将此输入当做是假图像的输入，此时判别网络的期望输出为0，判别网络输出与此时的期望输出相减得到误差；

2)将训练数据中n×n大小的遥感图像及其对应的标签图像分别经过一次卷积操作，然后将卷积得到的特征图连接起来作为判别网络的输入，经过判别网络之后得到一个介于0和1之间的输出，判别网络将此输入当做是真实图像的输入，此时判别网络的期望输出为1，判别网络输出与此时的期望输出相减得到误差；

步骤4，更新参数

将步骤3得到的误差反向传播，更新生成网络和判别网络参数。

步骤5，网络训练

步骤1得到的训练数据中的所有遥感图像以及各自对应的标签图像，经过步骤2、3，对生成网络进行训练，使生成对抗网络中的生成网络与判别网络达到一个平衡状态，生成网络产生的输出特征图即假图与标签图像差异很小，以至于判别网络也判别不了其输入的图像是来自于标签图像还是来自于生成网络所产生的输出特征图即假图；

步骤6，提取信息

将达到平衡状态下的生成对抗网络中的生成网络单独取出来进行应用，将无人机拍摄到的遥感图像裁剪成n×n大小的一系列高分辨率遥感图像，并将其作为输入，从而获得生成网络的输出特征图作为分割结果，也就是所提取的道路信息区域图像。

步骤7，形态学处理

对提取的道路信息区域图像进行形态学处理，对提取的道路信息进行去噪处理，增强道路显示效果。

与现有技术相比本发明的优点在于：通过对校正的无人机遥感图像裁切原图和特征学习后的道路提取信息输出的对比，发现道路信息提取效果满足了快速识别低等级道路信息的研究目的，达成了道路信息自动提取的研究目标。

附图说明

图1为本发明实施例道路提取技术路线图；

图2为本发明实施例对抗生成网络架构图；

图3为本发明实施例判别网络结构图；

图4为本发明实施例图像信息标注示意图；

图5为本发明实施例损失函数值线形图；

图6为本发明实施例规则道路提取结果示意图；

图7为本发明实施例曲折道路提取结果示意图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图并列举实施例，对本发明做进一步详细说明。

本发明采取的技术路线如图1所示。原始图片的获取、标签制作、制作数据集、建立生成对抗网络、训练网络，根据效果进行反馈，进而固化模型参数，最终达成输入数据，自动获取道路信息的结果。

建立卷积神经网络，输入制作标签进行网络训练是本发明的核心工作，本研究采取生成对抗性网络架构，通过博弈提升信息提取精度(图2)：

1.生成网络

生成网络用u-net网络，它是一个编码-解码对称结构的端到端训练学习的图像分割网络。该网络输入为原始图像，通过卷积层、池化层和激活层学习目标对象的特征信息，通过反卷积扩大特征图像，使得输出分割结果图像与原始图像一样大小。

2.判别网络

判别网络为cnn网络，网络结构如图3所示。

标签制作

通过对无人机遥感图像进行预处理，利用提供的算法能够实现对无人机俯仰，翻滚和偏航进行处理^[14]，获得校正后的图像进行标签制作。我们首先在图片上框出道路所在的区域，根据标注软件设计分类类型，在整个区域选择闭合后，进行所有道路信息的标注(图4(a))。在确认图片上已经没有道路的相关区域后我们便继续标注其余类型的区域，不同颜色代表图片上的不同区域。重复之前的步骤，直到处理过的遥感图像上所有类型都得到对应的标注，表示标注工作完成。(图4(b))所示，红色代表道路区域，绿色代表建筑区域，深紫色代表农田区域，浅紫色代表荒地区域，深绿色所代表的植被区域，以及蓝色代表的河流区域。标注完成之后可以进行下一张图片的标注工作。

制作数据集

对于卷积神经网络模型的训练，训练数据越多，模型表现能力越强，在实际应用中效果越理想。本次的制作的样本大概有1000多张，远远满足不了训练的需求，根据网络识别特点，对于旋转和裁切的图片都可以作为新的样本进行输入训练。本研究通过图片裁切和旋转的手段获得了约20000张图片制作为数据集，基本能够满足训练模型的样本数据需求。在训练过程中，网络模型需要不断读取原始图像和对应的标签图像进行训练，在实践中发现，读取大量小文件的速度比读取相同大小的一个大文件的速度要慢很多，因此我们将这些数目庞大的原始图像和对应的标签图像制作为一个tfrecords格式数据集。tfrecords格式是由tensorflow所提供的统一输入数据的格式，允许我们将任意格式的数据转化为tensorflow所支持的格式。

网络训练

基于生成对抗网络的无人机影像道路信息提取方法，经过一定数量训练数据的训练，生成对抗网络中的生成网络与判别网络达到一个平衡，由生成网络生成的假图与真实标签图像差异很小，以至于判别网络判别不了其输入的图像是来自于标签图像还是由生成网络生成的假图。最终将对抗生成网络中的生成网络的生成结果作为应用中的分割结果即提取的道路区域图像。

本发明提出的基于生成对抗网络的无人机影像道路信息提取方法，具体步骤如下：

步骤1，获取训练数据

将处理后的无人机遥感图像裁剪成n×n大小的一系列遥感图像，然后制作标记出道路区域的标签图像，将各遥感图像及其对应的标签图像作为训练数据；

步骤2，构建生成网络

在生成网络中，对于n×n大小的rgb图像遥感图像经过一个端到端训练的图像分割网络，经过卷积与反卷积操作，得到大小为n×n的概率特征图；

步骤3，构建判别网络

1)将训练数据中n×n大小的遥感图像输入到步骤2构建的生成网络中，得到输出特征图，将输出特征图与n×n大小的遥感图像分别经过一次卷积操作，将卷积得到的特征图连接起来作为判别网络的输入，经过判别网络之后得到一个介于0和1之间的输出，判别网络将此输入当做是假图像的输入，此时判别网络的期望输出为0，判别网络输出与此时的期望输出相减得到误差；

2)将训练数据中n×n大小的遥感图像及其对应的标签图像分别经过一次卷积操作，然后将卷积得到的特征图连接起来作为判别网络的输入，经过判别网络之后得到一个介于0和1之间的输出，判别网络将此输入当做是真实图像的输入，此时判别网络的期望输出为1，判别网络输出与此时的期望输出相减得到误差；

步骤4，更新参数

将步骤3得到的误差反向传播，更新生成网络和判别网络参数。

步骤5，网络训练

步骤1得到的训练数据中的所有遥感图像以及各自对应的标签图像，经过步骤2、3，对生成网络进行训练，使生成对抗网络中的生成网络与判别网络达到一个平衡状态，生成网络产生的输出特征图即假图与标签图像差异很小，以至于判别网络也判别不了其输入的图像是来自于标签图像还是来自于生成网络所产生的输出特征图即假图；

步骤6，提取信息

将达到平衡状态下的生成对抗网络中的生成网络单独取出来进行应用，将无人机拍摄到的遥感图像裁剪成n×n大小的一系列高分辨率遥感图像，并将其作为输入，从而获得生成网络的输出特征图作为分割结果，也就是所提取的道路信息区域图像。

步骤7，形态学处理

对提取的道路信息区域图像进行形态学处理，对提取的道路信息进行去噪处理，增强道路显示效果。

训练结果

在这个对抗网络中，给定n个训练图像x的数据集和相应的标签映射y，将损失函数定义为公式1：

其中，θg和θd分别代表生成网络和判别网络的参数；s(xn)表示输入图像xn得到的概率特征图。

通过训练，观察输出结果如图5所示。从图中我们可以看到，随着迭代次数的增加，表示与真实标签图像差异的损失值越来越小，表明整个生成对抗网络模型处于收敛状态。

规则道路信息提取结果与分析

图6是本研究采用规则平直的道路进行道路信息提取，图6中(a)(d)(g)是经过处理的无人机遥感图像，从图中可以看出生长旺盛的植被和平直延伸的道路，但是明显可以看到路面上有植被的阴影和对道路的遮蔽。图6(a)中道路旁边的高大树木对最左侧的道路的遮蔽非常严重，图6(b)为制作的道路信息标签，图6(c)从提取结果中也能发现右侧和中间两条道路提取效果良好，但左侧道路信息提取受到很大影响。图6(d)中只有一条道路，旁边的高大树木的阴影在图中清晰可见，但是对道路的遮蔽影响不大，图6(f)中提取出了道路的基本信息，但是对比图6(e)可以发现图像上散落的白点意味着旁边裸露的地表造成图像分类效果的精度不高。

图6(g)路边植被相对较少，但对提取结果图6(i)也造成了路面不规则的影响。对比三张原图和提取效果，利用生成对抗网络可以实现对规则道路信息的提取，道路的干扰越多，提取效果受到的影响越大，但是基本满足输入图像获取结果的设计目的。

曲折道路信息提取结果与分析

图7是对曲折道路进行结果提取的原图和效果图。图7中(a)(d)(g)是经过处理的无人机遥感图像，从图7中可以看道路在茂密的树木间蜿蜒徘徊，三个图都是根据无人机拍摄的一幅图像分别进行裁剪和旋转得到的原始输入图像，将这些图像输入到训练好的网络模型中获得提取结果，可以看到三张原图都有电线通过，在右侧提取结果中也能看到有电线的信息输出。图7(b)(e)(h)是根据道路信息所做的标签，能清晰的表示道路的面积和方向。

图7(a)中可以看到由于拍摄角度而导致植被遮挡整个路面的情况，另外有大块的裸露土地出现在道路旁边，从图7(c)提取结果中也可以看到植被对道路的遮挡和裸露土地对提取结果的影响，图中有大量白色斑块也说明了裸露土地对提取结果也会造成干扰。图7(d)中道路曲折度比较大，只有一条道路，旁边靠近图中央的转折地带有建筑物，针对临近建筑物的道路信息，由于与建筑物相连，反射率类似的状况导致在提取结果图7(f)反映非常明显。在图7(f)靠近中央转折处的建筑物与道路提取信息连为一体。树木遮挡导致的道路中断现象在图中也很明显。图7(g)是图7(d)的原图旋转后裁切的结果，在图7(i)中可以发现，同样图形旋转之后提取效果中，中部的路面遮挡效果比旋转前效果较小，造成路面断点有很大变化，另外两幅图像的除了道路的白色斑点也有很大变化，在学习和提取过程中，卷积网络和反卷积网络的信息抽象和提取中存在不少差异之处。

本发明在搭建平台、选择网络、改进算法、训练样本之后，进行了输入无人机遥感图像自动获取道路信息的实验。

通过选择规则的平直直路和规则道路进行道路信息提取结果分析。通过两类图像的对比，发现道路旁边的植被对道路信息提取影响很大，高大植被的阴影和对道路的遮挡都会造成道路信息提取的干扰，临近道路的建筑物由于地面反射率与道路相近似，会在道路信息提取图中与道路连成一体，难以区分。另外裸露土地会造成图像上大量白色斑块，说明网络训练时需要提高分类精度。

本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的实施方法，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。