本发明属于图像处理
技术领域：
，涉及一种图像的道路提取方法，更进一步涉及基于生成对抗网络的道路提取，具体是一种基于生成对抗网络的遥感图像道路提取方法，用于获取一幅光学遥感图像的路网结构。
背景技术：
遥感图像道路提取，旨在取代繁琐的人工作业，利用道路提取方法，得到输入遥感图像的道路和背景的提取结果图。目前的道路提取方法大致可以分为三类。第一类是基于特征层次的道路提取方法，例如：边缘与平行线法、模版匹配法、滤波法；第二类是基于对象层次的方法，例如：多分辨率分析法、区域统计分析法、道路单元修整与连接法；第三类是基于知识层次的道路提取方法，例如：结合多源数据法、道路特征与相关理论结合法。这三大类方法道路提取效果不够理想，总体精度较低。目前更多研究人员致力于基于机器学习与深度学习的道路提取方法，例如：聚类、支持矢量机、贝叶斯分类等，这些基于传统机器学习的方法利用一些有标记的训练样本，能够取得很好的结果，但是道路提取精度仍然有待进一步提升，而基于深度学习的方法，例如：卷积神经网络、全卷积神经网络等，好的性能通常需要大量有标记样本的支撑，但是由于遥感图像获取较为困难，成本高昂，因此遥感图像的处理通常都是小样本问题，使用基于深度学习的遥感图像处理方法在不经过样本扩充时通常效果较差，而任何的样本扩充方法势必会在算法中引入更多的预处理或后处理步骤，增加算法以及模型的复杂度，同时，当有标记样本严重缺失时，样本扩充对性能的提升也是十分有限的。例如，zilongzhong等人在其发表的论文“fullyconvolutionalnetworksforbuildingandroadextraction:preliminaryresults”(ieeeinternationalgeoscienceandremotesensingsymposium,2016年)中提出了一种基于全卷积神经网络的道路提取方法。该方法的步骤是：首先，设置一个用于遥感图像道路提取的全卷积网络结构；其次，设置交叉熵损失为模型的损失函数；接着，从已有的预训练模型中迁移部分参数作为现模型的参数初始化值；最后，将遥感图像划分为训练集和测试集并利用样本的裁剪来进行样本扩充，用训练集来微调全卷积神经网络，并用测试集数据对训练好的模型进行测试。虽然这个方法充分利用全卷积神经网络的优良特性，模型能够在没有人为干预下提取出具有判别性的特征，进一步得到道路提取结果，但是，在用该模型进行道路提取的时候，存在一定的不足之处：首先，该方法用于道路提取时，由于样本量的缺失，使用了两种解决方法，一种是使用预训练模型参数，用现有样本进行微调，使模型在少量样本训练后能达到近似收敛，但是该方法对模型的结构限制较多，即复用参数模型结构必须要和已有预训练模型一致，这使得该方法无法对特定问题设置特定的结构；另一种方法是进行样本扩充，在该模型中作者将原始的遥感图像有重叠的裁剪成了若干更小的子图，从而增加了总体样本数量，但是却引入了过多的预处理与后处理，例如：训练样本中的遥感图像和类标图像在训练前需要先进行同步随机裁剪，测试样本在测试前需要按顺序进行无重叠裁剪，输出结果也需要进行顺序拼接，这大大增加了算法的复杂程度；其次，利用该全卷积神经网络进行道路提取的时候，由于模型特征提取能力有限，且对于道路提取这一特定任务，模型损失函数并没有做任何特定性优化，因此该方法提取出的路网信息十分不完整，道路提取准确率低。技术实现要素：本发明的目的在于克服现有技术的不足，提出了一种准确率更高、样本需求量更少的基于生成对抗网络的道路提取方法。本发明是一种基于生成对抗网络的遥感图像道路提取方法，其特征在于，包括步骤如下：(1)遥感图像划分为训练样本和测试样本：对输入大小为n×n的遥感图像以及遥感图像对应的二值类标图像进行划分，其中多半作为训练样本，其余作为测试样本；(2)设置用于遥感图像道路提取的生成对抗网络结构：(2a)生成对抗网络中的生成网络结构设置为全卷积神经网络；(2b)生成对抗网络中的判别网络结构设置为二分类卷积神经网络；(2c)生成网络与判别网络共同构成生成对抗网络；(3)设定用于道路提取的生成对抗网络的损失函数loss：将包含道路信息的正样本惩罚和负样本惩罚的生成对抗网络损失与提取结果与真实道路信息之间的欧式距离损失分别加权后进行求和，其和值设定为用于道路提取的生成对抗网络的损失函数loss；(4)对生成对抗网络进行训练：采用自适应矩估计(adam)优化算法，通过训练样本和用于道路提取的生成对抗网络的损失函数，对生成对抗网络进行训练，得到包含模型参数的生成对抗网络；(4a)采用梯度上升的自适应矩估计优化算法，通过损失函数来训练判别网络；(4b)采用梯度下降的自适应矩估计优化算法，通过损失函数来训练生成网络；(4c)反复进行(4a)、(4b)两个步骤，轮换对判别网络和生成网络进行训练，直到模型参数收敛，得到训练好的模型；(5)用训练好的模型对测试样本进行道路提取：将测试样本中的遥感图像输入已经训练好的生成网络中，得到只包含道路与背景的二值类标图，即为所需提取过道路的遥感图像；(6)输出提取过道路的遥感图像。本发明采用了适合于遥感图像道路提取的网络结构，构建了包含欧氏距离损失的损失函数，提高了道路提取结果的准确率，简化了模型训练过程的复杂度。与现有技术相比，本发明具有以下优点：第一，本发明在做遥感图像道路提取的时候，运用的生成对抗网络，同时使用了生成对抗网络的损失以及常见的机器学习模型中的欧氏距离损失，对输入的遥感图像进行道路提取，生成对抗网络的损失保证了提取结果在宏观上更加接近于真实情况，而欧式距离损失保证了提取结果在每一处细节都能更接近真实类标，也可以说是同时在计算机与人类两个视觉角度保证了提取结果的准确性，使得道路提取结果道路更加连贯，路网结构更加完整，与现有技术相比，大大提高了道路提取的准确率。第二，本发明所提出的结构引入了适用于小样本处理的生成对抗网络，同时对结构与损失函数做了特定性优化，因此在使用少量训练样本的情况下，保证了较高的准确率，相比于现有准确率较高的技术，本发明不需要任何的数据扩充的方法，因此避免了复杂的预、后处理过程，大大简化了算法的复杂度，是一个真正意义上的端到端的遥感图像道路提取方法。附图说明图1为本发明实现流程图；图2为本发明测试样本中的一张包含道路的遥感图像；图3为本发明附图2对应的真实二值类标图；图4为现有技术方法针对附图2提取的道路图像；图5为不使用本发明提出的损失函数针对附图2提取的道路图像；图6为使用本发明提出的损失函数针对附图2提取的道路图像；图7为不使用本发明提出的网络结构针对附图2提取的道路图像；图8为不使用本发明提出的网络结构针对附图2提取的道路图像图9为本发明针对附图2提取的道路图像。具体实施方式以下结合附图和具体实施例，对本发明作详细说明。实施例1现有技术遥感图像道路提取方法中，由于样本量的缺少，需要进行大量的数据预处理以及后处理操作，大大增加了算法的复杂程度；其次，现有方法模型损失函数并没有对遥感图像道路提取任务做任何特定性优化，所提取出的路网信息十分不完整，道路提取准确率低。本发明针对这种现状进行了研究与分析，提出一种基于生成对抗网络的遥感图像道路提取方法，参见图1，包括步骤如下：(1)遥感图像划分为训练样本和测试样本：对输入大小为n×n的包含道路的遥感图像以及遥感图像对应的二值类标图像进行划分，其中多半作为训练样本，其余作为测试样本，测试样本用于检测模型性能。本例中输入的遥感图像大小为1024x1024(2)设置用于遥感图像道路提取的生成对抗网络结构：生成对抗网络包括生成网络和判别网络：(2a)生成对抗网络中的生成网络结构设置为全卷积神经网络。(2b)生成对抗网络中的判别网络结构设置为二分类卷积神经网络。(2c)生成网络与判别网络共同构成生成对抗网络。生成对抗网络是一种用于图像生成的深度神经网络，一般由生成网络和对抗网络两部分组成，相较于一般的生成模型，生成对抗网络避免了复杂的马尔科夫过程，在生成网络中使用转置卷积的结构，使得输入的低维随机噪声逐步变成高维图像输出，来满图像生成的需求，在判别网络中使用常见的卷积网络结构，将生成网络输出的图像进行判别，以衡量其真实程度，从而优化生成网络参数。生成对抗网络组合的优势在于，两个网络不断对抗优化，即生成网络不断优化以生成更加真实的图像来欺骗判别网络，判别网络不断优化以更好的分辨生成图像和真实图像，当输入图像经过一个训练好的生成网络，可以获取一个端对端的图像生成结果，且生成结果具有很强的真实性。(3)设定用于道路提取的生成对抗网络的损失函数loss：将包含道路信息的正样本惩罚和负样本惩罚的生成对抗网络损失与提取结果与真实道路信息之间的欧式距离损失分别加权后进行求和，其和值设定为用于道路提取的生成对抗网络的损失函数loss。(4)对生成对抗网络进行训练：采用自适应矩估计(adam)优化算法，通过训练样本和用于道路提取的生成对抗网络的损失函数，对生成对抗网络进行训练，得到包含模型参数的生成对抗网络。(4a)采用梯度上升的自适应矩估计优化算法，通过总体的损失函数来训练判别网络；本发明中，判别网络主要是用于生成网络的辅助训练，保证生成网络的收敛。(4b)采用梯度下降的自适应矩估计优化算法，通过总体的损失函数来训练生成网络。(4c)反复进行(4a)、(4b)两个步骤，轮换对判别网络和生成网络进行训练，直到模型参数收敛，得到训练好的模型；反之亦然，先对生成网络进行训练，再对判别网络进行训练，技术效果相同。(5)用训练好的模型对测试样本进行道路提取：将测试样本中的遥感图像输入已经训练好的生成网络中，得到只包含道路与背景的二值类标图，即为所需提取过道路的遥感图像。(6)输出提取过道路的遥感图像。本发明在做遥感图像道路提取的时候，运用的生成对抗网络，同时使用了生成对抗网络的损失以及常见的机器学习模型中的欧氏距离损失，对输入的遥感图像进行道路提取，生成对抗网络的损失保证了提取结果在宏观上更加接近于真实情况，而欧式距离损失保证了提取结果在每一处细节都能更接近真实类标，也可以说是同时在计算机与人类两个视觉角度保证了提取结果的准确性，使得道路提取结果道路更加连贯，路网结构完整，与现有技术相比，提高了道路提取的准确率。实施例2基于生成对抗网络的遥感图像道路提取方法同实施例1，步骤(3)中所述的用于道路提取的生成对抗网络的损失函数loss，其表达式为：其中，xk表示第k张遥感图像，yk表示图像xk所对应的真实类标，n×n表示输入图像的大小，分别代表第k张遥感图像以及其对应的类标图中第j个像素的值，α为损失函数表达式中第一部分的权值，β为损失函数表达式中第二部分的权值，d(·)、g(·)分别代表判别网络与生成网络的输出信息，m代表每一次优化迭代所需要的样本数。本例中，取n＝256，m＝16，α＝1。本发明所提出的损失函数由两部分组成，第一部分为其本质上是传统生成对抗网络的损失函数，用来保证提取图像在整体上更接近于真实情况，第二部分为是提取结果与真实道路信息之间的欧式距离损失，用来保证提取图像在细节上更接近于当前遥感图像的真实类标图，本发明分别赋予这两部分不同的权值，以平衡两部分损失的比重，当α≠0,β＝0时，只使用生成对抗网络损失；当α＝0,β≠0时，只使用欧氏距离损失；当α≠0,β≠0时，同时使用两种损失。本例中，使用α＝1,β＝0和α＝1,β＝100两组权值组合分别对应只使用生成对抗网络损失与同时使用两种损失的情况，在本发明所使用的网络结构下对图2进行道路提取仿真实验，图3为图2所对应的真实二值类标图，图5为使用传统生成对抗网络损失函数提取的结果，即α＝1,β＝0的情况，也就是说，图5的实验结果是使用了本发明的网络结构，但是没有使用本发明的损失函数。图6为使用本发明中所提出的损失函数进行提取，即α＝1,β＝100的情况。将图5图6与现有方法的结果图4相对比，可以看出使用本发明提出的网络结构，不论是否对网络损失函数做特定性优化，提取结果的错判情况都要比现有方法好，对比图5和图6可以看出只使用传统生成对抗网络损失提取出的道路，路网完整性较差，有较多的漏判情况，且由于该损失对细节的约束性较差，导致整个路网中的道路不够平滑，失真较为严重；使用本发明的损失函数，提取结果在完整性上有了明显的提升，且道路边缘更为平滑，对照图5图6中位置相对应的白色矩形框所示区域，可见，本发明提出的损失函数更加适用于遥感图像的道路提取，在提取结果的整体与细节上都能更加接近于真实情况。实施例3基于生成对抗网络的遥感图像道路提取方法同实施例1-2，步骤(2a)中所述的生成网络结构设置为全卷积神经网络结构，具体为：生成网络的全卷积结构设置为小卷积核的unet网络，小卷积核的unet网络具体结构包含2n个带步长的卷积层，n的取值为5-10之间的任意整数，其中前n个为下采样层，每次下采样步长为中的任一正整数，其中n为输入图像大小，后n个为上采样层，每次的上采样步长为与下采样步长保持一致，即网络是一个完全对称的结构；在上采样的每一层中，不仅使用上层网络输出的信息，同时使用该层所对称的下采样层输出信息，使得输出结果更精确；卷积核大小的选择，针对于道路这一特定任务，下采样过程使用大小不超过6、上采样过程使用大小不超过5的小卷积核。本例中，取n＝1024，n＝6，下采样过程卷积核大小为6，上采样为4。利用本发明中提出的小卷积核unet生成网络结构，与大卷积核普通全卷积生成网络结构，在本发明所使用的损失函数下对图2进行道路提取仿真实验，图3为图2所对应的真实二值类标图，图7为使用大卷积核的普通全卷积网络作为生成网络的提取结果图，图8为使用本发明中所提出的生成网络结构的提取结果图，对比图7图8与现有方法提取结果图4，可以发现使用本发明的损失函数，不论网络是否采用本发明给出的结构，道路提取的结果都要优于现有方法，大大降低了现有方法错判情况多的弊端，对比图7图8可以发现使用有大卷积核的普通全卷积网络进行道路提取，道路提取结果在连续性上效果不佳，且出现了较多的错判问题，本发明提出生成的网络结构在连续性上有较大的改善，且基本消除了错判问题，对照图7图8中位置相对应的白色矩形框所示区域，可见本发明所提出的生成网络结构具有更强的特征提取能力，用于遥感图像的道路提取能得到更加准确的结果。实施例4基于生成对抗网络的遥感图像道路提取方法同实施例1-3，步骤(2b)中所述的判别网络结构设置为二分类卷积神经网络，具体为：判别网络使用小卷积核的n层卷积网络，其卷积核大小介于生成网络中的下采样和上采样卷积核大小之间。其中，n为生成网络中下采样层数量。本例中，取n＝6，卷积核的大小分别取[6,6,6,6,3,3]。在道路提取这一任务中，主要通过生成网络从遥感图像中得到路网二值图，判别网络则是通过与生成网络之间的对抗优化来辅助生成网络的训练，因此判别网络的层数相较于生成网络不能太少，否则会导致判别网络性能变差，从而无法更好的帮助生成网络达到收敛；同时判别网络的层数也不能太多，否则会导致判别网络迅速收敛，从而使得生成网络收敛缓慢甚至停止收敛。因此，取判别网络的层数与生成网络的下采样层数相同。以下给出一个更加具体详实的实施例，对本发明作进一步详细说明。实施例5基于生成对抗网络的遥感图像道路提取方法同实施例1-4，参照图1，包括步骤如下：步骤1)遥感图像划分为训练样本和测试样本：对输入大小为n×n的遥感图像以及遥感图像对应的二值类标图像进行划分，其中多半作为训练样本，其余作为测试样本，用于检测模型性能。在本发明实施例中，选取769幅大小为1500×1500的遥感图像作为样本集。虽然在本发明实施例中，对特定大小测试样本进行道路提取，但是，由于提取道路所使用的生成网络中使用的是没有全连接层的全卷积网络，因此实际训练好的生成网络，可用于对任何同类型的遥感道路图片进行道路提取。将图像样本集中720幅作为训练样本，其余49幅作为测试样本。步骤2)设置用于遥感图像道路提取的生成对抗网络结构：当我们使用全卷积网络来替换生成网络中简单的转置卷积网络，同时以一类图像而不是随机噪声作为输入，则可以得到与输入图像相同大小的另一类图像作为输出，此过程被称为图像翻译，遥感图像的道路提取本质上也可看作是一个图像翻译问题。即输入三通道彩色遥感图，输出其对应的单通道二值类标图，因此生成网络的结构选择全卷积网络，特别地，为了得到更加精确的提取结果，采用全卷积网络中的unet网络作为生成网络，并使用较小的卷积核。该网络共有16个带步长的卷积层，其中前8个卷积层用于下采样，步长为2，其卷积核大小为[4,4,4,4]；后8个转置卷积层用于上采样，步长为2，其卷积核大小为[3,3,3,3]，并在上采样过程中加入对应下采样层得到的特征。判别网络需要输入一张图像，输出其属于生成样本或真实样本的概率，因此其结构设置为一个传统的单输出二分类卷积神经网络，共有4个卷积层组成，其卷积核大小为[4,4,3,3]。步骤3)设计用于道路提取的生成对抗网络损失函数：将包含正样本惩罚和负样本惩罚的生成对抗网络损失与基于内容的感知损失欧式距离的加权求和值设定为用于道路提取的生成对抗网络的损失函数loss：其中，xk表示第k张遥感图像，yk表示图像xk所对应的真实类标，n×n表示输入图像的大小，分别代表第k张遥感图像以及其对应的类标图中第j个像素的值，α为损失函数表达式中第一部分的权值，β为损失函数表达式中第二部分的权值，d(·)、g(·)分别代表判别网络与生成网络的输出信息，m代表每一次优化迭代所需要的样本数，在本例中取n＝1500，m＝2，α＝1，β＝300。loss函数可以分为两部分，即与分别对应损失函数中的生成对抗网络损失与欧氏距离损失。步骤4)对生成对抗网络进行训练：采用自适应矩估计(adam)优化算法，通过训练样本和用于道路提取的生成对抗网络的损失函数，对生成对抗网络进行训练，得到包含模型参数的生成对抗网络。本发明用于道路提取的对抗生成网络，采用自适应矩估计优化算法，分别对生成网络和判别网络进行交替训练。本发明实施例中，训练过程中，将遥感图像作为生成网络的输入，输出其对应的类标图，将生成的类标图与其对应的真实遥感图像当作负样本图像对，真实遥感图像与其对应的真实类标图当作正样本图像对，混合输入判别网络，输出一个[0,1]的数值代表当前输入图片对中的类标图是真实类标图的概率。本例中将学习率设置为2×10-4，批量大小设置为2，采用梯度上升的自适应矩估计法训练判别网络，梯度下降的自适应矩估计法训练生成网络，其中一阶矩估计的指数衰减率设置为0.5，二阶矩估计的指数衰减率设置为0.999，训练500代，网络收敛，得到用于道路提取的生成对抗网络的网络参数。步骤5)对测试样本进行道路提取：将测试集中的遥感图像输入已经训练好的生成网络中，得到只包含道路与背景的二值类标图，参见附图5-图9，该二值类标图即输入图像的路网情况。步骤6)输出提取过道路的遥感图像，参见附图5-图9。生成对抗网络用于遥感图像的道路提取，也是一种基于机器学习的道路提取方法，相较于传统的道路提取方法，生成对抗网络有其特有的良好特性。本发明生成对抗网络能够提取遥感图像中具有判别性的特征，并利用这些特征得到准确的道路提取结果，同时相较于其他基于深度神经网络的方法，基于生成对抗网络的遥感图像道路提取方法对样本的需求量更小，更适合于样本获取困难的遥感图像处理领域。以下结合仿真试验，对本发明的技术效果作进一步说明：实施例6基于生成对抗网络的遥感图像道路提取方法同实施例1-5，仿真条件和内容实验数据采用多伦多大学公布的马萨诸塞道路数据集。该数据集总共包含了1171幅大小为1500×1500，分辨率1米的遥感图像，覆盖2600平方千米的土地。图2为划分的测试集中的一张图。仿真平台为：主频为3.60ghz的intelxeone5-1650v4cpu，64.0gb的内存，ubuntu16.04操作系统，torch7深度学习平台，lua5.1开发平台。利用本发明和现有全卷积神经网络道路提取方法，对图2进行道路提取仿真，其中，图3为图2所对应的真实类标图，图4为现有技术仿真结果图，图9为本发明仿真结果图。仿真结果分析采用本发明方法与论文“fullyconvolutionalnetworksforbuildingandroadextraction:preliminaryresults”中所述的基于全卷积网络的方法进行仿真比较，并在整个测试样本集中进行定量分析，如表1所示的各方法分类结果的定量分析一览表，其中准确率表示总体的提取准确率，查准率是衡量提取出的道路中提取正确的比率，查全率是衡量图像中所有道路被正确提取的比率，由于道路提取是一个正负样本不平衡的问题，因此使用一个综合查准率与查全率的指标f1-score来进行评判，该指标越接近于1越好，fcn表示基于全卷积网络的遥感图像道路提取方法。表1各方法分类结果的定量分析一览表方法类型准确率查准率查全率f1-scorefcn0.930.710.660.68本发明方法0.970.760.760.76由表1可以看出，采用本发明的方法在准确率、查准率、查全率以及f1-score四个指标上均比现有基于全卷积网络的方法高，由此可见本发明提出的网络结构相比于现有的基于全卷积网络进行遥感图像道路提取具有更强的特征提取能力，本发明所构建的损失函数也更加适用于遥感图像道路提取这一特定任务，可以获得精准的道路提取结果。从图4可以看出，基于现有方法进行的道路提取结果，道路部分不够连续，错判、漏判区域较多。从本发明得到的图9可以看出，本发明的结果不仅道路连续性更好，同时大大减少了错判、漏判区域，提取结果与图3所示真实类标情况更加接近。综上所述，本发明提出的基于生成对抗网络的遥感图像道路提取方法，旨在从包含道路的遥感图像中提取出连续的道路与完整的路网结构，得到更加准确的道路提取结果，解决了遥感图像道路提取准确率低，道路连续性不佳的问题。实现步骤为：首先在现有遥感数据库中选取样本集并划分测试样本和训练样本；其次设置用于遥感图像道路提取的生成对抗网络结构，包括生成网络和对抗网络；接着设定用于道路提取的生成对抗网络的损失函数loss，包括传统生成对抗网络损失和针对于道路提取的欧式距离损失；接着用自适应矩估计算法来训练生成对抗网络，得到网络参数；再用训练好的模型对测试样本进行道路提取，得到提取过道路的遥感图像；最后输出提取过道路的遥感图像。本发明能够改善道路提取的准确性，相比于现有方法在准确率、查全率、查准率与f1-score四个指标都有显著提升。当前第1页12