一种遥感影像道路材质提取方法和系统与流程

本发明涉及影像提取技术领域，特别涉及一种遥感影像道路材质提取方法和系统。

背景技术：

交通基础设施的建设水平直接反映了一个国家的经济实力与发展水平，我国作为发展中国家，一直大力推进交通基础设施的建设工作。交通基础设施尤其是交通道路的自动提取一直是科研学者研究的热点问题之一，道路材质的判别与监测对于道路建设与维护来说意义重大。近年来，随着遥感技术的不断发展，基于遥感影像的信息提取技术已经发展成为一种高效的科学手段，相关应用也应运而生，如基础设施检测，车辆导航，地质灾害检测，道路信息提取等。

与其它地表类型的特征相比，遥感图像中的道路网络具有显著的几何与光谱特征，使其更加容易与背景相互区分，也为其信息的提取提供了可能。但是，在实际的应用研究中，道路上行驶的车辆以及路旁的大型建筑和绿化植被等都会对道路进行一定程度的遮挡，导致信息的冗余度增加，精度下降。此外，在对材质进行识别是，由于目前的城市道路主要采用水泥和沥青表面，而城市建筑的屋顶、停车场以及堤坝等设施也采用了相似的材料，进一步增加了道路材质识别的难度。另一方面，从大尺度的角度来看，道路网络尤其是结构简单的道路网路结构在形态特征上与河流、山脊、桥梁等具有极大的相似性，以上的种种都导致了道路网路的提取与识别困难重重，亟需寻找一种有效的技术手段进一步保证提取精度。

技术实现要素：

本发明提供一种遥感影像道路材质提取方法和系统，能够实现对遥感图像中道路的提取与材质判别。

根据本发明的一个方面，提供了一种遥感影像道路材质提取方法，包括以下步骤：

a、获取多源遥感图像，根据搭建的具有7层网络结构的u-net模型，对所述图像中的道路进行提取，得到道路候选区域；

b、根据所述道路候选区，利用基于deeplab架构的resnet深度卷积神经网络进行所述图像进行分割，实现对道路材质的区分识别和提取。

所述步骤a具体包括：

收集多源遥感图像，并对所述图像中的道路区域进行标注，得到训练数据集t-set和测试数据集v-set；

搭建具有7层网络结构的u-net模型，并进行初始参数设定；

利用已标注的训练数据集t-set和测试数据集v-set，进行u-net网络的训练学习，得到网络模型ns-1，实现对所述图像中道路的自动提取，得到道路候选区。

所述步骤b具体包括：

根据道路提取模型对所述多源遥感图像数据中的所述道路候选区进行道路提取，得到各遥感图像中的道路候选区影像c-image；

将各遥感图像中的道路候选区影像c-image作为输入，进行道路材质标签的再标注，得到基于材质区分的训练集tm-set与测试集vm-set；

以基于deeplab方法的resnet网络架构为基础，构建具有101层级的深度卷积神经网络ns-2；

以基于材质区分的训练集tm-set与测试集vm-set作为输入，进行ns-2网络的训练学习，得到具有材质信息识别能力的道路自动提取模型；

根据所述道路自动提取模型实现对道路材质的区分识别。

所述方法还包括：

c、对道路提取结果进行线性网络提取；所述线性网络提取包括但不限于：基于图形学、拓扑特征、方向延展性的道路区块粘连和中心线提取与平滑。

所述步骤c具体包括：

基于腐蚀、膨胀、骨架提取图形学算法，完成道路中心线的提取，记为cline；

针对已提取的cline，以任意线段为起点，逐一分析相邻线段的连通性。

所述逐一分析相邻线段的连通性，具体包括：

将相邻两段中心线记为clinei,clinei+1,并设定20像素的缓冲半径，当其延展方向在其缓冲半径内存在交点，则认为其为相连道路，并以交点作为填充，对两端道路进行连接处理；否则，以相邻线段作为下一个起始线段，记为clinej，逐一进行遍历完成道路的连通性优化。

根据本发明的另一个方面，提供了一种遥感影像道路材质提取系统，包括u-net模型单元和resnet模型单元，其中，

所述u-net模型单元，用于对影像做初步识别，根据搭建的具有7层网络结构的u-net模型，对所述图像中的道路进行提取，得到道路候选区；

所述resnet模型单元，用于根据所述道路候选区，利用基于deeplab架构的resnet深度卷积神经网络进行所述图像进行分割，实现对道路材质的区分识别和提取。

所述u-net模型单元，具体用于：

收集多源遥感图像数据，并对所述图像中的道路区域进行标注，得到训练数据集t-set和测试数据集v-set；

搭建具有7层网络结构的u-net模型，并进行初始参数设定；

利用已标注的训练数据集t-set和测试数据集v-set，进行u-net网络的训练学习，得到网络模型ns-1，实现对所述图像中道路的自动提取，得到道路候选区。

所述resnet模型单元，具体用于：

根据道路提取模型对所述多源遥感图像数据中的所述道路候选区进行道路提取，得到各遥感图像中的道路候选区影像c-image；

将各遥感图像中的道路候选区影像c-image作为输入，进行道路材质标签的再标注，得到基于材质区分的训练集tm-set与测试集vm-set；

以基于deeplab方法的resnet网络架构为基础，构建具有101层级的深度卷积神经网络ns-2；

以基于材质区分的训练集tm-set与测试集vm-set作为输入，进行ns-2网络的训练学习，得到具有材质信息识别能力的道路自动提取模型；

根据所述道路自动提取模型实现对道路材质的区分识别。

所述系统还包括后处理单元，其中，

所述后处理单元，用于基于图形学、拓扑特征、方向延展性的道路区块粘连和中心线提取与平滑；

基于腐蚀、膨胀、骨架提取图形学算法，完成道路中心线的提取，记为cline；

针对已提取的cline，以任意线段为起点，逐一分析相邻线段的连通性；

将相邻两段中心线记为clinei,clinei+1,并设定20像素的缓冲半径，当其延展方向在其缓冲半径内存在交点，则认为其为相连道路，并以交点作为填充，对两端道路进行连接处理；否则，以相邻线段作为下一个起始线段，记为clinej，逐一进行遍历完成道路的连通性优化。

采用本发明的技术方案，利用双网络结构的处理方式，克服复杂采用单一网络结构的部分缺陷，如深层网络结构对信息学习的潜在过拟合及不可控性问题，浅层网络对信息学习的片面性问题等，提升了道路自动提取模型的稳定性与可靠性，且具有更好的训练特性，可适于多领域应用。

除了对道路材质和道路区的分别提取，通过双网络结构的设计，本发明可实现对道路区和材质的同步提取，通过不同模型的融合互补，在提升道路提取完整度的同时也保证了提取的精度稳定。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明实施例一中遥感影像道路材质提取原理流程图；

图2为本发明实施例一中u-net模型网络结构示意图；

图3为本发明实施例一中影像处理道路材质提取原理示意图；

图4为本发明实施例二中遥感影像道路材质提取系统结构示意图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

目前，研究学者们经过不断的努力已经提取了多种道路提取方法，其主要的技术原理是利用道路颜色和形状特征构建检测/分类框架算法。近年来，随着卷积神经网络，尤其是深度卷积神经网络的不断发展与应用，越来越多的学者开始倾向于构建深度卷积神经网络来实现道路信息的提取。深度神经网络利用更加深层次的网络结构，能够同时对道路的颜色、形状等多维特征进行学习，通过信息的融合判别进行道路提取与识别。常规的深度卷积神经网络按其特点可分为两个不同技术范畴：1)图像分类，指将遥感图像进行区块划分，对其类别进行标注，用于后续的训练与测试；2)图像密度分割，是指在像素级对图像内容进行标注，并以此进行模型的训练。

目前来看，构建深度卷及网络的首要问题在于如何确定网络的层数。研究表明，在某些特定研究中应用更深层的网络结构的模型效果反而要弱于浅层网络。其原因在于，虽然深层次网络能够学习到更多的目标特征，但是当信息过于复杂时，会导致类别的共性信息缺失，也就是所谓的过拟合情况。对于有限的训练集而言，如何有效判断模型是否被过度训练是约束深度网络应用的主要难点问题之一。此外，基于像素分割的模型在制作训练数据集时需要耗费大量的时间成本，也在一定程度限制了其在更多领域中的应用扩展。

本发明所提出的基于双卷积网络的道路提取与材质识别模型按功能划分可分为两个部分：第一部分为基于u-net结构的道路候选粗提取，第二部分则基于道路候选区，利用deeplab网络结构进行像素级别的密度分割实现，最终实现道路的提取与材质判别。

u-net是基于fcn框架的一个语义分割卷积神经网络。deeplab是一种用于控制信号抽取和学习多尺度语境特征的卷积神经网络架构。deeplab把在imagnet上预训练得到的resnet作为它的主要特征提取网络。但是，它为多尺度的特征学习添加了一个新的残差块。最后一个resnet块使用了空洞卷积(atrousconvolution)，而不是常规的卷积。此外，这个残差块内的每个卷积都使用了不同的扩张率来捕捉多尺度的语境信息。

图1为本发明实施例一中遥感影像道路材质提取流程图。如图1所示，该遥感影像道路材质提取流程包括以下步骤：

步骤101、获取多源遥感图像数据，根据搭建的具有7层网络结构的u-net模型，对所述图像中的道路进行提取，得到道路候选区域。

在快速发展的城市和地区，路网信息要求精度准确、需要及时更新，未及时更新路网信息而导致的交通事故及二次事故频发是发达国家和发展中国家普遍面临的问题。及时的更新道路网信息对地区的宏观管理、交通运输、出行导航、应急事务处理等具有非常重要的意义。科学技术的快速发展，使得交通路网信息的提取技术和提取算法发展迅速。随着空间分辨率的不断提高，遥感信息为地理信息库的更新带来了便利，高分辨率遥感影像开始广泛应用于路网信息的提取。

实际上，待监测区域的光学遥感影像进行的地表信息识别和提取，主要是地表分类和道路提取。地表分类是对影像中地表的分类识别和提取。道路提取是对于影像中道路信息的具体提取过程。由于本实施例主要以交通基础设施为例，说明本发明的技术原理，因而，此处以道路信息的提取方案为例来说明本发明的具体原理和实现方案。

道路提取的过程主要基于卷积神经网络算法。卷积神经网络算法的道路提取技术，通常需要使用训练数据进行网络模型的建立。道路典型特征库的建立首先是利用其形态、结构、连通性等特征进行典型遥感样本的提取、分类与统计分析，然后根据统计结果尽可能都的涵盖全部典型的道路特征单元，道路特征库的数量将直接影响算法的识别与提取精度。随着深度学习技术的出现与发展，自主学习特征已成为可能，网络层数的增加也使得神经网络的分类能力更强。

本实施例中，首先，搭建具有7层网络的u-net模型，其网络结构如图2所示，图2中，u-net模型中的第一层与最后一层存在直接联系，因此，在道路提取中，能够最大限度的保存原始图像的边缘特征信息。基于此，我们通过u-net模型的技术特点，首先获取相应的道路信息，将其作为道路候选，进行后续的精提取与筛选判别。此外，采用7层u-net模型的目的在于其能够有效地对像素进行位置判别，如边缘像素和内部像素的区分等，且受限于卷积神经网络的算法特点，随着层数的增加其边缘特征会被进一步模糊、弱化，导致信息缺失等问题。

本实施例中，具体过程可以包括：

收集多源遥感数据，并对图像中的道路区域进行标注，得到训练数据集t-set和测试数据集v-set。此时标注以宏观的道路范畴为主，不考虑道路材质；

搭建具有7层网络结构的u-net模型，并进行初始参数设定；

利用已标注的道路数据集，进行u-net网络的训练学习，得到最终的网络模型ns-1，最终实现对道路的自动提取，此时的ns-1尤其关注对识别过程中边缘特征信息的有效保留。

步骤102、根据所述道路候选区，利用基于deeplab架构的resnet深度卷积神经网络进行所述图像进行分割，实现对道路材质的区分识别和提取。

在完成道路区域提取后，以步骤101中的候选区作为输入，利用深度卷积神经网络进行图像分割，实现对道路材质的区分识别。用于材质识别的网络模型与u-net模型虽然同属于深度卷积神经网络，当其具有本质的区别。本发明中，所采用网络结构为基于deeplab架构的resnet网络，其共有101层网络结构，能够同时实现对道路颜色、辐射特征、形态和拓扑等特性的细致学习，从而实现道路材质的高精度识别。

具体实现过程如下：

利用步骤1中训练得到的道路提取模型，首先对多源遥感图像进行道路提取，得到与各遥感图像中的全部道路候选区影像c-image；

仅将c-image作为输入，进行道路材质标签的再标注，进一步得到基于材质区分的训练集tm-set与测试集vm-set；

以基于deeplab方法的resnet网络架构为基础，构建具有101层级的深度卷积神经网络ns-2；

以步骤c中的数据集作为输入，进行ns-2网络的训练学习，得到具有材质信息识别能力的道路自动提取模型；

利用vm-set进行模型精度的验证。

具体的，本实施例还可以包括一个后处理的过程。原始提取的道路是以像素区块形式存在的，为了进一步提取道路网络，还需对其进行线性网络提取。此外，由于算法的固有缺陷问题，其提取结果不可避免的存在一些孔洞区域以及误提取信息，为了进一步提升模型效果，在完成模型直接提取后，还需对其提取结果进行进一步的处理操作。后处理环节主要包括基于图形学、拓扑特征、方向延展性的道路区块粘连和中心线提取与平滑等。

基于腐蚀、膨胀、骨架提取等图形学算法，完成道路中心线的提取，记为cline；

针对已提取的cline，以任意线段为起点，逐一分析相邻线段的连通性，将相邻两段中心线记为clinei,clinei+1,并设定20像素的缓冲半径，当其延展方向在其缓冲半径内存在交点，则认为其为相连道路，并以交点作为填充，对两端道路进行连接处理,否则则以相邻线段作为下一个起始线段，记为clinej，逐一进行遍历完成道路的连通性优化。

本发明的技术方案，利用双网络结构的处理方式，克服复杂采用单一网络结构的部分缺陷，如深层网络结构对信息学习的潜在过拟合及不可控性问题，浅层网络对信息学习的片面性问题等，提升了道路自动提取模型的稳定性与可靠性，且具有更好的训练特性，可适于多领域应用。

除了对道路材质和道路区的分别提取，通过双网络结构的设计，本发明可实现对道路区和材质的同步提取，通过不同模型的融合互补，在提升道路提取完整度的同时也保证了提取的精度稳定。

如图3所示，为本实施例具体的实现流程之一，具体包括前处理过程、u-net模型网络处理过程和基于deeplab架构模型网络处理过程。前处理过程可以包括颜色融合、图像处理、数据清洗、标签生成等步骤。u-net模型网络处理过程通过编解码模型得到道路候选区。基于deeplab架构模型网络处理过程通过带孔卷积、机器学习等过程，完成道路材质分类识别。

为了实现上述流程，本发明技术方案还提供遥感影像道路材质提取系统，如图4所示，该遥感影像道路材质提取系统包括u-net模型单元21和resnet模型单元22，其中，

所述u-net模型单元21，用于获取多源遥感图像数据，根据搭建的具有7层网络结构的u-net模型，对所述图像中的道路进行提取，得到道路候选区；

所述resnet模型单元22，用于根据所述道路候选区，利用基于deeplab架构的resnet深度卷积神经网络进行所述图像进行分割，实现对道路材质的区分识别和提取。

所述u-net模型单元21，具体用于：

收集多源遥感图像数据，并对所述图像中的道路区域进行标注，得到训练数据集t-set和测试数据集v-set；

搭建具有7层网络结构的u-net模型，并进行初始参数设定；

利用已标注的训练数据集t-set和测试数据集v-set，进行u-net网络的训练学习，得到网络模型ns-1，实现对所述图像中道路的自动提取，得到道路候选区。

所述resnet模型单元22，具体用于：

根据道路提取模型对所述多源遥感图像数据中的所述道路候选区进行道路提取，得到各遥感图像中的道路候选区影像c-image；

将各遥感图像中的道路候选区影像c-image作为输入，进行道路材质标签的再标注，得到基于材质区分的训练集tm-set与测试集vm-set；

以基于deeplab方法的resnet网络架构为基础，构建具有101层级的深度卷积神经网络ns-2；

以基于材质区分的训练集tm-set与测试集vm-set作为输入，进行ns-2网络的训练学习，得到具有材质信息识别能力的道路自动提取模型；

根据所述道路自动提取模型实现对道路材质的区分识别。

所述系统还包括后处理单元23，其中，

所述后处理单元23，用于基于图形学、拓扑特征、方向延展性的道路区块粘连和中心线提取与平滑；

基于腐蚀、膨胀、骨架提取图形学算法，完成道路中心线的提取，记为cline；

针对已提取的cline，以任意线段为起点，逐一分析相邻线段的连通性；

将相邻两段中心线记为clinei,clinei+1,并设定20像素的缓冲半径，当其延展方向在其缓冲半径内存在交点，则认为其为相连道路，并以交点作为填充，对两端道路进行连接处理；否则，以相邻线段作为下一个起始线段，记为clinej，逐一进行遍历完成道路的连通性优化。

综上所述，本发明的技术方案，提出了一种遥感影像道路材质提取方法和系统。利用双网络结构的处理方式，克服复杂采用单一网络结构的部分缺陷，如深层网络结构对信息学习的潜在过拟合及不可控性问题，浅层网络对信息学习的片面性问题等，提升了道路自动提取模型的稳定性与可靠性，且具有更好的训练特性，可适于多领域应用。

除了对道路材质和道路区的分别提取，通过双网络结构的设计，本发明可实现对道路区和材质的同步提取，通过不同模型的融合互补，在提升道路提取完整度的同时也保证了提取的精度稳定。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。