基于深度学习的遥感影像道路提取方法及系统、存储介质、电子设备与流程

本发明属于遥感图像处理技术领域，是一种基于深度学习的道路拓扑特征推测的高空间分辨率遥感影像道路快速提取的方法，主要应用于亚米级遥感影像的道路自动提取，可有效提高人工提取道路的效率。

背景技术：

道路是地图绘制、路径分析和应急处理的重要基础地理数据。作为基础数据，道路对城市建设、gis系统更新、数字化城市以及军事侦察等方面影响较大，因此快速提取道路信息和进行道路变化检测在城市发展规划、电子信息化、国防等方面有着重要的应用。在遥感图像中道路面矢量信息的提取是个复杂的过程，目前通过计算机自动提取的道路面宽窄不一，道路也无法串联成网，需要人工通过绘图工具进行辅助提取。网络上公开的导航数据集以及openstreetmap等电子地图提供的道路信息基本为线矢量数据，且该矢量数据与高分2号影像对应道路信息存在一定偏移，通过配准也无法准确得到道路矢量信息，仅可在道路生产时供生产人员进行辅助参考，无法直接加以利用。所以目前道路矢量面信息提取仍旧以半自动工具为主，生产效率偏低。

近年来，随着计算机性能的极大提升以及深度学习的快速发展，卷积神经网络应用的领域不断扩大，利用卷积神经网络进行地物的自动化提取方法逐渐成熟，并在遥感领域取得了较大成效。由于传感器精度的提高，能够利用的遥感影像分辨率也越来越高，卷积神经网络提取的特征也越来越丰富。

目前基于遥感影像道路提取的技术方法仅能提取城市主干道或者比较宽的大路，通用性较差，相比于城市道路相对较窄的一些乡镇道路及农村小路，提取效果一般，通常无法保持连续，因此如何快速准确地提取宽度不一的道路是遥感信息处理的关键步骤。道路是土地利用调查中的重要类别也是土地规划中的主要对象，目前采用深度学习进行道路提取方法得到的道路矢量与影像所表现的实际道路网差距较大，提取道路宽窄不一，且由于阴影、建筑、行道树等地物干扰，提取道路断断续续，无法串联成网，难以应用到土地利用调查中。目前急需一种新型的遥感影像道路提取方法。

技术实现要素：

为了克服现有技术的不足，本发明提出的一种基于深度学习的道路拓扑特征推测的遥感影像建筑物提取方法主要是在目前国产高分2号亚米级遥感影像的基础上，利用卷积神经网络并结合机器学习算法自动化提取遥感影像上包括城市道路、乡镇道路及农村机耕路在内宽度大于2米的所有道路，不但能够在遥感影像上快速检测出多种宽度的道路，还能够保证提取道路面的连贯性，同时相比传统方法生产效率得到较大提升，并且具有一定的鲁棒性和复用性。

本发明提供基于深度学习的遥感影像道路提取方法，包括以下步骤：

s1、样本制作，采集遥感影像，对遥感影像进行分割裁剪得到包含分类对象的面矢量框文件，并绘制所述面矢量文件中的道路标签，将标签为道路的所述面矢量样本的矢量数据转换成栅格数据，得到栅格化的道路面样本；

s2、模型训练，调整改进的densenet网络模型参数，对所述道路面样本进行基于改进的densenet的模型训练，得到道路训练模型；

s3、精度评定，将待测试的遥感影像数据输入所述道路训练模型，并计算本次测试的检测评价函数miou以及mpa,若miou值或mpa均达标则跳转至下一步，若miou值或mpa存在不达标情况则调整densenet网络模型参数返回s1并修改样本重新迭代训练；

s4、道路预测，利用经步骤s3中评定达标的道路训练模型对遥感影像目标区域进行道路预测，得到遥感影像中栅格化的道路面数据；

s7、道路面矢量化，将最终的栅格化的道路面数据进行矢量化，得到提取的遥感影像道路数据。

进一步地，所述步骤s4与所述步骤s7之间还包括步骤:

s5、影像后处理，利用图像处理模块对步骤s4中预测得到的道路面数据进行图像处理，其中，图像处理包括边缘平滑、填补空洞、去除碎斑。

进一步地，所述步骤s4与所述步骤s7之间还包括步骤:

s6、中断道路修正，提取栅格化的所述道路面数据中的端点，利用参考道路的栅格化数据与端点进行匹配，判断中断道路的端点处是否存在可连接的最优路径，若存在则连接最优路径；若不存在，则不做处理。

进一步地，步骤s6中采用连通域检测方法提取栅格化的所述道路面数据中的端点。

进一步地，步骤s6中连接最优路径后并对以参考道路的线宽进行等宽填充。

优选地，所述遥感影像为三波段或四波段融合影像。

一种电子设备，其特征在于包括：处理器；

存储器；以及程序，其中所述程序被存储在所述存储器中，并且被配置成由处理器执行，所述程序包括用于执行基于深度学习的遥感影像道路提方法。

一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行基于深度学习的遥感影像道路提方法。

基于深度学习的遥感影像道路提取系统，包括样本制作模块、模型训练模块、精度评定模块、道路预测模块、图像处理模块；其中，

所述图像处理模块包括矢量化单元、栅格化单元，所述矢量化单元用于将遥感影像的栅格化数据矢量化，所述栅格化单元用于将遥感影像的矢量化数据栅格化；

所述样本制作模块用于采集遥感影像，对遥感影像进行分割裁剪得到包含分类对象的面矢量样本，并绘制面矢量样本的标签，将标签为道路的面矢量样本的矢量数据输入所述栅格化单元转换成栅格数据，得到栅格化的道路面样本；

所述模型训练模块用于通过调整改进的densenet网络模型参数，对道路面样本进行基于改进的densenet的模型训练，得到道路训练模型；

所述精度评定模块用于将待测试的遥感影像数据输入所述模型训练模块中的道路训练模型，并计算本次测试的监测评价函数iou值,若iou值达标则跳转至下一步，若iou值不达标则调整densenet网络模型参数返回所述样本制作模块并修改样本重新迭代训练；

所述道路预测模块用于利用经所述精度评定模块中评定达标的道路训练模型对遥感影像目标区域进行道路预测，得到遥感影像中栅格化的道路面数据；

所述矢量化单元将最终的栅格化的道路面数据进行矢量化，得到提取的遥感影像道路数据。

优选地，基于深度学习的遥感影像道路提取系统还包括中断道路修正模块，所述中断道路修正模块用于提取栅格化的道路面数据中的端点，利用参考道路的栅格化数据与端点进行匹配，判断中断道路的端点处是否存在可连接的最优路径，若存在则连接最优路径；若不存在，则不做处理；

所述图像处理模块还包括影像后处理单元、路径填充单元；所述影像后处理单元用于利用图像处理模块对所述道路预测模块中预测得到的道路面数据进行图像处理，其中，图像处理包括边缘平滑、填补空洞、去除碎斑；所述路径填充单元用于在所述中断道路修正模块连接最优路径后并对以参考道路的线宽进行等宽填充。

相比现有技术，本发明的有益效果在于：

本发明提供基于深度学习的遥感影像道路提取方法，包括步骤样本制作、模型训练、精度评定、道路预测、道路面矢量化。本发明还涉及基于深度学习的遥感影像道路提取系统、存储介质、电子设备；本发明通过改进的densenet网络模型对道路进行提取，利用道路拓扑特征进行推测，连接中断道路，进而实现道路提取结果更为精细连贯，本发明在道路提取上具有更高的效率，节约大量的成本，并保证提取道路结果的可靠性，便于遥感影像处理推广应用。

本发明利用深度优化的全卷积神经网络，通过改进模型的网络层、池化大小等参数优化网络，同时根据道路拓扑特征推测对网络模型预测的道路栅格进行后处理优化，提高道路网提取效果。本发明以改进的densenet网络模型对影像进行像素级分类，最后将网络模型提取的结果综合利用道路拓扑特征进行断头道路检测，根据最优路径进行道路网连接，形成较为精确的道路网面矢量成果数据。通过大量的道路样本标签数据训练深度学习模型，以新的网络模型对亚米级国产高分2号遥感影像上的道路要素进行提取，实现了自动高效的道路面矢量信息提取，极大缩减了手工绘制的时间成本和人力成本。相比于传统的人工道路提取方法，本发明可有效提高道路提取的生产效率，并可以保证提取的道路与遥感影像上显示的道路形态的一致性。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。本发明的具体实施方式由以下实施例及其附图详细给出。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明的基于深度学习的遥感影像道路提取方法流程示意图；

图2为本发明的基于深度学习的遥感影像道路提取方法逻辑示意图；

图3为本发明的改进的densenet网络结构示意图；

图4为本发明的denseblock结构示意图；

图5为本发明在一实施例中的遥感影像图；

图6为图5运用本发明后的道路局部图；

图7为本发明的基于深度学习的遥感影像道路提取系统示意图。

具体实施方式

下面，结合附图以及具体实施方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。

基于深度学习的遥感影像道路提取方法，如图1、图2所示，包括以下步骤：

s1、样本制作，采集遥感影像，对遥感影像进行分割裁剪得到包含分类对象的面矢量样本，并绘制所述面矢量样本的标签，将标签为道路的所述面矢量样本的矢量数据转换成栅格数据，得到栅格化的道路面样本。

在一实施例中，收集整理高分2号0.8米分辨率4波段融合影像，建立影像库，同时根据影像建立相应的道路面矢量样本库(该道路包括但不限于城市道路、乡镇道路及农村机耕路在内的所有宽度大于2米的道路)，同时收集整理目前网络公开的全国道路线矢量数据集，创建道路线矢量参考数据库；根据道路样本库进行样本标签的格式转换，将道路样本矢量数据转换为道路面样本栅格数据。例如，在高分二号遥感影像上通过选择的点矢量文件进行影像样本块的自动裁切，得到大小为1000*1000且包含分类对象的面矢量框样本，绘制样本标签，利用gdal(geospatialdataabstractionlibrary)批量处理多波段样本数据为标准格式；需要说明的是，在本实施例中优选四波段融合影像，因四波段融合影像中在包含rgb三波段影像的基础上还包括近红外影像，首先在数据样本的数据量上较普通的三波段影像而言数据量大，有利于样本训练，从而提高准确性；其次，因近红外影像能有效过滤掉绿色干扰，和rgb三波段结合后有效快速过滤绿化带的图像信息，提高道路提取效率。

s2、模型训练，调整改进的densenet网络模型参数，对所述道路面样本进行基于改进的densenet的模型训练，得到道路训练模型。

在一实施例中，依据转换后的样本进行基于深度学习的模型训练，对网络模型中的卷积层数及池化大小进行调整，并进行特征融合。例如，如图3所示，改进的densenet网络模型示意图，本发明对该网络的改进主要包括：将denseblock模块后面的池化层大小改为3*3，并且池化方式由平均池化改为最大池化，另外最后一层池化层不改变池化大小只把平均池化改为最大池化；所有池化层滑动步长由2改为1。这样做的主要目的是通过池化层提取道路与其它地物相比的显著特征即边界。图4是改进的densenet网络中denseblock模块的主要结构及传播原理；图中数字1-5分别表示到同一激活函数的特征传递过程，结构具有特征重用的优点，充分利用每个卷积层计算后的特征，使模型具有多尺度的特性；由于densenet网络的神经元节点较多，本发明对该结构的改进主要是将激活函数relu改为prelu，防止在反向传播过程中一些神经元节点因梯度下降为0而失去作用。

s3、精度评定，将待测试的遥感影像数据输入所述道路训练模型，并计算本次测试的检测精度评价函数miou(meanintersection-over-union)值以及mpa(meanpixelaccuracy),若miou值以及mpa值均达标则跳转至下一步，若miou值或mpa值存在不达标情况则调整densenet网络模型参数返回s1并修改样本重新迭代训练；例如，设定miou值范围在0.80-1间，设定mpa值范围在0.85-1间认定为达标，当超出范围时，则调整densenet网络模型参数返回s1中重新训练。

s4、道路预测，利用经步骤s3中评定达标的道路训练模型对遥感影像目标区域进行道路预测，得到遥感影像中栅格化的道路面数据；例如，利用改进的模型对遥感影像目标区域高分2号遥感影像进行道路提取。

s7、道路面矢量化，将最终的栅格化的道路面数据进行矢量化，得到提取的遥感影像道路数据。从而得到可应用的结果，例如，图5、图6所示，其中，图5为南京栖霞区城市部分道路的高分2号的遥感影像，图6为应用本发明的南京栖霞区城市部分道路提取影像，通过实际人工道路生产试验的验证，本发明的技术方法在效率上得到了较大的提高：试验区为南京栖霞区，总体面积约390平方千米，单人提取道路面矢量耗时约80小时，应用本发明方法提取用时4小时，生产效率提高约20倍。因此本发明在保证精度的前提下有效提高现有道路提取方法的效率。

需要说明的是，矢量数据结构可具体分为点、线、面，可以构成现实世界中各种复杂的实体，当问题可描述成线或边界时，特别有效。矢量数据的结构紧凑，冗余度低，并具有空间实体的拓扑信息，容易定义和操作单个空间实体，便于网络分析。矢量数据的输出质量好、精度高。但矢量数据结构的复杂性，导致了操作和算法的复杂化，作为一种基于线和边界的编码方法，不能有效地支持影像代数运算，如不能有效地进行点集的集合运算(如叠加)，运算效率低而复杂。由于矢量数据结构的存贮比较复杂，导致空间实体的查询十分费时，需要逐点、逐线、逐面地查询。矢量数据和栅格表示的影像数据不能直接运算(如联合查询和空间分析)，交互时必须进行矢量和栅格转换。矢量数据与dem(数字高程模型)的交互是通过等高线来实现的，不能与dem直接进行联合空间分析。栅格数据结构是通过空间点的密集而规则的排列表示整体的空间现象的。其数据结构简单，定位存取性能好，可以与影像和dem数据进行联合空间分析，数据共享容易实现，对栅格数据的操作比较容易。栅格数据的数据量与格网间距的平方成反比，较高的几何精度的代价是数据量的极大增加。因为只使用行和列来作为空间实体的位置标识，故难以获取空间实体的拓扑信息，难以进行网络分析等操作。栅格数据结构不是面向实体的，各种实体往往是叠加在一起反映出来的，因而难以识别和分离。对点实体的识别需要采用匹配技术，对线实体的识别需采用边缘检测技术，对面实体的识别则需采用影像分类技术，这些技术不仅费时，而且不能保证完全正确。通过以上的分析可以看出，矢量数据结构和栅格数据结构的优缺点是互补的，为了有效地实现gis中的各项功能(如与遥感影像数据的结合，有效的空间分析等)需要同时使用两种数据结构，并在gis中实现两种数据结构的高效转换。

在一实施例中，所述步骤s4与所述步骤s7之间还包括步骤:

s5、影像后处理，利用图像处理模块对步骤s4中预测得到的道路面数据进行图像处理，其中，图像处理包括边缘平滑、填补空洞、去除碎斑。在本实施例中，首先对预测得到的道路轮廓边界进行平滑以及细化处理，然后对道路提取结果的孔洞进行填充以及道路缺口进行修补。应当理解，图像处理包括但不限于现有的图形学算法如边缘平滑、填补空洞、去除碎斑，在本实施例中，采用opencv图像处理模块对预测结果进行后处理。

在一实施例中，因在道路提取过程中易出现偏差导致原本连贯的道路中断，所述步骤s4与所述步骤s7之间还包括步骤：

s6、中断道路修正，提取栅格化的所述道路面数据中的端点，利用参考道路的栅格化数据与端点进行匹配，判断中断道路的端点处是否存在可连接的最优路径，若存在则连接最优路径；若不存在，则不做处理。在本实施例中，根据提取影像检索道路线矢量参考数据库，将对应区域线矢量裁剪，并以该区域高分2号影像为底图对该道路参考线矢量数据进行栅格化，优选地可将步骤s5后处理后得到的栅格道路数据作为基准数据，利用连通域检测方法对该基准数据进行中断道路端点检索，对每个端点周边一定范围内的参考线栅格数据进行匹配，推测计算该端点是否存在可连接路径，若存在连接路径，则对该端点可连接路线对比分析，择优连接并计算该端点所属中断道路的宽度，然后对连接线进行等宽填充，保证连接后道路宽度一致性；若不存在可连接路径，则不做处理。

一种电子设备，包括：处理器；存储器；以及程序，其中所述程序被存储在所述存储器中，并且被配置成由处理器执行，所述程序包括用于执行基于深度学习的遥感影像道路提方法。一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行基于深度学习的遥感影像道路提方法。

基于深度学习的遥感影像道路提取系统，如图7所示，包括样本制作模块、模型训练模块、精度评定模块、道路预测模块、图像处理模块；其中，

所述图像处理模块包括矢量化单元、栅格化单元，所述矢量化单元用于将遥感影像的栅格化数据矢量化，所述栅格化单元用于将遥感影像的矢量化数据栅格化；

所述样本制作模块用于采集遥感影像，对遥感影像进行分割裁剪得到包含分类对象的面矢量样本，并绘制面矢量样本的标签，将标签为道路的面矢量样本的矢量数据输入所述栅格化单元转换成栅格数据，得到栅格化的道路面样本；

所述模型训练模块用于通过调整改进的densenet网络模型参数，对道路面样本进行基于改进的densenet的模型训练，得到道路训练模型；

所述精度评定模块用于将待测试的遥感影像数据输入所述模型训练模块中的道路训练模型，并计算本次测试的检测精度评价函数miou以及mpa,若miou值或mpa均达标则跳转至下一步，若miou值或mpa存在不达标情况则调整densenet网络模型参数返回所述样本制作模块并修改样本重新迭代训练；

所述道路预测模块用于利用经所述精度评定模块中评定达标的道路训练模型对遥感影像目标区域进行道路预测，得到遥感影像中栅格化的道路面数据；

所述矢量化单元将最终的栅格化的道路面数据进行矢量化，得到提取的遥感影像道路数据。

优选地，如图7所示，基于深度学习的遥感影像道路提取系统还包括中断道路修正模块，所述中断道路修正模块用于提取栅格化的道路面数据中的端点，利用参考道路的栅格化数据与端点进行匹配，判断中断道路的端点处是否存在可连接的最优路径，若存在则连接最优路径；若不存在，则不做处理；

所述图像处理模块还包括影像后处理单元、路径填充单元；所述影像后处理单元用于利用图像处理模块对所述道路预测模块中预测得到的道路面数据进行图像处理，其中，图像处理包括边缘平滑、填补空洞、去除碎斑；所述路径填充单元用于在所述中断道路修正模块连接最优路径后并对以参考道路的线宽进行等宽填充。

本发明利用深度优化的全卷积神经网络，通过改进模型的网络层、池化大小等参数优化网络，同时根据道路拓扑特征推测对网络模型预测的道路栅格进行后处理优化，提高道路网提取效果。本发明以改进的densenet网络模型对影像进行像素级分类，最后将网络模型提取的结果综合利用道路拓扑特征进行断头道路检测，根据最优路径进行道路网连接，形成较为精确的道路网面矢量成果数据。通过大量的道路样本标签数据训练深度学习模型，以新的网络模型对亚米级国产高分2号遥感影像上的道路要素进行提取，实现了自动高效的道路面矢量信息提取，极大缩减了手工绘制的时间成本和人力成本。相比于传统的人工道路提取方法，本发明可有效提高道路提取的生产效率，并可以保证提取的道路与遥感影像上显示的道路形态的一致性。

本发明提供基于深度学习的遥感影像道路提取方法，包括步骤样本制作、模型训练、精度评定、道路预测、道路面矢量化。本发明还涉及基于深度学习的遥感影像道路提取系统、存储介质、电子设备；本发明通过改进的densenet网络模型对道路进行提取，利用道路拓扑特征进行推测，连接中断道路，进而实现道路提取结果更为精细连贯，本发明在道路提取上具有更高的效率，节约大量的成本，并保证提取道路结果的可靠性，便于遥感影像处理推广应用。

以上，仅为本发明的较佳实施例而已，并非对本发明作任何形式上的限制；凡本行业的普通技术人员均可按说明书附图所示和以上而顺畅地实施本发明；但是,凡熟悉本专业的技术人员在不脱离本发明技术方案范围内，利用以上所揭示的技术内容而做出的些许更动、修饰与演变的等同变化，均为本发明的等效实施例；同时,凡依据本发明的实质技术对以上实施例所作的任何等同变化的更动、修饰与演变等，均仍属于本发明的技术方案的保护范围之内。