一种云层影响下的光学遥感影像道路信息智能提取方法

一种云层影响下的光学遥感影像道路信息智能提取方法
1.本发明涉及基于ai技术的云层影响下的遥感影像道路信息提取，属于人工智能、影像信息智能处理、智能驾驶等研究领域。


背景技术：

2.随着遥感技术的快速发展，从遥感传感器(安装在无人机或卫星上)获得的图像在灾害/应急管理、城市规划和目标检测方面做出了巨大贡献。道路网络在城市规划、交通管理、gps导航、路况监测等方面也是我们日常生活中不可或缺的一部分。在一个快速发展的地区，道路网络经常变化。因此，有必要提取最新的道路网络，以有效支持空间应用。准确和最新的路网信息是我们日常生活的基础，无论是用于城市管理、交通规划、车辆导航、智能交通系统等等。因此，持续提取路网是非常重要的，特别是对于快速增长的地区。随着遥感技术的快速发展，通过安装在无人机或卫星上的遥感传感器可以很容易地获取图像，这使得道路网络的更新和遥感图像道路提取方法的及时采用成为可能。
3.深度学习在一系列语义理解任务中受到了极大的关注，因为它能够涵盖多层特征。为了减少需要学习的网络参数数量，提高网络的实时处理能力，提出了linknet架构。利用强大的预先训练的vgg编码器和u-net架构，iglovikov等人提出了ternausnet，它是carvana图像掩模挑战中获胜的解决方案(735个中的第一个)的一部分。在道路提取领域，zhou等提出了基于d-linknet的vhr遥感道路提取方法。d-linknet是由linknet发布的，它将扩展卷积层嵌入到中间部分，以集成多尺度特征并同时保留详细信息。zhang等提出了一种基于fcn的道路提取框架，该框架采用集成策略，称为空间一致性(spatial consistency,sc)，以解决航空图像中道路和背景区域的不平衡问题。
4.此外，云遮挡会严重影响遥感图像中的地物提取(lin等，2014)。地物提取一般在云去除之后进行(sarukkai等，2020)，但是对于特定道路的提取，如狭窄道路，在遥感图像中仅占很小的像素比例，若去云后再提取道路，不仅过程烦琐而且易导致道路丢失。目前的道路提取方法均在无云的遥感图像上进行，没有考虑云遮挡给道路提取带来的影响，在有云的遥感图像上的道路提取性能大幅降低。li等(2021)利用柏林噪声(perlin，2002)对云层进行模拟(enomoto等，2017)，然后通过alpha系数融合仿真云层与rgb遥感图像，生成云遮挡仿真图像，引入云掩膜可进一步评判网络模型在仿真云遮挡区域下道路预测的性能。由于仿真云层透明度不同，视觉上产生云层厚薄不一的效果。整个云仿真图数据集云覆盖率约为40％～70％，其中模拟厚云的平均覆盖率为3％～23％，模拟薄云的平均覆盖率为28％～59％。使用此类仿真云图训练网络模型，期望最终模型对厚云及薄云的云遮挡区域均具有鲁棒性。
5.上述方法主要通过基于无云遥感影像的道路信息提取，并取得满意提取结果，但对有云遥感影像而言，基于光学遥感影像的道路信息提取方法，其提取结果道路信息不完整。为此，本发明设计云层影响下的光学遥感影像道路信息智能提取方法，对完善城市路网提取，减轻人工标注的花销，能智能提取云下的道路信息具有重要意义。


技术实现要素：

6.一种云层影响下的光学遥感影像道路信息智能提取方法，其特征在于：包括以下步骤，
7.步骤1，遥感影像与open street map数据预处理，标记出少量道路信息的分割掩膜样本；
8.步骤2，对遥感影像进行云检测，标记出图像中含云的部分，设置该部分不进入网络；
9.步骤3，利用先验知识如道路种类，像素级别的相似性对open street map数据得到的道路中心线设置缓冲区，大量道路信息样本；
10.步骤4，构建训练样本库，以不含云遥感影像数据与步骤3生成的大量掩膜数据作为输入，构建一系列训练样本数据；
11.步骤5，构建sadu-net网络模型(self-attention and densely connected u-net)，该模型从全局-局部提取特征，采用空间注意力与密集块对不含云遥感影像进行道路信息提取；
12.步骤6，sadu-net网络模型训练，利用空间注意力关注道路在空间上的连贯性，密集块对上下文关系的传递性对sadu-net网络模型进行训练；
13.步骤7，sadu-net网络模型性能评估；
14.步骤8，结合不含云完整的道路信息与open street map数据对含云部分进行预测，拼接后生成完整的道路信息分割图。
15.所述步骤1，将遥感影像与open street map的路网数据进行对齐；目的是获取与遥感影像相对应的路网数据，为后续裁剪提供基础。
16.所述步骤2，采用fmask方法实现对云的检测，使用基于云和云阴影物理属性的规则提取潜在云层和潜在云阴影层。然后利用分割出的潜在云层和几何关系匹配潜在云阴影层，生成最终云和云阴影遮罩。控制含云部分不进入神经网络中进行预测。
17.所述步骤3，利用open street map数据获取的路网中心线，结合先验知识生成道路可信的分割信息，以中心线为轴，结合路网中所给的道路种类信息，大体确定道路的宽度，并结合像素间的相似性区分道路与背景信息，形成分割信息的边界，得到道路与对应的分割掩膜图像。
18.所述步骤4，利用步骤2检测的云信息，将图像划分成含云区域与不含云区域，将不含云区域所得的遥感影像数据与路网数据生成的掩膜数据做同等切割，大小设置为512
×
512像元，采用0.5重复率对图像进行裁剪，步长设置为256，裁剪影像仍为512
×
512像元，在边缘或者不规则的情况下填充0至满足512大小；然后将样本按照7：3设置，分为训练集与预测集。
19.所述步骤5，sadu-net模型是以u-net网络为基础，该网络有三个部分，第一个部分网络主要是编码器，由4个密集块(dense block)组成，其中每个密集块都是有bn层，relu激活函数，3
×
3的卷积核组成，每个节点都综合考虑前面所有节点的信息；不同的密集块间放置bn层，1
×
1的卷积层，2
×
2的平均池化层。第二个部分是连接部分，对原始图像使用self attention，在每个通道上进行1
×
1的卷积，通过不同的映射函数，进行转置点乘运算，最后与第三部分的结果进行相加，对图像进行信息提取，考虑道路的全局信息。第三个部分是上
采样的过程，将对应层的编码输出进行concat连接操作，对图像进行解码，恢复至512
×
512的大小，输出结果。
20.所述步骤6，首先设置学习率、批处理大小和训练次等参数，采用随机梯度下降方法对sadu-net进行训练。损失函数采用二值交叉熵(bce)损失和dice系数结合，其公式定义为：
[0021][0022]
n是图像的个数，yi是输入的图像，gi是yi对应的标签，f(yi)是对yi的预测结果图。
[0023]
所述步骤7，输入样本数据对整个sadu-net网络模型进行测试，当损失函数值趋于稳定并且最小，此时该网络性能达到最优。利用最优sadu-net网络对输入的遥感影像进行道路信息提取。
[0024]
所述步骤8，将图像中含云部分的数据进行补全，利用open street map数据进行道路中心线的获取，结合含云区域两端的道路掩膜图像，利用道路的宽度信息进行对应，完成对被云覆盖的部分进行分割信息补全。
[0025]
本发明结合光学遥感影像和open street map数据优势，提出了一种云层影响下的光学遥感影像道路信息智能提取方法，有助于在样本中含有云对路面信息进行遮挡的情况下不进行云去除而完成道路信息提取。该方法包括：遥感影像与osm数据预处理，目的是获取对应城市的数据内容；将预处理的两类数据进行对齐裁剪，制作道路数据集及对应的分割掩膜数据集；使用fmask云检测算法提取遥感图像中云阴影区域，利用光谱特性进行一系列的光谱测试，从而得到潜在云层，并使用形态学变换中的填充变换法，结合散射相关计算，得到潜在云阴影层，并将含云部分mask掉，不在深度学习网络中进行预测；以ai技术为基础，构建一无标注样本的道路信息提取模型，该模型通过联合遥感影像数据与osm路网数据，在避免人工标注数据的同时，借助osm数据的准确性帮助预测道路提取任务中遮挡部分的道路信息，完善道路提取的连贯性；改进了经典的语义分割模型，利用已训练的模型更好的完成道路信息智能提取工作。
附图说明：
[0026]
图1是本发明实施例的云层影响下的光学遥感影像道路信息智能提取方法流程图；
[0027]
图2是本发明实施例的sadu-net神经网络结构图；
具体实施方式
[0028]
本发明利用遥感影像与open street map的路网数据，提出了一种云层影响下的光学遥感影像道路信息智能提取方法，有助于在样本中含有云对路面信息进行遮挡的情况下不进行云去除而完成道路信息提取。该方法包括：遥感影像与osm数据预处理，目的是获取对应城市的数据内容；将预处理的两类数据进行对齐裁剪，制作道路数据集及对应的分割掩膜数据集；使用fmask云检测算法提取遥感图像中云阴影区域，利用光谱特性进行一系列的光谱测试，从而得到潜在云层，并使用形态学变换中的填充变换法，结合散射相关计算，得到潜在云阴影层，并将含云部分mask掉，不在深度学习网络中进行预测；以ai技术为
基础，构建一无标注样本的道路信息提取模型，该模型通过联合遥感影像数据与osm路网数据，在避免人工标注数据的同时，借助osm数据的准确性帮助预测道路提取任务中遮挡部分的道路信息，完善道路提取的连贯性；改进了经典的语义分割模型，利用已训练的模型更好的完成道路信息提取工作。
[0029]
本发明技术方案可采用计算机软件方式支持自动运行流程。以下结合实施例和附图详细说明本发明技术方案。
[0030]
参见图1，本发明实施例提供了云层影响下的光学遥感影像道路信息智能提取方法，具体操作步步骤如下：
[0031]
步骤1，遥感影像与open street map数据预处理，标记出少量道路信息的分割掩膜样本；
[0032]
步骤2，对遥感影像进行云检测，标记出图像中含云的部分，设置该部分不进入网络；
[0033]
步骤3，利用先验知识如道路种类，像素级别的相似性对open street map数据得到的道路中心线设置缓冲区，大量道路信息样本；
[0034]
步骤4，构建训练样本库，以不含云遥感影像数据与步骤3生成的大量掩膜数据作为输入，构建一系列训练样本数据；
[0035]
步骤5，构建sadu-net网络模型(self attention and densely connected u-net)，该模型从全局-局部提取特征，使用空间注意力与密集块对不含云遥感影像进行道路信息提取；
[0036]
步骤6，sadu-net网络模型训练，利用空间注意力关注道路在空间上的连贯性，密集块对上下文关系的传递性对sadu-net网络模型进行训练；
[0037]
步骤7，sadu-net网络模型性能评估；
[0038]
步骤8，结合不含云完整的道路信息与open street map数据对含云部分进行预测，拼接后生成完整的道路信息分割图。
[0039]
于本发明，可以完成云层下的道路信息提取，有助于实现路网的及时更新。
[0040]
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或超越所附权利要求书所定义的范围。