基于EfficientNet网络和方向学习的遥感影像道路提取方法与流程

本发明涉及光学遥感影像处理与深度学习领域，具体涉及一种基于efficientnet网络和方向学习的遥感影像道路提取方法。

背景技术：

随着高空间分辨率光学遥感卫星技术的发展，遥感影像表现出其高空间分辨率，数据量大的特点，如何利用深度学习强大的特征表达能力提取遥感影像中的信息成为遥感图像识别领域重要问题。通过遥感影像道路提取的研究已经开展多年，但由于道路的材质和形状不同，同时加上树木、建筑、绿化带的遮挡的影响，使得通过遥感影像对道路精确提取成为技术难点。

传统基于深度学习和卷积神经网络的道路提取方法是：首先利用全卷积网络生成输入图片的特征，使用反卷积对特征图进行上采样，并将每一层图像特征与大小相同的特征进行拼接，最后根据所有的特征重建图像。

上述方法仍存在明显不足：1.对于输入复杂的遥感道路影像并不能精确的进行特征提取，图像的特征提取是语义分割的重要一个环节，其结果直接影响最后的分割精度。2.该方法道路提取结果往往会包含许多零散的道路片段，其原因是缺乏对连接关系的监督以及有效拓扑关系的约束。

技术实现要素：

本发明为解决现有技术中采用像素级语义分割道路提取不连续的问题，无法生成正确拓扑连接关系的问题，提供一种基于efficientnet网络和方向学习的遥感影像道路提取方法。

基于efficientnet网络和方向学习的遥感影像道路提取方法，由以下步骤实现：

步骤一、获取遥感道路图像数据集，并对所述图像数据集进行划分，获得训练集和验证集；

步骤二、将步骤一的图像数据集中rgb图像输入到efficientnet-b4网络，获得图像中道路的特征信息；

步骤三、将步骤二中获得的特征信息进行双分支上采样，分别为语义分割和方向学习；将语义分割和方向学习同时进行上采样，并融合下采样时的浅层特征信息，获得基于efficientnet网络和方向学习的双分支训练模型；

步骤四、采用步骤一中的训练集对步骤三获得的训练模型进行训练，获得预测模型；

步骤五、采用步骤一中的验证集对预测模型进行预测，实现图像中的道路提取。

本发明的有益效果：本发明基于efficientnet网络和方向学习的遥感影像道路提取的方法。集成了方向学习和语义分割共享编码器下采样的设计，提高了道路提取的精度。

(1)采用efficientnet-b4网络模型进行下采样，并在上采样中融合浅层的特征信息减少了特征的丢失，进而提高了语义分割道路提取的精度。

(2)加入了方向学习的分支，解决了传统的像素级分割道路提取不连续的问题。

附图说明

图1为本发明的流程示意图；

图2为本发明的网络结构图；该网络模型由三部分组成：共享编码器，语义分割分支，方向学习分支。对于输入的图像，通过共享编码器获得图像道路的特征信息，采用多分支任务对特征信息进行上采样，分别得到语义分割分支和方向学习分支的预测结果，最后将两者结果相加融合。

图3为本发明在建筑遮挡情况下3×1024×1024遥感影像的分割效果图；其中，(a)为原始影像，(b)为真实标签，(c)为语义分割预测影像，(d)为方向学习预测影像，(e)为融合影像；

图4为本发明在植被遮挡情况下3×1024×1024遥感影像的分割效果图；其中，(a)为原始影像，(b)为真实标签，(c)为语义分割预测影像，(d)为方向学习预测影像，(e)为融合影像。

具体实施方式

结合图1至图3说明本实施方式，基于efficientnet网络和方向学习的遥感影像道路提取方法，该方法由以下步骤实现：

基于efficientnet网络和方向学习的遥感影像道路提取方法，包括以下步骤：

步骤1、制作基于deepglobe(全球卫星图像道路提取)遥感道路数据集，具体为：

对deelglobe数据集进行数据集划分，其中训练集图片数量为4696，验证集图片数量为1530，图片大小1024×1024；

将训练集和验证集进行数据扩充，对每张图片进行裁剪，其中裁剪大小为512×512，裁剪重叠区域为256，进而得到训练集数量为42264，验证集数量为6120。

步骤2、将步骤1中的rgb图像输入到efficientnet-b4网络得到图像的特征信息；

步骤2.1、生成方向学习标签图像，其中方向向量数量设为30，判定方向角度为10，道路宽度设为7；

步骤2.2、具体步骤1中，3通道rgb图像大小为512×512×3，真实标签大小为512×512×1，方向标签大小为512×512×1，并输入到efficientnet-b4网络中

步骤2.3、设置第一层模块，卷积核大小为3×3，步长为2，特征数为48；

步骤2.4、设置第二层模块，结构为一层的mbconv，mbconv卷积核大小为3×3，特征数为24，步长为1；

步骤2.5、设置第三层模块，结构为两层的mbconv，mbconv卷积核大小为3×3，特征数为32，步长为2；

步骤2.6、设置第四层模块，结构为两层的mbconv，mbconv卷积核大小为5×5，特征数为56，步长为2；

步骤2.7、设置第五层模块，结构为三层的mbconv，mbconv卷积核大小为3×3，特征数为112，步长为2；

步骤2.8、设置最后网络层，结构为八层的mbconv，mbconv卷积核大小为5×5，步长为2，提取特征图大小为16×16，特征数为1792。

步骤3、将步骤2中的特征信息进行双分支的上采样，分支1为语义分割，分支2为方向学习。将分支1、分支2同时进行上采样，并融合下采样时的浅层特征信息，得到基于efficientnet网络和方向学习的双分支训练模型；

步骤3.1、具体步骤2.8中，将特征图为16×16×1792进行双分支上采样，分支1为道路分割，分支2为方向学习；

步骤3.2、将两个分支同时做上采样操作，通过反卷积将特征图恢复为32×32×512；分支1首先做膨胀系数分别为1、2、4的空洞卷积，之后通过跳跃连接融合步骤2.7的特征，接着做2次3×3的卷积，将特征图调整为32×32×512；分支2通过跳跃连接融合步骤2.7的特征，接着做2次3×3的卷积，将特征图调整为32×32×512；

步骤3.3、两个分支通过反卷积进行上采样操作，并将每层与下采样大小相同的模块层输出拼接，接着进行卷积操作，最后得到上采样每一层的大小为：64×64×256，128×128×128，256×256×64，512×512×32；

步骤3.4、同时对两个分支最后一层做卷积操作，分支1用sigmoid激活函数得到大小为512×512×1的输出，分支2用softmax归一化得到512×512×30的输出；

步骤3.5、将分支1的输出和真实标签值代入交叉熵损失函数(loss1)，并将分支2的输出和方向标签值代入交叉熵损失函数(loss2)，并对模型进入训练。

步骤4、对deepglobe遥感道路数据集使用上述模型进行训练；

步骤4.1、程序将在cpu为intelskylake6151，gpu为2*nvidiat4/2*16g，操作系统为ubuntu的机器上运行，使用python版本为3.6，torch版本为1.7.1；

步骤4.2、对数据集进行训练时超参数如下，初始学习速率learning_rate＝0.001，优化器rmsprop，批尺寸batch_size＝8，训练代数epochs＝80，语义分割类别n_classes＝1，方向学习类别n_classes＝30；

步骤4.3、每次迭代后，保存当前最优的miou(交并比)模型；

步骤5、将训练得到的模型参数作为预测模型，实现图像的道路提取。

步骤5.1、对于每一张验证集(3×1024×1024)原图像使用训练后的模型进行测试，设置语义分割的输出阈值为0.5，得到语义分割的二分类输出；

步骤5.2、设置方向学习的输出阈值为30，得到方向学习的二分类输出；

步骤5.3、将步骤5.1和步骤5.2输出结果进行相加融合，得到最终道路提取结果。

结合图3和图4说明本实施方式，图3和图4中，其(a)为原始影像，(b)为真实标签，(c)为语义分割预测影像，(d)为方向学习预测影像，(e)为融合影像。可以看出，采用语义分割分支和方向分支融合的方式能够有效的改善道路提取的精度，并能够保持道路的连通性和拓扑性。