基于U形CNN模型实现遥感图像的建筑实例掩模提取方法与流程

本发明涉及高分辨率遥感影像建筑物实例提取技术领域，更具体地说，涉及一种基于多尺度和多任务的u形cnn模型来实现遥感图像的建筑物实例掩模提取方法。

背景技术：

基于高分辨率遥感的抽象建筑物提取传感图像已被广泛用于通过深度学习自动测量和绘图。由于以下问题，它仍然是一项重要且具有挑战性的任务，一方面是由于目前的语义分割方法不能够从具有变异尺度的地籍数据库中有效地提取单个建筑物的掩模；另一方面是当卷积层变得更深时，现有的完全卷积网络难以使用有限的可用训练集获得精确的掩模。

技术实现要素：

本发明要解决的技术问题在于，针对上述缺陷，提供一种利用多尺度u形cnn模型来实现遥感图像的建筑掩模提取方法，精确地实现具有不同尺度的每个单个建筑物掩模。

本发明解决其技术问题所采用的技术方案是：构造一种基于u形cnn模型实现遥感图像的建筑实例掩模提取方法，包括以下三个步骤：

s1、多尺度融合u形网络对输入遥感图像数据进行预处理；

s2、将步骤s1预处理得到的数据输入到三个预训练resnet模型中，得到三张尺度不同的特征信息图；

s3、对步骤s2得到的三张尺度不同的特征信息图进行两次级联融合操作，将三张尺度不同的特征信息图融合为复合特征信息图；

s4、将步骤s3得到的复合特征信息图输入到u形反卷积网络中进行特征学习，进一步得到输入遥感图像数据的第一全局特征图；

s5、将步骤s4得到的第一全局特征图输入到区域建议关注网络中进行建筑物区域边界框提取，得到每个建筑物区域的局部特征图；

s6、将步骤s5得到的每张局部特征图分别输入到基于边缘约束损失-ecl的多任务学习网络中，计算上述局部特征图的联合混合损失值l；

s7、根据得到的联合混合损失值l优化所述多尺度融合u形网络、区域建议关注网络和基于ecl的多任务学习网络的网络参数，并返回至步骤s5，期间重复执行步骤s5-s7，直到步骤s6中输出的联合混合损失值l收敛时，进一步执行步骤s8；

s8、从所述第一全局特征图中提取建筑掩模。

进一步的，步骤s1中通过2倍上采样、原尺度和2倍下采样预处理操作，将输入的遥感图像数据处理成三个并行分支；其中：

第一个分支为2x输入流，第二个分支为1x输入流，第三个分支为0.5x输入流。

进一步的，步骤s2中，所述第一个分支输入到3个串联的预训练残差卷积单元中得到第一尺度特征信息图；所述第二分支输入到2个串联的预训练残差卷积单元中得到第二尺度特征信息图；所述第三分支输入到1个预训练残差卷积单元中得到第三尺度特征信息图。

进一步的，所述2x输入流用于将输入的图像插值为2倍大小；所述1x输入流用于保持图像的原始大小；所述0.5x输入流用于将输入的图像降采样为0.5倍大小。

进一步的，步骤s3中使用2个级联的特征拼接和1*1卷积将第一尺度特征信息图、第二尺度特征信息图和第三尺度特征信息图融合为复合特征信息图。

进一步的，步骤s4中使用的u形反卷积网络用于对复合特征信息图进行建筑物的第一全局特征提取；所述u形反卷积网络共包括4个网络块，其中，每个网络块均包括上采样层和反卷积层，在每个网络块的辅助作用下，进一步输出第一全局特征图。

进一步的，步骤s6中基于ecl的多任务学习网络引入了ecl边缘约束损失来增强实例边界的响应用以提取更精确的建筑物掩码，并且所述基于ecl的多任务学习网络中通过计算输入图像的分类损失值lcls、边界框损失值lbbox、掩模损失值lseg和ecl损失值ledge，来进一步求解输入图像的联合混合损失值l，并通过计算得到的联合损失值l来进一步优化整个网络的网络参数；其中，联合混合损失值l的计算公式为：

l＝lcls+λ1plbbox+λ2plseg+λ3pledge；

其中，p∈{0，1}，λ1、λ2和λ3分别为用于平衡加权因子。

进一步的，所述分类损失值lcls和边界框损失值lbbox是基于选定的局部特征图计算得到的，所述掩模损失值lseg和ecl损失值ledge是基于所有的局部特征图计算得到的。

在本发明所述的建筑掩模提取方法中，以实例分割方式实现高分辨率遥感图像不同尺度的精确建筑掩模提取。

实施本发明提供的一种基于多尺度u形cnn模型实现遥感图像的建筑掩模提取方法，具有以下有益效果：

1、所述建筑掩模提取方法利用多尺度融合u形网络可以融合不同尺度的特征来提取具有不同尺度的建筑物的掩模；

2、采用基于ecl的多任务网络可以通过优化联合ecl和多任务丢失来快速收敛整个网络，从而抑制有限可用训练数据中的过度补偿；

3、本发明在不同尺度上已经实现了优异的性能和强大的鲁棒性，在多种数据集上的精度显著提高。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1为本发明实施例的高分辨率遥感影像建筑物提取流程图。

图2为本发明实施例的模型架构图。

图3为本发明实施例的多尺度融合u形网络的示意图。

具体实施方式

为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。

请参考图1和图2，其分别为本发明实施例的高分辨率遥感影像建筑物提取流程图和本发明实施例的模型架构图，具体包括以下步骤：

s1、多尺度融合u形网络对输入遥感图像数据进行预处理；所述预处理包括2倍上采样、原尺度和2倍下采样预处理操作，通过所述预处理操作将输入的遥感图像数据处理为三个并行的输入流，分别为：2x输入流、1x输入流，和0.5x输入流；；其中，所述2x输入流用于将输入的图像插值为2倍大小；所述1x输入流用于保持图像的原始大小；所述0.5x输入流用于将输入的图像降采样为0.5倍大小。

s2、将步骤s1预处理得到的数据输入到三个预训练resnet模型中，得到三张尺度不同的特征信息图；其中：

所述2x输入流输入到3个串联的预训练残差卷积单元中得到第一尺度特征信息图；所述1x输入流输入到2个串联的预训练残差卷积单元中得到第二尺度特征信息图；所述0.5x输入流输入到1个预训练残差卷积单元中得到第三尺度特征信息图。

s3、对步骤s2得到的三张尺度不同的特征信息图使用2个级联的特征拼接和1*1卷积操作，将三张尺度不同的特征信息图融合为复合特征信息图。

s4、将步骤s3得到的复合特征信息图输入到u形反卷积网络中进行特征学习，进一步得到输入遥感图像数据的第一全局特征图；其中：

所述u形反卷积网络共包括4个网络块，每个网络块均包括上采样层和反卷积层，在每个网络块的辅助作用下，进一步输出输入图像的第一全局特征图。

s5、将步骤s4得到的第一全局特征图输入到区域建议关注网络中进行建筑物区域边界框提取，得到每个建筑物区域的局部特征图。

s6、将步骤s5得到的每张局部特征图分别输入到基于边缘约束损失-ecl的多任务学习网络中，计算上述局部特征图的联合混合损失值l；其中：

所述基于ecl的多任务学习网络引入了ecl边缘约束损失来增强实例边界的响应用以提取更精确的建筑物掩码，并且所述基于ecl的多任务学习网络中通过计算输入图像的分类损失值lcls、边界框损失值lbbox、掩模损失值lseg和ecl损失值ledge，来进一步求解输入图像的联合混合损失值l，并通过计算得到的联合损失值l来进一步优化整个网络的网络参数；其中，联合混合损失值l的计算公式为：

l＝lcls+λ1plbbox+λ2plseg+λ3pledge；

其中，p∈{0，1}，λ1、λ2和λ3分别为用于平衡加权因子。本实施例中设置λ1＝1、λ2＝1、λ3＝1，所述分类损失值lcls和边界框损失值lbbox是基于选定的局部特征图计算得到的，所述掩模损失值lseg和ecl损失值ledge是基于所有的局部特征图计算得到的。上述联合混合损失值l的计算公式中：

分类损失值lcls的数学计算公式为：

其中，x是预测损失值，y是真实损失值；i是单个建筑和非建筑的类别，j是总类别；i＝1，...，j；

边界框损失值lbbox的数学计算公式为：

其中，ti为预测框的中心坐标及其宽度和高度(x，y，w，h)；为地面真实建筑的中心坐标及其宽度和高度。

掩模损失值lseg的数学计算公式为：

ecl损失值ledge的数学计算公式为：

其中，y是地面真实边界，是掩模的边界。

s7、根据得到的联合混合损失值l优化所述多尺度融合u形网络、区域建议关注网络和基于ecl的多任务学习网络的网络参数，并返回至步骤s5，期间重复执行步骤s5-s7，直到步骤s6中输出的联合混合损失值l收敛时，进一步执行步骤s8；

s8、从所述第一全局特征图中提取建筑掩模。

本发明实施例在训练的过程中使用了三种建筑分割数据集，即isprs2d语义标记挑战数据集，whu航空数据集和自注释建筑物实例分割数据集，使用分别在isprs数据集和自注释数据集上训练的模型来评估在whu航空数据集上的方法性能。

请参考图3，其为本发明实施例的多尺度融合u形网络示意图；其中，所述通过多尺度融合u形网络输出的三个支流包括3个并行分支和2个融合操作，在对3个并行分支进行融合操作的时候，不同分支的特征映射即fusion1和fusion2的融合，具体为第一个分支的resnetblock-2和第二个分支的resnetblock-1融合，第一个分支的block-3、第二个分支的block-2和第三个分支的block-1融合，其中，融合的输出结果由求和运算产生，且输出的是混合多尺度建筑环境特征；为了提高融合的效率和精度，本实施例中fusion1和fusion2网络的维数分别设为64和256。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。