一种遥感影像中矿区自动语义分割方法与流程

本发明涉及目标自动检测和深度学习技术领域，具体涉及一种遥感影像中矿区自动语义分割方法。

背景技术：

对某地多源、多时相遥感影像进行矿区目标语义分割，可快速直观地检测其时空变化，有利于分析采矿区时空变化特征，可为矿产资源的可持续性开发提供了及时的、客观的、准确的技术支持和详细科学资料，同时也为矿业城市的治理和转型以及“绿色城市”的规划和建设提供科学的依据。因此，影像矿区目标语义分割具有重要的意义。

目前主要有目视解译、基于像元以及面向对象等遥感影像目标语义分割方法。目视解译方法工作效率低，需要解译人员具有一定的专业知识，且主观性较强，基于像元的目标语义分割和面向对象的目标语义分割方法难以适应海量数据，其所依赖的特征表达是通过人工设计的，非常耗时，并且强烈依赖于专业知识和数据本身的特征，很难从海量的数据中学习出一个有效的分类器以充分挖掘数据之间的关联。基于此，本发明设计了一种遥感影像中矿区自动语义分割方法，以解决上述问题。

技术实现要素：

本发明的目的在于提供一种遥感影像中矿区自动语义分割方法，以解决上述背景技术中提出的现有方法效率低的问题。

为实现上述目的，本发明提供如下技术方案：一种遥感影像中矿区自动语义分割方法，其特征在于：所述具体步骤如下：

步骤一、建立训练样本集

(1)获取矿区的遥感影像，并人工勾绘出矿区的边界，形成边界栅格文件；

(2)利用arcgis生成448*448、512*512两种尺度的渔网；

(3)采用生成的两种所述渔网对所述矿区的遥感影像进行批量裁剪，生成不同尺寸的影像块，作为深度学习网络的输入数据；

(4)通过所述渔网对影像中的矿区栅格边界文件进行裁剪，生成每个矿区影像块对应的边界文件，作为网络的标签数据；

步骤二、矿区分割构建模型

构建结合densenet网络和resnet网络两种网络相结合的混合网络den-resnet；

所述den-resnet主要包括输入层input、卷积层、由两个以上卷积层组成的dense层、窗口大小为2×2的均值池化层、跳跃残差连接层，特征叠加层、特征上采样层以及二分类层；

步骤三、矿区分割模型训练

随机从所述步骤一构建的样本集中抽取80％的数据作为训练集；将所述训练集中的矿区遥感影像块作为所述步骤二构建网络的输入数据，经过网络的所述卷积层、dense层、均值池化层、跳跃残差连接层的降采样后，得到矿区影像高度抽象的特征层，然后经过上采样以及所述dense层、跳跃残差连接层、soft-max层后得到输出结果，将结果与所述训练集中的标签数据组成交叉熵并结合误差后向传播机制调整网络的权值，重复进行训练并结合剩下20％数据进行交叉训练直至网络收敛，得到最优的深度学习网络；

步骤四、待识别影像分割

将待进行语义分割的所述矿区的遥感影像输入训练好的网络，得到语义分割的结果。

优选的，所述卷积层的卷积核大小为7×7，步长为2。

优选的，所述卷积层卷积过程中加入类似于resnet的skipconnection。

优选的，所述dense层采用卷积核大小为3×3的卷积层构成。

优选的，所述特征上采样层采用3×3卷积核，与卷积过程相反。

优选的，所述特征上采样层后将得到的图像与降采样中池化后的特征图进行叠加后进行dense层的卷积。

与现有技术相比，本发明的有益效果是：本发明通过混合网络den-resnet在保留特征完整性的同时能够对提取的特征进行高度抽象，可以采用其解决densenet网络的特征冗余问题，工作效率高，能够自动的进行语义分隔，准确度高。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明遥感影像矿区语义分割的流程图。

图2为图像卷积。

图3为遥感影像矿区语义分割的den-resnet网络图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

请参阅图1-3，本发明提供一种技术方案：一种遥感影像中矿区自动语义分割方法，所述具体步骤如下：

步骤一、建立训练样本集

(1)获取矿区的遥感影像，并人工勾绘出矿区的边界，形成边界栅格文件；

(2)利用arcgis生成448*448、512*512两种尺度的渔网；

(3)采用生成的两种所述渔网对所述矿区的遥感影像进行批量裁剪，生成不同尺寸的影像块，作为深度学习网络的输入数据；

(4)通过所述渔网对影像中的矿区栅格边界文件进行裁剪，生成每个矿区影像块对应的边界文件，作为网络的标签数据；

步骤二、矿区分割构建模型

构建结合densenet网络和resnet网络两种网络相结合的混合网络den-resnet；

所述den-resnet主要包括输入层input、卷积层、由两个以上卷积层组成的dense层、窗口大小为2×2的均值池化层、跳跃残差连接层，特征叠加层、特征上采样层以及二分类层；

步骤三、矿区分割模型训练

随机从所述步骤一构建的样本集中抽取80％的数据作为训练集；将所述训练集中的矿区遥感影像块作为所述步骤二构建网络的输入数据，经过网络的所述卷积层、dense层、均值池化层、跳跃残差连接层的降采样后，得到矿区影像高度抽象的特征层，然后经过上采样以及所述dense层、跳跃残差连接层、soft-max层后得到输出结果，将结果与所述训练集中的标签数据组成交叉熵并结合误差后向传播机制调整网络的权值，重复进行训练并结合剩下20％数据进行交叉训练直至网络收敛，得到最优的深度学习网络；

步骤四、待识别影像分割

将待进行语义分割的所述矿区的遥感影像输入训练好的网络，得到语义分割的结果。

其中，卷积层的卷积核大小为7×7，步长为2，方便更好地提取其特征，得到的特征图像尺寸为原图像尺寸的1/2，卷积层卷积过程中加入类似于resnet的skipconnection，一方面对图像进行了高度抽象，另一方面，可以避免卷积层过多引起的梯度弥散现象，dense层采用卷积核大小为3×3的卷积层构成，对提取的特征进行了很好的复用，特征上采样层采用3×3卷积核，与卷积过程相反，特征上采样层后将得到的图像与降采样中池化后的特征图进行叠加后进行dense层的卷积，特征图的叠加主要是为了利用图像的低层特征，而dense层能对上采样后的图像进行特征更好提取的同时复用低层特征。

本实施例的一个具体应用为：

1：影像训练集制作

(1)搜集矿区遥感影像，并对影像中的矿区边界进行人工标注，形成矿区边界栅格文件；

(2)采用arcgis生成448*448、512*512两种尺度的渔网；

(3)采用(2)生产的渔网文件对矿区影像及对应的边界文件进行批量裁剪，并一一对应；

(4)为了增加样本的多样性，将(3)一一对应的影像及对应矿区边界图像对同时进行旋转，大小调整等操作，得到训练图片以及对应的标签。并将训练图片表示为x1、x2、…、xn，对应的标签表示为y1、y2、…、yn。

2：网络模型训练

已有的densenet网络可以对多层特征进行复用，在图像语义分割中有着较好的表现，但随着dense层的增加，将会出现严重的特征冗余。resnet由于在网络中加入了残差连接，虽然resnet因其采用了残差连接，在实现了特征完整性的保留的同时能够对提取的特征进行高度抽象，可以采用其解决densenet网络的特征冗余问题。因此构建结合两种网络相结合的混合网络den-resnet。

为了更好的理解网络模型，首先对图像卷积进行说明：

图像卷积的目的是提取图像的特征，得到图像特征图(如图2)，设输入图像为x，其尺寸为h_in×w_in，通道数为c_in，通过m_c个h_k×w_k的卷积核进行卷积运算后，生成m_c个h_out×w_out的特征图，特征图尺寸计算公式如式一所示

h_out＝(h_in+2*h_pad-h_k)÷h_str+1

w_out＝(w_in+2*w_pad-w_k)÷w_str+1式一

其中，h_pad、w_pad表示填充尺寸，实际操作中，有same方式的填充，在该种情况下，卷积后特征图的尺寸与原图保持一致，h_str、w_str为对应的卷积核移动步长，生成的特征图(i，j)处的像素值为：

遥感影像矿区语义分割网络模型如图3所示，接下来详细说明结合训练数据进行模型训练。

(1).在1生成的数据集中随机抽选80％的数据作为网络训练的数据，首先对两种尺寸的图像进行卷积核大小7×7、步长为2的卷积，该层的主要作用是对图像进行特征提取，由于输入图像尺寸较大，为了更好地提取其特征，故采用较大的感受野，同时，卷积步长为2，故得到的特征图像尺寸为原图像尺寸的1/2。

(2).将(1)提取的特征图像输入两个交替的dense层(由两个3×3的卷积层组成)和均值池化层后得到特征图像后，再将特征图像输入一个dense层(由三个3×3的卷积层组成)。其中，dense层由于每一层与前面各层都连接，因此对提取的特征进行了很好的复用，均值池化层在减少图像冗余信息的同时能较好地降低计算维度。

(3).对(2)的输出特征图像进行池化后再进行两种不同的卷积操作，第一种直接进行3×3的卷积，第二种进行3个3×3的卷积，并将两种卷积操作得到的结果进行跳跃连接。对卷积得到的特征图像继续上述操作。上述卷积层的主要目的是，由于需要对图像进行高度抽象，因此仅仅进行(1)、(2)中的卷积操作不足以提取到足够的信息，因此需要继续对特征图进行卷积操作，但过多的dense层会造成严重的特征冗余，因此在对图像进行卷积时加入类似于resnet的skipconnection，一方面对图像进行了高度抽象，另一方面，可以避免卷积层过多引起的梯度弥散现象。

(4).经过(1)、(2)、(3)，得到了高度抽象的图像特征，特征图像尺寸变为输入图像的1/32，为了对图像进行语义分割，需要将图像尺寸逐步变为原始图像尺寸，首先对特征图像进行第一次上采样，将第一次上采样得到的特征图像与降采样中池化后得到的特征图像进行叠加，主要是为了更好地利用低层地图像特征。

(5).对(4)中叠加后的图像特征进行类似于(3)的两种卷积操作后进行跳跃连接，主要是为了对上采样后的图像进行特征提取，同时避免了梯度弥散。

(6).将(5)中得到的特征图像进行四次上采样，且每次上采样后将得到的图像与降采样中池化后的特征图进行叠加后进行dense层的卷积。特征图的叠加主要是为了利用图像的低层特征，而dense层能对上采样后的图像进行特征更好提取的同时复用低层特征。

(7).最后对(6)中得到的图像进行卷积操作，得到的图像的尺寸与原图尺寸一致，且通道数为2，分别表示图像背景与矿区，结合步骤1中生成对应影像的矿区边界标签，采用soft-max层建立网络的误差函数，并利用误差后向传播机制对网络各层的权值进行更新直到误差收敛。

3：网络测试

将1中剩余20％的数据作为训练网络的测试数据。将裁剪后的影像作为输入数据输入训练好的网络，得到矿区边界结果，并与真实的矿区边界进行对比，得到网络的准确度。

在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。