一种基于三维空间-通道注意力机制的遥感影像滑坡自动探测方法与流程

本发明涉及一种基于三维空间-通道注意力机制的遥感影像滑坡自动探测方法，该方法能够有效地从遥感影像中自动发现和识别滑坡，可用于滑坡灾害的预防和灾后重建、更新滑坡数据库等。

背景技术：

滑坡是一种常见的自然灾害，它对自然环境和人民生命财产安全构成严重的威胁，滑坡探测识别可为滑坡灾害的防治工作提供重要的数据支撑。在早期，滑坡数据主要是通过外业工作人员实地考察获得，这种滑坡探测方法费时费力且危险性大。随着对滑坡性质研究的深入，一些自动的滑坡探测方法逐渐被提出，主要可分为基于光学遥感影像的滑坡探测方法与基于微波遥感技术的滑坡探测方法两类。基于光学影像的方法主要依据影像中滑坡特殊的纹理，色调和几何形态等典型特征来识别滑坡，而基于微波遥感的方法则主要是通过识别地表的微小形变来发现滑坡。传统的基于光学遥感影像的滑坡探测方法依赖于各种人工设计的特征来识别和判断滑坡。但由于遥感影像上不同滑坡间的光学特征差异大，具体到每个滑坡实例的色调、几何形状、纹理、阴影和图形各不相同。因此，利用人工设计特征的方法来探测识别滑坡，识别准确率不高，算法的泛化性能差，滑坡探测效果不理想。近年来，深度学习中的卷积神经元网络在图像分类、目标检测、语义分割等影像处理相关的任务中都展现出了强大的性能。因此，也有少量研究人员利用卷积神经网络进行滑坡探测方面的研究。但这些研究都还处于起步阶段，只有几个简单的网络模型被设计和尝试。使用更加复杂的网络结构和采用更有针对性的设计是提高滑坡探测精度的有效方法。对于滑坡探测任务来说，如何让模型更好地关注和学习到滑坡的本质特征是设计自动滑坡探测模型的出发点。

技术实现要素：

本发明针对现有的基于卷积神经网络的滑坡探测方法在结构设计方面的不足，提出了一种基于卷积神经网络的三维空间-通道注意力机制，它能够被集成到各种现有的网络框架中，帮助网络模型在训练过程中自适应地关注和强调滑坡的本质特征，从而获得更高精度的滑坡探测结果。

实现本发明目的采用的技术方案是：步骤1，构建基于三维空间-通道注意力机制的卷积神经网络(3dspatial-channelattentionboostedconvolutionalneuralnetwork,3dscab-cnn)，该网络用于学习遥感影像上各种滑坡的特征；步骤2，利用包含滑坡实例的遥感影像数据构建样本库，在样本库上训练网络模型；然后利用训练好的网络模型对新的遥感影像进行预测，可实现遥感影像上滑坡的自动探测识别。

进一步的，步骤1所述的基于三维空间-通道注意力机制的卷积神经网络包括主干网络(backbonenetwork)和三维空间-通道注意力模块(attentionmodule)两个部分。主干网络部分可使用当前流行的残差网络(residualnetwork,resnet)或者残差网络的各种变体网络等。三维空间-通道注意力模块的计算过程包含三个步骤，初始三维空间-通道注意力图生成，三维空间-通道注意力图自适应权重调整和最终三维空间-通道注意力图生成。初始三维空间-通道注意力图生成部分由空间方向上的全局平均池化层(globalaveragepoolinglayer)、全局最大池化层(globalmaximalpoolinglayer)、通道方向上的全局平均池化层(globalaveragepoolinglayer)、全局最大池化层(globalmaximalpoolinglayer)组成。三维空间-通道注意力图自适应权重调整部分由两个不共享权重的卷积模块(convolutionmodule)组成，这两个不共享权重的卷积模块具有相同的结构，都包含5个卷积层(convolutionlayer)。最终三维空间-通道注意力图生成部分由1个逐点相加操作(element-wiselysummationoperation)和1个sigmoid激活函数组成。

进一步的，所述的初始三维空间-通道注意力图生成部分由并行的两组池化层(poolinglayer)组成。其中，第一组池化层包含一个空间方向上的全局最大池化(globalmaximalpooling)和一个通道方向上的全局最大池化，两个池化操作采用并行的结构，然后将两个池化层输出的结果缩放到相同的尺寸并进行相乘，获得一个最大池化的初始三维空间-通道注意力图；另一组池化层包含一个空间方向上的全局平均池化(globalaveragepooling)和一个通道方向上的全局平均池化，这两个池化操作也采用并行的结构，然后将两个池化操作输出的结果缩放到相同的尺寸并进行相乘，获得一个平均池化的初始三维空间-通道注意力图。这一部分所使用的空间方向上的全局池化操作将输入特征图(featuremap)的空间维度压缩为1维，通道方向上的全局池化操作将输入特征图的通道维度压缩为1维。

进一步的，所述的三维空间-通道注意力图自适应权重调整部分由两个结构相同的卷积模块组成，模块中可训练的卷积核参数在主干网络训练的同时自动的学习各种滑坡的关键特征。这两个卷积模块分别将初始三维空间-通道注意力图生成部分输出的最大池化的初始三维空间-通道注意力图和平均池化的初始三维空间-通道注意力图作为输入。这两个结构相同的卷积模块都由三个子模块组成。第一个子模块包含一个1×1的卷积操作(convolution)和一个修正线性单元(rectifiedlinearunit,relu)，其中卷积操作使用的卷积核的数量为输入特征图通道数量的1/16，用于对输入特征图进行降维，减少后续操作需要的计算负担。第二个子模块由三个并行的卷积+修正线性单元组成，三个卷积所使用的卷积核的尺寸大小分别为1×1、3×3、7×7，每个卷积使用的卷积核数量与第一个子模块中卷积使用的卷积核数量一致。在第二个子模块中同时使用不同感受野尺寸大小的卷积核能够保证输入中包含的上下文信息在这一阶段被有效地利用。第二个子模块的三个并行的卷积+修正线性单元的输出结果被串联，然后输入第三个子模块。第三个子模块由一个1×1的卷积和一个修正线性单元组成，卷积操作使用的卷积核的数量与原始输入特征图的通道数量一致，用于将权重调整后的三维空间-通道注意力图的维度提升到与原始输入特征图的大小一致。

进一步的，所述的最终三维空间-通道注意力图生成部分包含1个逐点相加操作(element-wiselysummationoperation)和1个sigmoid激活函数。即先将三维空间-通道注意力图自适应权重调整部分中两个结构相同的卷积模块的输出进行逐点相加，获得一个融合后的三维空间-通道注意力图。然后再将它输入到一个sigmoid激活函数中进行激活运算，从而获得最终的三维空间-通道注意力图。将最终生成的三维空间-通道注意力图对主干网络中的原始特征图进行逐点相乘，可以调整网络中原始特征图的权重分布，帮助主干网络更好地突出强调滑坡的关键特征，有效地将滑坡目标与其他各种复杂的背景以及干扰环境区分开，从而改善主干网络进行滑坡探测的性能。需要特别注意的是，与其他现有的注意力机制方法调整主干网络中特征图所不同的是，三维空间-通道注意力模块将被放置到残差网络的最后一个残差模块中，使用生成的三维空间-通道注意力图调整残差模块中“隐藏层”(非一致性分支)输出的特征图。

步骤2，利用遥感影像数据进行滑坡样本标注并构建样本库，在样本库上训练网络模型。然后利用训练好的网络模型对新的遥感影像进行预测，实现遥感影像上滑坡目标的定位和精确识别。

进一步的，步骤2的具体实现包括如下子步骤，

步骤2.1，在遥感影像上标记滑坡样本。将作为训练数据的遥感影像内的全部滑坡样本实例标记出来，使用多边形矢量沿着滑坡样本的边缘进行标记，确保每个滑坡实例的多边形边缘矢量边缘更可能准确和可靠，且影像中没有遗漏而未标记的滑坡样本。

步骤2.2，滑坡影像样本裁剪与标签制作。对于作为训练数据的遥感影像内的每个滑坡样本，将它往四周扩充一定的范围以包含一定量的背景区域，如统一外扩40米等。然后按照扩展后的范围使用最小外接矩形裁剪遥感影像中的每个滑坡实例，将这些裁剪出的滑坡样本全部放入一个文件夹，这个文件夹对应的标签记为滑坡。

步骤2.3，遥感影像负样本选择与裁剪。在作为训练数据的遥感影像内选择一些不包含滑坡的区域，将其作为负样本。这些负样本应尽量涵盖多样化的场景，如村庄、河流、道路、电线、山区、农田等，以及一些类似滑坡的干扰区域，如采石场等。将这些负样本也用外接矩形裁剪出来，全部放入一个标记为非滑坡的文件夹中，作为训练数据中与滑坡样本相对应的负样本。

步骤2.4，裁剪对应的数字高程模型(digitalelevationmodel，dem)数据，可选。若有与训练数据相对应的数字高程模型数据，则可在裁剪滑坡实例样本与负样本时，按照相同的范围同时对数字高程模型影像进行裁剪，将其分别作为训练和测试过程的辅助数据，一起输入网络中进行训练和测试。

本发明具有如下优点：1)不需要复杂的手工设计特征的过程，通过简单的、端到端的可训练模型，可完成遥感影像上滑坡目标的定位和精确识别。2)可复用性强，可以在附加数据上继续进行模型的训练，可以用于连续在线学习，可持续不断迭代优化。3)具有可扩展性，训练好的神经元网络模型经过调整，可应用于其他用途，如基于遥感影像的滑坡灾害动态监测，基于遥感影像的滑坡灾害敏感性制图等。4)鲁棒性强，对于遥感影像上各种复杂和隐蔽的滑坡样本也可以取得很好的识别结果。

附图说明

图1是本发明的样本库构建流程图。

图2是本发明提出的三维空间-通道注意力机制的结构示意图。

图3是本发明提出的三维空间-通道注意力机制中的卷积模块的结构设计图。

图4是本发明提出的三维空间-通道注意力机制嵌入到一个残差模块中的结构示意图。

具体实施方式

下面通过实施例，并结合附图，对本发明的技术方案作进一步的具体说明。

本发明提供的一种基于卷积神经网络的三维空间-通道注意力机制的遥感影像滑坡自动探测方法，包括如下步骤：

步骤1，构建基于三维空间-通道注意力机制的卷积神经网络(3dspatial-channelattentionboostedconvolutionalneuralnetwork,3dscab-cnn)，该网络用于学习遥感影像上各种滑坡的特征；本发明所提出的基于三维空间-通道注意力机制的卷积神经网络包括主干网络(backbonenetwork)和三维空间-通道注意力模块(attentionmodule)两个部分。主干网络部分可使用当前流行的残差网络(residualnetwork,resnet)或者残差网络的各种变体网络等。

如图2和图3所示，三维空间-通道注意力模块的计算过程包含三个步骤，初始三维空间-通道注意力图生成，三维空间-通道注意力图自适应权重调整和最终三维空间-通道注意力图生成。首先，三维空间-通道注意力模块的输入是大小为c×h×w的特征图(即图2中的inputfeaturemap)，c表示特征图的通道数量，h是特征图的长度，w是特征图的宽度。初始三维空间-通道注意力图生成部分由空间方向上全局池化(即图2中的spatialpool，池化后特征图的大小变为c×1×1)和通道方向上的全局池化(即图2中的channelpool,池化后特征图的大小变为1×h×w)组成。然后将空间方向上全局池化的输出和通道方向上全局池化的输出扩展到相同的维度后，进行逐点相乘，得到初始的三维空间-通道注意力图(即图2中的3ds&cdescriptor,维度大小为c×h×w)。三维空间-通道注意力图自适应权重调整部分由两个不共享权重的卷积模块(convolutionmodule)组成，这两个不共享权重的卷积模块具有相同的结构，都包含5个卷积层(convolutionlayer)(即图2中的convblock,一个1×1卷积，然后接1×1、3×3、7×7三个并行的卷积，最后再接一个1×1卷积)。最终三维空间-通道注意力图生成部分将权重调整部分不共享权重的两个卷积模块的输出进行逐点相加操作(element-wiselysummationoperation)和sigmoid激活(即图2中的～○)，输出最终的三维空间-通道注意力图(即图2中的3ds&cattentionmap，维度大小为c×h×w)。下面对每个部分进行更加详细和完整的说明：

初始三维空间-通道注意力图生成部分由并行的两组池化层(poolinglayer)组成。其中，第一组池化层包含一个空间方向上的全局最大池化(spatialglobalmaximalpooling)和一个通道方向上的全局最大池化(channelglobalmaximalpooling)，两个池化操作采用并行的结构,然后将两个池化层输出的结果缩放到相同的尺寸并进行相乘，获得一个最大池化的初始三维空间-通道注意力图；另一组池化层包含一个空间方向上的全局平均池化(spatialglobalaveragepooling)和一个通道方向上的全局平均池化(channelglobalaveragepooling)，这两个池化操作也采用并行的结构，然后将两个池化操作输出的结果缩放到相同的尺寸并进行相乘，获得一个平均池化的初始三维空间-通道注意力图。这一部分所使用的空间方向上的全局池化操作将输入特征图(featuremap)的空间维度压缩为1维，通道方向上的全局池化操作将输入特征图的通道维度压缩为1维。

三维空间-通道注意力图自适应权重调整部分由两个结构相同的卷积模块组成，使用可训练的卷积核在主干网络训练的同时自动的学习各种滑坡的关键特征。这两个卷积模块分别将初始三维空间-通道注意力图生成部分输出的最大池化的初始三维空间-通道注意力图和平均池化的初始三维空间-通道注意力图作为输入。这两个结构相同的卷积模块都由三个子模块组成。第一个子模块包含一个1×1的卷积操作(convolution)和一个修正线性单元(rectifiedlinearunit,relu)，其中卷积操作使用的卷积核的数量为输入特征图通道数量的1/16(即图3中的通道缩减率r＝16)，用于对输入特征图进行降维，输出特征图大小为c/r×h×w，减少后续操作需要的计算负担。第二个子模块由三个并行的卷积+修正线性单元组成，三个卷积所使用的卷积核的大小分别为1×1、3×3、7×7，每个卷积使用的卷积核数量与第一个子模块中卷积使用的卷积核数量一致,都为c/r。在第二个子模块中同时使用不同感受野大小的卷积核能够保证输入中包含的上下文信息在这一阶段被有效地利用。第二个子模块的三个并行的卷积+修正线性单元的输出结果被串联，得到维度大小为3c/r×h×w的特征图，然后输入第三个子模块。第三个子模块由一个1×1的卷积和一个修正线性单元组成，卷积操作使用的卷积核的数量为c,即与原始输入特征图的通道数量一致，用于将权重调整后的三维空间-通道注意力图的维度提升到与原始输入特征图的大小一致。

最终三维空间-通道注意力图生成部分包含1个逐点相加操作(element-wiselysummationoperation)和1个sigmoid激活函数。即先将步骤2中两个结构相同的卷积模块的输出特征图进行逐点相加，获得一个融合后的三维空间-通道注意力图。然后再将它输入到一个sigmoid激活函数中进行激活运算，从而获得最终的三维空间-通道注意力图。将最终生成的三维空间-通道注意力图对主干网络中的原始特征图进行逐点相乘，可以调整网络中原始特征图的权重分布，帮助主干网络更好地关注到滑坡的关键特征，有效地将滑坡目标与其他各种复杂的背景以及干扰环境区分开，从而改善主干网络滑坡探测的性能。需要特别注意的是，与其他现有的注意力机制方法调整主干网络中特征图所不同的是，三维空间-通道注意力模块将被放置到残差网络的最后一个残差模块中，使用生成的三维空间-通道注意力图调整残差模块中“隐藏层”(非一致性分支)输出的特征图。

步骤2，利用遥感影像数据进行滑坡样本标注并构建样本库，在样本库上训练网络模型。然后利用训练好的网络模型对新的遥感影像进行预测，实现遥感影像上滑坡目标的定位和精确识别。如图1所示，具体实现包括如下子步骤：

步骤2.1，在遥感影像上标记滑坡样本。将作为训练数据的遥感影像内的全部滑坡样本实例标记出来，使用多边形矢量沿着滑坡样本的边缘进行标记，确保每个滑坡实例的多边形边缘矢量边缘更可能准确和可靠，且影像中没有遗漏而未标记的滑坡样本。

步骤2.2，滑坡影像样本裁剪与标签制作。对于作为训练数据的遥感影像内的每个滑坡样本，将它往四周扩充一定的范围以包含一定量的背景区域，如统一外扩40米等。然后按照扩展后的范围使用最小外接矩形裁剪遥感影像中的每个滑坡实例，将这些裁剪出的滑坡样本全部放入一个文件夹，这个文件夹对应的标签记为滑坡。

步骤2.3，遥感影像负样本选择与裁剪。在作为训练数据的遥感影像内选择一些不包含滑坡的区域，将其作为负样本。这些负样本应尽量包含多样化的场景，如村庄、河流、道路、电线、山区、农田等，以及一些类似滑坡的干扰区域，如采石场等。将这些负样本用外接矩形裁剪出来，全部放入一个标记为非滑坡的文件夹中，作为训练数据中与滑坡样本相对应的负样本。

步骤2.4，裁剪对应的数字高程模型(digitalelevationmodel，dem)数据，可选。若有与训练数据相对应的数字高程模型数据，则可在裁剪滑坡实例样本与负样本时，按照相同的范围同时对数字高程模型影像进行裁剪，将其分别作为训练和测试过程的辅助数据，一起输入网络中进行训练和测试。

实施例：

首先按照本发明方法构建基于三维空间-通道注意力机制的卷积神经网络(步骤1)，即将如图4所示的注意力模块嵌入到已有的残差网络中。在网络的训练过程中，注意力模块的输入是网络内部的中间特征图，输出则是和输入大小相同的加权后的特征图，然后这个加权后的特征图再被输入原始网络中继续进行计算。这个过程简单来说就是对网络内部的一个中间的计算结果进行自适应加权。图4中的立方体表示的是不同的特征图，表示逐点相乘操作，表示逐点相加操作，则表示激活操作。完成网络的构建后，需要获取训练样本数据，并进行模型训练(步骤2)。图1展示了构建训练样本库的流程。遥感影像中包含的每个滑坡实例的大小不一致，往外扩展一定的范围后使用最小外接矩形进行裁剪得到的图像的尺寸大小也不一致。因此，在输入网络训练前，需要将每张裁剪出的正样本和负样本影像重采样到224像素×224像素大小。为了去除光照对遥感影像的影响，在将图像输入网络之前还需要对图像进行归一化处理，将所有图像中的像素值归一化到0-1之间。

获得训练样本后，对基于三维空间-通道注意力机制的卷积神经网络进行迭代训练，直到模型收敛得到最优参数。模型训练完成后，将待检测的新遥感影像(及相应的数字高程模型数据)进行裁剪，裁剪的步长为水平方向每次移动224像素，垂直方向每次移动224像素。然后利用训练好的模型对这些裁剪后的影像进行滑坡探测，即可得到每张影像中包含滑坡的可能性大小，记录下包含滑坡的影像，通过影像地理坐标可以恢复出滑坡所在的地理位置。

我们从卫星影像及对应的数字高程模型中手动裁剪出770个滑坡实例样本和2003个非滑坡样本进行本实施例的验证和分析。其中2/3的正样本和负样本用于对基于三维空间-通道注意力机制的卷积神经网络进行训练，余下1/3的正负样本用于网络模型的测试。为了证明本发明方法的有效性，我们选择了当前流行的resnet系列网络作为主干网络，对比不同的注意力机制方法的效果，包括压缩和激励机制(squeezeandexcitation,se),瓶颈注意力模块(bottleneckattentionmodule,bam),卷积块注意力模块(convolutionalblockattentionmodule,cbam)。为了通过控制变量来验证本发明的创新性与有效性，原始的主干网络也被进行比较。

从表1到表3列出的结果中可以发现，在加入各种注意力模块后，主干网络模型在测试集上的精度和f1值都得到了提升，这证明了注意力模块在滑坡探测任务中是非常有效的。从这些测试结果中也可以发现，与其他的注意力模块相比，本发明提出的三维空间-通道注意力机制模块帮助各种残差网络模型获得了性能上的更大提升，在测试集上四个评价指标都得到了有效地改善。加入本发明提出的三维空间-通道注意力机制模块后，resnet-18、resnet-50、resnet-101与基准网络相比，在f1值上分别提升了1.25％,1.74％,and1.25％；而与次优的注意力模块的结果相比，也分别提升了1％,1％,0.4％。此外，加入本文提出的3d空间-通道注意力模块后，resnet-50获得了所有测试结果中最高的f1值，在所有网络模型中表现最好。

与这些已有方法的对比证明了本发明的方法具有更好的鲁棒性并能够得到更加准确的检测结果，在滑坡探测任务中表现最为突出。因此，本发明的方法具有较好的工程实用价值。

表1.当各种注意力模块嵌入到resnet-18后的滑坡探测结果

表2.当各种注意力模块嵌入到resnet-50后的滑坡探测结果

表3.当各种注意力模块嵌入到resnet-101后的滑坡探测结果

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。