一种基于改进的轻量型YOLOv7的山体滑坡检测方法

本发明属于计算机图像处理，具体地说，是一种基于改进的轻量型yolov7山体滑坡检测方法。

背景技术：

1、山体滑坡是一种严重的自然灾害，通常由降雨、地质构造和地质条件等因素引发。这种灾害可能导致财产损失、人员伤亡和生态环境破坏。因此，山体滑坡的及时检测和监测对于减轻潜在风险至关重要。传统的山体滑坡检测方法通常依赖于人工巡视或固定式监测设备，这些方法存在一定的局限性，如依赖人力、费时、成本高昂等问题。传统的山体滑坡监测方法主要依赖于人工巡视和使用各种监测设备，如倾角仪、位移传感器、测深仪等。尽管这些方法在一定程度上可以提供有用的数据，但它们存在以下局限性：①依赖人工巡视：人工巡视需要大量的时间和人力资源，不仅效率低下，而且在恶劣天气或夜间难以进行。②有限监测范围：传统监测设备通常分布在有限的位置，难以覆盖广大山体滑坡潜在区域。③高昂的成本：安装、维护和操作监测设备需要昂贵的资金投入，这对于许多地区来说是一个严重的限制因素。

2、现有的山体滑坡检测方法，面临一些挑战：①复杂的地形和背景：山体滑坡通常发生在多变复杂的地形中，地形和背景干扰严重，增加了检测的难度。②小目标检测：山体滑坡的初期迹象通常相对较小，例如土石材料的微小移动或裂缝的形成，因此需要模型具备高效的小目标检测能力。③数据不平衡：由于山体滑坡是一种罕见事件，正负样本不平衡问题可能导致模型训练不稳定，难以获得高准确性。④数据集模糊：由于山体滑坡事件危险度较高，目前公开视频，卫星图片的质量均不高，且环境较为单一不够丰富。

3、近年来，大量的目标检测算法被提出，如利用典型传统检测算法sift(scale-invariant feature transform)：一种用于检测图像中的局部特征点的算法，可用于目标检测和匹配。随着深度卷积神经网络(convolutional neural network，cnn)的兴起，计算机视觉和深度学习技术的发展为山体滑坡检测提供了新的可能性，基于深度学习的目标检测算法主要有两个大方向，以两阶段为代表的faster r-cnn，和以一阶段为代表的yolo、ssd。其中，faster r-cnn是一种经典的目标检测算法，它通过引入区域提议网络(rpn)来提高检测速度。尽管它在准确性方面表现出色，但在实时性能和轻量化方面可能存在一些挑战。ssd是一种单阶段目标检测算法，它以较快的速度检测多尺度目标。retinanet是一种采用focal loss的目标检测算法，专注于解决正负样本不平衡问题。尽管它在一些特定场景下表现出色，但可能需要更多的计算资源。

4、因此，需要一种轻量化、具备高效的小目标检测能力的山体滑坡检测方法。

技术实现思路

1、本发明针对上述现有技术存在的问题，提供了一种基于改进的轻量型yolov7的山体滑坡检测方法。利用轻量级网络mobilenetv3替换原yolov7特征提取主干网络，之后，将模型添加小目标检测层，并添加hat注意力机制改进数据集分辨率低的问题。

2、为了实现上述目的，本发明采用以下技术方案：一种基于改进的轻量型yolov7的山体滑坡检测方法，所述方法具体步骤如下：

3、步骤1，采集山体卫星图像；

4、步骤2，使用超分辨率算法gan对山体卫星图像进行预处理，同时，为了解决正负样本分布不均匀的问题，之后对图像采用拼接、旋转、腐蚀等图像增强操作，增加负样本数量，也增强了模型的泛化能力，再将处理后的山体卫星图像分为训练集、验证集、测试集，并为山体卫星图标注真实框以及所属类别；

5、步骤3，构建并训练改进的轻量型yolov7模型，改进的轻量型yolov7模型包括骨干网络、颈部网络和检测头网络；骨干网络包括mobilenet1网络、mobilenet2网络、mobilenet3网络和mp-elan下采样网络；

6、步骤4，将步骤2中处理后的山体卫星图像输入改进的轻量型yolov7模型的骨干网络中，分别提取mobilenet1网络、mobilenet2网络、mobilenet3网络和mp-elan下采样网络的特征信息，得到四种不同尺寸的特征图；

7、步骤5，将步骤4得到的四种不同尺寸的特征图输入到颈部网络，颈部网络采用pafpn特征金字塔，通过自顶向下、自下而上的特征提取和fpa加强特征提取网络进特征融合，分别得到四种不同尺寸的加强特征图，同时，为了进一步提高网络性能，在颈部网络中引入hat注意力机制，以增强网络对关键特征的关注和学习，从而更有效地捕捉山体卫星图像中重要的信息；

8、步骤6，检测头网络部分包含结构重参化卷积repconv和四种不同目标尺寸的idetect的检测头；将步骤5得到的四种不同尺寸的加强特征图分别输入到检测头网络中，分别得到四种不同尺寸的预测特征图，并计算先验框，经过计算后为每个尺寸的预测特征图生成三个先验框，并与真实框进行比较，选择与真实框的交并比iou最大的先验框进行预测，模拟不同天气条件进行反复训练，完成改进的轻量型yolov7网络的训练；

9、iou计算公式如下：

10、其中intersection_area代表两个边界框相交的面积；union_area表示两个边界框的并集的面积；

11、步骤7，将测试集输入到训练好的改进的轻量型yolov7模型中，依次经过骨干网络、颈部网络和检测头网络，分别得到四种不同尺寸的预测特征图，并通过模型推理预测输出最终的目标框和目标标签，得到山体滑坡检测结果。

12、进一步地，步骤2所述的使用超分辨率算法gan对山体卫星图像进行预处理，具体为：对采集到的山体卫星图像进行gan超分处理，以提高分辨率，然后对图像进行几何变换，几何变换包括随机扩展、随机裁剪、随机拼接和缩放到固定比例。

13、进一步地，步骤2中，训练集、验证集、测试集的比例为8:1:1。

14、进一步地，步骤2中使用lableimg工具为山体卫星图标注真实框以及所属类别。

15、进一步地，hat注意力机制分为两个部分：局部窗口自注意力机制和融合通道注意力机制；

16、局部窗口自注意力机制：对输入特征进行归一化处理，然后通过窗口自注意力机制将输入特征划分为局部窗口，以聚焦局部的关联信息；

17、融合通道注意力机制：引入全局信息，利用全局信息对特征进行加权处理，通过通道注意力机制激活更多的像素，以获取更多的特征信息。

18、进一步地，步骤5中pafpn特征金字塔包括sppcspc模块、elan-h模块、up上采样、mp下采样和卷积层，其中sppcspc模块、elan-h模块融合的尾部引入hat注意力机制。

19、进一步地，步骤2中处理后得到640*640图像，通过骨干网络后输出32倍降采样特征图，然后经过sppcspc模块将通道数从1024变为512，按照自顶向下的方式和mobilenet1和mobilenet3层结果进行融合，得到160*160大小特征图；再按照自下而上的方式和elan-h结果和sppcspc处理结果进行特征融合，得到特征图20*20大小和40*40大小特征图；再将mobilenet2层信息进行与elan-h输出特征图融合处理得到80*80大小特征图。

20、进一步地，训练过程中，计算匹配度与损失值，计算匹配度主要是将预测框与真实标签边界框的iou对比，按照判断标准计算出预测框的匹配度；然后，对所有的预测框赋予正、负样本标签，并确定对应的真实物体标签，以方便后续损失的计算，计算出损失值后，使用损失值进行反向传播梯度，以更新改进的轻量型yolov7网络的权重和偏差，进而得到最小化损失函数；最小化损失函数计算公式如下：

21、focalloss(pt)＝-αt(1-pt)γlog(pt)

22、其中，pt表示困难样本的比重，(1-pt)γ叫做调制系数，αt默认取0.25，γ默认取值为1.5。

23、进一步地，为了使预测框更加精确，引入改进的非极大值抑制算法，首先输入b＝{b1,b2,…,bn}，s＝{s1,s2,…,sn}，nt；其中b是输入的预测框列表，s是每个预测框的置信度得分，nt是非极大值抑制的阈值设置；计算预测框得分公式如下：

24、

25、其中，m和σ是常数；si是第i个预测框的置信度得分；bi是第i个预测框，i∈[1，n]；

26、通过计算预测框置信度得分，不断更新得分，进而提升预测框的精确度。

27、本发明具有以下技术效果：(1)本发明提出了一种基于改进的轻量型yolov7的山体滑坡检测方法，利用超分辨率算法gan对图像进行预处理，大大提高图像的分辨率；对图像采用拼接、旋转、腐蚀等图像操作，解决正负样本分布不均匀的问题；利用轻量型mobilenetv3骨干网络替换yolov7的骨干网络并添加小目标检测层，并在网络中引入hat注意力机制，实现轻量化，并进一步解决目标分辨率低的问题，提高网络性能，以增强网络对关键特征的关注和学习；除此之外，为了增强模型的鲁棒性，利用图像增强手段，模拟不同天气条件。

28、(2)本发明通过构建并训练改进的轻量型yolov7网络，克服了传统山体滑坡检测方法中的一些局限性，同时改进了现有yolo模型在山体滑坡检测中的性能；①天气适应性：模型经过优化，能够更好地适应复杂多变的天气条件。②小目标检测：改进后的模型具备高效的小目标检测能力，能够识别山体滑坡的初期迹象。③数据平衡策略：引入数据平衡策略，解决正负样本不平衡问题，提高模型的稳定性和准确性。