基于YOLOv7的无人机航拍图像小目标检测方法

本发明涉及目标检测领域，具体涉及一种基于yolov7的无人机航拍图像小目标检测方法。

背景技术：

1、通用目标检测器faster r-cnn和yolo系列模型不断改进，性能不断提高，尤其是其中的yolo系列，与faster r-cnn相比，参数更少，速度更快。尽管yolov7在ms coco等数据集上表现良好，但是在检测无人机航拍图像中的目标，如visdrone数据集时精度明显下降。这是因为无人机航拍图像中存在大量小目标，同时目标分布不均匀，目标之间存在遮挡。这些因素对目标检测造成了干扰，降低了检测精度。

2、小目标是航拍图像检测面临的典型问题。目前，小目标的判定主要有两种，第一种是绝对小目标，例如在通用数据集ms coco中，将小于32×32像素的目标定义为小目标；第二种是相对小目标，这种目标的特点是图像的尺寸较大，而目标在原图中面积占比较小。当目标发生遮挡时，重叠的实例及其候选框会有相似的特征，导致检测器难以为每个候选框生成可区分的预测结果。总而言之，航拍图像目标检测任务需要解决小目标与目标遮挡的问题。

3、针对航拍小目标检测，一些研究者探索如何在网络中获取更多小目标特征信息，以提升小目标检测精度。其中一些相关工作有：sspnet(hong m,li s,yang y,etal.sspnet:scale selection pyramid network for tiny person detection from uavimages[j].ieee geoscience and remote sensing letters,2022,19:1-5[doi:10.1109/lgrs.2021.3103069])、twc-net(yu l,wu h,zhong z,et al.twc-net:a sar shipdetection using two-way convolution and multiscale feature mapping[j].remotesensing,2021,13(13):#2558[doi:10.3390/rs13132558])、es-fpn(chen y,zhu x,li y,et al.enhanced semantic feature pyramid network for small object detection[j].signal processing:image communication,2023,113:#116919[doi:10.1016/j.image.2023.116919])。sspnet通过尺度增强模块和尺度选择模块增强小目标在特征金字塔网络fpn(feature pyramid network)的表示。前者确保模型在不同层关注不同尺度的目标，避免小目标被大量背景淹没；后者则利用特征金字塔网络fpn中邻接层的关系实现特征共享，避免不同层之间的梯度不一致问题。twc-net使用多尺度特征映射处理图像，使模型可以在特征提取过程中避免小目标信息的丢失，同时通过深层特征图保证大目标的良好感知。es-fpn将高层和低层语义信息相结合，以改进小目标检测中的特征学习。但是上述方法没有考虑图像中目标遮挡的问题。针对密集区域中目标相互遮挡造成的检测框置信度低、漏检误检严重的问题，研究者们主要通过定位图像密集区域进行增强检测，即获得密集目标更高置信度的检测框以提升检测性能。ganster r-cnn(sun k,wen q,zhou h.gansterr-cnn:occluded object detection network based on generative adversarial netsand faster r-cnn[j].ieee access,2022,10:105022-105030[doi:10.1109/access.2022.3211394])。ganster r-cnn基于改进的生成对抗网络和faster r-cnn，使用特征金字塔网络将浅层到深层的特征地图整合起来，利用生成器可以生成遮挡伪样本，通过扩大样本的规模和数据集中遮挡物体的比例使遮挡物体的精确率提高。但是通过这种方式会增加模型的训练成本。

技术实现思路

1、本发明的目的是提供一种基于yolov7的无人机航拍图像小目标检测方法，可以更好地适合无人机航拍小目标检测任务，有效地提高了小目标检测精度，针对无人机航拍图像目标检测中小目标与目标遮挡的问题，降低了目标漏检和误检情况。

2、本发明所采用的技术方案是，基于yolov7的无人机航拍图像小目标检测方法，具体为：

3、步骤一、获取无人机航拍图像数据集并转换为yolo格式；

4、步骤二、搭建改进yolov7的无人机航拍图像小目标检测网络；

5、步骤三、以改进yolov7的无人机航拍图像小目标检测网络作为目标检测模型，将visdrone训练集图像输入改进yolov7的无人机航拍图像小目标检测网络，并训练至收敛，得到最终的改进yolov7的无人机航拍图像小目标检测模型；

6、步骤四、在visdrone数据集的测试集上测试，记录改进yolov7的无人机航拍图像小目标检测模型在该数据集上的map值。

7、本发明的特征还在于，

8、步骤一中，无人机航拍数据集为visdrone数据集，利用其训练集用于训练模型。

9、步骤二中，改进yolov7的无人机航拍图像小目标检测网络包括：input层、改进的backbone网络、改进的head网络三部分；

10、改进的backbone网络结构自上往下分别是：第一卷积层—>第二卷积层—>第三卷积层—>第四卷积层—>第一高效层聚合网络elan—>第一下采样层—>第一高效层聚合网络elan—>融合swin transformer和卷积的stc模块—>第二下采样层—>第三高效层聚合网络elan—>第四下采样层—>引入了bra注意力机制的高效层聚合网络elan-bra。

11、步骤二中，融合swin transformer和卷积的stc模块包括有三个步长为1的1*1卷积模块和一个swin transformer；首先使用并行的两个步长为1的1*1卷积模块来调整输入特征图的通道数，得到两个输出，其中一个经过swin transformer的处理，然后使用一个步长为1的1*1卷积模块来将结果拼接起来。

12、步骤二中，引入了bra注意力机制的高效层聚合网络elan-bra，包括有两条分支，第一条分支包括有一个1*1步长为1的卷积模块、四个3*3步长为1的卷积模块以及一个bra注意力模块；第二条分支包括有一个1*1步长为1的卷积模块；其中第一条分支的过程为：首先经过一个1*1步长为1的卷积模块，做通道数的变化，再经过四个3*3步长为1的卷积模块，做特征提取，再通过bra注意力模块增加对小目标关注度；第二条分支的过程为：经过一个1*1步长为1的卷积模块做通道数的变化。最后把这两个分支合并在一起，使用一个步长为1的1*1卷积模块来将结果拼接起来。

13、步骤二中，改进的head网络结构是：sppcspc-bra—>改进的特征金字塔—>改进的目标检测头。

14、步骤二中，sppcspc-bra模块包括有两条分支，第一条分支包括有一个1*1步长为1的卷积模块；第二条分支包括有两个1*1步长为1的卷积模块，两个3*3步长为1的卷积模块，一个bra注意力模块，还有四个不同尺度的最大池化maxpool：其中第一条分支的过程为：首先经过一个1*1步长为1的卷积模块，做通道数的变化，第二条分支的过程为：首先进行常规卷积处理，先是一个1*1步长为1的卷积模块，再经过一个3*3步长为1的卷积模块，做特征提取，在经过一个1*1步长为1的卷积模块，然后经过bra注意力模块聚焦密集小目标区域，可以提取更多更准确的小目标特征。接下来进入池化结构，经过四条分别是1*1，5*5，9*9，13*13大小卷积核的最大池化maxpool，可以有四种感受野用来区别大目标和小目标。最大池化maxpool的作用是能够增大感受野使得算法适应不同的分辨率图像。再经过一个1*1步长为1的卷积模块和一个3*3步长为1的卷积模块，最后把这两个分支合并在一起，使用一个步长为1的1*1卷积模块来将结果拼接起来。

15、步骤二中，在特征金字塔部分添加了一个四倍下采样分支得到改进的特征金字塔。

16、步骤二中，在目标检测头处增加dynamic head模块得到改进的目标检测头。

17、本发明的有益效果是：

18、本发明方法提出一种基于yolov7的无人机航拍图像小目标检测方法，融合swintransformer以更好的捕捉图像中的全局上下文信息，引入bra注意力机制增加对小目标的关注，提高对小目标的检测效果；在特征金字塔添加小目标检测分支提高模型的多尺度检测能力，使用带有可变形卷积和注意力机制的目标检测头强化模型目标空间感知能力，提高遮挡目标特征捕获量。本发明方法针对无人机航拍图像目标检测中小目标与目标遮挡的问题，降低了目标漏检和误检情况。通过在visdrone数据集上的实验结果进行评估，证明了本发明的有效性。