基于变换器和跳跃路径聚合FPN的航拍目标检测方法

本发明涉及目标检测，特别涉及一种基于变换器和跳跃路径聚合fpn的航拍目标检测方法。

背景技术：

1、航拍目标检测技术是一种结合了无人机(uav)、高分辨率摄像头、计算机视觉和深度学习算法的技术，旨在实现对地面目标的自动识别、定位和追踪。近年来，由于无人机技术的快速发展和计算能力的提升，航拍目标检测技术在智能交通、农业监测、安防监控等领域得到了广泛的应用。目标检测技术主要分为传统目标检测方法和基于深度学习的目标检测方法。传统目标检测方法主要包括基于滑动窗口的检测方法、基于聚类的检测方法和基于图像分割的检测方法。这些方法依赖于手工设计的特征提取器，如sift、hog、lbp等，具有计算速度快、实时性好的优点。但是，这些方法对于目标尺寸、形状、姿态、光照等因素的变化较为敏感，容易导致检测性能下降。基于深度学习的目标检测方法主要包括两大类：基于区域的卷积神经网络(r-cnn系列)和基于单阶段的目标检测网络(如yolo、ssd等)。r-cnn系列方法主要包括r-cnn、fast r-cnn、faster r-cnn等。这些方法首先利用区域提议网络(rpn)生成候选目标区域，然后利用卷积神经网络(cnn)对这些区域进行特征提取，并通过全连接层进行目标分类和位置回归。r-cnn系列方法具有较高的检测精度，但计算速度较慢，实时性较差。单阶段目标检测网络如yolo、ssd等，直接在整幅图像上进行特征提取和目标检测，无需生成候选区域。这些方法具有较快的计算速度和较好的实时性，但检测精度相对较低。

2、航拍图像相较于传统地面图像具有以下特点：高分辨率、大视场、视角变化大、目标尺度和姿态多样等。这些特点为航拍目标检测技术提出了更高的要求，使得传统目标检测方法在航拍图像上的表现不尽如人意。针对航拍图像的特点，研究者们提出了许多适应性更强的目标检测方法。其中，一种常见的方法是将深度学习与传统特征提取方法相结合，利用深度学习的强大表征能力和传统特征提取方法的稳定性，提高航拍目标检测的准确性。另一种方法是对现有的深度学习目标检测网络进行改进，如引入多尺度特征融合、注意力机制等，以适应航拍图像中目标尺度和姿态的多样性。但现有的技术在航拍小目标检测领域仍不尽如人意，需要进一步的改进。

技术实现思路

1、本发明提供一种基于变换器和跳跃路径聚合fpn的航拍目标检测方法，在无人机航拍视角图像上具有很高的小目标检测精度。

2、本发明第一方面实施例提供一种基于变换器和跳跃路径聚合fpn的航拍目标检测方法，包括以下步骤：获取待检测的航拍图像数据；将所述待检测的航拍图像数据输入预先训练好的航拍小目标检测网络模型进行目标检测，得到所述待检测的航拍图像数据的目标检测结果；其中，所述航拍小目标检测网络模型为利用可变形卷积和变换器模块结合的深度聚合残差变换网络进行特征提取，利用跳跃路径聚合特征金字塔网络进行特征融合，利用双路路解耦检测头进行目标检测。

3、可选地，在本发明的一个实施例中，所述航拍小目标检测网络模型包括骨干网络、颈部网络、区域提取网络、感兴趣区域池化层和检测头；

4、所述骨干网络包括一个起始处理层和四个阶段处理层，起始处理层由3个3x3卷积和一个最大池化层组成；每个阶段处理层由多个结合可变形卷积和变换器的聚合残差变换瓶颈层级联组成，通过所述四个阶段处理层输出航拍图像数据的四层特征图；

5、所述颈部网络包括所述跳跃路径聚合特征金字塔网络，用于从所述骨干网络获取所述四层特征图，并经过卷积模块降低通道后输入所述跳跃路径聚合特征金字塔网络，所述跳跃路径聚合特征金字塔网络的输出送入所述区域提取网络和所述感兴趣区域池化层；

6、所述区域提取网络用于生成候选区域；

7、所述感兴趣区域池化层用于利用所述区域提取网络生成的候选区域在所述跳跃路径聚合特征金字塔网络输出的特征图上进行感兴趣区域特征图提取，利用感兴趣区域池化使得所有特征图输出尺寸相同，并将特征图送入所述检测头；

8、所述检测头为级联rcnn多阶段结构，每个阶段使用双路解耦检测头，对于所述感兴趣区域池化层输出的特征图，一路使用四个卷积层处理后进行边界框回归，得到航拍图像数据的目标检测框，另一路使用两层全连接层处理后进行分类，得到航拍图像数据的目标分类结果。

9、可选地，在本发明的一个实施例中，所述感兴趣区域池化层中的池化方式为调制可变形感兴趣区域池化。

10、本发明第二方面实施例提供一种基于变换器和跳跃路径聚合fpn的航拍目标检测装置，包括：获取模块，用于获取待检测的航拍图像数据；

11、检测模块，用于将所述待检测的航拍图像数据输入预先训练好的航拍小目标检测网络模型进行目标检测，得到所述待检测的航拍图像数据的目标检测结果；其中，所述航拍小目标检测网络模型为利用可变形卷积和变换器模块结合的深度聚合残差变换网络进行特征提取，利用跳跃路径聚合特征金字塔网络进行特征融合，利用双路路解耦检测头进行目标检测。

12、可选地，在本发明的一个实施例中，所述航拍小目标检测网络模型包括骨干网络、颈部网络、区域提取网络、感兴趣区域池化层和检测头；

13、所述骨干网络包括一个起始处理层和四个阶段处理层，起始处理层由3个3x3卷积和一个最大池化层组成；每个阶段处理层由多个结合可变形卷积和变换器的聚合残差变换瓶颈层级联组成，通过所述四个阶段处理层输出航拍图像数据的四层特征图；

14、所述颈部网络包括所述跳跃路径聚合特征金字塔网络，用于从所述骨干网络获取所述四层特征图，并经过卷积模块降低通道后输入所述跳跃路径聚合特征金字塔网络，所述跳跃路径聚合特征金字塔网络的输出送入所述区域提取网络和所述感兴趣区域池化层；

15、所述区域提取网络用于生成候选区域；

16、所述感兴趣区域池化层用于利用所述区域提取网络生成的候选区域在所述跳跃路径聚合特征金字塔网络输出的特征图上进行感兴趣区域特征图提取，利用感兴趣区域池化使得所有特征图输出尺寸相同，并将特征图送入所述检测头；

17、所述检测头为级联rcnn多阶段结构，每个阶段使用双路解耦检测头，对于所述感兴趣区域池化层输出的特征图，一路使用四个卷积层处理后进行边界框回归，得到航拍图像数据的目标检测框，另一路使用两层全连接层处理后进行分类，得到航拍图像数据的目标分类结果。

18、可选地，在本发明的一个实施例中，所述感兴趣区域池化层中的池化方式为调制可变形感兴趣区域池化。

19、本发明第三方面实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以执行如上述实施例所述的基于变换器和跳跃路径聚合fpn的航拍目标检测方法。

20、本发明第四方面实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以执行如上述实施例所述的基于变换器和跳跃路径聚合fpn的航拍目标检测方法。

21、本发明实施例的基于变换器和跳跃路径聚合fpn的航拍目标检测方法，结合可变形卷积和变换器的聚合残差变换瓶颈层，能够自适应调整感受野，捕获图像的长距离依赖，同时强调重要通道信息抑制噪声。本发明提出的跳跃路径聚合金字塔网络，能够更好的融合多尺度特征信息，尤其是大分辨率的小目标信息。本发明将检测头解耦，分别使用卷积和全连接两条支路进行边界框回归和分类，使得分类更关注中心的内容区域，回归更关注边缘信息，提升了检测效果。

22、本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。