一种用于无人机巡逻的实时目标检测方法

本发明属于目标检测，尤其涉及一种用于无人机巡逻的实时目标检测方法。

背景技术：

1、目标检测是无人机应用于巡检、边境巡逻和搜索救援等任务的重要技术支撑，但是传统的目标检测方法过于依赖手工设计的先验知识，无法根据场景的变化自适应提取特征，难以满足无人机在各种复杂环境中对地面目标的高精度检测需要，基于深度学习的方法则可以通过深度神经网络自适应提取图像特征，因此较传统方法的检测效果普遍更好。然而，与其他场景相比，无人机图像具有背景复杂度高、目标体积小和目标经常被遮挡等特点，对目标检测算法的检测精度带来了更大的挑战，同时，无人机执行任务时的飞行速度一般较快，对目标检测算法对推理速度也提出了更高的要求。

技术实现思路

1、针对上述技术问题，本发明第一方面提出了一种用于无人机巡逻的实时目标检测方法，即基于卷积神经网络和transformer相结合的无人机图像实时目标检测方法(rtd-net)，在保证算法可以在无人机设备中实时推理的同时提高算法的检测精度，尤其是增强了对无人机图像中小尺度目标的检测能力。所述方法包括：

2、通过无人机采集真实场景图像，对所述真实场景图像进行标注，以生成训练集、验证集和测试集；

3、利用目标检测网络检测所述训练集中的图像所包含的目标，并基于所述验证集来验证检测结果，以完成对所述目标检测网络的训练，并利用经训练的目标检测网络对所述测试集中的图像进行检测；

4、其中，所述目标检测网络包括特征提取模块、特征融合模块和注意力检测头；

5、所述特征提取模块从输入侧到输出侧分别为：第一卷积层、第二卷积层、第一轻量特征提取模块、第三卷积层、第二轻量特征提取模块、第四卷积层、第三轻量特征提取模块、第五卷积层、高效卷积transformer模块和快速金字塔池化模块；

6、所述特征融合模块包括第六卷积层、第一加权融合模块、第四轻量特征提取模块、第七卷积层、第二加权融合模块、第五轻量特征提取模块、第八卷积层、第三加权融合模块、第六轻量特征提取模块、第九卷积层、第四加权融合模块和第七轻量特征提取模块；

7、所述注意力检测头包括第一检测头、第二检测头和第三检测头，所述第一检测头用于检测尺寸在第一尺寸范围内的目标，所述第二检测头用于检测尺寸在第二尺寸范围内的目标，所述第三检测头用于检测尺寸在第三尺寸范围内的目标，所述第一尺寸范围小于所述第二尺寸范围，所述第二尺寸范围小于所述第三尺寸范围，且各个尺寸范围不存在交集。

8、根据本发明第一方面的方法，将所述训练集中的图像作为输入图像，由所述特征提取模块对所述输入图像进行特征提取，以获取第一图像特征、第二图像特征和第三图像特征；其中：

9、所述输入特征先后经过所述特征提取模块的所述第一卷积层、所述第二卷积层、所述第一轻量特征提取模块、所述第三卷积层、所述第二轻量特征提取模块、所述第四卷积层、所述第三轻量特征提取模块、所述第五卷积层、所述高效卷积transformer模块和所述快速金字塔池化模块；

10、所述第二轻量特征提取模块的输出为所述第一图像特征，所述第三轻量特征提取模块的输出为所述第二图像特征，所述快速金字塔池化模块的输出为所述第三图像特征，将所述第一图像特征、所述第二图像特征和所述第三图像特征送入所述特征融合模块。

11、根据本发明第一方面的方法，所述特征融合模块对所述第一图像特征、所述第二图像特征和所述第三图像特征进行融合，以输出第一融合特征、第二融合特征和第三融合特征，并将所述第一融合特征送入所述第一检测头，将所述第二融合特征送入所述第二检测头，将所述第三融合特征送入所述第三检测头；其中：

12、所述第三图像特征经所述第六卷积层和上采样处理后得到第一中间特征，所述第一加权融合模块将所述第一中间特征与所述第二图像特征进行加权融合，得到第一加权融合结果；

13、所述第一加权融合结果经所述第四轻量特征提取模块、所述第七卷积层并进行上采样处理后得到第二中间特征，所述第二加权融合模块将所述第二中间特征与所述第一图像特征进行加权融合，得到第二加权融合结果；

14、所述第二加权融合结果经所述第五轻量特征提取模块、所述第八卷积层并进行下采样处理后得到第三中间特征，所述第三加权融合模块将所述第三中间特征与所述第二图像特征、所述第四轻量特征提取模块的输出特征进行加权融合，得到第三加权融合结果；

15、其中，所述第二加权融合结果经所述第五轻量特征提取模块后得到所述第一融合特征，所述第一融合特征被送入所述第一检测头；

16、所述第三加权融合结果经所述第六轻量特征提取模块、所述第九卷积层并进行下采样处理后得到第四中间特征，所述第四加权融合模块将所述第四中间特征与所述第三图像特征进行加权融合，得到第四加权融合结果；

17、其中，所述第三加权融合结果经所述第六轻量特征提取模块后得到所述第二融合特征，所述第二融合特征被送入所述第二检测头；

18、所述第四加权融合结果经所述第七轻量特征提取模块后得到所述第三融合特征，所述第三融合特征被送入所述第三检测头。

19、根据本发明第一方面的方法，所述第一检测头基于所述第一融合特征进行目标检测，得到所述第一尺寸范围内的目标；所述第二检测头基于所述第二融合特征进行目标检测，得到所述第二尺寸范围内的目标；所述第三检测头基于所述第三融合特征进行目标检测，得到所述第三尺寸范围内的目标；并基于所述验证集来验证所述第一尺寸范围内的目标、所述第二尺寸范围内的目标和所述第三尺寸范围内的目标。

20、根据本发明第一方面的方法，各个轻量特征提取模块均被配置为：

21、将待进行轻量特征提取的图像进行通道分割，分为16个通道数为c1/32的子特征图和1个通道数为c1/2的子特征图，c1为所述待进行轻量特征提取的图像的原通道数；

22、对于通道数为c1/32的子特征图，利用由大小为1×1、步长为1的卷积和大小为3×3、步长为1的卷积构成的卷积组进行处理；对于通道数为c1/2的子特征图，利用大小为1×1、步长为1的卷积进行处理；

23、将经卷积处理后的各个子特征图按通道维度进行拼接，利用大小为1×1、步长为1的卷积进行特征融合，经批量处理化层后输出。

24、根据本发明第一方面的方法，所述高效卷积transformer模块被配置为：

25、对于输入到所述高效卷积transformer模块的特征图，将其按通道分割为2个通道数为c2/2的子特征图，c2为输入到所述高效卷积transformer模块的特征图的原通道数；

26、对于第一个通道数为c2/2的子特征图，经大小为1×1、步长为1的卷积后，利用多头自注意力模块进行全局特征提取；对于第二个通道数为c2/2的子特征图，利用大小为1×1、步长为1的卷积处理；

27、将经处理后的两个子特征图按通道维度进行拼接，利用大小为1×1、步长为1的卷积进行特征融合后输出。

28、根据本发明第一方面的方法，各个加权融合模块均被配置为：为待加权融合的各个特征图分配权重，所述权重通过学习获取；并通过逐像素增加的方式进行特征融合，经激活函数relu和大小为1×1的卷积层后输出。

29、根据本发明第一方面的方法，所述第一检测头、所述第二检测头和第三检测头均配置有nam模块，所述nam模块包括通道注意模块和空间注意力模块，在进行目标检测前，各个检测头均利用所述通道注意力模块来计算特征图中各个通道的重要性以及利用所述空间注意力模块来抑制所述重要性低于阈值的特征。

30、本发明第二方面提出了一种用于无人机巡逻的实时目标检测系统。所述系统包括无人机和处理中心，其中：

31、所述无人机被配置为：

32、采集真实场景图像；

33、所述处理中心被配置为：

34、对所述真实场景图像进行标注，以生成训练集、验证集和测试集；

35、利用目标检测网络检测所述训练集中的图像所包含的目标，并基于所述验证集来验证检测结果，以完成对所述目标检测网络的训练，并利用经训练的目标检测网络对所述测试集中的图像进行检测；

36、其中，所述目标检测网络包括特征提取模块、特征融合模块和注意力检测头；

37、所述特征提取模块从输入侧到输出侧分别为：第一卷积层、第二卷积层、第一轻量特征提取模块、第三卷积层、第二轻量特征提取模块、第四卷积层、第三轻量特征提取模块、第五卷积层、高效卷积transformer模块和快速金字塔池化模块；

38、所述特征融合模块包括第六卷积层、第一加权融合模块、第四轻量特征提取模块、第七卷积层、第二加权融合模块、第五轻量特征提取模块、第八卷积层、第三加权融合模块、第六轻量特征提取模块、第九卷积层、第四加权融合模块和第七轻量特征提取模块；

39、所述注意力检测头包括第一检测头、第二检测头和第三检测头，所述第一检测头用于检测尺寸在第一尺寸范围内的目标，所述第二检测头用于检测尺寸在第二尺寸范围内的目标，所述第三检测头用于检测尺寸在第三尺寸范围内的目标，所述第一尺寸范围小于所述第二尺寸范围，所述第二尺寸范围小于所述第三尺寸范围，且各个尺寸范围不存在交集。

40、本发明第三方面提出了一种计算机可读存储介质。所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现办发明第一方面所述的一种用于无人机巡逻的实时目标检测中的步骤。

41、综上，本发明在构建无人机图像目标检测数据集后，对yolov5的主干特征提取网络进行改进，降低网络的计算复杂度以提高推理速度，通过提取图像的上下文信息提高对被遮挡目标的识别效果；设计多尺度加权特征融合方法，提升不同尺度特征的表达能力，提高算法对不同尺度目标的检测效果；在检测端使用注意力机制提升算法在复杂背景中提取注意力区域的能力，进一步提高检测精度。所述方法在保证算法实时性的同时，实现了对无人机图像中多种地面典型目标的高精度检测，能够满足无人机在复杂场景下的自动目标检测需要。实现对背景复杂、小目标多且目标经常被遮挡的无人机图像的高精度实时检测，推进无人机在安全巡检、边境巡逻和搜索救援等领域应用的普及。