一种基于多尺度特征融合的无人机目标检测方法

本发明属于目标检测，尤其涉及一种基于多尺度特征融合的无人机目标检测方法。

背景技术：

1、随着无人机技术的快速发展，其在军事侦察、地理测绘、灾害监测等多个领域的应用越来越广泛。无人机平台上的目标检测因其独特的应用环境和要求，与传统的目标检测场景存在显著差异。具体来说，无人机通常在较高空中飞行，需要实时检测地面上的细小目标，这对检测算法的实时性和准确性提出了更高的要求。现有的目标检测技术往往在小目标检测和多尺度特征融合上存在不足，导致在复杂环境中的检测性能大打折扣。尤其是在对小目标的识别能力上，传统方法很难在分辨率和语义信息之间取得平衡，无法有效利用深层特征中的高级语义信息和浅层特征中的细节位置信息。此外，无人机的计算资源有限，如何设计一个既高效又准确的目标检测算法，成为了亟待解决的技术难题。

2、最接近的现有技术是多尺度目标检测算法。这些算法通过在不同的网络层次上提取特征，并尝试将这些特征结合起来，以检测不同大小的目标。然而，它们往往在特征融合策略上存在局限性，特别是在融合不同层次特征时，无法充分利用深层的语义信息和浅层的细节信息。此外，现有的多尺度检测方法很难在保持检测精度的同时满足无人机平台对计算效率的严格要求。具体地：(1)小目标检测困难：由于小目标在图像中的像素数量有限，且缺少足够的细节信息，传统的目标检测方法很难准确检测到这些小目标；(2)特征融合不足：现有技术在不同层级的特征融合时可能导致信息相互干扰。浅层的高分辨率特征包含丰富的细节和位置信息，而深层的低分辨率特征包含高级语义信息，直接融合这些特征可能会导致细节和语义信息不能很好地结合，影响目标检测的整体精度；(3)分辨率与语义信息的矛盾：在传统方法中，随着网络层级的加深，虽然可以提取更多的高级语义信息，但同时也伴随着分辨率的降低，这使得丰富的细节信息丢失，特别是对小目标的影响尤为明显；(4)大目标与小目标检测的不平衡：现有技术在处理大目标时效果较好，这是因为大目标能够在深层特征中获得更好的语义表示，但这种方法通常会忽略小目标，因为小目标的特征在深层特征中很难保留。

技术实现思路

1、针对以上背景，本发明提出一种基于多尺度特征融合的无人机目标检测方案。

2、本发明第一方面提出一种基于多尺度特征融合的无人机目标检测方法。所述方法包括：

3、步骤s1、通过无人机采集包含若干目标的真实场景图像，对所述真实场景图像进行标注，以生成训练集、验证集和测试集；

4、步骤s2、基于目标检测网络检测所述训练集中的图像所包含的目标，并基于所述验证集来验证检测结果，以完成对所述目标检测网络的训练；

5、步骤s3、利用经训练的目标检测网络对所述测试集中的图像进行检测，以检测出所述真实场景图像中包含的若干目标；

6、其中，在所述步骤s2/所述步骤s3中，所述特征提取融合模块以所述训练集中的图像/所述测试集中的图像作为输入图像，以提取所述输入图像的特征，并对提取的特征进行融合，从而得到融合特征，所述融合特征被送入所述目标检测模块以进行目标检测；

7、其中，所述特征提取融合模块提取所述输入图像的特征具体包括：

8、所述第一卷积模块对所述输入图像进行卷积运算以获取特征p1in，所述第二卷积模块对特征p1in进行卷积运算以获取特征所述第三卷积模块对特征进行卷积运算以获取特征所述第四卷积模块对特征进行卷积运算以获取特征将特征p1in、作为所述提取的特征；

9、其中，所述特征提取融合模块对所述提取的特征进行融合具体包括：

10、所述第一中间模块对特征和特征进行融合得到特征所述第二中间模块对特征和特征进行融合得到特征

11、所述第一融合模块对特征p1in和特征进行融合得到特征p1out；所述第二融合模块对特征特征和特征p1out进行融合得到特征所述第三融合模块对特征特征和特征p2out进行融合得到特征所述第四融合模块对特征和特征进行融合得到特征

12、将特征p1out、作为所述融合特征。

13、根据本发明第一方面的方法，所述第一卷积模块、所述第一卷积模块、所述第二卷积模块、所述第三卷积模块和所述第四卷积模块的卷积核均为3×3，步长均为1，且特征p1in、的尺寸递减，通道数递增。

14、根据本发明第一方面的方法，所述第一中间模块和所述第二中间模块均包括加权融合层、激活函数层和卷积层，特征和的表达式分别为：

15、

16、

17、其中，i∈[2,3]，w0和w1为权重，ε表示调节参数，resize表示调整分辨率的采样操作，relu表示激活函数，conv表示卷积运算。

18、根据本发明第一方面的方法，所述第一融合模块、所述第二融合模块、所述第三融合模块和第四融合模块均包括所述加权融合层、所述激活函数层和所述卷积层；特征p1out、的表达式分别为：

19、

20、

21、

22、

23、其中，w′0、w′1和w′2为权重；

24、其中，所述目标检测模块包括第一检测单元、第二检测单元、第三检测单元和第四检测单元，分别基于所述融合特征p1out、进行目标检测，检测的目标尺寸分别为size1、size2、size3和size4，且size1<size2<size3<size4。

25、本发明第二方面提出一种基于多尺度特征融合的无人机目标检测系统。所述系统的处理单元被配置为：

26、获取无人机采集到的包含若干目标的真实场景图像，对所述真实场景图像进行标注，以生成训练集、验证集和测试集；

27、基于目标检测网络检测所述训练集中的图像所包含的目标，并基于所述验证集来验证检测结果，以完成对所述目标检测网络的训练；

28、利用经训练的目标检测网络对所述测试集中的图像进行检测，以检测出所述真实场景图像中包含的若干目标；

29、其中，所述目标检测网络包括特征提取融合模块和目标检测模块；所述特征提取融合模块包括第一卷积模块、第二卷积模块、第三卷积模块、第四卷积模块、第一中间模块、第二中间模块、第一融合模块、第二融合模块、第三融合模块和第四融合模块；

30、其中，所述特征提取融合模块以所述训练集中的图像/所述测试集中的图像作为输入图像，以提取所述输入图像的特征，并对提取的特征进行融合，从而得到融合特征，所述融合特征被送入所述目标检测模块以进行目标检测；

31、其中，所述特征提取融合模块提取所述输入图像的特征具体包括：

32、所述第一卷积模块对所述输入图像进行卷积运算以获取特征p1in，所述第二卷积模块对特征p1in进行卷积运算以获取特征所述第三卷积模块对特征进行卷积运算以获取特征所述第四卷积模块对特征进行卷积运算以获取特征将特征p1in、作为所述提取的特征；

33、其中，所述特征提取融合模块对所述提取的特征进行融合具体包括：

34、所述第一中间模块对特征和特征进行融合得到特征所述第二中间模块对特征和特征进行融合得到特征

35、所述第一融合模块对特征p1in和特征进行融合得到特征p1out；所述第二融合模块对特征特征和特征p1out进行融合得到特征所述第三融合模块对特征特征和特征进行融合得到特征p3out；所述第四融合模块对特征和特征进行融合得到特征

36、将特征p1out、作为所述融合特征。

37、根据本发明第二方面的系统，所述第一卷积模块、所述第二卷积模块、所述第三卷积模块和所述第四卷积模块的卷积核均为3×3，步长均为1，且特征p1in、的尺寸递减，通道数递增。

38、根据本发明第二方面的系统，所述第一中间模块和所述第二中间模块均包括加权融合层、激活函数层和卷积层，特征和的表达式分别为：

39、

40、

41、其中，，w0和w1为权重，ε表示调节参数，resize表示调整分辨率的采样操作，relu表示激活函数，conv表示卷积运算。

42、根据本发明第二方面的系统，所述第一融合模块、所述第二融合模块、所述第三融合模块和第四融合模块均包括所述加权融合层、所述激活函数层和所述卷积层；特征p1out、的表达式分别为：

43、

44、

45、

46、

47、其中，w′0、w′1和w′2为权重；

48、其中，所述目标检测模块包括第一检测单元、第二检测单元、第三检测单元和第四检测单元，分别基于所述融合特征p1out、进行目标检测，检测的目标尺寸分别为size1、size2、size3和size4，且size1<size2<size3<size4。

49、本发明第三方面提出一种计算机可读存储介质。所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现办发明第一方面所述的一种基于多尺度特征融合的无人机目标检测方法中的步骤。

50、综上，本发明提出的基于多尺度特征融合的无人机目标检测方案能够提升无人机目标检测的效能，特别是在处理小目标和实现资源优化方面。本发明的特征融合导向目标检测方法解决背景技术中提及的技术挑战，通过创新性地设计特征融合模块和优化的计算流程，提高了小目标检测的准确性，并且确保了方法在有限的计算资源上的适用性。