基于海面救援的无人机图像小目标检测算法

本发明涉及航空无人机海面救援领域，其具体涉及基于海面救援的无人机图像小目标检测算法。

背景技术：

1、近年来，随着科技经济的快速发展，越来越多的人开始探索大自然，深山、密林、海洋等地都有了人类的足迹。但是，探索的过程常常会发生让人猝不及防的灾难，如何赶在灾难发生之后的黄金时间进行有效的搜寻和救援是非常具有挑战性的难题。传统的搜救方法依赖人力资源，效率十分低下，通常会耽误救援的黄金时间。因此，基于无人机的体积小、飞行速度快，结合计算机视觉和深度强化学习的智能算法，可以利用多种传感器，如高分辨率摄像头和红外热像仪等，提供全方位的环境感知和数据采集，为救援人员提供实时数据和视角，从而实现海面救援过程的智能化、迅速化和科学化。无人机的小型化和高速飞行使其在密林和海洋等复杂环境中成为了强大的工具，这种技术的应用可以让救援人员在控制室有计划地进行工作，提高救援的效率，为海面救援带来了新的前景。

2、基于深度强化学习的无人机目标检测算法可以分为单阶段和双阶段两类，目前常见的单阶段目标检测算法有single shot multi-box detector(ssd)算法、yolo系列算法等，该类算法基于回归的方式为主，训练的速度较快，但是精度较低；而双阶段的目标检测算法都基于卷积神经网络(convolutional neural network，cnn)改进，其中典型的有rcnn、fast rcnn、faster rcnn等算法，整个过程分为检测和识别两阶段进行，因此速度较慢，但其精度比较单阶段算法来说较高。无人机图像的目标检测难点在于图像中包含着大量的复杂信息，并且所检测的小目标对象相对于无人机图像来说，只占有极少量的像素值，分辨率很低，在复杂信息的干扰下，极其容易与周围环境混合，增加了检测的难度。针对小目标检测的问题，在单阶段和双阶段深度学习算法的基础上，相继出现了很多的优化算法，比如空间金字塔池化(spatial pyramid pooling，sppnet)网络结构、尺度匹配(scalematch，sm)小目标检测算法和尺度选择金字塔网络(scale selection pyramid network，sspnet)等，来优化对微小目标的检测效果。

技术实现思路

1、鉴于上述现有技术中的不足，本发明提出一种基于海面救援的无人机图像小目标检测算法，以上下文信息和注意力权重为切入点，主要是为解决无人机图像在海面救援等行动时利用率低，并且包含的特征信息少，导致目标检测算法的识别率低的问题，能够有效提高对无人机图像中海域目标的检测性能和识别精度，在海面救援时能够减少寻找目标的时间，对救援行动有着极其重要的作用。

2、为了实现本发明的上述目的，本发明所采取的技术方案是：

3、基于海面救援的无人机图像小目标检测算法，包括以下步骤：

4、步骤1所用数据集是属于多尺寸数据集，对海面、沙滩相关场景进行数据采集，并按照设定比例进行划分，得到训练集和测试集；

5、步骤2对海域人物小目标数据集做一定的数据增强；

6、步骤2具体包括：

7、步骤2.1对输入图像进行resize操作，保持其宽高比例不变，输出图像为x；

8、步骤2.2对步骤2.1的输出图像x进行随机旋转，输出图像为y1，要求y1满足y1＝αx，其中α为旋转系数，通常可以设置为-15度到+15度之间；

9、步骤2.3对步骤2.2的输出图像y1进行随机裁剪，满足y2＝βy1，β∈[0.5，0.75]，其中β表示裁剪系数，y1为步骤2.2的输出图像，y2表示步骤2.3的输出图像；

10、步骤2.4将步骤2.1的输出图像x、步骤2.2的输出图像y1和步骤2.3的输出图像y2进行拼接处理，输出图像y3；

11、步骤2.5对步骤2.4输出图像y3在数值上进行归一化处理并输出图像。

12、步骤3设计网络结构，使得给定输入图像后，通过此网络的backbone卷积层提取特征值图像，然后依次输出至neck和head模块，其中neck模块包括context enhancementmodule简称cem，head模块包括spatial attention module简称sam；

13、步骤3具体包括：

14、步骤3.1使用resnet50作为模型骨干网络的特征提取器，将步骤2.5的输出图像分别进行4次特征提取操作，获得图像特征的不同层次信息；

15、步骤3.2将步骤3.1输出的4个不同层次的特征信息输入neck模块，其中，neck模块结合了尺度选择金字塔网络结构和cem模块，将输入图像经过注意力模块和尺度增强模块、尺度选择模块的神经网络，对不同层的输入图像根据上下文信息进行特征信息的增强，最后输出4种尺寸不同的特征层图像；

16、步骤3.2具体包括：

17、步骤3.2.1设经过骨干网络输出的特征层分别为f2、f3、f4、f5，其特征图尺寸依次缩小为原本的1/2n，n可取0、1、2、3，然后经过尺度选择和尺度增强模块，使得输出p2、p3、p4、p5四种尺寸不同，特征信息增强的特征层；

18、步骤3.2.2利用卷积核大小为3×3的空洞卷积，保证卷积前后输入输出图像的特征维度不变，利用concat融合方法，将步骤3.2.1输出的四层特征图在通道维度上分别进行多尺度的信息融合；

19、步骤3.2.3对步骤3.2.2输出的特征层分别进行下采样，同时通过1×1卷积进行卷积计算输出四个尺寸相同的特征图并进行融合，生成最终经过上下文信息增强的特征图c2，与步骤3.2.2输出的特征图像层相结合，促使维度相同但尺度不同的四个特征图构成上下文金字塔。

20、步骤3.3将步骤3.2输出的图像传输至head模块，该模块包括rpn_head和roi_head两部分，rpn_head生成输入图像的预选框区域proposal，通过加入sam模块可以获取更加精确的预选框区域，而roi_head部分是根据步骤3.2输入的特征图，结合proposal，最终经过roi pooling后被用于进行分类和边框回归的预测；

21、步骤3.3具体包括：

22、步骤3.3.1结合neck模块和rpn模块本身的特征信息，加权分配空间注意力机制，首先对输入特征图使用卷积核大小为2×2的卷积操作，然后进行平均池化和最大池化操作，从而产生不同的张量；

23、步骤3.3.2分别在步骤3.3.1生成的张量之后的网络中加入激活函数，使得它在优化和反向传播过程中更容易处理，有助于优化算法找到局部最小值，最终进行归一化操作便于将两个不同的特征层图像拼接融合，生成统一的特征图信息；

24、步骤3.3.3根据neck模块生成的不同特征层，分别与步骤3.3.2生成的特征图进行级联操作，使得模型网络结构能够学习更重要的特征信息，从而使得算法在无人机图像上检测目标的位置更加准确。

25、步骤3.4使用交叉熵损失函数(cross entropy loss，ce loss)作为分类损失函数，回归损失函数使用改进的平均绝对误差损失，一般称之为平衡l1 loss(balance l1loss)，其中，l1 loss指的是平均绝对误差损失(mean absolute error loss，mae loss)，最后计算模型总体的损失loss，实现算法的优化，计算公式可以表示为：

26、celoss＝-∑clsp(x)log q(x)

27、

28、loss＝celoss+lb(x)

29、其中，p(x)和q(x)分别代表真实值和步骤3.3最终输出的预测值，m是控制损失函数的梯度大小，而n是为了确保当x＝1时，回归损失函数lb(x)两个计算公式有着相同的值，ε是控制m、n两个因素相互加强，以达到更平衡的训练，c是指常数。

30、步骤4使用设计的网络结构对小目标数据集进行训练，保存最佳训练模型和权重文件，使用最佳训练模型对测试集进行检测，并获取测试集的测试结果。

31、步骤4具体包括：

32、步骤4.1使用随机梯度下降(stochastic gradient descent，sgd)优化器对设计的网络结构进行优化，分别设置动量、权值衰减系数及初始学习率，并采用linear的线性衰减策略进行训练直至网络收敛，保存最佳训练模型与权重文件；

33、步骤4.2使用步骤4.1得到的模型权重对测试集进行结果测试，即相同硬件条件下对设计的网络结构和其他小目标检测算法在同一个小目标数据集上进行对比测试。

34、本发明与其他现有的检测技术相比，其显著优点是：

35、1、为了解决海面上小目标特征信息有限的问题，该算法引入了上下文信息来丰富目标的特征表示，在图像捕捉过程中，无人机不仅考虑目标本身的特征，还会考虑目标周围的环境信息，通过分析目标与周围环境的关系，算法可以更准确地理解目标的位置和特征；

36、2、类似于人类的视觉系统，注意力机制允许无人机集中注意力在图像中最重要的区域，即可能包含目标的部分，这种机制可以帮助无人机更智能地捕捉关键特征，将注意力集中在最相关的信息上，从而减少不必要的信息处理和计算量，提高算法的效率；

37、3、通过结合上下文信息和注意力机制，该算法能够更好地应对海面小目标检测的挑战，它可以提高检测性能和识别精度，帮助无人机更准确地检测和定位海面目标，同时，该算法还能够提高无人机图像的利用率，减少检测和定位过程所需的时间和资源消耗，对海面救援行动产生深远影响，减少了搜寻目标的时间，提高了行动的成功率，从而在救援任务中扮演着至关重要的角色。