一种检测无人机小目标的动态特征和上下文增强方法

本发明属于无人机数据图像处理和深度学习小目标检测，具体涉及一种检测无人机小目标的动态特征和上下文增强方法。

背景技术：

1、智能无人机实时高空拍摄地面作业、农作物病虫害、森林火灾等方面的图像，是保证人们生命财产安全的基础和重要支撑。分辨率的清晰程度是保证检测精度的重要指标。高分辨率图像可以帮助无人机设备和研究人员更好的检测目标。高端的无人机设备可以拍摄出高分辨率的图像，保证目标的清晰度，提供更精确的检测精度。但是，高端的无人机受到成本的限制，因此通过研究算法来提高检测精度是一种更有效的方法。

2、随着深度学习的不断发展，基于深度学习的小目标检测方法逐渐崭露头角。这种方法就是通过模型训练大量的图像数据，训练好的模型去测试，以获得小目标的检测结果。这是一种有效的检测方法，但是无人机拍摄的图像存在物体尺寸较小、背景信息复杂和物体模糊等问题会影响模型的检测效果，此外，由于拍摄的图像太大，里面的物体太小，导致特征之间的相关性差。因此，需要一种更适合无人机拍摄图像的深度学习小目标检测方法。

技术实现思路

1、本发明针对现有技术中存在的问题，本发明提供一种检测无人机小目标的动态特征和上下文增强方法。

2、为实现上述技术目的，本发明所采用的技术方案为：

3、一种检测无人机小目标的动态特征和上下文增强方法，包括以下步骤：

4、s1：对无人机拍摄的图像进行预处理；

5、s2：将步骤s1中的处理后的图像数据划分为训练数据集、验证数据集和测试数据集；

6、s3：基于无人机采集的数据集构建一种动态特征和上下文增强的小目标检测模型；

7、s4：使用步骤s2中的训练数据集和验证数据集对步骤s3搭建的检测模型进行训练、验证和优化，并将得到的最优模型权重进行保存；

8、s5：将步骤s2中的测试数据集输入s3中构建的模型，通过加载s4中的最优模型权重，以检测无人机拍摄的小目标。

9、进一步的，步骤s1，对无人机拍摄的图像进行预处理，包括以下步骤：

10、s11：对无人机从不同高度和不同城市拍摄的图像数据进行筛选，将没有标签和拍摄重影的图像筛除，保留有标签和没有重影的图像数据；

11、s12：对步骤s11中有标签和没有重影的图像数据重新调整分辨率，保持所有图像分辨率一致。

12、进一步的，步骤s2，将步骤s1中的处理后的图像数据划分为训练数据集、验证数据集和测试数据集，包括以下步骤：

13、s21：对步骤s12相同分辨率的图像数据的所有图片名字进行重命名；

14、s22：根据s21中重命名的图像将所对应的标签进行重命名，使得标签与图像一一对应；

15、s23：对s22重命名后的图像和标签分别建立图像和标签文件夹，并将图像和标签分别放入这两个文件夹；

16、s24，将所有步骤s23的图像样本按照3：2：1的比例划分为训练数据集、验证数据集和测试数据集。

17、进一步的，基于无人机采集的数据集构建一种动态特征和上下文增强的小目标检测模型，包括以下步骤：

18、s31：训练数据集被重新分配尺寸，并被输入主干网中，通过5个普通卷积块和4个残差卷积块进行特征提取，其中第2个残差卷积块输出浅层特征，第3个残差卷积块输出中间层特征，第4个残差卷积块输出深层特征；

19、s32：将提取到的浅层特征、中间层特征和深层特征分别送入自适应多维注意力（adaptive multi-dimensional attention，ama）模块中进一步选择关键特征信息；其中自适应多维注意力单元的结构为：对提取的特征划分为水平特征.和垂直特征，利用自适应最大池化（adaptivemaxpool2d，am）进行下采样处理，对处理后的特征按通道维度进行拼接，并继续划分为水平特征和垂直特征，目的是为了细化特征，水平特征和垂直特征的公式表示为：，其中表示按照通道维度将特征进行拼接，表示划分，接着，通过3×3卷积和1×1卷积分别对水平特征和垂直特征处理得到特征和，对特征和继续使用得到特征和特征，将特征和特征依次送入组卷积、激活函数和组卷积中，通过更新参数来选择重要的特征信息，重要特征信息的计算公式为：，其中，表示激活函数，参数，且，，，和表示权重，代表将通道数分成组，以减少参数数量，表示通道数，表示宽度，表示高度，表示集合，将、和逐元素相乘，得到最后的输出特征，输出特征的计算公式为：，其中表示逐元素相乘。表示通过ama模块选择的重要输出特征；

20、s33，将ama模块应用到浅层、中间层和深层特征提取位置，并通过区域特征处理模块（regional feature processing，rfp）捕捉更多小目标的详细信息；浅层可以提供更多小目标的定位信息，中间层可以提供部分位置信息和语义信息，而深层提供更多的抽象信息；模块rfp的具体结构为：浅层和中间层被ama选择的重要特征还存在粗糙的特征信息，因此，将所有样本的特征信息进行层归一化，利用3×3卷积实现跨通道的交互，然后使用正则化方法处理特征并与按通道拼接，得到特征，对特征进行层归一化处理，并利用1×1标准卷积进行特征的平滑并与按通道拼接得到特征，对特征使用层归一化、3×3卷积和激活函数将特征映射到复杂的空间，以提高模型的性能，特征和特征的计算公式为：

21、，

22、，其中表示来自浅层的ama选择的个粗糙样本，表示中间层的ama选择的个粗糙样本，表示按通道拼接，表示3×3标准卷积，表示1×1卷积，表示层归一化方法，表示正则化方法，是输入部分的恒等映射，表示所有输入样本的特征都被层归一化，和分别代表均值和标准差，是一个接近于零的常数，因为所选特征是连续的随机变量，所以为了控制特征的计算，选择了累积分布函数，计算公式为：，其中是卷积得到的特征，表示的高斯正态分布的累积分布，为平均值。是标准差，是圆的周长，是指数函数，然后，通过1×1卷积有选择地提取特征，此时，噪声被去除，最后，使用正则化方法进一步细化特征并与特征按通道拼接得到输出特征，特征处理的过程表示为：，；

23、为样本和的光滑特征，为带噪声的输入特征，表示rfp模块选择的最终结果，是1×1卷积，是正则化方法，是按通道拼接；

24、s34，深层特征被输入到多维池化transformer（multi-dimensional pooltransformer，mpt）模块，该模块包括ama模块、组串联池化模块（grouped tandem pooling，gtp）和组自注意力（grouped self-attention，gsa）模块，具体来说：深度网络捕获的全局信息被ama选择以后，被送入gtp以扩大感受野，并减少模型的参数数量，被gtp处理后的特征被送入gsa中，以提高相似特征之间的相关性，最后，将相关性高的特征输出到预测模块；gtp结构单元为：输入特征经过两个路径分支，其中一个路径单独使用一个1×1组卷积，另一个路径，使用连续的1×1组卷积和3×3组卷积，再使用1×1组卷积后，通过连续的三个最大池化层，其中池化核大小都是5，三个池化层输出的特征与最大池前的1×1组卷积输出特征进行通道拼接，以得到输出特征，再利用一个1×1和3×3组卷积处理，并与另一条路径的输出特征按照通道拼接，拼接后的特征被1×1组卷积处理后，与ama选择的特征和rfp输出的特征按通道拼接以得到最终输出特征，gtp中感受野和参数数量的计算公式为：

25、，

26、，其中是当前层的感受野，是前两层的感受野，表示层数，是卷积核的大小，表示前两层步长，表示上一层步长，和分别表示卷积核大小为1和3，是输入特征映射的个数，是输出特征映射的个数，为隐藏层中特征映射的个数，是分组的个数，为gtp模块参数的数量；gsa结构单元为：gtp输出的特征被送入gsa中，通过4个组自注意力里面的16个头对信息进行处理，最后通过全连接激活函数层得到输出特征，并连续递归3次得到最终的输出特征。组自注意力中对查询向量、键向量和值向量的计算公式为：，，其中是组自注意力，是组自注意力中头的个数，为concat，目的是根据通道维度拼接信息，为比例因子，用于调整该值，和是可学习权值，是转置向量，是向量集合，均表示参数值，是归一化方法，由两个rfp模块和一个mpt模块处理后的特征被送入预测模块进行模型的回归和预测。

27、进一步的，步骤s4，使用步骤s2中的训练数据集和验证数据集对步骤s3搭建的检测模型进行训练、验证和优化，并保存最优权重，具体方法为：

28、s41：对训练集输入到模型中进行训练，设置各项训练的参数，其中初始学习率设置为0.01，总的训练轮数为300轮，每20轮保存一次权重，结束训练时保留最优权重；

29、s42：构建模型反向传播的损失函数，通过交并比（intersection over union，iou）计算候选框和真实框的面积重合比例，计算公式为：，其中表示面积；接着，通过定位损失计算预测框和真实框之间的误差，类别损失和置信度损失采用相同的二元交叉熵损失（binary cross entropy loss，bceloss），分别记为和，定位损失的计算公式为：，，，其中，是预测框，是真实框，表示计算两个中心点间的欧式距离，表示能够同时包含预测框和真实框的最小闭包区域的对角线距离，表示平衡参数，衡量长宽比是否一致，是宽度，是高度；类别损失函数和置信度损失函数的计算公式为：

30、，

31、，

32、其中是类别的数量，表示样本的概率值，是样本的期望，表示样本的概率值，是样本的期望；最终的总体损失函数计算公式为：

33、，其中表示总体损失的计算结果；

34、s43：通过验证数据集验证模型的性能，在模型预测部分需要计算平均精度（meanaverage precision，map）来体现模型性能的好坏，的数值越高（最大值为1），模型的检测效果越好，的计算公式为：的计算公式为：，，，，其中，是查准率，表示预测框中有多少真正包含了目标，是召回率，表示真正的目标中有多少被预测框包含，表示预测框里有目标，表示预测框里没有目标，表示有目标的位置没有预测框，表示和与轴和轴围成的面积，即，表示预测的类别数量；将结果最高的权重进行保存；

35、s44：训练过程中，为了保证模型参数的优化更新，利用sgd（stochastic gradientdescent）优化器进行优化，以解决局部最优点问题，引入了随机性，即将每个数据样本输入网络计算梯度后就进行一次更新，其计算公式为：，其中，是模型的参数，表示样本输入模型后对参数进行更新，表示批次大小，是学习率，循环更新到训练次数结束,输出模型的最优权重；

36、s45：按照步骤s43继续计算的数值，直到完成所有训练次数为止。

37、进一步的，步骤s5，将步骤s2中的测试数据集输入s3中构建的模型，通过加载s4中的最优模型权重，以检测无人机拍摄的小目标，具体方法为：

38、s51：将步骤s2的测试数据集输入到步骤s3构建的模型中，设置置信度为0.6；

39、s52：将步骤s4中保存的最优权重加载到步骤s3构建的模型中，冻结主干网部分，测试输出结果。

40、有益效果：

41、本发明提供一种检测无人机小目标的动态特征和上下文增强方法，能够通过无人机拍摄的高分辨率图像来提升检测模糊和背景信息复杂的小物体的效果。相比于流行的小目标检测模型，本发明提出的模型有更少的参数量和计算量，能搭载到无人机设备中进行实时监测，大大降低了成本。