一种无人机航拍图像的小目标检测方法、装置

本发明涉及一种无人机航拍图像的小目标检测方法、装置，属于无人机目标检测。

背景技术：

1、无人机技术的成熟加速了无人机在交通运输系统中的应用。与传统的固定位置监控摄像机相比，无人机监控系统具有成本低、部署方便、机动性高、视野更广等优点。此外，无人机可以通过调整飞行高度和位置，有效地避免遮挡问题，并且准确、快速地在不干预道路交通的情况下监控不同道路上的物体。

2、目前的无人机目标检测技术主要分为两个方面：传统计算机视觉方法和深度学习方法。传统计算机视觉方法主要依赖于特征提取和目标识别算法，常用的特征提取方法包括灰度共生矩阵、方向梯度直方图(hog)、局部二值模式(lbp)等，然后通过分类器如支持向量机(svm)、adaboost等进行目标识别。传统计算机视觉方法在一些简单场景下表现良好，但对于复杂背景、目标尺度变化等情况，容易出现性能下降的问题。深度学习方法在无人机目标检测中取得了显著的突破，通过使用深度神经网络，特别是卷积神经网络(cnn)，可以自动学习图像特征和目标表示。一些流行的深度学习模型如faster r-cnn、yolo、ssd等都被广泛用于无人机目标检测任务，这些模型可以实现实时目标检测，并在复杂场景下具有更好的鲁棒性和准确性。将目标检测算法集成到无人机的高精度摄像头中，可以更灵活、更准确地从高空采集和处理道路交通数据，提高目标搜索效率。

3、然而，无人机航拍图像中存在部分目标尺寸较小，分辨率较低，其可利用的特征信息较为稀疏，容易漏检和误检，而且在卷积神经网络下采样的过程中，小目标在特征图中的细粒度信息会逐渐减弱，特征表达能力逐渐退化，进一步加剧网络的漏检与误检情况。因此，在目前的深度学习与计算机视觉领域，无人机目标检测技术的小目标检测性能不佳，还有待提高。

技术实现思路

1、为了解决无人机从高空捕获的地面目标在图像中占用的像素较少，目标尺寸较小的问题，本发明针对无人机航拍图像，提出了一种基于端到端轻量级网络的无人机航拍图像小目标检测方法、装置。

2、为解决上述技术问题，本发明是采用下述技术方案实现的。

3、第一方面，本发明提供一种无人机航拍图像的小目标检测方法，包括如下步骤：

4、利用特征提取骨干网络对实时采集无人机航拍图像进行特征提取，得到无人机航拍图像的初始特征图；

5、利用改进的特征金字塔网络对所述初始特征图进行特征增强和特征细化，得到终极特征图；

6、利用训练好的小目标检测模型对所述终极特征图进行检测，得到无人机航拍图像的小目标检测结果；

7、其中，所述特征提取骨干网络包括依次相连的深度可分离卷积层、反向残差结构、组分离注意力模块，所述改进的特征金字塔网络包括上下文特征增强模块和特征金字塔细化模块。

8、结合第一方面，进一步的，所述利用特征提取骨干网络对实时采集无人机航拍图像进行特征提取，得到无人机航拍图像的初始特征图，包括：

9、利用所述深度可分离卷积层对所述无人机航拍图像进行深度卷积和点卷积，得到特征图一；

10、利用所述反向残差结构和所述组分离注意力模块对所述特征图一进行注意力加权处理，得到注意力加权的特征图二，即无人机航拍图像的初始特征图。

11、结合第一方面，进一步的，所述利用改进的特征金字塔网络对所述初始特征图进行特征增强和特征细化，得到终极特征图，包括：

12、利用所述上下文特征增强模块提取所述初始特征图周围的上下文信息，得到包含上下文信息的特征图三；

13、利用所述特征金字塔细化模块在通道维度和空间维度上分别对所述特征图三进行特征细化，得到无人机航拍图像的终极特征图。

14、结合第一方面，进一步的，利用所述特征金字塔细化模块在通道维度和空间维度上分别对所述特征图三进行特征细化，包括：

15、在通道维度下，利用通道净化模块对所述特征图三分别进行自适应平均池化和自适应最大池化处理，得到包含空间上下文特征和的通道注意力图；所述通道净化模块的表达式如下：

16、

17、其中，mc(f)为通道净化模块输出的通道注意力图，avgpool(f)表示自适应平均池化，maxpool(f)表示自适应最大池化，为自适应平均池化后的空间上下文特征，为自适应最大池化后的空间上下文特征，w0为用于自适应平均池化和自适应最大池化后的空间上下文特征的参数矩阵，w1为用于多层感知机隐藏层的参数矩阵；

18、在空间维度，通过softmax生成通道注意力图中各个位置相对于通道的相对权重，基于相对权重，利用空间净化模块对分别对空间上下文特征和进行处理，得到与之对应的空间特征和通过一个标准卷积对和进行卷积处理，得到空间注意力图；所述空间净化模块的表达式如下：

19、

20、其中，ms(f)为空间净化模块输出的空间注意力图，f7×7表示卷积核尺寸为7×7的卷积，为对应的空间特征，为对应的空间特征；

21、将通道维度的通道注意力图和空间维度的空间注意力图融合，得到无人机航拍图像的终极特征图。

22、结合第一方面，进一步的，在小目标模训练过程中，通过目标分类损失、边框回归损失和中心度损失计算小目标检测模型的总体损失；

23、小目标检测模型的目标分类和边框回归的联合损失函数的表达式如下：

24、

25、其中，l({px，y}，{tx，y})表示目标分类和边框回归的联合损失函数，{px，y}表示小目标检测模型的预测分类结果的集合，无人机航拍图像的终极特征图中每个像素点位置(x，y)对应一个多维向量px，y，px，y表示像素点(x，y)属于不同类别的预测概率，{tx，y}表示小目标检测模型的预测边框回归结果的集合，每个像素点位置(x，y)对应一个四维向量tx，y，tx，y表示像素点(x，y)的边框回归预测值，表示像素点(x，y)的真实目标类别标签，表示像素点(x，y)的边框回归目标，lcls为聚焦损失，lreg为广义交并比损失，npos表示正样本数量，λ1为lreg的平衡权重，为指示函数，当时为1，否则为0；

26、在检测过程中，远离目标中心点生成的大量边框会显著影响目标检测的效果，为了降低上述低质量边框的数量，本发明提出了一个与边框回归分支并行的单层分支来预测边框的中心度损失。

27、通过中心度损失描述终极特征图中像素点与其负责的目标中心的标准化距离；

28、将目标分类损失、边框回归损失和中心度损失组合在一起，得到小目标检测模型的总体损失函数：

29、

30、其中，l({px,y},{tx,y},{cx,y})表示总体损失函数，centernessx,y和分别表示像素点(x,y)处预测的中心度值和真实中心度值，λ2为中心度损失函数lcen的平衡权重。

31、第二方面，本发明提供一种无人机航拍图像的小目标检测装置，包括：

32、特征提取模块，用于利用特征提取骨干网络对实时采集无人机航拍图像进行特征提取，得到无人机航拍图像的初始特征图；

33、特征增强细化模块，用于利用改进的特征金字塔网络对所述初始特征图进行特征增强和特征细化，得到终极特征图；

34、小目标检测模块，用于利用训练好的小目标检测模型对所述终极特征图进行检测，得到无人机航拍图像的小目标检测结果；

35、在所述特征提取模块中，所述特征提取骨干网络包括依次相连的深度可分离卷积层、反向残差结构、组分离注意力模块；

36、在所述特征增强细化模块中，所述改进的特征金字塔网络包括上下文特征增强模块和特征金字塔细化模块。

37、结合第二方面，进一步的，所述特征增强细化模块的具体操作为：

38、利用所述上下文特征增强模块提取所述初始特征图周围的上下文信息，得到包含上下文信息的特征图三；

39、利用所述特征金字塔细化模块在通道维度和空间维度上分别对所述特征图三进行特征细化，得到无人机航拍图像的终极特征图。

40、结合第二方面，进一步的，利用所述特征金字塔细化模块在通道维度和空间维度上分别对所述特征图三进行特征细化，包括：

41、在通道维度下，利用通道净化模块对所述特征图三分别进行自适应平均池化和自适应最大池化处理，得到包含空间上下文特征和的通道注意力图；所述通道净化模块的表达式如下：

42、

43、其中，mc(f)为通道净化模块输出的通道注意力图，avgpool(f)表示自适应平均池化，maxpool(f)表示自适应最大池化，为自适应平均池化后的空间上下文特征，为自适应最大池化后的空间上下文特征，w0为用于自适应平均池化和自适应最大池化后的空间上下文特征的参数矩阵，w1为用于多层感知机隐藏层的参数矩阵；

44、在空间维度，通过softmax生成通道注意力图中各个位置相对于通道的相对权重，基于相对权重，利用空间净化模块对分别对空间上下文特征和进行处理，得到与之对应的空间特征和通过一个标准卷积对和进行卷积处理，得到空间注意力图；所述空间净化模块的表达式如下：

45、

46、其中，ms(f)为空间净化模块输出的空间注意力图，f7×7表示卷积核尺寸为7×7的卷积，为对应的空间特征，为对应的空间特征；

47、将通道维度的通道注意力图和空间维度的空间注意力图融合，得到无人机航拍图像的终极特征图。

48、结合第二方面，进一步的，所述小目标检测模块中，通过目标分类损失、边框回归损失和中心度损失计算小目标检测模型的总体损失；

49、小目标检测模型的目标分类和边框回归的联合损失函数的表达式如下：

50、

51、其中，l({px，y}，{tx，y})表示目标分类和边框回归的联合损失函数，{px，y}表示小目标检测模型的预测分类结果的集合，无人机航拍图像的终极特征图中每个像素点位置(x，y)对应一个多维向量px，y，px，y表示像素点(x，y)属于不同类别的预测概率，{tx，y}表示小目标检测模型的预测边框回归结果的集合，每个像素点位置(x，y)对应一个四维向量tx，y，tx，y表示像素点(x，y)的边框回归预测值，表示像素点(x，y)的真实目标类别标签，表示像素点(x，y)的边框回归目标，lcls为聚焦损失，lreg为广义交并比损失，npos表示正样本数量，λ1为lreg的平衡权重，为指示函数，当时为1，否则为0；

52、在检测过程中，远离目标中心点生成的大量边框会显著影响目标检测的效果，为了降低上述低质量边框的数量，本发明提出了一个与边框回归分支并行的单层分支来预测边框的中心度损失。

53、通过中心度损失描述终极特征图中像素点与其负责的目标中心的标准化距离；

54、将目标分类损失、边框回归损失和中心度损失组合在一起，得到小目标检测模型的总体损失函数：

55、

56、其中，l({px，y}，{tx，y}，{cx，y})表示总体损失函数，centernessx，y和分别表示像素点(x，y)处预测的中心度值和真实中心度值，λ2为中心度损失函数lcen的平衡权重。

57、与现有技术相比，本发明所达到的有益效果：

58、本发明提出了一种无人机航拍图像的小目标检测方法、装置，在特征提取阶段通过深度可分离卷积和反向残差结构减少网络参数，通过组分离注意力模块辅助进行特征提取，能够有效加强骨干网络的特征提取能力。在特征提取后，本发明引入了上下文特征增强模块和特征金字塔细化模块，将上下文信息添加到初始特征中，实现特征增强，并进行特征细化，充分挖掘对象之间以及对象与背景之间的依赖关系，在保持低参数的同时很好地保留特征信息，有效提高了网络对小目标的特征表达能力，有利于后续对小目标的检测。本发明使用单级无锚点设计构建小目标检测模型，能够在平衡数据集中正、负样本的同时大大减少了复杂的超参数设置和计算，能够根据特征图准确检测出无人机航拍图像中的小目标，提高了小目标检测的检测精度。