一种基于改进多头自注意力的无人机小目标检测方法

1.本发明涉及计算机视觉中的目标检测技术领域，特别涉及一种基于改进多头自注意力的无人机小目标检测方法。


背景技术：

2.在计算机视觉领域，目标检测作为一个重要的技术，被广泛的应用到实际场景中，如：人脸检测、行人检测、车辆检测、无人机检测等。目标检测主要存在传统的目标检测方法和基于深度学习的目标检测方法。在小目标检测方向，目标的有效占比小导致传统的目标检测算法表现效果差，而基于深度学习的目标检测方法能够保持较高的检测精度。因此，基于深度学习的目标检测方法逐步成为小目标检测的主流技术。
3.基于深度学习的目标检测方法主要分为两大类：一阶段(one-stage)目标检测方法和二阶段(two-stage)目标检测方法。one-stage目标检测方法主要将目标检测问题看成回归问题，在检测目标位置的同时预测目标类别，其代表的算法主要有yolo、yolo9000、yolov3、ssd等；two-stage目标检测方法则类似于传统的方法，需要先产生大量的候选区域，然后对区域进行分类，其代表的算法有r-cnn、fast r-cnn、faster r-cnn、cascade r-cnn等。近年来，随着目标检测领域的不断发展，one-stage目标检测方法在保留其速度的同时，检测精度得到了大幅的提升。因此，为了满足无人机小目标检测实时性要求，可采用基于深度学习的one-stage目标检测方法。
4.针对市区的低空无人机小目标，利用城市中已经部署的监控摄像头进行检测，无疑是最经济的一种方法。但是，在背景复杂、声音嘈杂的市区环境下，基于深度学习的one-stage目标检测方法也不能很好的检测出无人机小目标。为此，本发明选用更为有效的one-stage目标检测模型—yolov5s，并改进一种通用的注意力机制，以增强检测模型对无人机小目标的检测精度。


技术实现要素：

5.为了解决背景技术提出的技术问题，本发明提供一种基于改进多头自注意力的无人机小目标检测方法，在yolov5s目标检测模型基础上添加改进多头自注意力模块，既适用于实时的无人机小目标检测任务，又增强目标检测模型提取小目标特征的能力。
6.为了达到上述目的，本发明采用以下技术方案实现：
7.一种基于改进多头自注意力的无人机小目标检测方法，包括如下步骤：
8.步骤1：从已经部署的居民摄像头监控中采集图像，手工标注采集到的图像，获得一个含有低空无人机的图片数据集；
9.步骤2：使用含低空无人机的图片数据集对原始的yolov5s模型进行预训练，获得yolov5s的预训练权重；
10.步骤3：根据无人机小目标的特性对多头自注意力模块进行改进，并将改进多头自注意力模块加入到yolov5s模型中；
11.步骤4：使用含低空无人机的图片数据集和预训练权重对yolov5s模型进行重新训练，获得yolov5s的新训练权重；
12.步骤5：将新训练权重加载到yolov5s模型中，对居民摄像头监控数据进行检测。
13.进一步地，所述的步骤3中，改进多头自注意力模块，包括：
14.多头自注意力模块具有三个输入端口和一个输出端口，输入端口输入的是原始特征，输出端口输出的是经过多头注意力模块处理后的新特征；
15.第一个输入端口连接改进残差通道注意力子模块，用于提高输入特征中小目标有效特征的显著性；
16.第二个输入端口连接改进残差空间特征注意力子模块，用于提高输入特征中小目标有效特征的显著性；
17.第三个输入端口和两个改进注意力子模块连接卷积层子模块，卷积层替换原全连接层以提高多头自注意力的即插即用性；
18.多头缩放点积注意力子模块与卷积层子模块连接，并通过拼接和卷积处理，输出新特征。
19.进一步地，所述的改进残差通道注意力子模块，使用残差机制将原始输入特征与调整之后的特征相加，以使得输出特征可以保留部分浅层特征，继而保留更多的小目标特征。
20.进一步地，所述的改进残差空间特征注意力子模块，包括：
21.使用最大值池化，以降低输入特征通道数；
22.使用三层卷积组成空间金字塔，以增大特征搜索的空间，提高小目标尺度有效特征的捕获率；
23.拼接最大值池化的特征、三层卷积空间金字塔的三个特征；
24.计算拼接后的均值特征；
25.输入特征与均值特征点积，获得加权特征；
26.使用残差机制将输入特征与加权特征相加，以使得输出特征可以保留部分浅层特征，继而保留更多的小目标特征。
27.进一步地，所述的步骤3中，将改进多头自注意力模块加入到yolov5s模型，是将改进多头自注意力模块放在yolov5s的拼接层模块之后，用于调整拼接后小目标有效特征的显著性，降低检测层捕获小目标有效特征的难度。
28.进一步地，所述的步骤5中，对居民摄像头监控数据进行检测，过程如下：
29.从已经部署的居民摄像头监控中提取出单帧图像；
30.调用加载有新训练权重的yolov5s模型，对单帧图像进行检测；
31.若检测到小目标无人机，使用矩形框将小目标无人机区域自动框选出来。
32.与现有技术相比，本发明的有益效果是：
33.1)本发明的一种基于改进多头自注意力的无人机小目标检测方法，提供了改进多头自注意力模块，使用卷积层替换原始的全连接层，使用改进残差通道注意力和改进残差空间特征注意力调整输入特征，提高了多头自注意力的即插即用性和小目标有效特征的显著性，继而提升了无人机小目标的检测精度；
34.2)本发明的一种基于改进多头自注意力的无人机小目标检测方法，提供了改进残
差空间特征注意力子模块，在空间注意力中添加空间金字塔特征和残差机制，使得子模块可以从多个空间搜索小目标特征，并且保留了浅层的小目标特征，极大地提高了小目标有效特征的占比；
35.3)本发明的一种基于改进多头自注意力的无人机小目标检测方法，提供了改进残差通道注意力子模块，引入了残差机制，使得输出特征可以保留部分浅层特征，提高了小目标特征的占比。
附图说明
36.图1为本发明实施例提供的一种基于改进多头自注意力的无人机小目标检测方法的流程图；
37.图2为本发明实施例提供的改进残差空间特征注意力子模块的结构图；
38.图3为本发明实施例提供的改进多头自注意力模块的结构图。
具体实施方式
39.以下结合附图对本发明提供的具体实施方式进行详细说明。
40.本发明的一种基于改进多头自注意力的无人机小目标检测方法，主流程如图1所示，包括如下步骤：
41.s1：从居民摄像头监控中实时采集图像1；
42.s2：将采集到的图像1送入到具有改进多头自注意力模块的yolov5s模型中，进行前向推理；
43.s3：根据前向推理结果判断图像1中是否含有小目标无人机，如含有则进入s4，否则进入s6；
44.s4：从前向推理的结果中提取小目标无人机的位置信息，并在图像1中框选出来；
45.s5：向管理员发出异常警告；
46.s6：从居民摄像头监控中获取下一帧图像，并进入s2。
47.所述的s2具有改进多头自注意力模块的yolov5s模型，获取过程如下：
48.从已经部署的居民摄像头监控中采集图像，手工标注采集到的图像，获得一个含有低空无人机的图片数据集；
49.使用含低空无人机的图片数据集对原始的yolov5s模型进行预训练，获得yolov5s的预训练权重；
50.根据无人机小目标的特性对多头自注意力模块进行改进，并将改进多头自注意力模块加入到yolov5s模型中；
51.使用含低空无人机的图片数据集和预训练权重对yolov5s模型进行重新训练，获得yolov5s的新训练权重。
52.所述的s2改进多头自注意力模块，如图3所示，包括：
53.具有三个输入端口q、k和v，具有一个输出端口a，输入端口输入的是原始特征，输出端口输出的是经过多头注意力模块处理后的新特征；
54.输入端口q连接改进残差通道注意力子模块，用于提高输入特征中小目标有效特征的显著性；
55.输入端口k连接改进残差空间特征注意力子模块，用于提高输入特征中小目标有效特征的显著性；
56.输入端口v和两个改进注意力子模块连接卷积层子模块，卷积层替换了原本的全连接层以提高多头自注意力的即插即用性；
57.缩放点积注意力子模块具有h个头，前端的所有子模块也使用h个头与之对应，多头缩放点积注意力子模块与卷积层子模块连接，并通过拼接和卷积处理，输出新特征。
58.多头自注意力模块的输出公式如下：
[0059][0060]
r_ca表示残差通道注意力计算，rsp_sa表示残差空间特征注意力计算，f
1x1
表示1
×
1卷积，dk表示r_ca与rsp_sa的点积方差。
[0061]
多头自注意力模块的改进如下：
[0062]
1)使用卷积层替换原始的全连接层，提高了多头自注意力的即插即用性；
[0063]
2)使用改进残差通道注意力，调整多头自注意力的输入端口q的输入特征，提高了小目标有效特征的显著性；
[0064]
3)使用改进残差空间特征注意力，调整多头自注意力的输入端口k的输入特征，提高了小目标有效特征的显著性。
[0065]
所述的改进残差通道注意力子模块，包括：
[0066]
通道注意力模块会丢失浅层的特征，而在小目标检测中浅层特征是尤为重要的。
[0067]
使用残差机制将原始输入特征与调整之后的特征相加，以使得输出特征可以保留部分浅层特征，以保留更多的小目标特征。
[0068]
残差通道注意力子模块的计算公式如下：
[0069]
h(x)＝f(x)+x
[0070]
f(x)表示通道注意力计算，h(x)代表是输出特征，x代表的是输入特征。
[0071]
所述的改进残差空间特征注意力子模块，如图2所示，包括：
[0072]
使用最大值池化，以降低输入特征通道数；
[0073]
使用三层卷积组成空间金字塔，以增大特征搜索的空间，提高小目标尺度有效特征的捕获率；
[0074]
拼接最大值池化的特征、三层卷积空间金字塔的三个特征；
[0075]
计算拼接后的均值特征；
[0076]
输入特征与均值特征点积，获得加权特征；
[0077]
使用残差机制将输入特征与加权特征相加。
[0078]
改进残差空间特征注意力子模块目的是从多个空间上提取小目标的特征，并保留部分浅层中的小目标特征，提高了小目标尺度有效特征的捕获率。
[0079]
改进残差空间特征注意力子模块计算公式如下：
[0080]
[0081]
f表示输入特征，f
5x5
表示5x5卷积，表示按照通道取每个通道上相同位置的最大值。
[0082]
所述的将改进多头自注意力模块加入到yolov5s模型，主要是将改进多头自注意力模块放在yolov5s的拼接层模块之后，用于调整拼接后小目标有效特征的显著性，降低检测层捕获小目标有效特征的难度。
[0083]
以上实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于上述的实施例。上述实施例中所用方法如无特别说明均为常规方法。