多尺度融合注意力的交通头盔小目标检测系统及方法与流程

本发明涉及图像处理，尤其涉及一种多尺度融合注意力的交通头盔小目标检测系统及方法。

背景技术：

1、小目标检测在无人机、监控、农业等领域具有重要应用。由于小目标的尺寸较小、信噪比较低并且容易受到遮挡和背景干扰等因素的影响，因此对小目标的精确检测是目前目标检测领域的研究难点。近年来，深度学习的兴起为小目标检测提供了新的方法，从传统的手工特征提取到端到端的卷积神经网络，这些方法在小目标检测方面取得了显著的进展。然而，小目标检测任务的复杂性仍然存在一些挑战。

2、基于cnn的目标检测算法通过对特征图进行多次下采样来实现多尺度检测，随着卷积层数的增多，所提取的特征图分辨率逐渐减小，感受野的尺寸不断增大。在生成的浅层特征图中包含了线条、角点、纹理等细节的特征，而深层特征图则包含高级别的语义信息，更关注图像中全局信息的表达，不适合小目标较多的场景。yolov5s网络结构中默认采用三个尺度的检测层，缺乏小目标检测层提取浅层的特征图，在进行小目标较多的检测任务时会出现漏检的情况，导致检测效果不佳。

技术实现思路

1、为此，本发明实施例提供了一种多尺度融合注意力的交通头盔小目标检测系统及方法，用于解决现有技术中小目标检测性能不足的问题。

2、为了解决上述问题，本发明实施例提供一种多尺度融合注意力的交通头盔小目标检测系统，所述系统包括：

3、数据集构建模块，用于构建交通安全头盔检测数据集；

4、数据预处理模块，与所述数据集构建模块连接，用于对所述交通安全头盔检测数据集进行图像预处理；

5、检测模块，与所述数据预处理模块连接，用于将预处理图像输入到交通安全头盔小目标检测网络模型中进行训练，得到检测结果；

6、所述交通安全头盔小目标检测网络模型以yolov5s模型结构为基础，首先，在特征融合网络中增加小目标检测层即把第2层的特征层加入特征融合网络中，使得网络模型有四个不同尺度的检测层；其次，在骨干网络末端的空间金字塔池化结构前加入坐标注意力机制模块；最后，在特征融合网络中保留第2层和第5层的特征融合层，在第3层和第4层的特征融合层增加两条跨尺度的有向边，并在特征融合网络结构的末端节点上增加坐标注意力机制模块。

7、优选地，对所述交通安全头盔检测数据集进行图像预处理的方法为：

8、采用mixup数据增强方法，将两张不同的交通安全头盔检测图片按照比例混合，生成一张新的图片；

9、采用mosaic-9数据增强方法，在交通安全头盔佩戴数据集中选择九张图片进行随机剪裁、随机放缩、随机排布的方式拼接到一张图片上。

10、优选地，所述交通安全头盔小目标检测网络模型通过上采样、融合和卷积操作，将骨干网络提取的多尺度特征图进行特征融合和传递，具体过程：首先，将32倍下采样的特征图经过卷积和上采样操作，与16倍下采样的特征图融合；然后，融合后的16倍下采样特征图通过相同的操作与8倍下采样的特征图融合；最后，融合后的8倍下采样特征图通过卷积和上采样操作与4倍下采样特征图融合，得到了四个不同尺度的融合特征图。

11、优选地，在特征融合网络中增加小目标检测层即把第2层的特征层加入特征融合网络中，使得网络模型有四个不同尺度的检测层，具体包括：

12、在特征融合网络中增加小目标检测层以保留浅层语义信息，将特征提取网络中原本没有进行融合的160x160的特征图增加到检测层，并在特征融合网络中增加1次上采样操作和1次下采样操作，从而将最后输出检测层增加至4层，增加了检测层后，输出的预测框也从9个相应地增加到12个，所增加的3个预测框均用于长宽比不同且针对小目标的检测。

13、优选地，所述坐标注意力机制模包括坐标信息嵌入和坐标注意力生成两个步骤；在坐标信息嵌入步骤中，通过全局池化、级联和共享卷积操作将输入特征图编码为变换特征图；在坐标注意力生成步骤中，通过多次卷积和sigmoid激活函数的操作得到在高度和宽度上的注意力权重，并将其与原始输入特征图进行乘法加权计算，以得到在宽度和高度上分别融合了坐标信息的注意力权重的输出。

14、优选地，在坐标信息嵌入步骤中，通过全局池化、级联和共享卷积操作将输入特征图编码为变换特征图，具体包括：

15、在坐标信息嵌入步骤中，输入特征图，针对每个通道c，首先进行一维全局池化操作，分别沿着水平方向和垂直方向对特征图进行编码，得到两个方向上的感知特征图和，公式如下：

16、其中，c、h和w分别为通道数、高度和宽度，表示输入特征图x在通道c和位置i处的值；

17、然后，将得到的两个方向上的感知特征图在空间维度上进行级联，得到级联特征图，公式如下：

18、其中，表示张量在对应维度上的级联操作；

19、最后，级联特征图z会经过一个1x1的共享卷积和批量归一化操作，得到变换特征图，公式如下：

20、其中，表示1x1的共享卷积层，（）表示非线性激活函数。

21、在坐标注意力生成步骤中，通过多次卷积和sigmoid激活函数的操作得到在高度和宽度上的注意力权重，并将其与原始输入特征图进行乘法加权计算，以得到在宽度和高度上分别融合了坐标信息的注意力权重的输出，具体包括：

22、在坐标注意力生成步骤中，变换特征图会被进一步变换为两个方向上的特征图和，公式如下：

23、其中，和分别表示对两个方向和进行1x1卷积操作的卷积层；

24、接下来，将和分别进行1x1的卷积操作，得到两个方向上的注意力权重和，所得到的注意力权重是由sigmoid激活函数作用在卷积结果上得到的，公式如下：

25、其中，和分别表示对和进行1x1卷积操作的卷积层，表示sigmoid激活函数；

26、最后，将输入特征图x与两个方向上的注意力权重和进行乘法加权计算，得到在宽度和高度上分别融合了坐标信息的注意力权重的输出，公式如下：

27、其中，表示输入特征图x在通道c和位置(i,j)处的值，和分别表示在高度和宽度上的注意力权重。

28、本发明实施例还提供了一种多尺度融合注意力的交通头盔小目标检测方法，所述方法包括：

29、构建交通安全头盔检测数据集；

30、对所述交通安全头盔检测数据集进行图像预处理；

31、将预处理图像输入到交通安全头盔小目标检测网络模型中进行训练，得到检测结果；

32、所述交通安全头盔小目标检测网络模型以yolov5s模型结构为基础，首先，在特征融合网络中增加小目标检测层即把第2层的特征层加入特征融合网络中，使得网络模型有四个不同尺度的检测层；其次，在骨干网络末端的空间金字塔池化结构前加入坐标注意力机制模块；最后，在特征融合网络中保留第2层和第5层的特征融合层，在第3层和第4层的特征融合层增加两条跨尺度的有向边，并在特征融合网络结构的末端节点上增加坐标注意力机制模块。

33、本发明实施例还提供了一种电子装置，所述电子装置包括处理器、存储器和总线系统，所述处理器和存储器通过该总线系统相连，所述存储器用于存储指令，所述处理器用于执行存储器存储的指令，以实现上述所述的多尺度融合注意力的交通头盔小目标检测方法。

34、本发明实施例还提供了一种计算机存储介质，所述计算机存储介质存储有计算机软件产品，所述计算机软件产品包括的若干指令，用以使得一台计算机设备执行上述所述的多尺度融合注意力的交通头盔小目标检测方法。

35、从以上技术方案可以看出，本发明申请具有以下优点：

36、本发明提供了一种多尺度融合注意力的交通头盔小目标检测系统及方法，设计了一种交通安全头盔小目标检测网络模型，基于yolov5s模型结构，首先采用改进数据增强方法处理输入图像，增强小目标特征。然后增加小目标检测层融合浅层特征图，提取更多细节信息。接着嵌入坐标注意力机制模块于骨干网络，提升位置信息关注度。最后提出新的特征融合网络结构，融合不同尺度特征图，使得小目标语义信息被充分提取。本发明消融实验验证了改进策略的有效性，相较基准模型，map50 提升了 1 个百分点，aps 增幅达到 11.3%。与主流模型对比，各项指标均处于领先，证明了模型在小目标检测任务中的优越性。