基于跨级特征融合的多尺度船舶旋转检测方法

本发明涉及数据采集与分析领域，尤其是涉及基于跨级特征融合的多尺度船舶旋转检测方法。

背景技术：

1、在遥感图像处理领域，海面船舶目标的准确检测和识别具有重要的应用价值。它被广泛地应用于海洋监测、航海安全、海洋资源开发等领域，并对海洋相关行业的发展和安全起到积极的推动作用。基于深度学习的目标检测算法可以大致分为两类：两阶段检测算法和单阶段检测算法。两阶段检测算法先确定样本的候选框，然后通过cnn网络进行分类，代表算法有fast r-cnn和faster-rcnn；而单阶段检测算法则直接在回归分析的基础上实现目标检测，代表算法有yolo系列算法和ssd算法。传统的目标检测算法虽然均取得了优秀的检测结果，但是直接应用到船舶目标检测领域时效果欠佳。

2、因为海域环境复杂多变，船舶目标具有尺寸变化、云雾遮挡、背景复杂、方向任意、密集停泊和小目标对象等特点。这导致传统算法在完成船舶检测任务时存在许多不足：(1)精度低、实时性差；(2)预测框不能将船舶目标紧密的封装在目标检测框中，给后续的匹配计算带来较大误差。

技术实现思路

1、本发明的目的是解决现有目标检测方法在完成船舶目标检测任务时存在的精度低、实时性差等问题，提供了基于跨级特征融合(rcc-shipdet)的多尺度船舶旋转检测方法，包括：

2、s1、构建用于遥感图像中船舶检测的hrsc2016数据集；

3、s2、构建跨级特征融合网络模型；

4、s3、训练跨级特征融合网络；

5、s4、对待检测目标进行检测；

6、其中，跨级特征融合网络模型包括依次连接的骨干特征提取模块、特征融合模块、注意力机制模块以及识别和定位模块。

7、优选的方案中，骨干特征提取模块采用hrnetv2_w40网络，提取出具有高分辨率的图像特征；

8、特征融合模块采用跨尺度特征融合金字塔网络(csf-fpn)，进行跨级融合以获得小尺度特征图中更丰富和精细化的特征信息；

9、注意力机制模块引入混合领域卷积注意力模块(cbam)，使跨级特征融合网络模型关注包含重要信息的船舶目标区域，抑制无关信息；

10、识别和定位模块采用全新设计包含覆盖面积、中心点距离、宽高比和角度要素的旋转目标损失函数。

11、优选的方案中，跨尺度特征融合金字塔网络的流程包括：

12、取出骨干网络后三层输出的特征图d3、d4和d5作为该网络模块的初始输入，将d3粗略特征和d5精细化特征进行跨尺度特征融合后最为小尺度检测流的输入，让d3大尺度特征图中的全局语义信息引导网络学习。

13、优选的方案中，卷积注意力模块包括通道注意力和空间注意力；

14、首先，将图像特征图输入到通道注意力模块，输出相应的通道注意力图，然后将输入的特征图与注意力图相乘，输入到空间注意力模块，最后输出精细化的特征图，整体流程由下列公式所示：

15、

16、

17、式中表示元素乘法，f是输入特征图，mc(f)是通道注意力模块输出的通道注意力图，ms(f′)是空间注意力模块输出的空间注意力图，f″是cbam模块最终输出的精细化特征图。

18、优选的方案中，在通道注意力模块中，首先会对输入的特征图进行基于宽度和高度的全局最大池化和全局平均池化，得到两个不同的空间背景和然后传入具有共享权重的多层感知器(mlp)，最后通过sigmoid激活函数获得通道注意力图，由下列公式表示：

19、

20、其中，σ为sigmoid激活函数，w0和w1为mlp的权值

21、(w0∈r(c/r)，w1∈rc×r/c),r表示降维因子。

22、优选的方案中，空间注意力模块以f′作为输入，分别通过基于通道的全局最大池化和全局平均池化，然后将和合并得到通道数为2的特征图，通过7×7卷积将通道数减少到1，最终通过sigmoid激活函数得到空间注意力图ms(f)，其数学表达式如下：

23、

24、其中7×7为卷积核的大小。

25、优选的方案中，步骤s2中还重构针对旋转目标的总体损失函数，总体损失函数包括回归损失、置信度损失和分类损失。

26、优选的方案中，边界框回归损失函数由下列公式所示：

27、

28、上公式中n表示锚框的数量，objn＝1表示前景，objn＝0表示背景，没有回归则表示背景；t'表示预测的偏移矢量，t表示标签信息中的目标矢量，λ1表示控制回归损失权重的超参数，默认设置为1.0；skewiou用来计算预测框与标签框的iou；重构的回归损失函数分为两个部分，用来确定梯度传播的方向，同时也是确保损失函数可导的重要部分；f(skewiou)负责调整梯度的大小；考虑到skewiou与之间的不一致性,回归损失的主梯度数如下列公式所示：

29、

30、tθ＝gtθ-θα

31、tθ＝predθ-θα

32、上式中gtθ代表标签旋转角度信息，predθ表示预测旋转框角度信息。

33、ciou(·)表示水平边界框iou计算函数；

34、海面船舶目标检测任务中同样也存在正负样本不平衡的问题，因此置信度损失采用的是focal loss损失函数计算，其计算表达式为：

35、

36、其中αt权重帮助处理类别不均衡的问题，(1-pt)γ是调节因，γ≥0是可调节的聚焦参数，pt为预测为真实标签的概率，λ2表示控制置信度损失权重的超参数，默认设置为10.0；

37、类别损失是由binary cross-entropy损失函数计算，其表达式如下式所示：

38、

39、其中pn是每个类别的概率分布，tn是目标的标签，λ3是控制分类损失权重的超参数，默认设置为1.0；

40、因此，重构的总体损失函数可以表示为：

41、ltotal＝lreg_loss+lconf_loss+lcls_loss。

42、优选的方案中，步骤s4还包括以下步骤：将含有待检测目标的图片输入训练好的跨级特征融合网络中，输出对图片中待检测目标的类别和目标所在的每个外接矩形框位置的检测结果。

43、本发明提供的一种多模态数据同步采集与分析系统，具有以下的有益效果：

44、1)本发明所提方法采用跨尺度特征融合金字塔和卷积注意力模块产生更精细的目标特征，能有效的检测与识别海面船舶目标，平均准确率高于现存的其他它方法。

45、2)本发明所提供的算法可以将船舶目标紧密的封装在目标检测框中，减少了后续匹配计算的误差。

46、3)本发明所提算法框架可以更加容易地扩展到其他工业领域旋转目标检测任务中。

技术特征：

1.一种基于跨级特征融合的多尺度船舶旋转检测方法，其特征在于包括以下步骤：

2.根据权利要求1所述基于跨级特征融合的多尺度船舶旋转检测方法，其特征在于：

3.根据权利要求1所述基于跨级特征融合的多尺度船舶旋转检测方法，其特征在于：跨尺度特征融合金字塔网络的流程包括：

4.根据权利要求1所述基于跨级特征融合的多尺度船舶旋转检测方法，其特征在于：卷积注意力模块包括通道注意力和空间注意力；

5.根据权利要求4所述基于跨级特征融合的多尺度船舶旋转检测方法，其特征在于：在通道注意力模块中，首先会对输入的特征图进行基于宽度和高度的全局最大池化和全局平均池化，得到两个不同的空间背景和然后传入具有共享权重的多层感知器，最后通过sigmoid激活函数获得通道注意力图，由下列公式表示：

6.根据权利要求4所述基于跨级特征融合的多尺度船舶旋转检测方法，其特征在于：空间注意力模块以f′作为输入，分别通过基于通道的全局最大池化和全局平均池化，然后将和合并得到通道数为2的特征图，通过7×7卷积将通道数减少到1，最终通过sigmoid激活函数得到空间注意力图ms(f)，其数学表达式如下：

7.根据权利要求1所述基于跨级特征融合的多尺度船舶旋转检测方法，其特征在于：步骤s2中还重构针对旋转目标的总体损失函数，总体损失函数包括回归损失、置信度损失和分类损失。

8.根据权利要求7所述基于跨级特征融合的多尺度船舶旋转检测方法，其特征在于：根据权利要求1所述基于跨级特征融合的多尺度船舶旋转检测方法，其特征在于：边界框回归损失函数由下列公式所示：

9.根据权利要求1所述基于跨级特征融合的多尺度船舶旋转检测方法，其特征在于：步骤s4还包括以下步骤：将含有待检测目标的图片输入训练好的跨级特征融合网络中，输出对图片中待检测目标的类别和目标所在的每个外接矩形框位置的检测结果。

技术总结
本申请提供一种基于跨级特征融合的多尺度船舶旋转检测方法，S1、构建用于遥感图像中船舶检测的HRSC2016数据集；S2、构建跨级特征融合网络模型；S3、训练跨级特征融合网络；S4、对待检测目标进行检测；其中，跨级特征融合网络模型包括依次连接的骨干特征提取模块、特征融合模块、注意力机制模块以及识别和定位模块。该发明提供的方法解决了现有目标检测方法在完成船舶目标检测任务时存在的精度低、实时性差等问题。

技术研发人员：汤永恒,吴自宁,孙水发,张晶
受保护的技术使用者：三峡大学
技术研发日：
技术公布日：2024/2/19