一种多维注意力引导动态卷积的旋转目标检测器及检测方法

本发明涉及遥感图像旋转目标检测领域，具体涉及一种多维注意力引导动态卷积的旋转目标检测器及检测方法。

背景技术：

1、遥感目标检测旨在定位地面上感兴趣的物体并识别其种类。不同于常规图像检测，遥感图像的目标更小，数量更多，周围环境更复杂，同时更为重要的一点在于遥感图像目标的方向往往是任意的。如果完全参考常规的目标检测采取水平边界框来检测目标会使得物体检测框中包含很多背景区域，从而影响检测结果。

2、随着深度神经网络的发展，越来越多旋转目标检测相关框架被提出。许多遥感图像目标检测模型都借鉴于faster rcnn的思想，采用候选区域生成网络(rpn)驱动后续模块的预测。rrpn方法在特征图的每个位置设置54个不同角度、横纵比、尺度的旋转锚框，其中不同角度有六个，分别为-π/6、0、π/6、π/3、π/2、2π/3，不同的横纵比有1:2、1:5、1:8，不同的目标尺度设置为8，16，32。每个特征图上有h×w×54个锚框生成，最终在分类分支得到180(2×54)个得分输出，在回归分支得到270(5×54)个位置输出。锚框的引入为寻找目标的位置提供了新的先验信息，提高了模型方法的召回率-，但该方法需要设置大量的先验锚框信息，在网络设计上较为复杂。而后roi transformer方法中，通过rpn模块，从水平锚框中生成水平候选区域，再从水平候选区域中学习旋转候选区域，避免设计大量带角度的锚框。该方法设置了多个区域转换阶段，显著增加了网络计算复杂度，且初始轴对齐的候选区域对于旋转目标不具备鲁棒性。在r2-cnn中提出了一种新型旋转区域建议网络，通过rpn生成轴对齐的候选框，然后细化该候选框并预测出包围该旋转目标的最小外接矩形，最后再通过通过非极大值抑制(nms)对旋转候选框进行后处理操作，通过设置不同的交并比阈值来调节最终的预测结果，避免漏检的发生，但是最小外接矩形与原便签未必对齐。同时在注意力机制的相关工作中，senet网络专注于通道，通过构造新的架构单元se模块来显式建模卷积过程中通道之间的依赖关系。堆叠该模块搭建senet架构，通过激励或抑制相关信息通道来自适应地重新校准通道式特征相应。在chen等人的工作中系统性地将通道注意力机制引入卷积概念中提出动态卷积，通过学习n个不同卷积的注意力系数线性组合以增加网络大小及容量。虽然该方法能有效根据输入调整卷积参数，但是其考虑的注意力维度过窄，在复杂场景的遥感图像目标检测中，其特征提取能力仍有待提高。

技术实现思路

1、本发明的目的在于提出一种多维注意力引导动态卷积的旋转目标检测器及检测方法，在检测任务中充分考虑输入多样性对特征提取环节带来的影响，能够有效处理尺度变化大，背景区域难以分辨、样本密集的遥感目标检测问题，且检测性能优异。

2、实现本发明目的的技术解决方案为：第一方面，本发明提供一种多维注意力引导动态卷积的旋转目标检测方法，包括以下步骤：

3、第一步，采用多维动态卷积模块，在卷积层中构造四个不同维度的注意力引导动态卷积，同时层与层之间采取跳层的方式进行连接。

4、第二步，采用多尺度特征融合模块，调整相邻层特征大小与通道数，进一步融合特征提取网络在不同层获得的图像特征。

5、第三步，采用旋转特征对齐模块，由主分支通过旋转对齐卷积整合融合特征与另一分支输出的旋转偏移信息，对融合特征进行调节。

6、第四步，采用旋转滤波最大值响应模块，从对齐信息中提取方向敏感特征，同时通过汇集方向敏感特征得到方向不变特征，以用于分类以及回归任务。

7、第五步，采用分类与定位输出模块，定义卡尔曼交并比损失函数，将原来目标框交并比计算转化到高斯分布协方差计算，减缓角度边界问题。

8、第二方面，本发明提供一种多维注意力引导动态卷积的旋转目标检测器，包括：

9、特征提取模块，采用预处理加卷积层堆叠而成，卷积中采取多维注意力机制增强其特征提取能力，并通过跳层连接的方式缓解梯度消失现象；

10、多尺度特征融合模块，融合多个卷积层得到的特征结果，构建多尺度的图像特征；

11、旋转特征对齐模块，构造不同分支整合融合特征与偏移信息，采样更适合任务的图像特征；

12、旋转滤波最大值响应模块，构造多方位滤波器提取方向敏感特征，汇集方向敏感特征成方向不变特征，缓解分类与定位的差异性；

13、分类与定位输出模块，定义卡尔曼交并比损失函数，原始目标框转化为高斯分布，缓解角度回归边界问题。

14、第三方面，本发明提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第一方面所述的方法的步骤。

15、第四方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面所述的方法的步骤。

16、本方法与现有技术相比，其显著特点在于：(1)通过采用多维注意力的方式根据输入特征自适应性地调整网络参数，有更为优秀的特征提取能力。(2)采用多尺度特征融合模块融合各个尺度特征图上的特征信息，缓解遥感图像尺度变化大带来的问题。(3)采用旋转对齐模块，使得卷积在采样过程中采样范围能依据输入目标的角度进行对齐，提高检测准确率。(4)采用旋转滤波模块遍历不同角度的图像特征，缓解角度问题带来的位置信息与种类信息不一致性。(5)定义卡尔曼交并比损失函数，将原旋转角度下的交并比转化为高斯分布的协方差计算，减少角度边界突变带来的问题，最终效果表现优良。

17、下面结合附图对本发明作进一步详细描述。

技术特征：

1.一种多维注意力引导动态卷积的旋转目标检测方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种多维注意力引导动态卷积的旋转目标检测方法，其特征在于，第一步，采用多维动态卷积模块，在卷积层中构造四个不同维度的注意力引导动态卷积，同时层与层之间采取跳层的方式进行连接，具体过程为：

3.根据权利要求1所述的一种多维注意力引导动态卷积的旋转目标检测方法，其特征在于，第二步，采用多尺度特征融合模块，调整相邻层特征大小与通道数，进一步融合特征提取网络在不同层获得的图像特征，具体过程为：

4.根据权利要求1所述的一种多维注意力引导动态卷积的旋转目标检测器，其特征在于，第三步，采用旋转特征对齐模块，由主分支通过旋转对齐卷积整合融合特征与另一分支输出的旋转偏移信息，对融合特征进行调节，具体过程为：

5.根据权利要求1所述的一种多维注意力引导动态卷积的旋转目标检测器，其特征在于，第四步，采用旋转滤波最大值响应模块，从对齐信息中提取方向敏感特征，同时通过汇集方向敏感特征得到方向不变特征，以用于分类以及回归任务，具体步骤为：

6.根据权利要求1所述的一种多维注意力引导动态卷积的旋转目标检测器，其特征在于，采用分类与定位输出模块，定义卡尔曼交并比损失函数，将原来目标框交并比计算转化到高斯分布协方差计算，具体步骤为：

7.一种多维注意力引导动态卷积的旋转目标检测器，其特征在于，用于实现权利要求1-6任一所述的方法，检测器包括：

8.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1～6中任一项所述的方法的步骤。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1～6中任一项所述的方法的步骤。

技术总结
本发明公开了一种多维注意力引导动态卷积的旋转目标检测器及检测方法，方法包括：构造多维注意力自适应地激励或抑制目标与背景特征；融合特征提取网络获得的分层图像特征，并由上一层的输出加上之前对应层的输出生成多尺度图像特征；采取特征对齐卷积对融合特征进行调节；通过与旋转一定角度的卷积核进行卷积操作，输出响应最大的通道；采用卡尔曼交并比定义损失函数，将原始目标框转化为高斯分布，由两个原分布相乘得到重叠部分分布，采用协方差衡量重叠程度，减小角度回归边界问题。本发明的优势在于网络的多维注意力机制能根据输入特征的不同，在不同维度上动态调节卷积权重，并通过特征自适应加权融合，显著提高多尺度目标的特征提取能力。

技术研发人员：肖亮,何政禹,杨磊
受保护的技术使用者：南京理工大学
技术研发日：
技术公布日：2024/3/21