一种基于区域提议增强的遥感图像细粒度检测方法及系统

本发明涉及遥感图像解译与计算机视觉，更具体的说是涉及一种基于区域提议增强的遥感图像细粒度检测方法及系统。

背景技术：

1、细粒度目标检测指在目标检测的同时，对目标的类别进行细粒度识别。其中，细粒度识别是指识别图像中基本类别下的下一级类别，如鸟类种类、汽车型号、飞机类型等。随着遥感技术的不断进步，可见光遥感图像的空间分辨率逐步提高。对于高分辨率遥感图像，更为丰富的细节信息使得对目标的细粒度检测成为可能。对于遥感图像中典型的舰船、飞机、车辆等目标而言，细粒度目标检测可给出目标的具体型号用途类别信息，在应用中具有精细化、智能化的实际意义。

2、现有技术往往遵循两阶段的检测范式，即第一阶段的区域提议生成和第二阶段的边界框细化与细粒度识别。细粒度检测本质上是一个包括了前景与背景分类、边界框回归和细粒度识别等多项任务的多任务学习问题，这种两阶段的检测范式有利于任务与特征间的解耦。因此，两阶段的目标检测模型往往能够在该任务上取得天然更优的结果。然而，现有的模型主要关注于应用对比学习、原型学习等方式对细粒度识别进行优化，却忽略了区域提议在两阶段检测器中的重要作用。具体来说，区域提议在两阶段模型中起到了任务间沟通的作用，然而在以下的三个方面中存在的问题对性能产生了不利的影响。

3、1)区域提议的生成：由于区域提议的分类和定位质量都会影响后续的识别，因此生成高质量的提议对于两阶段细粒度检测方法来说是一个关键任务。高质量的分类会导致假阳性提议的数量减少，这使得模型可以更多地关注到识别任务上。并且，高质量的定位会使特征更好地对齐，从而降低冗余背景的影响。相反，一个定位不准确的提议，如果无法完全包围目标，可能导致关判别性特征的缺失。

4、2)区域提议的表示：在两阶段模型中，第一阶段负责前景与背景分类和区域提议定位，而第二阶段负责细粒度识别和边界框细化，侧重点有所不同。然而，两个阶段的特征都是从特征金字塔网络中提取的，并没有被解耦，这将导致了任务之间的混淆。此外，基于单层特征的提议表示也不足以支持第二阶段的精确细粒度识别。

5、3)区域提议的利用：在之前的两阶段方法中，区域提议包括大量的假阳性样本。因此，需要通过手工设定的比例进行采样，以缓解样本不平衡问题。现有的方法在第二阶段仍然对前景与背景分类任务给予了较多关注，导致即使提议的质量得到了提高，高质量的正样本也不会被充分利用。这影响了细粒度识别的学习。

6、这些问题在现有方法中尚未被较好地解决，限制了遥感图像细粒度检测任务的性能表现。

技术实现思路

1、有鉴于此，本发明提供了一种基于区域提议增强的遥感图像细粒度检测方法及系统，用于提高遥感图像细粒度检测任务的性能，解决现有方法中忽略的以区域提议为核心的多任务协同问题。

2、为了实现上述目的，本发明采用如下技术方案：

3、本发明一方面公开了一种基于区域提议增强的遥感图像细粒度检测方法，包括以下步骤：

4、将待检测图像输入主干网络和特征金字塔网络，生成特征图；

5、将特征图输入预先训练好的高质量定向提议生成网络，通过基于注意力的任务分解生成区域提议；

6、将特征图输入双线性通道融合网络，采用双线性方式对所述特征图中的跨层次特征进行融合，获取融合后的高分辨率特征；

7、通过感兴趣区域池化对区域提议所在区域的高分辨率特征进行提取，完成边界框细化与细粒度识别任务。

8、进一步地，所述高质量定向提议生成网络的训练过程中，采用自适应训练样本选择进行动态标签分配。

9、进一步地，所述高质量定向提议生成网络包括共享卷积层、轻量级解耦注意力模块和提议生成模块，其中，所述共享卷积层用于从所述特征图中提取多尺度特征；所述轻量级解耦注意力模块用于基于所述多尺度特征实现特征图的解耦，获取解耦特征；所述提议生成模块用于基于无锚方式在所述解耦特征所在的特征图中的每个点上预测前景目标与边界框的偏移量。

10、进一步地，所述轻量级解耦注意力模块包括分组注意力聚合单元和简单空间注意力单元；

11、所述分组注意力聚合单元用于获取聚合特征，具体步骤包括：

12、将主干网络和特征金字塔网络输出的特征图中的特征和共享卷积层提取的多尺度特征进行拼接，得到拼接特征；

13、将所述多尺度特征进行全局平均池化处理；

14、通过一个1x1卷积层对全局平均池化处理后的多尺度特征中的每一个通道学习一个权重得到尺度注意力图，并利用所述尺度注意力图对拼接特征进行加权；

15、将加权后的拼接特征利用另外一个1x1卷积层进行降维；

16、将尺度注意力图将与降维后的拼接特征相乘，获得聚合特征；

17、所述简单空间注意力单元用于实现聚合特征在空间上的任务解耦，具体步骤包括：

18、将聚合特征分别进行全局平均池化和全局最大池化处理；

19、将全局平均池化和全局最大池化处理后的结果通过一个7×7的卷积层生成注意力图；

20、将注意力图与聚合特征相乘；

21、将注意力图与聚合特征相乘的结果进行缩放，并将缩放结果与聚合特征相加，实现聚合特征在空间上的任务解耦。

22、进一步地，采用双线性方式对所述特征图中的跨层次特征进行融合，具体包括以下步骤：

23、以两个相邻的特征图作为双线性通道融合网络的输入，通过通道交互模块对相邻的低层特征图和高层特征图进行预融合，具体过程如下：

24、[x11，x12]＝chunk(pi)；

25、[x21，x22]＝chunk(↑pi+1)；

26、xl＝concat([x11，x22])；

27、xh＝concat([x21，x12])；

28、其中，[x11，x12]表示对低层特征图分块的结果；[x21，x22]表示对高层特征图上采样分块的结果；chunk(·)代表通道维分块操作；pi和pi+1分别表示低层特征图和高层特征图；↑表示最近邻插值上采样操作；concat(·)表示通道级拼接操作；xl表示融合后的低层特征图；xh表示融合后的高层特征图；

29、将预融合后的低层特征图和高层特征图，使用两次线性映射和一次哈达玛积实现低秩双线性融合，具体过程如下，

30、bcf(xl，xh，f，g，h)＝h(f(xl)⊙g(xh))

31、其中，f，g和h均表示由1×1卷积实现的通道线性映射函数；符号⊙表示两个矩阵的哈达玛积；

32、低秩双线性融合结果通过残差结构与输入的低层特征图相加，得到融合后的高分辨率特征图h，w和c分别表示特征图的高度，宽度和通道。

33、进一步地，完成边界框细化与细粒度识别任务过程中，采用自适应动态损失动态调节区域提议样本的损失权重。

34、进一步地，采用自适应动态损失调节区域提议样本的损失权重，具体包括以下计算公式获得：

35、

36、其中，p为区域提议样本进行细粒度识别的预测值；y为区域提议样本所对应真值的标签；超参数β用于控制不同质量的区域提议样本的差距，并同时调整区域提议正样本的总体权重；t表示联合度量参数；超参数γ用于调节区域提议难样本的关注程度速率。

37、进一步地，所述联合度量参数通过以下计算公式获取：

38、

39、其中，s表示由高质量定向提议生成网络提供的提议分类得分；q表示边界框细化与细粒度识别任务框回归后的输出iou。

40、进一步地，所述方法采用两阶段的检测模式，整体损失函数为：

41、ltotal＝λ1lqopn+λ2lr-cnn

42、其中λ1表示第一阶段中高质量定向提议网络计算的损失函数权重；λ2表示第二阶段执行边界框精炼与细粒度识别时计算的损失函数权重；

43、lqopn表示模型第一阶段中高质量定向提议网络计算的损失，lr-cnn表示第二阶段执行边界框精炼与细粒度识别时计算的损失；

44、其中边界框精炼损失为平滑的l1损失lreg，细粒度识别损失为基于焦点损失的自适应识别损失larl，有：lr-cnn＝lreg+larl。

45、另一方面，本发明还公开了一种基于区域提议增强的遥感图像细粒度检测系统，包括高质量定向提议生成网络、双线性通道特征融合网络以及自适应损失模块；

46、其中，所述高质量定向提议生成网络用于通过基于注意力的任务分解生成区域提议；

47、所述双线性通道特征融合网络用于采用双线性方式对所述区域提议中的跨层次特征进行融合，获取融合后的高分辨率特征；

48、所述自适应损失模块用于在边界框细化与细粒度识别任务过程中，采用自适应动态损失动态调节样本损失权重。

49、作为优选，所述高质量定向提议生成网络包括卷积层、轻量级解耦注意力模块和提议生成模块，其中，所述共享卷积层用于提取多尺度特征；所述轻量级解耦注意力模块用于基于所述多尺度特征实现特征图的解耦，获取解耦特征；所述提议生成模块用于基于无锚方式在所述特征图的每个点上预测前景目标与边界框的偏移量。

50、经由上述的技术方案可知，本发明公开提供了一种基于区域提议增强的遥感图像细粒度检测方法及系统，与现有技术相比，具有以下有益效果：

51、本发明提出了一种基于区域提议增强的两阶段遥感图像细粒度检测方法及系统，着重于解决现有方法中忽略的以区域提议为核心的多任务协同问题，从区域提议生成、区域提议表示、区域提议利用等三个角度出发，分别精心设计了高质量定向提议网络、双线性通道特征融合网络和自适应识别损失三个模块，增强了细粒度识别与检测两个子任务间的协同作用。与现有的细粒度检测方法相比，本发明提出的方法在定位精确度和细粒度识别准确度上具有优势，特别是在小型目标的识别与长尾类别的识别中优势显著。