基于自适应多层级融合的遥感图像小尺度面目标检测方法

1.本发明属于目标探测与识别技术领域，涉及一种面向遥感图像小尺度面目标的检测方法，具体涉及一种基于自适应多层级特征融合的遥感图像小尺度面目标检测方法。


背景技术：

2.遥感图像目标检测作为遥感图像解译领域的一项关键技术，通过提取航空航天遥感数据中目标与背景的差异性特征实现对感兴趣区域或目标实例的有效分类和准确定位，在海上及时营救、交通智能管理、区域实时监控等军民应用中发挥着关键作用。遥感图像分辨率的不断提升，使得船只、车辆等更小尺度的人造物体的检测识别成为可能。
3.早期的检测方法针对不同种类的目标需要人为设计图像特征提取算子，其中车辆等小尺度面目标常用的特征包括几何轮廓特征、纹理边缘特征、对称性特征等。但是此类人工设计的特征容易受到光照、尺度、颜色等因素的影响，对目标特性的表征能力有限，仅能适用于特定场景下的目标检测。随着硬件计算能力的提升和数据样本的激增，基于神经网络的目标检测方法可以通过对图像特征的自适应挖掘，学习到目标的更具鲁棒性的、强表征能力的特征。然而，由于遥感特殊的俯瞰式成像方式、成像分辨率制约、成像链路退化的影响，船只、车辆等小尺度目标在图像中几何纹理、边缘轮廓等细节信息缺失，同时复杂多样的场景中存在大量与目标形态、纹理等特性相似的虚警源。这些因素都增加了遥感小尺度目标有效特征的提取难度。因此，亟需紧密结合实际应用需求，开展快速、准确的小尺度目标检测方法研究。


技术实现要素：

4.针对遥感图像中小尺度面目标几何尺寸小、纹理特性弱以及复杂场景中疑似目标虚警源多等难点，本发明提供了一种基于自适应多层级融合的遥感图像小尺度面目标检测方法。该方法能够实现对不同层级中语义和结构信息的有效融合，提高网络对小尺度目标的特征提取和检测定位能力，有效减少场景中虚警源对目标检测的干扰，从而实现遥感图像小尺度目标的高检测率、低虚警率的检测，可以有效支撑复杂场景下的弱小目标检测。
5.本发明的目的是通过以下技术方案实现的：
6.一种基于自适应多层级融合的遥感图像小尺度面目标检测方法，包括如下步骤：
7.步骤1：使用主干特征提取网络提取输入图像的浅层和深层的多层级特征图，下采样层级分别为4、8、16、32倍；
8.步骤2：使用自适应融合权重的多层次特征提取架构实现对步骤1中不同下采样级数特征的融合；
9.步骤3：选用融合后的下采样级数为4倍和8倍的高分辨率特征层进行目标位置和类别信息的预测，得到最终的检测结果。
10.相比于现有技术，本发明具有如下优点：
11.(1)本发明提出一种面向遥感图像小尺度面目标的检测方法，可以有效解决小尺
度目标几何尺度小、纹理特征欠缺，以及复杂场景中存在大量与目标形状纹理特性相似的虚警源导致的目标有效特征提取能力弱、检测性能差的问题，可以应用于复杂地物干扰和目标密集排列场景下的小尺度目标检测。
12.(2)本发明提出一种自适应融合权重的多层次特征提取架构，该架构能够实现对不同层级中语义和结构信息的有效融合，提高网络对小尺度目标的特征提取和检测定位能力，有效减少场景中虚警源对目标检测的干扰。
13.(3)本发明通过仅采用高层级特征层进行目标检测的策略，可以有效提升对于目标密集排布场景下的检测性能。
附图说明
14.图1为基于自适应多层级融合的遥感图像小尺度面目标检测流程图；
15.图2为针对小尺度船只目标真值和检测结果；
16.图3为针对小尺度车辆目标真值和检测结果。
具体实施方式
17.下面结合附图对本发明的技术方案作进一步的说明，但并不局限于此，凡是对本发明技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，均应涵盖在本发明的保护范围中。
18.本发明提供了一种基于自适应多层级融合的遥感图像小尺度面目标检测方法，如图1所示，所述方法的具体实施步骤如下：
19.步骤1：使用主干特征提取网络提取输入图像的浅层和深层的多层级特征图，下采样层级分别为4、8、16、32倍。具体步骤如下：
20.对于输入的遥感图像，通过主干特征提取网络提取遥感图像中的浅层和深层的多层级特征图，分别提取到下采样层级为4、8、16、32倍的特征图，记为p2、p3、p4、p5层级。
21.本步骤中，可以选用的主干特征提取网络包括但不限于cspdarknet53、resnet、densenet等典型网络。
22.步骤2：使用自适应融合权重的多层次特征提取架构实现对步骤1中不同下采样级数特征的融合。具体步骤如下：
23.融合通过自顶向下和自底而上的路径分别传递高层级语义和低层级定位信息。在自顶向下的融合路径中，对于第n个层级的特征图fn，其长、宽、通道数目记为(h,w,c)，需要融合第n+1个更深层级的特征图f
n+1
，其长、宽、通道数目记为(h/2,w/2,c)。
24.步骤2-1：利用carafe上采样算子实现深层级特征图上采样以实现语义信息的聚合，具体步骤如下：
25.为了使得浅层级特征图fn和深层级特征图f
n+1
的长、宽维度保持一致，利用carafe上采样算子对f
n+1
进行上采样以实现语义信息的聚合，得到高层级特征图其长、宽、通道数目记为(h,w,c)。可以选用的上采样方法包括但不限于插值、反卷积、carafe算子等。
26.步骤2-2：基于深层级特征监督的浅层级特征图修正，具体步骤如下：
27.由于卷积神经网络低层级特征提取并不充分，其中会存在大量噪声，影响有效特
征的融合，因此以高层级特征图作为监督对浅层级特征图fn进行微调，通过高层级语义特征修正富含噪声的低层级特征，通过sigmoid非线性激活函数处理得到修正权值图，再将其施加到浅层级特征图fn上，得到低层级特征图低层级特征图可以由下式计算：
[0028][0029]
式中，σ(
·
)为sigmoid激活函数。
[0030]
步骤2-3：基于空间维和通道维特征显著性结合广播机制自适应生成逐点融合权重，实现对深层和浅层特征的融合。
[0031]
在获取上采样后的高层级特征和修正后的低层级特征后，可以开始对两者进行融合。但是由于不同层级中各个通道的特征图对于小尺度目标特性表征的重要程度并不完全相同。若直接融合不同层级特征，则其中富含场景语义信息的通道可能作为干扰掩盖其中小尺度目标的特征。基于特征显著性的思想，通过对各层级特征赋予不同的权值，自适应调节其在训练、推理过程中的重要程度。具体步骤如下：
[0032]
步骤2-3-1：高层级和低层级特征图沿通道维拼接，具体步骤如下：
[0033]
沿通道维拼接低层级特征图和高层级特征图得到拼接特征图以用于后续的通道显著性和空间显著性生成。
[0034]
步骤2-3-2：基于空间特征图池化和全连接神经网络生成通道显著，具体步骤如下：
[0035]
首先通过空间池化聚合中的全局信息，再通过全连接神经网络学习通道之间的依赖关系，记作：
[0036][0037]
式中，avepool(
·
)为平均池化，f
fcn
(
·
)为全连接层，ωc为生成的通道显著性，维度为(1,1,c)。
[0038]
步骤2-3-3：基于1
×
1卷积和3
×
3卷积生成空间显著性，具体步骤如下：
[0039]
通过1
×
1卷积调整通道，再利用3
×
3卷积聚合通道维度信息以生成空间显著性，记作：
[0040][0041]
式中，conv3×3和conv1×1分别代表3
×
3卷积和1
×
1卷积，ωs为生成的空间显著性，维度为(h,w,1)。
[0042]
步骤2-3-4：基于广播机制生成逐点融合权重，具体步骤如下：
[0043]
通道显著性和空间显著性的维度不相同，但是通过广播机制相加可以生成维度为(h,w,c)的逐点显著性，再利用sigmoid非线性激活函数可以得到融合权重ω，记作：
[0044]
ω＝σ(ωc+ωs)；
[0045]
步骤2-3-5：基于自适应生成的融合权重，对深层级特征和浅层级特征加权融合，
具体步骤如下：
[0046]
基于生成的自适应融合权重，对低层级特征图和上采样高层级特征图进行融合，得到第n层级的特征融合结果融合公式如下：
[0047][0048]
步骤3：选用融合后的下采样级数为4倍和8倍的高分辨率特征层进行目标位置和类别信息的预测，得到最终的检测结果。
[0049]
为了提升对密集场景的检测性能，仅采用下采样倍数为4、8的高分辨率预测层p2、p3进行目标位置和类别信息预测。预测方法包括但不限于yolo的目标信息回归方法。
[0050]
图2、图3分别给出针对小尺度船只和小尺度车辆目标，在虚警源干扰、密集排布等复杂场景下的真值和检测结果。从图中可以看出，本方法可以检出所有目标并不存在虚警。