一种多模态遥感图像目标检测的特征压缩融合方法及装置

本技术涉及图像信息处理的，特别是涉及一种多模态遥感图像目标检测的特征压缩融合方法及装置。

背景技术：

1、随着科学技术的发展，利用遥感图像进行目标检测是目前遥感图像研究方法之一。但由于遥感图像的性质，在不同环境下，目标的表征能力会受到影响，例如，在低光环境下，可见光遥感图像难以区分地物目标和背景，而在高光环境下，热红外等遥感图像的颜色和纹理特征差异不明显，容易导致检测虚警。因此，目前大多采用多模态的遥感图像实现在不同成像条件下对目标特征的描述。

2、目前，现有的多模态遥感图像目标检测网络的方法，一种是基于通道注意力机制的多模态图像目标检测网络，在实际使用时会存在参数量和计算量较大的问题，另一种是基于卷积降维的多模态图像目标检测网络，在实际使用可能会损失一些有效的特征信息，影响网络的性能和稳定性。

技术实现思路

1、本技术提供了一种多模态遥感图像目标检测的特征压缩融合方法及装置，根据对多模态通道叠加特征对应的权重进行去冗余压缩融合处理，从而有效地压缩了目标检测网络中多模态特征的数据量，提高了目标检测的效率和准确性。

2、第一方面，本技术提供了一种多模态遥感图像目标检测的特征压缩融合方法，该方法包括：

3、将多模态遥感图像中多个模态特征进行通道叠加，获得多模态遥感图像的多模态通道叠加特征；

4、根据多模态通道叠加特征，获得多模态特征通道权重集合，所述多模态特征通道权重集合中的通道权重与多模态通道叠加特征中的通道特征一一对应，所述通道权重用于指示对应通道对于目标检测的重要程度；

5、根据多模态特征通道权重集合，对多模态通道叠加特征进行去冗余压缩融合处理，获得多模态遥感图像的压缩融合特征。

6、可选地，根据多模态通道叠加特征，获得多模态特征通道权重集合，包括：

7、将多模态通道叠加特征进行全局平滑池化，获得池化特征向量，所述池化特征向量包括多模态通道叠加特征中通道的特征图池化结果；

8、将池化特征向量进行全连接交互处理和归一化处理，获得多模态特征通道权重集合。

9、可选地，根据多模态特征通道权重集合，对多模态通道叠加特征进行去冗余压缩融合处理，获得多模态遥感图像的压缩融合特征，包括：

10、根据多模态特征通道权重集合，对多模态通道叠加特征进行压缩处理，获得多模态通道叠加特征中的高权重特征通道；

11、将高权重特征通道进行融合处理，获得遥感图像的压缩融合特征。

12、可选地，根据多模态特征通道权重集合，对多模态通道叠加特征进行压缩处理，获得多模态通道叠加特征中的高权重特征通道，包括：

13、根据多模态特征通道权重集合，获得保留通道索引集合，所述保留通道索引集合为所述高权重特征通道的索引集合；

14、根据保留通道索引集合，提取出多模态通道叠加特征中对应的通道，作为保留特征通道；

15、根据保留通道索引集合对应的权重值对保留特征通道进行通道加权，获得高权重特征通道。

16、可选地，根据多模态特征通道权重集合，获得保留通道索引集合，包括：

17、将多模态特征通道权重集合中的通道权重按照从大到小的顺序进行排序，获得通道权重序列；

18、将通道权重序列中前n％的元素对应的通道索引集合，作为保留通道索引集合，所述n包括0到100之间的数值。

19、可选地，将高权重特征通道进行融合处理，获得遥感图像的压缩融合特征，包括：

20、将高权重特征通道进行3×3的卷积处理，获得遥感图像的压缩融合特征。

21、第二方面，本技术提供了一种多模态遥感图像目标检测的特征压缩融合装置，该装置包括：

22、获得叠加特征单元，用于将多模态遥感图像中多个模态特征进行通道叠加，获得多模态遥感图像的多模态通道叠加特征；

23、获得权重集合单元，用于根据多模态通道叠加特征，获得多模态特征通道权重集合，所述多模态特征通道权重集合中的通道权重与多模态通道叠加特征中的通道特征一一对应，所述通道权重用于指示对应通道对于目标检测的重要程度；

24、处理单元，用于根据多模态特征通道权重集合，对多模态通道叠加特征进行去冗余压缩融合处理，获得多模态遥感图像的压缩融合特征。

25、可选地，获得权重集合单元包括：

26、池化处理子单元，用于将多模态通道叠加特征进行全局平滑池化，获得池化特征向量，所述池化特征向量包括多模态通道叠加特征中通道的特征图池化结果；

27、获得权重集合子单元，用于将池化特征向量进行全连接交互处理和归一化处理，获得多模态特征通道权重集合。

28、可选地，处理单元包括：

29、压缩子单元，用于根据多模态特征通道权重集合，对多模态通道叠加特征进行压缩处理，获得多模态通道叠加特征中的高权重特征通道；

30、融合子单元，用于将高权重特征通道进行融合处理，获得遥感图像的压缩融合特征。

31、可选地，压缩子单元包括：

32、获得索引集合子单元，用于根据多模态特征通道权重集合，获得保留通道索引集合，所述保留通道索引集合为所述高权重特征通道的索引集合；

33、提取子单元，用于根据保留通道索引集合，提取出多模态通道叠加特征中对应的通道，作为保留特征通道；

34、加权子单元，用于根据保留通道索引集合对应的权重值对保留特征通道进行通道加权，获得高权重特征通道。

35、可选地，获得索引集合子单元具体用于：

36、将多模态特征通道权重集合中的通道权重按照从大到小的顺序进行排序，获得通道权重序列；

37、将通道权重序列中前n％的元素对应的通道索引集合，作为保留通道索引集合，所述n包括0到100之间的数值。

38、可选地，融合子单元具体用于：

39、将高权重特征通道进行3×3的卷积处理，获得遥感图像的压缩融合特征。

40、第三方面，本技术提供一种电子设备，设备包括存储器和处理器：

41、存储器用于存储计算机程序；

42、处理器用于根据计算机程序执行上述第一方面提供的方法。

43、第四方面，本技术还提供了一种计算机可读存储介质，计算机可读存储介质用于存储计算机程序，所述计算机程序用于执行上述第一方面提供的方法。

44、由此可见，本技术具有如下有益效果：

45、本技术提供了一种多模态遥感图像目标检测的特征压缩融合方法，首先获得多模态遥感图像的多模态通道叠加特征，再根据多模态通道叠加特征，获得多模态特征通道权重集合，最后根据多模态特征通道权重集合，对多模态通道叠加特征进行去冗余压缩融合处理，获得多模态遥感图像的压缩融合特征。在此过程中，可以针对不同环境下的不同成像条件，利用多模态特征通道权重集合，自适应地选择最有效的特征通道进行保留，有效地去除低权重的冗余特征，减少了目标检测网络中多模态特征的数据量，提高了目标检测网络的运行效率和检测准确性。除此之外，利用多模态特征的互补性，对多模态通道叠加特征进行进一步的特征提取融合，增强了目标检测网络的特征表达能力和泛化能力。