针对遥感图像的多尺度目标检测方法、装置和设备与流程

本发明涉及图像处理，尤其涉及一种针对遥感图像的多尺度目标检测方法、装置、设备和存储介质。

背景技术：

1、随着计算机科学技术和遥感技术的发展，利用遥感信息技术进行对地信息的探索逐渐成为研究的热点。遥感信息技术是利用遥感设备获取的数据进行信息处理和分析的技术，它是多种学科交叉的领域，包含了计算机科学、遥感学、地理信息科学等多个领域，可广泛应用于战略侦察、建筑规划、城市卫星导航等多个方面。其中，光学遥感图像作为遥感信息中的一种有效载体，具备高分辨率、多光谱、多频段的特性，是遥感领域非常重要的数据之一，如何利用图像处理技术从海量的高分辨率光学遥感图像中快速辨识出人们感兴趣的目标信息具有重要的研究价值和现实意义。

2、对于遥感图像的目标检测，传统的图像处理方式主要依靠人工干预，即人们根据经验预先设置好目标的模板，然后利用滑动窗口方法遍历整张图像，在每个滑动窗口上进行像素级别的目标近似匹配，并将匹配到的目标输出，这种方法需要依靠人为经验和预先设置好的模板，自动化水平较低，整体效率不高。除了上述方法，还有一种非常典型的候选区域提取法，即首先依靠待检测图像本身的纹理、色彩、边缘等浅层特征提取出候选区域，然后在候选区域中进行模板匹配，最终匹配出目标。这种方法相较于上述滑动窗口法，不需要遍历整张图像，对于原始图像中的一些空白区域不需要进行目标检测，因此检测速度有所提高，但其目标检测精度较低，并且由于候选区域是根据图像本身特征生成的，导致于该方法仅应用于具有相似特征的图像，无法做到广泛化应用。

3、综上可见，目前的目标检测方法由于检测时间长、速度慢或检测精度低，当应用于背景复杂、目标类别多、不同类别的目标间尺度差异大的光学遥感图像时会使得目标检测效率低。

技术实现思路

1、本发明提供一种针对遥感图像的多尺度目标检测方法、装置、设备和存储介质，用以解决现有技术中针对包含复杂信息的光学遥感图像的目标检测中，检测时间长、速度慢、检测精度低的缺陷，实现自动化的遥感目标检测，提高遥感图像的自动化检测水平和检测效率。

2、本发明提供一种针对遥感图像的多尺度目标检测方法，包括：

3、获取原始遥感图像，将所述原始遥感图像输入目标检测模型的骨干网络中；

4、利用所述骨干网络对所述原始遥感图像在不同尺度上进行特征提取，得到每种尺度对应的增强特征图；

5、将每种尺度的增强特征图输入所述目标检测模型的特征处理器中，以使所述特征处理器根据多头自注意力方法分别对每种尺度的增强特征图进行特征重建，得到每种尺度对应的重建特征图；

6、将每种尺度上的重建特征图输入至所述目标检测模型的解耦模块中进行目标检测，以使所述解耦模块分别对每种尺度上的重建特征图进行目标检测，得到所述每种尺度上的重建特征图中所包含的目标的类别和各个类别对应的概率。

7、根据本发明提供的一种针对遥感图像的多尺度目标检测方法，所述骨干网络包括多个分支网络；所述利用所述骨干网络对所述原始遥感图像在不同尺度上进行特征提取，得到每种尺度对应的增强特征图，包括：

8、利用各个所述分支网络基于不同的下采样步长分别对所述原始遥感图像进行下采样，得到多种不同尺度的下采样图像；

9、分别计算各个下采样图像在其宽高维度所在平面上的特征空间均值；

10、针对每种尺度的下采样图像，计算其特征值在通道方向上的方差；

11、针对每种尺度的下采样图像，基于所述特征空间均值和所述方差计算得到每种尺度的下采样图像的能量分布函数；

12、针对每种尺度的下采样图像，根据特征空间均值计算得到通道注意力因子，根据所述下采样图像在通道方向上的均值计算得到空间注意力因子；

13、基于每种尺度的下采样图像的能量分布函数、通道注意力因子和空间注意力因子得到每种尺度的采样图像对应的增强特征图。

14、根据本发明提供的一种针对遥感图像的多尺度目标检测方法，所述目标检测模型包括多个特征处理器，所述将每种尺度的增强特征图输入所述目标检测模型的特征处理器中，以使所述特征处理器根据多头自注意力方法分别对每种尺度的增强特征图进行特征重建，得到每种尺度对应的重建特征图，包括：

15、将每种尺度的增强特征图输入至与其尺度对应的特征处理器中，利用特征处理器为增强特征图生成多组向量组合；其中每组向量组合中包括查询向量、键向量和值向量；

16、基于所述每组向量组合中的查询向量、键向量和值向量，利用多头计算得到增强特征图的自注意力权值；

17、将自注意力权值乘以相应的值向量，并拼接，得到每种尺度的增强特征图对应的重建特征图。

18、根据本发明提供的一种针对遥感图像的多尺度目标检测方法，所述将各个尺度上的重建特征图输入至所述目标检测模型的解耦模块中进行目标检测，以使所述解耦模块利用分别对各个尺度上的重建特征图进行目标检测，得到所述个个都尺度上的重建特征图中所包含的目标的类别和各个类别对应的概率，包括：

19、将各个尺度上的重建特征图输入至所述目标检测模型的解耦模块中以使所述解耦模块利用基于anchor-free的目标检测方法分别对各个尺度上的重建特征图进行目标检测，得到所述个个都尺度上的重建特征图中所包含的目标的类别和各个类别对应的概率；

20、其中，所述解耦模块包括目标检测解耦头、预测框输出解耦头和目标类别置信度解耦头；

21、所述目标检测解耦头用于输出所述重建特征图中目标属于每个类别的概率；

22、所述预测框输出解耦头用于输出每一种类别的的四维偏移量；

23、所述目标类别置信度解耦头用于输出该位置包含目标的概率。

24、根据本发明提供的一种针对遥感图像的多尺度目标检测方法，所述获取原始遥感图像之前，所述方法还包括：

25、获取训练样本图像和各个训练样本图像对应的标签图像；

26、将所述训练样本图像输入待训练的目标检测模型中，得到所述目标检测模型输出的目标检测结果、预测框输出结果和目标类别置信度结果；

27、基于多个预设损失函数分别确定所述目标检测结果、所述预测框输出结果和所述目标类别置信度结果各自与所述标签图像之间的损失值；

28、调整所述待训练的目标检测模型的参数直至所述各个损失值均满足预设训练结束条件，得到所述目标检测模型。

29、根据本发明提供的一种针对遥感图像的多尺度目标检测方法，各个预设损失函数分别为：

30、

31、其中，c(x,y)表示在特征图(x,y)点模型预测有目标的概率，表示在特征图(x,y)点是否真实存在目标的标签；p为预测框，b为真实框。

32、本发明还提供一种针对遥感图像的多尺度目标检测装置，包括：

33、图像获取模块，用于获取原始遥感图像，将所述原始遥感图像输入目标检测模型的骨干网络中；

34、特征增强模块，用于利用所述骨干网络对所述原始遥感图像在不同尺度上进行特征提取，得到每种尺度对应的增强特征图；

35、特征重建模块，用于将每种尺度的增强特征图输入所述目标检测模型的特征处理器中，以使所述特征处理器根据多头自注意力方法分别对每种尺度的增强特征图进行特征重建，得到每种尺度对应的重建特征图；

36、类别输出模块，用于将每种尺度上的重建特征图输入至所述目标检测模型的解耦模块中进行目标检测，以使所述解耦模块分别对每种尺度上的重建特征图进行目标检测，得到所述每种尺度上的重建特征图中所包含的目标的类别和各个类别对应的概率。

37、本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述针对遥感图像的多尺度目标检测方法。

38、本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述针对遥感图像的多尺度目标检测方法。

39、本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述针对遥感图像的多尺度目标检测方法。

40、本发明提供的针对遥感图像的多尺度目标检测方法、装置、设备和存储介质，通过将原始遥感图像进行不同倍数的下采样，得到不同分辨率的图像，从而能够区分不同层次的前景和背景，并使用多头自注意力方法msa对特征图进行特征重建，即将图像场景特征展平后重建，能够对特征图上每一个特征点进行自适应的全局建模，在提高感受野的同时优化目标特征的表达能力，最后使用解耦模块对每种尺度上的重建特征图进行目标检测，得到每种尺度上的重建特征图中所包含的目标种类数量、目标所述类别名称和每种类别对应的概率，能够实现多层次、复杂背景的遥感图像的自动化目标检测，提高了不同尺度、不同层次的目标识别准确度，且特征提取过程不需要人为预先设计特征，模型自动完成重要特征的提取，节约了大量训练时间，提高了目标检测效率。