基于小样本学习的遥感图像目标检测方法

本发明涉及遥感图像目标检测领域，尤其是涉及一种基于小样本学习的遥感图像目标检测方法。

背景技术：

1、目标检测一直是遥感和计算机领域广泛研究的任务，在交通管理、环境监测以及城市规划等领域都得到的广泛的应用。它通常被定义为识别目标对象在输入图像中的位置并识别对象类别。传统的目标检测方法如模板匹配、专家知识等严重依赖于手工制作特征，于是基于深度学习的方法开始兴起。但是基于深度学习的方法在两个方面存在局限性：首先深度学习模型需要大量的标价数据来进行有效训练，从而导致于数据获取相关的高成本；其次遥感图像领域的数据集比自然图像场景的数据集规模要小得多，因此采用传统的目标检测模型应用于遥感图像领域可能导致过拟合等问题。

2、在数据有限的情况下，小样本学习逐渐称为解决问题的关键技术。小样本学习目的是能够在数据较少的情况下也能实现对目标的检测。但现有的基于小样本学习的目标检测方法大多用于自然图像场景中，然而遥感图像特有的尺度变化较大，目标较小且分布密集的特征，使得这些方法无法直接应用在遥感图像场景中。

3、经过检索，中国发明专利申请cn116543315a，公开了一种基于前景注意力网络的遥感图像目标检测方法，该方法基于多尺度特征融合、前景注意力网络和原型生成网络进行小样本遥感图像目标检测，虽然一定程度上提高了小样本情况下的遥感图像目标检测精度，但是其精准度还有待进一步提升。

4、因此，亟需设计一种可实现小样本情况下更高精度的遥感图像目标检测方法。

技术实现思路

1、本发明的目的就是为了克服上述现有技术存在的缺陷而提供了一种基于小样本学习的遥感图像目标检测方法，可实现小样本情况下的高精度遥感图像目标检测。

2、本发明的目的可以通过以下技术方案来实现：

3、本发明提供了一种基于小样本学习的遥感图像目标检测方法，该方法包括：

4、步骤s1、获取遥感图像数据，并将数据集划分为训练集和测试集，将训练接划分为查询集和支持集；

5、步骤s2、构建小样本遥感图像目标检测模型，将查询集中的图像输入特征提取器得到查询特征，将支持集中的图像及其边界框注释输入重加权网络得到支持特征，然后采用基于特征金字塔网络fpn和transformer编码器的特征聚合模块，对查询特征和支持特征进行特征增强和特征融合；

6、步骤s3、采用预训练的小样本遥感图像目标检测模型进行目标检测。

7、优选地，所述步骤s1划分数据集之前还包括进行图像裁剪、数据增强和特征归一化的预处理。

8、优选地，所述查询集中的图像输入特征提取器得到查询特征，将支持集中的图像及其边界框注释输入重加权网络得到支持特征中，边界框注释通过将目标区域标记为白色，非目标区域标记为灰色，以帮助网络准确提取目标位置和形状信息，同时掩盖不感兴趣的非目标区域。

9、优选地，所述基于特征金字塔网络fpn和transformer编码器的特征聚合模块，包括：

10、将查询特征和支持特征输入至特征金字塔网络fpn，得到查询fpn特征和支持fpn特征，以应对遥感图像多尺度特性；

11、使用transformer编码器对查询fpn特征和支持fpn特征进行编码，以挖掘潜在特征表示及小目标遥感图像特征信息；

12、使用信道乘法操作融合编码后的查询fpn特征和支持fpn特征，将支持集中的图像特征信息嵌入查询集中的图像特征。

13、优选地，所述步骤s2中还包括：采用非极大抑制算法soft-nms对预测框进行筛选，通过设置衰减函数，根据相邻预测框的重叠度iou来修改置信度分数。

14、优选地，所述步骤s2中小样本遥感图像目标检测模型还包括尺度感知注意力模块，用于引导网络适应遥感图像尺度变化特性，所述尺度感知注意力模块包括：

15、使用不同大小的独立卷积核对原始特征fa进行多尺度卷积操作，合并后得到多尺度卷积特征xi，计算多尺度卷积特征xi的注意力图ai，将原始特征fa与注意力图ai叠加，实现注意力增强。

16、优选地，所述小样本遥感图像目标检测模型采用两阶段训练法进行训练，将整个数据集分为基类和新类；其中，第一阶段为基类训练，使用含有较多数据的基类数据集来训练网络的学习参数；第二阶段称为微调阶段，使用新类数据集来进一步训练建立在第一阶段获得的知识上的模型。

17、优选地，所述小样本遥感图像目标检测模型训练时，初始化参数如下：批量大小为24，优化器为动量选择0.9的adam优化器；两阶段训练中，第一阶段训练设置学习率为0.001，第二阶段微调设置学习率为0.0001。

18、与现有技术相比，本发明具有以下优点：

19、1)本发明的小样本遥感图像目标检测模型，通过基于特征金字塔网络fpn和transformer编码器的特征聚合模块，可以使标注不足的查询特征中包含支持样本信息，提升检测精度，实现了在小样本场景下面对数据不足依然能够对遥感图像目标进行准确检测。

20、2)本发明采用transformer编码器对查询特征和支持特征进行编码，并使用信道乘法操作对查询特征和支持特征进行特征融合，能够使查询样本中包含丰富的支持样本信息，缓解数据不足导致的特征不足问题。

21、3)本发明采用多尺度注意力模块捕捉多尺度信息，能够使网络重点关注感兴趣的区域，并有效抑制不相关信息，帮助网络适应遥感图像尺度变化。

22、4)本发明采用改进的非极大抑制算法soft-nms，能够改善由于遥感图像目标小且密集造成的漏检问题；非极大抑制算法soft-nms通过对预测框的置信度得分设置衰减函数，能够有效改善对重叠目标的删除。

23、5)本发明采用两阶段训练法对小样本遥感图像目标检测模型进行训练，第一阶段为基类训练，使用含有较多数据的基类数据集来训练网络的学习参数，第二阶段称为微调阶段，使用新类数据集来进一步训练建立在第一阶段获得的知识上的模型，训练后的小样本遥感图像目标检测模型可实现在小样本场景下面对数据不足情况下依然能够对遥感图像目标进行准确检测。

技术特征：

1.一种基于小样本学习的遥感图像目标检测方法，其特征在于，该方法包括：

2.根据权利要求1所述的基于小样本学习的遥感图像目标检测方法，其特征在于，所述步骤s1划分数据集之前还包括进行图像裁剪、数据增强和特征归一化的预处理。

3.根据权利要求1所述的基于小样本学习的遥感图像目标检测方法，其特征在于，所述查询集中的图像输入特征提取器得到查询特征，将支持集中的图像及其边界框注释输入重加权网络得到支持特征中，边界框注释通过将目标区域标记为白色，非目标区域标记为灰色，以帮助网络准确提取目标位置和形状信息，同时掩盖不感兴趣的非目标区域。

4.根据权利要求1所述的基于小样本学习的遥感图像目标检测方法，其特征在于，所述基于特征金字塔网络fpn和transformer编码器的特征聚合模块，包括：

5.根据权利要求1所述的基于小样本学习的遥感图像目标检测方法，其特征在于，所述步骤s2中还包括：采用非极大抑制算法soft-nms对预测框进行筛选，通过设置衰减函数，根据相邻预测框的重叠度iou来修改置信度分数。

6.根据权利要求1所述的基于小样本学习的遥感图像目标检测方法，其特征在于，所述步骤s2中的小样本遥感图像目标检测模型还包括尺度感知注意力模块，用于引导网络适应遥感图像尺度变化特性，所述尺度感知注意力模块包括：使用不同大小的独立卷积核对原始特征fa进行多尺度卷积操作，合并后得到多尺度卷积特征xi，计算多尺度卷积特征xi的注意力图ai，将原始特征fa与注意力图ai叠加，实现注意力增强。

7.根据权利要求1所述的基于小样本学习的遥感图像目标检测方法，其特征在于，所述小样本遥感图像目标检测模型采用两阶段训练法进行训练，将整个数据集分为基类和新类；其中，第一阶段为基类训练，使用含有较多数据的基类数据集来训练网络的学习参数；第二阶段称为微调阶段，使用新类数据集来进一步训练建立在第一阶段获得的知识上的模型。

8.根据权利要求7所述的基于小样本学习的遥感图像目标检测方法，其特征在于，所述小样本遥感图像目标检测模型训练时，初始化参数如下：批量大小为24，优化器为动量选择0.9的adam优化器；两阶段训练中，第一阶段训练设置学习率为0.001，第二阶段微调设置学习率为0.0001。

技术总结
本发明涉及一种基于小样本学习的遥感图像目标检测方法，该方法包括：获取遥感图像数据，并将数据集划分为训练集和测试集，将训练集划分为查询集和支持集；将查询集中的图像输入特征提取器得到查询特征，将支持集中的图像及其边界框注释输入重加权网络得到支持特征，然后采用基于特征金字塔网络FPN和Transformer编码器的特征聚合模块，对查询特征和支持特征进行特征增强和特征融合，构建小样本遥感图像目标检测模型，并进行训练；将测试集输入至训练好的小样本遥感图像目标检测模型进行目标检测。与现有技术相比，本发明可实现小样本情况下的高精度遥感图像目标检测。

技术研发人员：高洪皓,吴淑萍,王烨,冉琼慧子
受保护的技术使用者：上海大学
技术研发日：
技术公布日：2024/2/25