一种少样本红外目标检测方法、装置和系统

本发明属于少样本图像识别，更具体地，涉及一种少样本红外目标检测方法、装置和系统。

背景技术：

1、近年来，随着卷积神经网络(convolutional neural networks，cnn)在图像领域的应用和发展以及高性能计算设备的强力推进，图像分类识别技术取得了巨大成功。从2012年alexnet到后来的vgg、googlenet、resnet。以深度学习为核心的目标检测技术充分吸收了图像分类领域的研究成果，而且目标检测技术也可以应用到更多的领域包括自动驾驶、安全防护、智能监测，使得目标检测技术成为计算机视觉领域新的研究热点，许多成熟的算法模型已经成功部署到实际应用场景当中。目前基于深度学习的目标检测模型需要大量的标注样本进行训练，但在实际场景当中，往往很难获取到相应规模的高质量标注样本。而少样本学习可以在少量标签样本条件下实现对新类型目标的快速分类识别，降低了对大规模标签数据的依赖，近年来，少样本图像目标检测技术研究逐渐引起广泛关注。

2、如军事领域中，通过少量的情报信息识别敌方目标获取红外图像，并在截获新型目标时进行快速学习，有很好的应用前景。因为具体的军事项目，涉及到数据层面存在两个问题，一个是数据的获取难度，一个是数据保密性。所以在之前这一领域往往通过对于目标特性包括目标的大小轮廓以及与背景的相对关系研制特定的传统目标检测算法。然而，当面对各种各样的干扰包括云层、雾时、传统图像算法会出现无法适应的情况，目标被部分遮挡，目标由于干扰与背景相对差异性较小，这种场景下传统目标检测算法，往往计算复杂度高、准确率低。

技术实现思路

1、针对现有技术的以上缺陷或改进需求，本发明提供了一种少样本红外目标检测方法、装置和系统，其目的在于，提出一种少样本红外目标检测方法；将当前红外图像输入训练好的少样本微调模型，利用域适应特征提取模块提取域相关特征适应红外场景，利用查询特征支撑特征融合模块基于元学习进行特征融合适应少样本场景，利用基于全局注意力机制的transformer模块获得所述当前红外图像的全局特征图，从而实现目标主体识别，在少样本场景下能够准确实现红外目标检测，由此解决现有少样本场景下目标检测计算复杂度低且准确率低的技术问题。

2、为实现上述目的，按照本发明的一个方面，提供了一种少样本红外目标检测方法，包括：

3、s1：获取基类预训练数据集和少样本微调数据集，所述基类预训练数据集包括多个可见光图像，所述少样本微调数据集包括：若干红外图像和所述基类预训练数据集中的部分可见光图像；

4、s2：利用所述基类预训练数据集对初始目标检测网络进行训练，得到基类预训练模型；利用所述少样本微调数据集对所述基类预训练模型进行训练，得到少样本微调模型；

5、其中，所述少样本微调模型包括：域适应特征提取模块、查询特征支撑特征融合模块和transformer模块；所述域适应特征提取模块用于提取输入的查询图像和支撑图像的特征，得到查询特征和支撑特征；所述查询特征支撑特征融合模块用于通过元学习方法适应少样本场景，将所述查询特征和支撑特征进行聚合，得到融合特征；所述transformer模块用于对所述融合特征进行编码解码处理，得到所述查询图像对应的目标特征，所述目标特征图携带目标主体的位置信息和类别信息；

6、s3：将所述所有类支撑集和当前红外图像对应的查询图像输入所述少样本微调模型，得到所述当前红外图像对应的述目标特征图，从中获得所述当前红外图像中目标主体的位置信息和类别信息。

7、在其中一个实施例中，所述查询特征支撑特征融合模块，包括：

8、编码单元，用于将支撑特征进行特征裁剪得到标注框区域，将所述标注框区域表征的类别原型及其对应的类别编码相加，得到综合支撑特征；

9、操作单元，用于将所述综合支撑特征与所述查询特征进行单头交叉注意力操作，得到所述支撑特征中感兴趣部分；

10、融合单元，用于将所述查询特征和所述支撑特征中感兴趣部分进行融合，得到所述融合特征。

11、在其中一个实施例中，所述融合单元，用于将所述查询特征和所述支撑特征中感兴趣部分进行点积，使得所述查询特征中包含支撑特征中感兴趣部分；最后通过全连接层得到所述融合特征。

12、在其中一个实施例中，所述类别原型对应的类别编码表示为：

13、ce(c,2i)＝sin(c/100002i/d)

14、ce(c,2i+1)＝cos(c/100002i/d)

15、其中，d代表特征维度，c代表当前类别原型，ce(c,2i)表示c类别中第2i个特征的编码，ce(c,2i)表示c类别中第2i+1个特征的编码。

16、在其中一个实施例中，所述域适应特征提取模块包括：

17、多个压缩激励单元，用于作为域适应库用于输入图像x在不同域上进行特征获取，得到各个域对应的特征xuse；

18、域注意力单元，用于对各个域的特征进行全局池化，并依次经过全连接层和softmax层，得到各个域的特征对应的权重sda；

19、计算单元，用于将权重sda加载在对应的特征上，即xda＝xusesda；将xda经过sigmoid后与所述输入图像x进行点积，得到输出特征；

20、其中，当所述压缩激励单元的输入图像为所述查询图像时，所述计算单元的输出为所述查询特征；当所述压缩激励单元的输入图像为支撑集中的图像时，所述计算单元的输出为所述支撑特征。

21、在其中一个实施例中，所述transformer模块包括：

22、编码器单元包括多个级联的第一子层，每个所述第一子层包括一个多头自注意力和一个前馈网络，相邻所述第一子层由残差连接，所述编码器单元用于输入所述融合特征及其对应的位置编码，输出得到编码特征；

23、解码器单元，包括多个级联的第二子层，每个所述第二子层包括两个多头自注意力和一个前馈网络，相邻所述第一子层由残差连接，所述解码器单元用于输入所述编码特征，输出所述查询图像对应的目标特征。

24、在其中一个实施例中，所述初始目标检测网络的总损失函数包括：二分匹配损失lmatch、附加损失laux、支撑集类别损失lp和边界损失lm；所述总损失函数表示为：l＝lmatch+lmax+λplp+λmlm；λp与λm为预设的权重超参数。

25、在其中一个实施例中，所述边界损失lm表示为：

26、

27、其中，n为类别总数；intradistancei表示第i个类别对应的内部距离，interdistancei表示第i个类别对应的类别间距离，pik表示类别i的第k个原型向量，其平均原型表示为mj表示类别j的平均原型。

28、按照本发明的另一方面，提供了一种少样本红外目标检测装置，用于执行所述少样本红外目标检测方法，包括：

29、获取模块，用于获取基类预训练数据集和少样本微调数据集，所述基类预训练数据集包括多个可见光图像，所述少样本微调数据集包括：若干红外图像和所述基类预训练数据集中的部分可见光图像；

30、训练模块，用于利用所述基类预训练数据集对初始目标检测网络进行训练，得到基类预训练模型；利用所述少样本微调数据集对所述基类预训练模型进行训练，得到少样本微调模型；

31、其中，所述少样本微调模型包括：域适应特征提取模块、查询特征支撑特征融合模块和transformer模块；所述域适应特征提取模块用于提取输入的查询图像和支撑图像的特征，得到查询特征和支撑特征；所述查询特征支撑特征融合模块用于通过元学习方法适应少样本场景，将所述查询特征和支撑特征进行聚合，得到融合特征；所述transformer模块用于对所述融合特征进行编码解码处理，得到所述查询图像对应的目标特征，所述目标特征图携带目标主体的位置信息和类别信息；

32、检测模块，用于将所述所有类支撑集和当前红外图像对应的查询图像输入所述少样本微调模型，得到所述当前红外图像对应的述目标特征图，从中获得所述当前红外图像中目标主体的位置信息和类别信息。

33、按照本发明的另一方面，提供了一种少样本红外目标检测系统，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。

34、按照本发明的另一方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。

35、总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

36、(1)本发明提出一种少样本红外目标检测方法；将当前红外图像输入训练好的少样本微调模型；其中的域适应特征提取模块能够使网络从可见光数据集中学习到通用知识，再通过少样本微调，从而使得网络适用于红外场景；利用查询特征支撑特征融合模块基于元学习进行特征融合适应少样本场景，利用基于全局注意力机制的transformer模块获得所述当前红外图像的全局特征图，从而实现目标主体识别，在少样本场景下能够准确实现红外目标检测。

37、(2)本发明的查询特征支撑特征融合模块将支撑特征进行特征裁剪得到标注框区域，将所述标注框区域表征的类别原型及其对应的类别编码相加，得到综合支撑特征；将所述综合支撑特征与所述查询特征进行单头交叉注意力操作，得到所述支撑特征中感兴趣部分；将所述查询特征和所述支撑特征中感兴趣部分进行融合得到所述融合特征；本发明利用查询特征支撑特征融合模块支撑特征和查询特征进行融合，应用到红外少样本目标检测领域，不需要传统的区域建议和非极大值抑制算法(non-maximum suppression，nms)后处理，属于端到端的模型，降低了红外少样本目标检测方法的计算复杂度。

38、(3)本发明采用包括边界损失的总损失函数训练初始目标检测网络，对训练过程中的特征空间进行了约束，使得同类别的样本彼此靠近，不同类别样本尽可能远离，最终得到少样本微调模型检测准确率更高。