一种基于超网络和条件聚合的小样本目标检测方法

本发明属于计算机视觉，具体涉及一种小样本目标检测方法。

背景技术：

1、小样本目标检测任务是目标检测领域的新兴问题，指通过少量的标注样本建立新类与待检测图像的映射，进而完成图像的目标检测和定位。由于该技术在医疗影像分析、工业质检、安防监控、文化遗产保护等数据稀缺领域具有极高的应用价值，引发了学业界和工业界的广泛关注。然而，一方面，该项任务需要全面深入的从少量样本中提取具有代表性的特征表示，另一方面，有限的标注样本带来的类别不平衡现象加剧了模型出现过拟合或者泛化能力不足的风险，这都给小样本目标检测领域的发展带来了较大困难。

2、目前，小样本目标检测领域中效果较好的大多是两阶段的元学习方法。它们基于faster r-cnn等成熟的目标检测器提取出待检测图像的一组候选区域，设计度量候选区域和新类实例的最佳匹配算法，挑选超过阈值的区域作为检测结果。尽管这类两阶段的元学习方法能取得不错的性能，但这些方案忽略了第一阶段中待检测图像和新类实例的内在联系，导致模型直接受限于目标检测器提取有效候选区域的能力，另一方面，真实应用场景的复杂多变对模型的自适应性提出了更高的要求，传统的两阶段元学习方法通常难以取得较好的效果。

技术实现思路

1、为了克服现有技术的不足，本发明提供了一种基于超网络和条件聚合的小样本目标检测方法，首先采用共享权重的resnet50卷积神经网络分别对待检测图像和新类实例进行特征提取；然后采用动态聚合模块生成与新类实例相关的特征向量，将这组特征向量作为超网络的条件向量，进而修正待检测图像不同区域的特征响应；最后基于多头跨注意力模块将待检测图像的局部特征和新类实例特征进行加强，再采用全局到局部的多关联匹配模块计算待检测图像的局部特征和新类实例特征的相似度，最终实现小样本目标检测。本发明实现了多层级交互待检测图像特征和新类特征的要求，大大降低了对大规模训练数据的依赖，实现了自适应动态的新类检测，为自然条件下小样本目标检测任务提供了一条新的思路。

2、本发明解决其技术问题所采用的技术方案包括如下步骤：

3、步骤1：将待检测图像经过resnet50卷积神经网络后，提取得到特征图并记为fq，其中，hq×wq表示特征图fq的空间分辨率，cr表示特征图fq的特征通道数；

4、步骤2：将一组新类实例图像经过与步骤1中的resnet50卷积神经网络共享权重的resnet50卷积神经网络得到一组特征图并记作fs，其中，hs×ws表示特征图fs的空间分辨率；

5、步骤3：将fq和fs送入到跨注意特征金字塔模块，其中，fq经分别映射为kq、vq，fs经分别映射为qs、ks、vs；将kq和vq复制n份后，分别与ks和vs拼接，得到kqs和vqs，均表示可学习参数矩阵；基于softmax将qs和kqs的相似度转化为注意力权重，最终与vqs做点积得到新类实例图像的增强特征上述过程用公式如下表示：

6、

7、

8、kqs,vqs＝[rep(kq,n)；ks],[rep(vq,n)；vs]           (3)

9、

10、其中rep表示复制操作，[；]表示拼接操作；

11、步骤4：引入动态聚合模块，该模块包括特征预聚合模块和动态关联模块；

12、首先，引入可学习矩阵hi，c0＝cr,i＝0,1,...,m，m表示动态聚合模块的层数；对于第一层，经映射为表示可学习的参数；经分别映射为均表示可学习的参数；基于softmax将复制n份的和的相似度转化为注意力权重，最终与做点积得到新类实例的预聚合特征用公式表示如下：

13、

14、

15、

16、步骤5：采用基于全局池化的动态关联模块描述不同预聚合特征向量的重要程度首先，预聚合特征经过全局平均池化处理后，得到全局特征向量然后，计算和的相似度基于对进行加权平均后得到条件聚合特征公式描述所示：

17、

18、

19、

20、其中，gap(.)表示全局平均池化；

21、步骤6：基于超网络修正待检测图像不同区域的特征响应；

22、首先，待检测图像特征fq经多头自注意力机制得到其次，以条件聚合特征作为超网络的输入，引入可学习权重和计算与待检测图像特征交互的特征矩阵和最后，基于修正待检测图像聚合特征不同区域的特征响应，得到i＝1,...,m-1；公式如下所示：

23、

24、

25、

26、

27、其中，dropout为正则化操作，和表示正则化系数。multi_attention表示多头自注意力机制，和为可学习的偏置项；

28、步骤7：经过m次修正后，分别得到待检测图像特征和新类实例特征

29、利用rpn和roi计算出p个待检测图像候选区域特征将和送入跨注意力特征金字塔模块中，分别得到和

30、引入多关联匹配模块描述p个待检测图像候选区域特征和新类实例特征的相似度；该模块的输入为和得到该模块的输出op，op表示待检测图像候选区域特征和新类实例特征的局部相似矩阵。

31、优选地，所述模型的损失函数如下定义：

32、

33、

34、

35、

36、

37、其中，pj表示预测为正类的概率，为真值；bj表示预测边界框，为真实边界框，{x,y,w,h}表示回归框的中心点坐标和长宽。bceloss表示二元交叉熵损失函数，smoothl1表示smooth l1损失函数；ncls和nreg分别表示pj和bj的batch维度，λ为权重项；总损失函数如下：

38、loss＝lrpn+l                    (20)。

39、本发明的有益效果如下：

40、本发明使用一种简单且鲁棒的元学习框架实现小样本目标检测。针对目前大多数元学习框架仅在第二阶段描述待检测图像和新类内在关系的问题，该模型实现了多层级交互待检测图像特征和新类特征的要求，大大降低了对大规模训练数据的依赖，实现了自适应动态的新类检测，为自然条件下小样本目标检测任务提供了一条新的思路。实验结果表明，新的模型框架在精度和稳定程度都较之前的模型有了突出的进步。

技术特征：

1.一种基于超网络和条件聚合的小样本目标检测方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的一种基于超网络和条件聚合的小样本目标检测方法，其特征在于，所述模型的损失函数如下定义：

技术总结
本发明公开了一种基于超网络和条件聚合的小样本目标检测方法，首先采用共享权重的ResNet50卷积神经网络分别对待检测图像和新类实例进行特征提取；然后采用动态聚合模块生成与新类实例相关的特征向量，将这组特征向量作为超网络的条件向量，进而修正待检测图像不同区域的特征响应；最后基于多头跨注意力模块将待检测图像的局部特征和新类实例特征进行加强，再采用全局到局部的多关联匹配模块计算待检测图像的局部特征和新类实例特征的相似度，最终实现小样本目标检测。本发明实现了多层级交互待检测图像特征和新类特征的要求，降低了对大规模训练数据的依赖，实现了自适应动态的新类检测，为自然条件下小样本目标检测任务提供了一条新的思路。

技术研发人员：张艳宁,王鹏,赖岚清,蔚亚乐,索伟
受保护的技术使用者：西北工业大学
技术研发日：
技术公布日：2024/1/5