基于原型协调对比生成与交叉感知的小样本目标检测方法

本发明属于图像检测与处理，特别涉及一种基于原型协调对比生成与交叉感知的小样本目标检测方法。

背景技术：

1、现代目标检测的方法主要分为一阶段和二阶段的方法。前者yolo，ssd，focalloss使用简单的卷积神经网络直接预测对象，而后者的主要代表为fast rcnn，fasterrcnn，mask rcnn提取不同感受野的提议，fpn则是通过不同的尺度，然后进行细化预测。两阶段方法通常比单阶段方法更准确，时间稍长。虽然实现起来存在差别，但是这些检测器都依赖于足够的标记数据，在面对有限的数据时会遇到过度拟合的情况。

2、为了解决数据不足的问题，研究者提出了小样本学习的方法，小样本学习主要由三类方法，分别是基于数据增强的，基于迁移学习的，另一种是基于元学习的，小样本目标检测同样基于这三种方法。基于数据增强的方法，通过扩展数据或从有限数据中提取各种特征来缓解数据稀缺。基于迁移学习的方法，利用微调或度量学习将知识从数据丰富的基础数据集转移到少样本新数据集。基于元学习的方法直观地明确地模拟包括查询集和支持集在内的少镜头场景，并应用查询分支和支持分支分别处理两组。基于yolov2(redmon andfarhadi 2017)，meta yolo(kang et al.2019)从支持图像中提取重新加权向量，并将它们作为对查询图像的通道关注来检测对象。meta r-cnn(yan et al.2019)提取原型，并将它们用于查询图像的兴趣区域(roi)特征来检测对象，这被选为我们的基线。尽管现有的元学习方法取得了显着的性能，并且更加符合我们对小样本学习的预期，但它们生成的原型是通过平均的方法获得的，缺乏查询感知信息。

3、因此，现有的小样本目标检测方法仍然存在如下问题：(1)没有意识到同一类别的不同图片之间，对原型的贡献应该是不同的；(2)没有让原型在特征空间的位置显著分离，会导致相近类靠的很近，影响分类效果。(3)与roi特征融合的方式并没有高效利用到查询特征和支持特征的交叉信息。

技术实现思路

1、本发明的目的在于克服现有小样本目标检测方法中所存在的没有考虑到同一类别的不同图片之间对原型贡献的不同，没有让原型在特征空间的位置显著分离，与roi特征融合的方式并没有高效利用查询特征和支持特征的交叉信息的问题，提供一种基于原型协调对比生成与交叉感知的小样本目标检测方法，该方法包括如下步骤：

2、s1:将查询图片和支持图片输入骨干网络提取查询特征和支持特征；

3、s2:将所述查询特征转化为roi向量，所述支持特征转化为支持向量；

4、s3:将所述roi向量和支持向量送入原型协调对比生成模块，得到roi原型和支持原型，并为每个roi原型匹配一个支持原型；

5、s4:将所述roi向量与匹配后的支持原型送入交叉感知模块，得到增强后的roi向量，根据增强前的roi向量完成目标的定位，根据增强后的roi向量完成目标的分类。

6、优选地，所述原型协调对比生成模块由全连接层网络组成，输入的roi向量直接通过全连接层生成roi原型。

7、优选地，所述原型协调对比生成模块生成支持原型的步骤为：

8、s31:对支持向量通过自注意力计算得到增强后的支持向量；

9、s32:根据增强后的支持向量获取每张图片对该类别原型的概率分布；

10、s33:将所述概率分布乘以每个增强后的支持向量后进行累加，得到与类别数量一致的原型向量，再通过全连接层，得到支持原型。

11、优选地，所述增强后的支持向量为支持向量在全连接层中通过自注意力计算所得的注意力输出。

12、优选地，所述s32包括：将增强后的支持向量通过全连接层将维度由[way,shot,dim]调整为[way,shot*dim]其中way代表支持特征的类别，shot代表每个类别的图片张数，dim代表每个图片向量的长度；将同一类别的增强后的支持向量依次送入全连接层中，根据所述增强后的支持向量计算每张图片对应该类别原型的权重分数，再对权重分数进行softmax操作，获得该类别原型的概率分布。

13、优选地，所述s3中使用余弦相似度的方法为每个roi原型配对一个支持原型。

14、优选地，所述交叉感知模块由全连接层网络组成，得到增强后的roi向量的具体步骤为：

15、s41:对所述roi向量与匹配后的支持原型进行跨注意力计算，得到注意力输出，对所得注意力输出和匹配后的支持原型进行残差连接操作，得到增强后的支持原型；

16、s42:对所述roi向量和增强后的支持原型进行跨注意力计算，得到注意力输出，对所得注意力输出和roi向量进行残差连接操作，得到增强后的roi向量。

17、优选地，对所述原型协调对比生成模块和交叉感知模块构成的模型进行训练，训练使用的损失函数包括faster-rcnn损失函数、三元组损失函数和原型损失函数。

18、优选地，所述三元损失函数的表达式为：

19、

20、其中，n为类别数量，||ai-pi||2表示锚点ai和正样本pi之间的欧几里得距离的平方，||ai-ni||2表示锚点ai和负样本pi之间的欧几里得距离的平方，margin用于控制正样本对和负样本对之间的最小距离差的阈值，max(x,0)表示取x和0中的较大值。

21、所述原型损失函数的表达式为：

22、

23、其中，li表示第i个查询样本的标签，way表示非背景类别的数量，表示第i个查询样本与第li个原型之间的关系分数，且li为正样本标签，c表示原型的总数，ri，j代表第i个查询样本与第j个原型之间的关系分数。

24、优选地，一种基于原型协调对比生成与交叉感知的小样本目标检测系统，其特征在于，包括至少一个处理器，以及与所述至少一个处理器通信连接的存储器；所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述任意方法。

25、与现有技术相比，本发明的有益效果：

26、1.提出了原型协调对比生成模块，使各个原型特征增强，同一类别的原型靠近，不同类别的原型远离，并采用权重生成原型的方式，代替一般的平均原型，考虑了同一类别的不同图片之间对原型贡献的不同，有利于提高目标检测模型的性能。

27、2.提出了交叉感知模块，区别于一般方法使用的点积的方式直接将原型和roi向量相乘得到最终待预测的roi向量，本模块通过跨注意力机制计算和残差连接操作，使roi特征获得增强，高效利用了查询特征和支持特征的交叉信息，有利于提高目标检测模型的性能。

技术特征：

1.基于原型协调对比生成与交叉感知的小样本目标检测方法，其特征在于，该方法包括如下步骤：

2.如权利要求1所述的基于原型协调对比生成与交叉感知的小样本目标检测方法，其特征在于，所述原型协调对比生成模块由全连接层网络组成，输入的roi向量直接通过全连接层生成roi原型。

3.如权利要求2所述的基于原型协调对比生成与交叉感知的小样本目标检测方法，其特征在于，所述原型协调对比生成模块生成支持原型的步骤为：

4.如权利要求3所述的基于原型协调对比生成与交叉感知的小样本目标检测方法，其特征在于，所述增强后的支持向量为支持向量在全连接层中通过自注意力计算所得的注意力输出。

5.如权利要求4所述的基于原型协调对比生成与交叉感知的小样本目标检测方法，其特征在于，所述s32包括：将增强后的支持向量通过全连接层将维度由[way,shot,dim]调整为[way,shot*dim]，其中way代表支持特征的类别，shot代表每个类别的图片张数，dim代表每个图片向量的长度；将同一类别的增强后的支持向量依次送入全连接层中，计算每张图片对应该类别原型的权重分数，再对权重分数进行softmax操作，获得该类别原型的概率分布。

6.如权利要求1所述的基于原型协调对比生成与交叉感知的小样本目标检测方法，其特征在于，所述s3中使用余弦相似度的方法为每个roi原型配对一个支持原型。

7.如权利要求1-6任一所述的基于原型协调对比生成与交叉感知的小样本目标检测方法，其特征在于，所述交叉感知模块由全连接层网络组成，得到增强后的roi向量的具体步骤为：

8.如权利要求1所述的基于原型协调对比生成与交叉感知的小样本目标检测方法，其特征在于，对所述原型协调对比生成模块和交叉感知模块构成的模型进行训练，训练使用的损失函数包括faster-rcnn损失函数、三元组损失函数和原型损失函数。

9.如权利要求8所述的基于原型协调对比生成与交叉感知的小样本目标检测方法，其特征在于，所述三元损失函数的表达式为：

10.一种基于原型协调对比生成与交叉感知的小样本目标检测系统，其特征在于，包括至少一个处理器，以及与所述至少一个处理器通信连接的存储器；所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至9中任一项所述的方法。

技术总结
本发明公开了一种基于原型协调对比生成与交叉感知的小样本目标检测方法，该方法包括：输入查询图片和支持图片并提取查询特征和支持特征；将查询特征转化为ROI向量，支持特征转化为支持向量；将ROI向量和支持向量送入原型协调对比生成模块，得到ROI原型和支持原型，并为每个ROI原型匹配一个支持原型；将ROI向量与匹配后的支持原型送入交叉感知模块，得到增强后的ROI向量，根据增强前的ROI向量完成目标的定位，根据增强后的ROI向量完成目标的分类。本发明提出的方法考虑了同一类别的不同图片之间对原型贡献的不同，并高效利用了查询特征和支持特征的交叉信息，使目标检测的原型特征和ROI特征都获得了增强，相较于现有目标检测模型有更好的性能。

技术研发人员：刘洪,黄诚浩,陈虎,李天社
受保护的技术使用者：四川大学
技术研发日：
技术公布日：2024/4/29