显著图引导的双向蒸馏细粒度视觉识别方法、介质及设备

本发明涉及计算机视觉识别，更具体地说，涉及一种显著图引导的双向蒸馏细粒度视觉识别方法、介质及设备。

背景技术：

1、目前小样本细粒度视觉识别方法主要为基于全局表示和基于局部表示的小样本细粒度视觉识别方法两种。

2、其中，基于全局表示的小样本细粒度视觉识别方法，旨在学习子类别之间的判别性全局特征，通常使用预先训练好的卷积神经网络(cnn)，通过对最后一层进行池化提取图像的全局特征，然后通过分类器对不同类别进行分类。为了解决小样本问题，该方法通常采用元学习框架，在具有相似性和可区分性的特征空间中快速适应新类别。在元学习的过程中，可以采用余弦距离或欧氏距离等度量方式计算模板样本和查询样本之间的相似度，并使用注意力机制等技术进一步提高模型的性能。

3、基于全局表示的方法侧重于学习子类别之间的判别性全局特征。然而，由于池化过程中空间信息的丢失，该类方法可能缺乏用于识别的细粒度信息，由于在细粒度视觉识别中，不同子类之间姿势和规模的显著差异，细粒度信息的指导对模型的优化尤为重要，而由于基于全局表示的方法通常是忽略细粒度信息，导致模型的泛化性能往往不佳。

4、基于局部表示的小样本细粒度视觉识别方法，通常采用局部区域的特征表示来描述细粒度类别中的细微差异。该方法首先通过选择关键点或者利用注意力机制等技术，提取出图像中重要的局部区域，并将其对应的特征进行聚合。然后，使用元学习框架在局部特征空间中适应新类别，并结合分类器进行分类。

5、基于局部表示的方法是目前小样本细粒度视觉识别最常用、有效的方法，但由于使用了多个局部特征进行分类，该方法的计算复杂度较高，实时性能较差。

技术实现思路

1、为克服现有技术中的缺点与不足，本发明的目的在于提供一种显著图引导的双向蒸馏细粒度视觉识别方法、介质及设备；该方法可提取具有显著性的前景图，并建立前景图与原始图像之间的关联，进而实现双向蒸馏；通过特征增强和互信息学习利用细粒度信息对特征空间的全局表示进行模型优化，在模型计算复杂度较低的情况下，实现对小样本数据的高效识别，具有通用性和可拓展性。

2、为了达到上述目的，本发明通过下述技术方案予以实现：一种显著图引导的双向蒸馏细粒度视觉识别方法，基于视觉识别模型；视觉识别模型包括前景先验提取模块、判别性特征提取模块和互信息学习模块；

3、显著图引导的双向蒸馏细粒度视觉识别方法是指：采用判别性特征提取模块对图像进行处理，得到图像的预测logit值；根据预测logit值，得到视觉识别结果；

4、采用判别性特征提取模块对图像进行处理，是指：判别性特征提取模块对图像进行特征提取，得到图像的n个特征图；将特征图划分为支持集s和查询集q；使用余弦相似度计算支持集s和查询集q通道间的相似度，得到关系矩阵m，进而得到支持集s的二阶局部关系特征；融合支持集s特征和二阶局部关系特征，得到支持集s线性组合特征；对支持集s线性组合特征和查询集q特征进行特征聚合，得到改进后的支持集s增强特征和查询集q特征；计算改进后的查询集q特征和支持集s增强特征之间的余弦相似度，得到预测logit值；

5、所述判别性特征提取模块是指经过训练的判别性特征提取模块；训练方法包括如下步骤：

6、y1、采集样本图像；采用前景先验提取模块对样本图像进行预处理，得到样本图像对应的前景图；

7、y2、采用两个结构相同的判别性特征提取模块分别对样本图像和前景图进行处理，得到样本图像的预测logit值以及对应前景图的预测logit值；

8、y3、采用互信息学习模块对样本图像的预测logit值和前景图的预测logit值进行处理：互信息学习模块分别计算样本图像和前景图两个预测概率分布；分别计算两个预测概率分布的交叉熵分类损失，以及通过kl散度衡量两个预测概率分布之间的互信息损失；协同优化交叉熵分类损失和互信息损失，直到训练达到预设训练步数或者视觉识别模型收敛；得到视觉识别模型的最终权重参数集合，完成训练。

9、优选地，所述采用判别性特征提取模块对图像进行处理，包括如下分步骤：

10、s1、将图像输入到特征提取器，得到n个c×h×w的特征图；其中，n为输入图像数，c为特征图的通道数，h和w分别代表特征图的宽和高；

11、s2、将n个特征图划分为支持集和查询集q，对支持集特征和查询集q特征分别进行1×1卷积，并投影到键k和查询q；

12、s3、使用余弦相似度作为度量函数计算查询q和键k之间的关系矩阵m：

13、

14、其中，qi∈rc×1、kj∈rc×1分别是查询q和键k的局部描述子，m∈rhw×hw；

15、然后将键k与关系矩阵m相乘，得到支持集s的二阶局部关系特征；

16、s4、通过残差连接融合支持集s特征和二阶局部关系特征，得到支持集s线性组合特征；

17、s5、采用全局最大池化和全局平均池化相结合的方式分别对支持集s线性组合特征和查询集q特征进行特征聚合，得到改进后的支持集s增强特征和查询集q特征；

18、s6、将改进后的支持集s增强特征和查询集q特征输入到分类器中；分类器计算改进后的查询集q特征和支持集s增强特征之间的余弦相似度，得到预测logit值。

19、优选地，所述步骤y1中，采用前景先验提取模块对样本图像进行预处理，是指：

20、对样本图像，使用显著性检测器一和显著性检测器二分别生成像素值在[0,1]范围内的显著性图；对两个显著性图执行二值化操作，并进行并操作以生成二进制掩码；对样本图像和二进制掩码执行哈达玛积运算，从而得到对应的前景图。

21、优选地，所述显著性检测器一采用bas-net，显著性检测器二采用u2-net；显著性检测器一和显著性检测器二分别是指在duts-tr数据集上经过预训练的显著性检测器一和显著性检测器二。

22、优选地，所述步骤y1，采用前景先验提取模块对样本图像进行预处理之后，还将样本图像和对应的前景图进行相同的随机数据增强。

23、优选地，所述随机数据增强包括旋转、翻转、缩放、平移和色彩变换；数据增强后的样本图像和前景图的总体像素差异小于50％。

24、优选地，所述步骤y3，包括如下分步骤：

25、y31、将样本图像的预测logit值和前景图的预测logit值经过softmax函数进行归一化，得到样本图像和前景图两个预测概率分布；

26、y32、分别计算样本图像预测概率分布的交叉熵分类损失lcls1和前景图预测概率分布的交叉熵分类损失lcls2；通过kl散度衡量两个预测概率分布之间的互信息损失lmutal；

27、y33、设定总的优化损失为ltotal＝lcls1+lcls2+αlmutal；使用adam优化器协同优化交叉熵分类损失lcls1、lcls2和互信息损失lmutal；

28、y34、重复执行步骤y1至步骤y3，直到训练达到预设训练步数或者总的优化损失小于设定阈值；得到视觉识别模型的最终权重参数集合，完成训练。

29、一种可读存储介质，其中所述存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行上述显著图引导的双向蒸馏细粒度视觉识别方法。

30、一种计算机设备，包括处理器以及用于存储处理器可执行程序的存储器，所述处理器执行存储器存储的程序时，实现上述显著图引导的双向蒸馏细粒度视觉识别方法。

31、与现有技术相比，本发明具有如下优点与有益效果：

32、1、本发明提出的前景先验提取模块、判别性特征提取模块和互信息学习模块于一体，用于小样本细粒度视觉识别；通过了前景先验引导、特征增强的方法优化模型的嵌入空间，保证了模型的低计算复杂度和低参数量，提供了小样本细粒度视觉识别的精确度；

33、2、本发明提出了全局特征和局部特征残差融合的特征增强方法；通过计算不同特征描述子之间的关系矩阵来增强特征表示能力，弥补全局特征对细粒度信息表达不足的问题，从而提高在小样本场景下的细粒度视觉识别性能；

34、3、本专利提出了一种前景先验引导的小样本细粒度视觉识别学习方法，基于先验引导的小样本学习方法通常使用大数据预训练的特征提取器作为模型的先验来指导模型的学习；然而，由于特征提取器的容量是有限的，因此提供的先验通常是不完备的，这会限制模型的进一步优化；为了解决这个问题，本发明提出了一种根据显著性图获取前景作为先验并用于指导模型学习的方法；通过使用强大的显著检测模型，可以获得更准确的先验信息，从而更好地指导模型学习物体本身的判别性特征表示，并降低背景等无关因素的干扰；相较于传统方法，该方法更具准确性和鲁棒性，能够更好地应对小样本学习中的挑战；

35、4、本发明采用基于深度互学习范式的双向互信息学习方法；通过特征增强后计算样本图像预测概率分布和前景图预测概率分布，并使用kl散度测量两个预测概率分布之间的互信息，从而实现相互信息交互，促进图像和前景图两个分支相互受益。