基于贝叶斯估计语义注意力元学习方法

本发明涉及图像分类，特别是涉及基于贝叶斯估计语义注意力元学习方法。

背景技术：

1、随着大规模数据集的广泛应用和深度卷积架构的快速发展，监督学习在计算机视觉、语音识别、机器翻译等多个领域扮演着重要的角色。然而，在异常检测、医疗图像处理等缺乏大规模可用数据的领域，很难获得足够的训练样本来支持监督学习方法，导致监督学习模型的性能下降。相比之下，小样本学习(few-shot learning，fsl)旨在模拟人类所具备从少量数据中学习的能力，而元学习是一种用于解决小样本学习问题的方法。元学习通过在大量不同任务上进行学习，从中提取通用的知识或模式，使得模型能够在面对新任务时快速适应和学习。

2、元学习是让机器学习如何去学习的方法，元学习希望使得模型获取调整超参数的能力，使其可以在获取已有知识的基础上快速学习新的任务。在元学习中，采用支持集(support set)和查询集(query set)来描述任务的数据划分方式。在机器学习中，训练集、验证集和测试集主要围绕模型的角度来考虑，而元学习中的支持集和查询集是围绕任务考虑的。在元学习训练阶段，对于每个任务，从训练集中选择一个任务，并将其分为支持集和查询集。使用支持集来训练元学习模型的参数，使其能够学习任务的共享特征或模式。使用查询集来评估模型在当前任务上的性能，计算损失并更新模型参数。在元学习测试阶段，从测试集中选择一个任务，并将其分为支持集和查询集。使用支持集来更新元学习模型的参数。使用查询集来评估模型在当前任务上的性能，以测试模型在新任务上的泛化能力。

3、语义知识是指类别标签、图像的文本信息等可以利用的图像的描述信息。得益于自然语言处理领域的发展，我们可以从如gpt的大模型中获得文本信息的特征，从glove等预训练的词嵌入模型中获得类别标签嵌入特征借鉴零样本学习将语义知识和视觉知识相联系的思路，越来越多的小样本学习方法引入了语义知识弥补单一视觉特征的非典型性。例如，现有技术中的语义引导注意力机制(sega)，利用语义知识自上而下地引导视觉感知在区分类别时应该注意哪些视觉特征，在图像分类任务上取得了优异的结果。

4、但是，现有技术中的这类语义与视觉相融合的方法，语义注意力原型在样本数增加时会带来语义偏差，导致查询样本的特征分布与其对应类原型的特征分布相似度降低，影响新类的原型学习。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种基于贝叶斯估计语义注意力元学习方法，通过贝叶斯估计结合视觉原型和语义注意力原型的优势，保留样本稀疏时引入标签信息的增益，并利用视觉原型的作用来减少样本增加时的语义偏差。

2、本发明提供了一种基于贝叶斯估计语义注意力元学习方法，包括以下步骤：

3、根据基类数据集构造元训练的一个任务的支持集和查询集；

4、使用基类数据集对特征提取器和预训练分类器进行预训练，获得预训练好的特征提取器和基类的分类权重矩阵；

5、将支持集和查询集分别输入到预训练好的特征提取器获得支持集中所有样本的特征和查询集中所有样本的特征；

6、计算支持集中每个类别所有样本的特征均值得到均值类原型；

7、从基类的分类权重矩阵提取伪基类的分类权重向量，根据dynamic fsl方法，使用伪基类权重引导得到基类原型；

8、将均值类原型和基类原型合并获得视觉原型；

9、将支持集的类别标签和视觉原型输入到语义注意力模块获得语义注意力原型；

10、基于查询集数据和贝叶斯估计获得校正原型，其中，定义视觉原型的分布为贝叶斯估计的先验分布，语义注意力原型的分布为贝叶斯估计的似然函数，校正原型的分布为贝叶斯估计的后验分布；

11、将校正原型和查询集中所有样本的特征输入到元训练分类器，获得查询集图像的预测概率；

12、利用预测概率的分布和查询集的真实标签计算交叉熵损失；

13、根据交叉熵损失更新语义注意力模块参数、元训练分类器参数、伪基类权重引导得到基类原型的引导参数以及均值类原型和基类原型合并的合并参数；

14、重复执行上述步骤直至元训练模型收敛，元学习完成。

15、在其中一个实施例中，元训练采用n-way k-shot(q 1+q2)-query情景训练模式，每个情景随机从基类数据集中选取n个类别作为伪新类，除伪新类的其它类别为伪基类；

16、根据基类数据集构造元训练的一个任务的支持集为从伪新类中的每类抽取k个样本构成支持集；

17、根据基类数据集构造元训练的一个任务的查询集为从伪新类中的每类抽取q1个样本，从伪基类中随意抽取n×q2个样本，构成查询集。

18、在其中一个实施例中，使用基类数据集对特征提取器和预训练分类器进行预训练包括：

19、将基类数据集输入到特征提取模块，获得基类数据的特征；

20、将基类数据的特征输入到预训练分类器获得预训练预测概率；

21、利用预训练预测概率的分布和基类数据集的真实标签计算预训练交叉熵损失；

22、根据交叉熵损失更新特征提取器和预训练分类器；

23、重复执行上述步骤直至预训练模型收敛，预训练完成，获得预训练好的特征提取器和基类的分类权重矩阵。

24、在其中一个实施例中，基于查询集数据和贝叶斯估计获得校正原型包括：

25、使用查询集数据、视觉原型和语义注意力原型分别估计视觉原型和语义注意力原型的样本均值和样本协方差；

26、使用视觉原型和语义注意力原型的样本均值和样本协方差计算校正原型的高斯分布参数；

27、使用校正原型的高斯分参数中的均值参数表征最终的校正原型。

28、在其中一个实施例中，贝叶斯估计为

29、

30、式中，为校正原型的分布，为视觉原型的分布，为语义注意力原型的分布。

31、在其中一个实施例中，使用查询集数据、视觉原型和语义注意力原型分别估计视觉原型和语义注意力原型的样本均值和样本协方差的计算式为

32、

33、

34、式中，μ为样本均值，σ为样本协方差，|sc|是支持集中属于类别c的图像个数，fθ(x)为查询图像x经特征提取得到的特征嵌入，p(y＝c|x)为查询图像x预测为类别c的概率，q为查询集样本，prototype为视觉原型或语义注意力原型，sc为类别为c的支持集样本。

35、在其中一个实施例中，查询图像x预测为类别c的概率p(y＝c|x)的计算式为

36、

37、式中，c′是类别编号，t为分类器约束参数，t大于1或者t为可学习的标量参数，计算语义注意力原型的分布参数时，改为

38、在其中一个实施例中，使用所述视觉原型和语义注意力原型的样本均值和样本协方差计算校正原型的高斯分布参数的计算式为

39、

40、

41、式中，μc为视觉原型的样本均值，σc为视觉原型的样本协方差，μ′c为语义注意力原型的样本均值，σ′c为语义注意力原型的样本协方差，为校正原型的的样本均值，为校正原型的的样本协方差。

42、本发明的有益效果是：本发明基于贝叶斯估计，根据整体信息对从抽样角度定义的原始语义注意力原型进行校正，它可以结合视觉原型和语义注意力原型的优势，保留样本稀疏时引入标签信息的增益，并利用视觉原型的作用来减少样本增加时的语义偏差，获得的校正原型更接近真实类别原型，有助于提高元学习方法所获得的模型的泛化性能。