基于坐标注意力和BDC度量的小样本图像分类方法、系统、装置及介质

本发明属于图像处理，涉及一种基于坐标注意力和bdc度量的小样本图像分类方法、系统、装置及介质。

背景技术：

1、深度学习凭借大规模数据在图像分类任务中取得了巨大进展。然而，深度学习模型的训练需要基于海量的标注数据，在实际情况下往往很难获得如此大规模的训练样本，在样本数量较少的情况下模型容易出现过拟合现象。但是，在医疗和军事等特殊领域，图像分类面临着数据难以获取以及标注困难等小样本问题。因而，研究面向小样本的图像分类技术成为一个重要的研究方向。

2、目前小样本图像分类技术主要利用元学习的策略对数据进行划分，再利用深度神经网络对输入图像进行特征提取，最后通过度量学习的方式完成分类。例如，引入senet注意力机制建立特征通道间的关联，最后通过计算图像到类别的相似度来实现小样本图像分类。但是上述方法，往往没有考虑对生成空间选择性注意至关重要的位置信息，导致模型的特征提取能力有限。因此如何提升模型特征表达能力进而提高分类性能是本领域迫切需要解决的技术问题。

技术实现思路

1、本发明的目的在于解决现有技术中在进行小样本图像分类时，没有考虑对生成空间选择性注意至关重要的位置信息，导致模型的特征提取能力有限的问题，提供一种基于坐标注意力和bdc度量的小样本图像分类方法、系统、装置及介质。

2、为达到上述目的，本发明采用以下技术方案予以实现：

3、基于坐标注意力和bdc度量的小样本图像分类方法，包括：

4、采集图像并对所采集的图像进行划分，得到训练集、验证集和测试集；

5、构建深度模型框架；

6、基于训练集对深度模型进行训练，当训练次数达到最大训练次数阈值，深度模型在验证集上的性能达到预设的要求或不再显著提升时，停止训练，获取最优化的深度模型；

7、基于最优化的深度模型和元学习n-way k-shot的方式对测试集进行分类预测，评估分类准确率。

8、本发明的进一步改进在于：

9、进一步的，采集图像并对所采集的图像进行划分，包括：获取公共的小样本数据集miniimagenet和omniglot和小样本细粒度数据集cub-200，以及应用于公安领域的轮胎花纹数据集ciip-tpid；分别对miniimagenet数据集、omniglot数据集、cub-200数据集和ciip-tpid数据集进行训练集、测试集和验证集划分。

10、进一步的，深度模型框架包括：嵌入模块、坐标注意力模块、bdc度量模块和softmax层；

11、所述嵌入模块对输入的训练集进行特征提取；所述坐标注意力模块分别沿其水平和垂直方向进行全局平均池化，将输入特征图x分解为水平和垂直方向的一维特征，得到输入特征图的水平和垂直位置信息；将输入特征图的水平和垂直位置信息连接在一起，通过1×1卷积进行f1变换操作得到对应的注意力特征映射，经过非线性操作后，按照空间维度将输出结果分解为水平方向的特征映射fh∈rc/r×h和垂直方向的特征映射fw∈rc/r×w；水平方向的特征映射fh∈rc/r×h和垂直方向的特征映射fw∈rc/r×w分别通过1×1卷积并进行fh和fw变换操作，利用sigmoid激活函数获得注意力的权重，最后将水平和垂直方向的注意力权重与输入的特征图数据相乘得到最终的输出特征；

12、所述bdc度量模块中引入深度布朗距离协方差方法，首先计算支持集的bdc矩阵，并对得到的bdc矩阵进行平均操作获得每个类别的原型表示，然后计算查询集的bdc矩阵并将其与类别原型分别进行内积，得到查询图像与每个类别之间的相似性，从而预测图像所属类别；

13、所述softmax层输出bdc度量模块分类的结果。

14、进一步的，将输入特征图x分解为水平和垂直方向的一维特征，具体为：

15、

16、

17、其中，h表示特征向量的高度，c表示第c个通道，w为当前模块输入特征图的宽度，x是分解的特征向量，w表示特征向量的宽度，h为当前模块输入特征图的高度；

18、所述将输入特征图的水平和垂直位置信息连接在一起，通过1×1卷积进行f1变换操作得到对应的注意力特征映射，具体为：

19、f＝δ(f1([zh,zw])),f∈rc/r×(h+w)                    (3)

20、其中，f是编码后的中间特征映射，δ是非线性激活函数，[·,·]为拼接操作，r是控制模块大小的超参数；

21、所述水平方向的特征映射fh∈rc/r×h和垂直方向的特征映射fw∈rc/r×w分别通过1×1卷积并进行fh和fw变换操作，利用sigmoid激活函数获得注意力的权重，具体为：

22、gh＝σ(fh(fh))                          (4)

23、gw＝σ(fw(fw))                         (5)

24、其中，σ表示sigmoid激活函数；

25、所述将水平和垂直方向的注意力权重与输入的特征图数据相乘得到最终的输出特征，具体为：

26、

27、进一步的，bdc度量模块中引入深度布朗距离协方差方法，计算支持集图像的bdc矩阵，具体为：

28、计算输入特征图的平方欧式距离矩阵：

29、对平方欧式距离矩阵进行开平方，得到欧式距离矩阵

30、对欧式距离矩阵减去每行元素均值、每列元素均值以及全部元素均值，得到最终的bdc矩阵。

31、所述计算输入特征图的平方欧式距离矩阵，具体为：

32、

33、其中表示为矩阵x的第k列和第l列的平方欧式距离；i代表单位矩阵，为哈达玛乘积，定义为(u)sym＝(u+ut)/2；1∈rc×c表示为一个所有值为1的矩阵；

34、所述对平方欧式距离矩阵进行开平方，得到欧式距离矩阵具体为：

35、

36、所述对欧式距离矩阵减去每行元素均值、每列元素均值以及全部元素均值，得到最终的bdc矩阵，具体为：

37、

38、进一步的，基于训练集对深度模型进行训练，具体为：

39、将训练集数据输入到深度模型，采用adam优化方法加速深度模型进行训练，并使用relu激活函数，损失函数选择交叉熵损失函数，所述损失函数具体为：

40、l＝cross_entropy(softmax(f),label)  (10)

41、其中，cross_entropy为交叉熵损失函数，f是训练集经特征提取器提取得到的特征，label表示与训练集经特征提取器提取得到的特征相对应的真实分布。

42、进一步的，基于最优化的深度模型和元学习n-way k-shot的方式对测试集进行分类预测，评估分类准确率，具体为：

43、将测试集输入至最优化的深度模型，采用元学习n-way k-shot的方式对测试集数据进行分类预测，即测试集中随机选取n类图像，每类选取k个样本作为支持集对模型进行训练，并在n类中剩余的样本中进行选取作为查询集，使用查询集进行验证，通过对比计算得到的分类准确率验证各算法的优越性。

44、基于坐标注意力和bdc度量的小样本图像分类系统，包括：

45、划分模块，所述划分模块采集图像并对所采集的图像进行划分，得到训练集、验证集和测试集；

46、构建模块，所述构建模块构建深度模型框架；

47、获取模块，所述获取模块基于训练集对深度模型进行训练，当训练次数达到最大训练次数阈值，深度模型在验证集上的性能达到预设的要求或不再显著提升时，停止训练，获取最优化的深度模型；

48、评估模块，所述评估模块基于最优化的深度模型和元学习n-way k-shot的方式对测试集进行分类预测，评估分类准确率。

49、一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述方法的步骤。

50、一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述方法的步骤。

51、与现有技术相比，本发明具有以下有益效果：

52、本发明通过构建包括嵌入模块、坐标注意力模块、bdc度量模块和softmax层的深度模型框架；基于嵌入模块实现挖掘图像的深层特征；并通过坐标注意力模块将输入特征图的空间信息和位置信息进行结合；然后通过bdc度量模块计算支持集图像的bdc矩阵；计算查询集图像的bdc矩阵，将其与类别原型分别进行内积得到查询图像与每个类别之间的相似度，完成分类任务。并且基于训练集对深度模型进行训练，当训练次数达到最大训练次数阈值，深度模型在验证集上的性能达到预设的要求或不再显著提升时，停止训练，获取最优化的深度模型；基于最优化的深度模型和元学习n-way k-shot的方式对测试集进行分类预测，评估分类准确率。本发明引入了空间信息和位置信息的坐标注意力，同时结合利用图像边缘分布和联合分布之间差异的bdc度量方式能帮助模型更好地完成小样本图像分类任务，可以有效提高分类精度；本发明不仅适用于小样本图像分类，同时在小样本细粒度数据集上也表现出色，在面对不同领域的轮胎花纹图像数据时也有着优秀的性能。