基于马氏距离损失特征注意力网络的小样本图像分类方法

1.本发明涉及计算机视觉技术领域，尤其是指一种基于马氏距离损失特征注意力网络的小样本图像分类方法。


背景技术：

2.近年来，深度学习在包括图像分类、目标检测与分割等其他众多任务中取得了巨大进展。然而，深度学习模型的先进性能在很大程度上依赖于网络的规模。如果使用比参数数量小得多的样本训练网络，会导致灾难性的过拟合。但是，在很多情况下若要收集足够多的数据来进行有效的模型训练，则需要花费昂贵的代价。因而，数据稀缺极大地限制了当前视觉系统有效学习新视觉概念的适用性。相比之下，人类视觉系统可以在极少的标记数据下识别新类，学习使用少量标记数据来概括新类对于深度学习、通用人工智能等领域的发展有着重大意义。
3.在小样本学习中，由于新任务的带标签样本非常少，另外通常训练域与新任务域并不相同，这使得通过训练获得的主干特征分布难以适应新任务，于是提出了许多方法来使主干提取到的特征适应新任务。例如pt(power transform)模型将特征缩放到同一尺度下，使得大方差特征不会占主导地位，减少训练域与新任务域的差异造成的影响；cnaps(conditional neural adaptive processes)模型在主干网络中通过仿射变换使主干获得的特征向量更适应新域。但是，上述方法或者直接将大方差特征缩小并没有利用新任务中带标签样本的特征分布信息，或者简单仿射变换也难以对网络提取的特征产生足够的影响。因此如何充分利用训练集使主干网络适应新任务仍然是本领域迫切需要解决的技术问题。


技术实现要素：

4.为此，本发明所要解决的技术问题在于克服现有技术中存在的技术缺陷，其提供一种基于马氏距离损失特征注意力网络的小样本图像分类方法，其弥补了主干模型对于新任务特征重要性知识不足的缺点，使用马氏距离分类前通过特征注意力网络对特征赋予不同的权重，使得类内距离缩小、类内距离扩大，以此提升分类性能。
5.为解决上述技术问题，本发明提供了一种基于马氏距离损失特征注意力网络的小样本图像分类方法，包括以下步骤：
6.对带标签的小样本图像数据集进行特征提取，得到训练集，所述训练集包括样本的特征向量及其对应的类别；
7.将所述训练集中的样本输入至特征注意力网络进行训练，得到训练好的特征注意力网络，训练集中的特征向量通过训练好的特征注意力网络后求平均获得类的表示；
8.对不带标签的小样本图像数据集进行特征提取，得到测试集，将所述测试集中的样本输入至训练好的特征注意力网络，得到新的特征向量，计算新的特征向量与类表示之间的马氏距离，其中马氏距离最小时所对应的类即表示对该样本的分类预测。
9.在本发明的一个实施例中，对带标签的小样本图像数据集进行特征提取，得到训练集，包括：
10.将带标签的小样本图像数据集输入到预训练好的主干模型中，得到训练集其中n
τ
表示训练集的个数，xi表示第i张图像的特征向量，yi表示该特征向量对应的类别，其中所述主干模型为去掉最后分类头的分类网络。
11.在本发明的一个实施例中，所述特征注意力网络包括d个大小为1
×
1的卷积核，每个卷积核对应到相应特征的权重，该特征注意力网络的输出和其输入维度相同。
12.在本发明的一个实施例中，训练所述特征注意力网络的损失函数为：
[0013][0014]
式中，intrasim表示类内相似度，intersim表示类间相似度。
[0015]
在本发明的一个实施例中，所述类内相似度intrasim和类间相似度intersim的定义如下：
[0016][0017][0018]
式中，类表示rc表示将训练集中的第c类输入训练完成的特征注意力网络所获的向量平均，o
c,i
表示特征注意力网络所输出的第c类第i个向量，o
t,i
表示特征注意力网络所输出的第t类第i个向量，表示通过马氏距离得到rc与o
t,i
的相似度。
[0019]
在本发明的一个实施例中，马氏距离函数maha(o
t,i
,rc)的表达式如下：
[0020][0021]
式中，表示训练集的第c类混合协方差矩阵，其表达式由训练集的第c类协方差矩阵与训练集的协方差矩阵σ
τ
共同决定，即：
[0022][0023]
式中，权重e是一个单位矩阵，协方差以及
[0024]
此外，本发明还提供一种基于马氏距离损失特征注意力网络的小样本图像分类系统，包括：
[0025]
数据预处理模块，所述数据预处理模块用于对带标签的小样本图像数据集进行特征提取，得到训练集，所述训练集包括样本的特征向量及其对应的类别；
[0026]
特征注意力网络训练模块，所述特征注意力网络训练模块用于将所述训练集中的样本输入至特征注意力网络进行训练，得到训练好的特征注意力网络，训练集中的特征向
量通过训练好的特征注意力网络后求平均获得类的表示；
[0027]
分类预测模块，所述分类预测模块用于对不带标签的小样本图像数据集进行特征提取，得到测试集，将所述测试集中的样本输入至训练好的特征注意力网络，得到新的特征向量，计算新的特征向量与类表示之间的马氏距离，其中马氏距离最小时所对应的类即表示对该样本的分类预测。
[0028]
在本发明的一个实施例中，在所述特征注意力网络训练模块中，训练所述特征注意力网络的损失函数为：
[0029][0030]
式中，intrasim表示类内相似度，intersim表示类间相似度。
[0031]
在本发明的一个实施例中，所述类内相似度intrasim和类间相似度intersim的定义如下：
[0032][0033][0034]
式中，类表示rc表示将训练集中的第c类输入训练完成的特征注意力网络所获的向量平均，o
c,i
表示特征注意力网络所输出的第c类第i个向量，o
t,i
表示特征注意力网络所输出的第t类第i个向量，表示通过马氏距离得到rc与o
t,i
的相似度。
[0035]
在本发明的一个实施例中，马氏距离函数maha(o
t,i
,rc)的表达式如下：
[0036][0037]
式中，表示训练集的第c类混合协方差矩阵，其表达式由训练集的第c类协方差矩阵与训练集的协方差矩阵σ
τ
共同决定，即：
[0038][0039]
式中，权重e是一个单位矩阵，协方差以及
[0040]
本发明的上述技术方案相比现有技术具有以下优点：
[0041]
本发明所述的一种基于马氏距离损失特征注意力网络的小样本图像分类方法，其弥补了主干模型对于新任务特征重要性知识不足的缺点，使用马氏距离分类前通过特征注意力网络对特征赋予不同的权重，使得类内距离缩小、类内距离扩大，以此提升分类性能。
附图说明
[0042]
为了使本发明的内容更容易被清楚的理解，下面根据本发明的具体实施例并结合附图，对本发明作进一步详细的说明，其中
[0043]
图1是本发明所提出的一种基于马氏距离损失特征注意力网络的小样本图像分类方法的流程示意图。
[0044]
图2是本发明所提出的一种基于马氏距离损失特征注意力网络的小样本图像分类系统的结构示意图。
[0045]
其中，附图标记说明：10、数据预处理模块；20、特征注意力网络训练模块；30、分类预测模块。
具体实施方式
[0046]
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
[0047]
参照图1所示，本发明的一种基于马氏距离损失特征注意力网络的小样本图像分类方法，包括以下步骤：
[0048]
s1：对带标签的小样本图像数据集进行特征提取，得到训练集，所述训练集包括样本的特征向量及其对应的类别；
[0049]
s2：将所述训练集中的样本输入至特征注意力网络进行训练，得到训练好的特征注意力网络，训练集中的特征向量通过训练好的特征注意力网络后求平均获得类的表示；
[0050]
s3：对不带标签的小样本图像数据集进行特征提取，得到测试集，将所述测试集中的样本输入至训练好的特征注意力网络，得到新的特征向量，计算新的特征向量与类表示之间的马氏距离，其中马氏距离最小时所对应的类即表示对该样本的分类预测。
[0051]
其中，在步骤s1中，对带标签的小样本图像数据集进行特征提取，得到训练集，包括将带标签的小样本图像数据集输入到预训练好的主干模型中，得到训练集其中n
τ
表示训练集的个数，xi表示第i张图像的特征向量，yi表示该特征向量对应的类别，其中所述主干模型为去掉最后分类头的分类网络。
[0052]
其中，在步骤s2中，所述特征注意力网络包括d个大小为1
×
1的卷积核，每个卷积核对应到相应特征的权重，该特征注意力网络的输出和其输入维度相同。训练所述特征注意力网络的损失函数为：
[0053][0054]
式中，intrasim表示类内相似度，intersim表示类间相似度。
[0055]
上述所述类内相似度intrasim和类间相似度intersim的定义如下：
[0056][0057][0058]
式中，类表示rc表示将训练集中的第c类输入训练完成的特征注意力网络所获的向量平均，o
c,i
表示特征注意力网络所输出的第c类第i个向量，o
t,i
表示特征注意力网络所输出的第t类第i个向量，表示通过马氏距离得到rc与o
t,i
的相似度。其中马氏
距离函数maha(o
t,i
,rc)的表达式如下：
[0059][0060]
式中，表示训练集的第c类混合协方差矩阵，其表达式由训练集的第c类协方差矩阵与训练集的协方差矩阵σ
τ
共同决定，即：
[0061][0062]
式中，权重e是一个单位矩阵，协方差以及
[0063]
下面通过一个具体的应用场景对本发明实施例提出的一种基于马氏距离损失特征注意力网络的小样本图像分类方法进行详细的阐述。
[0064]
本发明在小样本图像分类的公开数据集cifar-fs上进行。cifar-fs数据集一共包含100类图像，每类由600张图像组成，有较高的平均类间相似度与32
×
32的较低分辨率，对于小样本分类方法有充分的挑战。在实例中，cifar-fs数据集前60类数据用做预训练主干模型，这里采用wideresnet作为主干模型。本发明将cifar-fs数据集后40类作为新任务学习，采用5-way5-shot方式进行试验。具体实施步骤如下：
[0065]
s1：首先将cifar-fs数据集后40类的训练图像输入到预训练好的主干模型中，以获得训练集其中n
τ
是训练集的个数，即n
τ
＝|d
τ
|＝5
×
5＝25，xi为第i张图像的特征向量，设其维度为d＝600，yi为该特征向量对应的类别。
[0066]
s2：特征注意力网络包括600个大小为1
×
1的卷积核，而每个卷积核对应到相应特征的权重。该特征注意力网络的输出和其输入维度相同。为训练该特征注意力网络，损失函数定义如下：
[0067][0068]
其中intrasim代表类内相似度，intersim代表类间相似度。上述损失函数希望通过学习获得更大的类内相似度与更小的类间相似度。intrasim和intersim的定义如下：
[0069][0070][0071]
其中类表示rc表示将训练集中的第c类输入训练完成的特征注意力网络所获的向量平均，o
c,i
代表特征注意力网络所输出的第c类第i个向量，o
t,i
代表特征注意力网络所输出的第t类第i个向量，表示通过马氏距离得到rc与o
t,i
的相似度，马氏距离函数maha(o
t,i
,rc)的表达式如下：
[0072][0073]
其中表示训练集的第c类混合协方差矩阵，其表达式由训练集的第c类协方差矩阵与训练集的协方差矩阵σ
τ
共同决定，即
[0074][0075]
其中权重e是一个单位矩阵，协方差以及
[0076]
特征注意力网络的训练次数达到15轮后停止，可以获得新特征向量集以及各类的类表示rc,c＝1,l,5。
[0077]
s3：将cifar-fs后40类的某张测试图像输入到预训练好的主干模型中，以便提取其特征向量x；然后将该特征向量输入到训练好的特征注意力网络中，获得新特征向量o，再求新特征向量o与类表示rc之间的马氏距离，其中距离最小所对应的类即模型对该样本的预测。
[0078]
本发明的效果可以通过如下实验验证：
[0079]
本方法和pt、cnaps与cnaps基础上使用马氏距离度量的simple cnaps在相同的数据集上作比较。从表1的结果可以看出，本发明提出的方法在分类准确率(acc)上比pt等方法获得了更好的性能。
[0080]
表1
[0081] cnapssimple cnapspt本发明acc61.5774.3690.6896.59
[0082]
下面对本发明实施例公开的一种基于马氏距离损失特征注意力网络的小样本图像分类系统进行介绍，下文描述的一种基于马氏距离损失特征注意力网络的小样本图像分类系统与上文描述的一种基于马氏距离损失特征注意力网络的小样本图像分类方法可相互对应参照。
[0083]
参照图2所示，本发明实施例还提供了一种基于马氏距离损失特征注意力网络的小样本图像分类系统，包括：
[0084]
数据预处理模块10，所述数据预处理模块10用于对带标签的小样本图像数据集进行特征提取，得到训练集，所述训练集包括样本的特征向量及其对应的类别；
[0085]
特征注意力网络训练模块20，所述特征注意力网络训练模块20用于将所述训练集中的样本输入至特征注意力网络进行训练，得到训练好的特征注意力网络，训练集中的特征向量通过训练好的特征注意力网络后求平均获得类的表示；
[0086]
分类预测模块30，所述分类预测模块30用于对不带标签的小样本图像数据集进行特征提取，得到测试集，将所述测试集中的样本输入至训练好的特征注意力网络，得到新的特征向量，计算新的特征向量与类表示之间的马氏距离，其中马氏距离最小时所对应的类即表示对该样本的分类预测。
[0087]
在本发明的一个实施例中，在所述特征注意力网络训练模块20中，训练所述特征注意力网络的损失函数为：
[0088][0089]
式中，intrasim表示类内相似度，intersim表示类间相似度。
[0090]
在本发明的一个实施例中，所述类内相似度intrasim和类间相似度intersim的定义如下：
[0091][0092][0093]
式中，类表示rc表示将训练集中的第c类输入训练完成的特征注意力网络所获的向量平均，o
c,i
表示特征注意力网络所输出的第c类第i个向量，o
t,i
表示特征注意力网络所输出的第t类第i个向量，表示通过马氏距离得到rc与o
t,i
的相似度。
[0094]
在本发明的一个实施例中，马氏距离函数maha(o
t,i
,rc)的表达式如下：
[0095][0096]
式中，表示训练集的第c类混合协方差矩阵，其表达式由训练集的第c类协方差矩阵与训练集的协方差矩阵σ
τ
共同决定，即：
[0097][0098]
式中，权重e是一个单位矩阵，协方差以及
[0099]
本实施例的基于马氏距离损失特征注意力网络的小样本图像分类系统用于实现前述的基于马氏距离损失特征注意力网络的小样本图像分类方法，因此该系统的具体实施方式可见前文中的基于马氏距离损失特征注意力网络的小样本图像分类方法的实施例部分，所以，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再展开介绍。
[0100]
另外，由于本实施例的基于马氏距离损失特征注意力网络的小样本图像分类系统用于实现前述的基于马氏距离损失特征注意力网络的小样本图像分类方法，因此其作用与上述方法的作用相对应，这里不再赘述。
[0101]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0102]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程
图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0103]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0104]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0105]
显然，上述实施例仅仅是为清楚地说明所作的举例，并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明创造的保护范围之中。