小样本学习方法、装置、电子设备和存储介质与流程

本发明实施例涉及机器学习技术领域，尤其涉及一种小样本学习方法、装置、电子设备和存储介质。

背景技术：

由于常规的深度学习算法需要大量训练样本集才能实现较好的效果，限制了它在许多领域的应用。

目前，针对小样本训练集的特征学习，常用的技术手段有数据增强、迁移学习、元学习等，但是这些方法仍存在跨领域任务表现差、出现灾难性遗忘等缺点，整体而言在小样本训练集下深度学习的效果并不理想。

技术实现要素：

本发明实施例提供一种小样本学习方法、装置、电子设备和存储介质，以提高小样本情况下的学习效果。

第一方面，本发明实施例提供了一种小样本学习方法，包括：

根据图像表示模型对图像训练样本集进行编码，得到由每个图像训练样本的图像向量表示构成的图像矩阵；

根据标签预处理模型对所述图像训练样本集的标签进行编码，得到由每个图像训练样本标签的标签向量表示构成的标签矩阵；

根据所述图像矩阵和所述标签矩阵的损失值进行反向传播，以对所述图像表示模型和所述标签预处理模型进行参数优化，得到训练完成的图像表示模型和标签预处理模型。

第二方面，本发明实施例还提供了一种小样本学习装置，包括：

图像编码模块，用于根据图像表示模型对图像训练样本集进行编码，得到由每个图像训练样本的图像向量表示构成的图像矩阵；

标签编码模块，用于根据标签预处理模型对所述图像训练样本集的标签进行编码，得到由每个图像训练样本标签的标签向量表示构成的标签矩阵；

模型优化模块，用于根据所述图像矩阵和所述标签矩阵的损失值进行反向传播，以对所述图像表示模型和所述标签预处理模型进行参数优化，得到训练完成的图像表示模型和标签预处理模型。

第三方面，本发明实施例还提供了一种电子设备，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明任一实施例所述的小样本学习方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任一实施例所述的小样本学习方法。

本发明实施例对图像以及图像标签进行编码得到图像矩阵和标签矩阵，通过图像矩阵和标签矩阵共同确定损失值进行反向传播，对模型参数进行优化。实现了将自然语言任务中的知识引入进图像的特征识别任务中，实现不同任务知识的融合，进而加速在小样本数据集情况下对图像特征的学习，提高小样本数据集下图像特征学习的效率和准确率。

附图说明

图1是本发明实施例一中的小样本学习方法的流程图；

图2是根据标签预处理模型对图像训练样本集的标签进行编码的过程示意图；

图3是本发明实施例二中的小样本学习方法的流程图；

图4是本发明实施例三中的小样本学习装置的结构示意图；

图5是本发明实施例四中的电子设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1是本发明实施例一中的小样本学习方法的流程图，本实施例可适用于对在小样本数据集上进行图像分类训练的情况。该方法可以由小样本学习装置来执行，该装置可以采用软件和/或硬件的方式实现，并可配置在电子设备中，例如电子设备可以是后台服务器等具有通信和计算能力的设备。如图1所示，该方法具体包括：

步骤101、根据图像表示模型对图像训练样本集进行编码，得到由每个图像训练样本的图像向量表示构成的图像矩阵。

其中，图像表示模型用于对图像中的特征进行学习提取，示例性的，图像表示模型可以是由卷积神经网络构成的编码器。图像训练样本集由此次图像特征学习任务的完整数据集中的部分图像构成。示例性的，将完整数据集划分为训练集和测试集，其中，训练集和测试集中的类别不重复，在不同的场景训练中分别从训练集中所有类别中随机选取n个类别，再从n类中每个类中随机选取m个样本，由n*m个样本构成图像训练样本集。可选的，对于随机选取的n个类别小于完整数据集中所有类别的总数，以保证后续测试时从剩余类别中选择图像作为测试样本集。对从每个类别中随机选取的数量不作限制，可以相同或者不相同，根据各类别中图像总数进行确定。图像向量表示由字符构成，对单幅图像的特征进行描述。图像矩阵由字符构成，对图像训练样本集中的所有图像的特征进行描述。示例性的，图像矩阵由图像向量表示按行堆叠构成。

具体的，将图像训练样本集中每个图像依次输入到卷积神经网络构成的图像表示模型中，由图像表示模型输出每个图像的图像向量表示，即每张图像对应一个图像向量表示，最后将所有图像的图像向量表示按行拼接构成图像矩阵，记为embeddings_x。示例性的，图像向量表示为多列1行的向量，则图像矩阵中每一行为一个图像的图像向量表示。对于卷积神经网络的具体结构在本发明实施例中并不限制。

步骤102、根据标签预处理模型对图像训练样本集的标签进行编码，得到由每个图像训练样本标签的标签向量表示构成的标签矩阵。

对于本发明实施例中的完整数据集中的图像样本带有各自的标签，该标签用于对学习任务的结果进行描述。示例性的，小样本学习任务为图像分类任务，则各图像样本标签为图像分类结果，标签通过若干单词组成。

相关技术中，通常在图像分类任务中会将类别标签表示为数字索引或独热向量，即单词编号作为索引位置的元素设置为1其余位置均设置为0的向量，但显然由于所有单词向量互相正交，无法通过这种独热向量得知单词的相似性。在本发明实施例中，基于标签预处理模型对标签进行编码，获取标签单次的相似性特征，根据该特征确定标签向量表示。最后将所有图像标签的标签向量表示按行拼接构成标签矩阵，记为embeddings_y。示例性的，标签向量表示为多列1行的向量，则标签矩阵中每一行为一个图像标签的标签向量表示。

其中，标签预处理模型基于自然语言语义特征提取模型构建，基于自然语言语义特征提取模型实现对标签单词的语义特征信息的学习，根据提取出的语义信息确定单词间的关系，进而确定标签之间的相似性。实现将图像标签语义信息引入到图像分类任务中。示例性的，标签预处理模型基于glove模型构建，glove模型是一种词向量表示的模型，将描述单词的向量维度减小到了50至300维，且较好地提取了单词的语义特征信息，因而可以通过向量间的关系推断出单词间的关系，利于计算机进行自然语言的处理。

标签向量表示由字符构成，对单幅图像的标签语义信息进行描述，单幅图像的标签单词为至少一个，每幅图像的标签形成一个标签向量表示。标签矩阵由字符构成，对图像训练样本集中的所有图像的标签特征进行描述。示例性的，标签矩阵由标签向量表示按行堆叠构成。

在一个可行的实施例中，图像训练样本集为完整数据集的子集；

相应的，步骤102，包括：

确定完整数据集的完整标签信息；

根据完整标签信息和原始词向量模型，确定完整词向量表示；

根据图像训练样本集的标签和完整标签信息，确定训练样本标签信息；

根据训练样本标签信息和完整词向量表示，确定由每个图像训练样本标签的标签向量表示构成的标签矩阵。

其中，完整数据集为针对此次学习任务所获取到的所有数据集，即小样本。图像训练样本集为从完整数据集中随机选取的部分图像样本，以保证后续确定图像测试样本集时，与图像训练样本集不相同，进而保证测试结果的准确性。

其中，完整标签信息中包括完整数据集中所有图像的标签信息，示例性的，将完整数据集中出现的标签单词组成不重复的列表word-list，即为完整标签信息。原始词向量模型为基于自然语言语义特征提取模型，例如glove模型。

具体的，在确定完整标签信息后，将完整标签信息输入到原始词向量模型中，由原始词向量模型提取各标签单词的语义信息，并根据语义信息确定每个标签单词的词向量表示，最后形成完整标签信息的完整词向量表示。示例性的，通过word-list在glove词向量模型中搜寻到感兴趣的单词-向量对，将其组成矩阵k-v，即视单词为关键字key，对应的词向量为value，k-v矩阵即作为完整词向量表示。

由于图像训练样本集是完整数据集的子集，因此在完整标签信息中存在图像训练样本集中没有的标签单词信息。获取图像训练样本集中各图像的标签，按照完整标签信息中的标签表示得到训练样本标签信息，根据训练样本标签信息和完整词向量表示的矩阵乘结果确定标签矩阵，标签矩阵中每行的向量为一个图像训练样本标签的标签向量表示。

示例性的，针对当前训练批次的图像训练样本集中的标签单词y，先按y中每个标签单词在word-list中的出现顺序将标签单词转化为由0和1组成的向量，例如，y中的标签单词为cat，该单词在word-list中的出现顺序为第二位，则该标签单词对应的向量为除了第二位为1其他位为0的向量，向量的长度等于word-list中单词总数；当y中的标签单词为至少两个时，则分别确定各单词在word-list中的出现顺序，形成的向量中在对应位置设置为1，其他位置为0。

转化完成后图像训练样本集中所有标签则形成矩阵yword-hot，yword-hot中每行为一个标签，行的数量为图像训练样本集中的样本数量。对yword-hot矩阵进行行方向归一化处理（norm）形成矩阵ynorm，ynorm矩阵中各元素值为yword-hot矩阵中对应位置元素除以该元素所在yword-hot矩阵行的和，使ynorm矩阵每行元素之和为1，最后将ynorm矩阵和k-v矩阵做矩阵乘，得到标签矩阵embeddings_y，标签矩阵embeddings_y中每行表示一个图像训练样本标签的标签向量表示。如图2所示为根据标签预处理模型preprocess对图像训练样本集的标签y进行编码得到标签矩阵embeddings_y的过程示意图。

步骤103、根据图像矩阵和标签矩阵的损失值进行反向传播，以对图像表示模型和标签预处理模型进行参数优化，得到训练完成的图像表示模型和标签预处理模型。

其中，损失值根据预先设置的损失函数进行确定，用于表示从图像特征中学习到的信息与从标签语义特征中学习到的信息之间的差距。通过损失值反映的差距进行反向传播，对图像表示模型和标签预处理模型中的参数进行优化，以使得损失值逐渐降低，直至达到优化次数或者达到预定值，得到训练完成的图像表示模型和标签预处理模型。示例性的，根据图像矩阵和标签矩阵的损失值计算梯度值，利用梯度下降法逐步优化模型参数获得损失值全局最小值，从而实现对图像表示模型和标签预处理模型的参数优化。

在一个可行的实施例中，根据图像矩阵和标签矩阵的损失值进行反向传播，以对标签预处理模型进行参数优化，包括：

根据图像矩阵和标签矩阵的损失值进行反向传播，以对完整词向量表示进行参数优化。

由于完整词向量是根据完整标签信息和原始词向量模型得到，将完整词向量视为标签预处理模型中初始化的矩阵参数，通过损失值反向传播对该矩阵参数进行微调，使得标签向量获得调整，即对完整词向量表示进行参数优化。在该实施例中，由于损失值由图像矩阵和标签矩阵共同获得，因此损失值既包括了自然语言知识，也包括了图像信息知识，通过损失值对由原始词向量模型获得的完整词向量表示进行优化更新，实现了将自然语言知识和图像信息知识的进一步融合，有利于提高小样本学习的效果。

在一个可行的实施例中，在得到训练完成的标签预处理模型之后，还包括：

根据训练完成的标签预处理模型中的完整词向量表示对原始词向量模型进行优化更新。

由于原始词向量模型是根据语料库预先训练的，仅根据单纯的自然语言的语义信息进行训练，因此缺少对更多任务的适应能力。例如glove词向量模型仅使用语料库训练得到。而在本发明实施例中训练完成后的标签预处理模型中的完整词向量表示融合了图像信息，更好的表达标签单词的语义信息。因此根据优化后的完整词向量表示对原始词向量模型进行优化更新，可以进一步提高原始词向量模型对更多任务的适应能力。例如，将k-v矩阵与原始glove模型进行融合更新。

示例性的，在训练结束后，将经过k-v矩阵按word-list的词序依次与glove模型中的原始词向量求平均向量后更新替换原始词向量，以实现对原始词向量模型的更新。此外，还可能存在某些标签单词在glove模型中搜索不到的情况，但经过训练后k-v矩阵中存在该标签单词的词向量表示，将它写入glove模型中作为新的行，进一步实现了glove模型中知识的更新和全新知识的学习。

本发明实施例既实现了利用自然语言任务学习到的知识增强小样本情况下的图像分类学习效果，同时也通过图像特征进一步提高自然语言任务中语义特征的学习准确性。

在一个可行的实施例中，在根据图像矩阵和标签矩阵的损失值进行反向传播之前，还包括：

对图像矩阵和标签矩阵进行维度一致化处理和归一化处理，得到标准图像矩阵和标准标签矩阵；

相应的，根据图像矩阵和标签矩阵的损失值进行反向传播，包括：

根据标准图像矩阵和标准标签矩阵的损失值进行反向传播。

虽然图像矩阵和标签矩阵中均是每一行对一幅图像进行描述，但是由于单词语义特征和图像特征的提取维度不一致，因此图像矩阵和标签矩阵会存在维度不一致的问题，需要对图像矩阵和标签矩阵进行维度一致化处理，实现图像矩阵和标签矩阵的维度一致，便于后续计算处理。同样，由于两个矩阵的元素的数值很可能不在同一数量级上，因此需要进行归一化处理操作，以提高训练学习的速度。

具体的，借鉴图网络的思想，将图像矩阵embeddings_x的每一行可视为图网络的一个节点，因此embeddings_x又可记为节点矩阵vx，通过预设距离函数（例如欧式距离函数）得到边矩阵ex，ex的第i行第j列元素为vx的第i行和第j行通过预设距离函数计算得到的距离，因此ex行数和列数相等均为embeddings_x的行数，即图像样本数量，边矩阵ex为对图像矩阵进行维度一致化处理后的结果。同理将标签矩阵embeddings_y视为图网络的节点vy，计算得边矩阵ey，记为对标签矩阵进行维度一致化处理后的结果。

示例性的，归一化处理可以通过如下函数进行确定：

；

其中，k=x或y，表示对ex进行归一化处理后的结果，表示对ey进行归一化处理后的结果；为的度矩阵，度矩阵为对角阵，且对角上元素为上该行所有元素之和。

或者，归一化处理也可以通过如下函数进行确定：

；

其中，k=x或y，表示对ex进行归一化处理后的结果，表示对ey进行归一化处理后的结果；函数mean()和std()分别表示求矩阵所有元素的均值和标准差，上述公式中矩阵和标量的减法可视为矩阵逐元素减该标量。

在一个可行的实施例中，根据图像矩阵和标签矩阵的损失值进行反向传播，包括：

基于预先设置的损失函数，计算图像矩阵和标签矩阵的损失值；

根据损失值进行反向传播；

其中，预先设置的损失函数用如下公式进行表示：

；

其中，根据图像矩阵确定，根据标签矩阵确定，表矩阵中第i行第j列的元素值，表示矩阵中第i行第j列的元素值，n表示图像训练样本集中的样本总数。

通过上述损失函数的公式可以得到图像矩阵所表示的图像特征信息与标签矩阵所表示的单词语义特征信息之间的差距，该损失函数融合了自然语言处理领域训练得到的知识。计算损失值后通过随机梯度下降等优化方法进行反向传播训练模型中的参数。

对于损失函数中的矩阵和矩阵可以用图像矩阵和标签矩阵进行直接表示，但是由于单词语义特征和图像特征的提取维度不一致，因此图像矩阵和标签矩阵会存在维度不一致的问题。在一个可行的实施例中，为所述图像矩阵根据图网络计算得到的边矩阵，为所述标签矩阵根据图网络计算得到的边矩阵。

具体的，对于具体的根据图网络计算得到边矩阵的操作步骤可以采用上述实施例中进行维度一致化处理的操作，在此不再赘述。

可选的，由于两个矩阵的元素的数值很可能不在同一数量级上，因此需要进行归一化处理操作，以提高训练学习的速度。在一个可行的实施例中，为对所述图像矩阵根据图网络计算得到的边矩阵进行归一化处理得到的标准图像矩阵，为对所述标签矩阵根据图网络计算得到的边矩阵进行归一化处理得到的标准标签矩阵。对于具体的归一化处理操作可采用上述实施例中的示例，在此不再赘述。

示例性的，在对图像矩阵和标签矩阵进行维度一致化处理和归一化处理，得到标准图像矩阵和标准标签矩阵后，损失函数公式为：

；

其中，表示对图像矩阵的边矩阵进行归一化后的标准图像矩阵，表示对标签矩阵的边矩阵进行归一化后的标准标签矩阵。

本发明实施例对图像以及图像标签进行编码得到图像矩阵和标签矩阵，通过图像矩阵和标签矩阵共同确定损失值进行反向传播，对模型参数进行优化。实现了将自然语言任务中的知识引入进图像的特征识别任务中，实现不同任务知识的融合，进而加速在小样本数据集情况下对图像特征的学习，提高小样本数据集下图像特征学习的效率和准确率。

实施例二

图3是本发明实施例二中的小样本学习方法的流程图，本实施例二在实施例一的基础上进行进一步地优化，在得到训练完成的图像表示模型和标签预处理模型之后，对完整数据集中的图像测试样本集进行测试，其中，图像测试样本集为完整数据集的子集。如图3所示，该测试方法包括：

步骤301、将图像测试样本集划分为支持集和查询集；其中，支持集中包括每个支持图像测试样本的标签。

其中，查询集是指需要预测图像分类信息的图像样本集合；支持集是指提供了标签信息的图像样本集合，以给查询中待分类的图像样本提供预测参考。

为了保证测试结果的准确性，图像测试样本集为完整数据集的子集。示例性的，将完整数据集划分为训练集和测试集，其中，训练集和测试集中的类别不重复，在不同的场景训练中分别从测试集中所有类别中随机选取m个类别，分别从m个类别中每个类中随机选取k个带标签标注的样本，由这k*m个样本组成支持集s；再从m类别中每个类别的剩余带标注样本中随机各选取t个样本，由这t*m个样本组成查询集q。查询集中查询图像测试样本带标签便于后续确定训练结果的准确性。

可选的，为了保证测试结果的准确性，从去除训练集中包括类别的完整数据集中随机选取m个类别，即保证图像训练样本集中的类别与图像测试样本集中的类别不一致。

步骤302、根据训练完成的图像表示模型确定支持集中每个支持图像测试样本的支持图像向量表示，以及查询集中每个查询图像测试样本的查询图像向量表示。

由于训练完成的图像表示模型中是通过自然语言知识和图像知识交互得到的，因此训练完成的图像表示模型中融合了自然语言处理领域训练得到的知识。将支持集s和查询集q中的所有图像经过训练完成的图像表示模型进行编码，得到每个支持图像测试样本的支持图像向量表示zs，以及查询集中每个查询图像测试样本的查询图像向量表示zq。实现了支持图像向量表示和查询图像向量表示中存在图像自身特征信息和标签单词语义信息交互融合的信息。

步骤303、确定查询集中目标查询图像测试样本的目标查询图像向量表示，与支持集中每一个支持图像测试样本的支持图像向量表示的距离。

目标查询图像测试样本为查询集中任一图像样本，示例性的，依次将查询集中每个图像样本作为目标查询图像测试样本，以确定查询集中各样本的标签预测结果。

具体的，对于查询集zq中的每个查询图像测试样本的查询图像向量表示，计算其与支持集zs中每个支持图像向量表示的距离，距离确定的方法可以参考实施例一中的预设距离函数进行确定。

步骤304、根据距离确定目标查询图像测试样本的标签预测结果。

在得到目标查询图像测试样本与各支持图像测试样本之间的距离后，选取距离最近的支持图像测试样本的标签作为目标查询图像测试样本的标签预测结果。

示例性的，得到支持集中与目标查询图像测试样本最近的预设数量个样本对应的类别，并对这些类别计票，将票数最多的类别作为最终的标签预测结果，若存在票数并列最多的类别则在该类别中随机选取一个作为最终标签预测结果。

本发明实施例通过训练完成的融合了图像知识和自然语言语义知识的图像表示模型对图像测试样本进行编码，最后根据编码后的图像向量表示的距离进行测试。实现了在小样本数据集情况下的图像分类学习任务中，引入其余任务学习到的知识来提升小样本学习的效果，进而提高小样本数据集学习下图像分类结果的准确性。

实施例三

图4是本发明实施例三中的小样本学习装置的结构示意图，本实施例可适用于在小样本数据集上进行图像分类训练的情况。如图4所示，该装置包括：

图像编码模块410，用于根据图像表示模型对图像训练样本集进行编码，得到由每个图像训练样本的图像向量表示构成的图像矩阵；

标签编码模块420，用于根据标签预处理模型对所述图像训练样本集的标签进行编码，得到由每个图像训练样本标签的标签向量表示构成的标签矩阵；

模型优化模块430，用于根据所述图像矩阵和所述标签矩阵的损失值进行反向传播，以对所述图像表示模型和所述标签预处理模型进行参数优化，得到训练完成的图像表示模型和标签预处理模型。

本发明实施例对图像以及图像标签进行编码得到图像矩阵和标签矩阵，通过图像矩阵和标签矩阵共同确定损失值进行反向传播，对模型参数进行优化。实现了将自然语言任务中的知识引入进图像的特征识别任务中，实现不同任务知识的融合，进而加速在小样本数据集情况下对图像特征的学习，提高小样本数据集下图像特征学习的效率和准确率。

可选的，所述图像训练样本集为完整数据集的子集；

相应的，标签编码模块，具体用于：

确定所述完整数据集的完整标签信息；

根据所述完整标签信息和原始词向量模型，确定完整词向量表示；

根据所述图像训练样本集的标签和所述完整标签信息，确定训练样本标签信息；

根据所述训练样本标签信息和所述完整词向量表示，确定由每个图像训练样本标签的标签向量表示构成的标签矩阵。

可选的，模型优化模块，具体用于：

根据所述图像矩阵和所述标签矩阵的损失值进行反向传播，以对所述完整词向量表示进行参数优化。

可选的，所述装置还包括原始词向量模型优化模块，用于：

在得到训练完成的标签预处理模型之后，根据所述训练完成的标签预处理模型中的完整词向量表示对所述原始词向量模型进行优化更新。

可选的，所述装置还包括矩阵处理模块，用于：

在根据所述图像矩阵和所述标签矩阵的损失值进行反向传播之前，对所述图像矩阵和所述标签矩阵进行维度一致化处理和归一化处理，得到标准图像矩阵和标准标签矩阵；

相应的，模型优化模块，具体用于：

根据所述标准图像矩阵和所述标准标签矩阵的损失值进行反向传播。

可选的，模型优化模块，具体用于：

基于预先设置的损失函数，计算所述图像矩阵和所述标签矩阵的损失值；

根据所述损失值进行反向传播；

其中，预先设置的损失函数用如下公式进行表示：

；

其中，根据所述图像矩阵确定，根据所述标签矩阵确定，表示矩阵中第i行第j列的元素值，表示矩阵中第i行第j列的元素值，n表示所述图像训练样本集中的样本总数。

可选的，为所述图像矩阵根据图网络计算得到的边矩阵，为所述标签矩阵根据图网络计算得到的边矩阵。

可选的，图像测试样本集为完整数据集的子集；

相应的，所述装置还包括测试模块，具体用于：

在得到训练完成的图像表示模型和标签预处理模型之后，将所述图像测试样本集划分为支持集和查询集；其中，所述支持集中包括每个支持图像测试样本的标签；

根据所述训练完成的图像表示模型确定所述支持集中每个支持图像测试样本的支持图像向量表示，以及所述查询集中每个查询图像测试样本的查询图像向量表示；

确定所述查询集中目标查询图像测试样本的目标查询图像向量表示，与所述支持集中每一个支持图像测试样本的支持图像向量表示的距离；

根据所述距离确定所述目标查询图像测试样本的标签预测结果。

本发明实施例所提供的小样本学习装置可执行本发明任意实施例所提供的小样本学习方法，具备执行小样本学习方法相应的功能模块和有益效果。

实施例四

图5是本发明实施例四提供的一种电子设备的结构示意图。图5示出了适于用来实现本发明实施方式的示例性电子设备12的框图。图5显示的电子设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图5所示，电子设备12以通用计算设备的形式表现。电子设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储装置28，连接不同系统组件（包括系统存储装置28和处理单元16）的总线18。

总线18表示几类总线结构中的一种或多种，包括存储装置总线或者存储装置控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构（isa）总线，微通道体系结构（mac）总线，增强型isa总线、视频电子标准协会（vesa）局域总线以及外围组件互连（pci）总线。

电子设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

系统存储装置28可以包括易失性存储装置形式的计算机系统可读介质，例如随机存取存储装置（ram）30和/或高速缓存存储装置32。电子设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质（图5未显示，通常称为“硬盘驱动器”）。尽管图5中未示出，可以提供用于对可移动非易失性磁盘（例如“软盘”）读写的磁盘驱动器，以及对可移动非易失性光盘（例如cd-rom,dvd-rom或者其它光介质）读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储装置28可以包括至少一个程序产品，该程序产品具有一组（例如至少一个）程序模块，这些程序模块被配置以执行本发明各实施例的功能。

具有一组（至少一个）程序模块42的程序/实用工具40，可以存储在例如存储装置28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。

电子设备12也可以与一个或多个外部设备14（例如键盘、指向设备、显示器24等）通信，还可与一个或者多个使得用户能与该设备12交互的设备通信，和/或与使得该设备12能与一个或多个其它计算设备进行通信的任何设备（例如网卡，调制解调器等等）通信。这种通信可以通过输入/输出（i/o）接口22进行。并且，电子设备12还可以通过网络适配器20与一个或者多个网络（例如局域网（lan），广域网（wan）和/或公共网络，例如因特网）通信。如图5所示，网络适配器20通过总线18与电子设备12的其它模块通信。应当明白，尽管图5中未示出，可以结合电子设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。

处理单元16通过运行存储在系统存储装置28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的小样本学习方法，包括：

根据图像表示模型对图像训练样本集进行编码，得到由每个图像训练样本的图像向量表示构成的图像矩阵；

根据标签预处理模型对所述图像训练样本集的标签进行编码，得到由每个图像训练样本标签的标签向量表示构成的标签矩阵；

根据所述图像矩阵和所述标签矩阵的损失值进行反向传播，以对所述图像表示模型和所述标签预处理模型进行参数优化，得到训练完成的图像表示模型和标签预处理模型。

实施例五

本发明实施例五还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例所提供的小样本学习方法，包括：

根据图像表示模型对图像训练样本集进行编码，得到由每个图像训练样本的图像向量表示构成的图像矩阵；

根据标签预处理模型对所述图像训练样本集的标签进行编码，得到由每个图像训练样本标签的标签向量表示构成的标签矩阵；

根据所述图像矩阵和所述标签矩阵的损失值进行反向传播，以对所述图像表示模型和所述标签预处理模型进行参数优化，得到训练完成的图像表示模型和标签预处理模型。

本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器（ram）、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、rf等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言诸如java、smalltalk、c++，还包括常规的过程式程序设计语言诸如”c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络包括局域网(lan)或广域网(wan)连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。