一种用于神经网络小样本学习的空间电势度量方法和系统

1.本发明涉及机器学习领域，特别涉及一种用于神经网络小样本学习的空间电势度量方法和系统。


背景技术：

2.近年来，深度学习模型在计算机视觉任务中取得了重大的突破，如图像分类、语义分割和目标检测等等，通过对大量的数据样本进行训练迭代，模型便可以在实际应用中表现出甚至高于人类的能力。在大多数学习任务中，深度学习表现出优越性能的先决条件往往是拥有大量标记的样本，当学习任务发生细微改变时，通常会导致结果崩塌。相反，人类可以从少量的示例中概括出重要的知识，并将其应用到新的场景中，我们将这种能力称为学会学习的能力，即元学习。
3.小样本学习是元学习领域的一大应用，能够有效解决小数据集下模型出现过拟合等问题，因此，基于深度学习的小样本学习具有更大的潜力。与传统深度学习模型配合良好的微调技术，在仅有的几个标记实例下，是无法表示真实的数据分布的，而且会导致学习分类器具有较大的方差，使其难以推广到新数据中。为了解决这一过拟合问题，vinyals等人在2016年提出了一种元学习策略的匹配网络(matching networks，matchnet)，该策略能够从大量情景中学习不同的分类任务，在每一情景中，算法学习少数已标记实例(支持集)的特征嵌入，并根据嵌入空间中的余弦距离预测未标实例(查询集)的类别。由于这种情景元学习策略具有优秀的泛化性能，因此被后续的小样本学习所采用，比如finn等人在2017年提出一种学习良好初始化的方法，即与模型无关的元学习(model-agnostic meta-learning，maml)，可以快速适应目标任务；snell等人在2017年提出原型网络(prototypical networks,protonet)，通过情景训练并计算类原型的欧几里得距离，从而预测其对应类别。
4.基于度量的小样本学习大多都需要涉及到距离度量阶段，而以上传统的小样本学习方式大多只采用了余弦距离、欧几里得距离等进行度量，这类距离更多强调绝对关系，而不注意类间或类内的变化，容易降低某些场景下的预测性能。2018年，meng yet等人提出了一种深度三元排序网络(deep triplet ranking networks，dtpn)，该损失首次提出是用于facenet网络中，一定程度上降低了未标记实例与已标记实例单方面距离度量的误差，并降低了在相似类别中误分类的概率。yanbin liu等人在2019年提出了直推式传播网络(transductive propagation network，tpn)，通过图模型和标签传播的方式，对样本类别进行综合度量并预测，提高了分类器的可靠性。以上两种方法都能够利用类间和类内的信息进行更为合理的预测，但学习成本以及整体的复杂度也随之提高了。
5.综上所述，现有的小样本度量技术存在如下缺点：
6.1、更多地强调类间的绝对度量关系，而忽略类间的相对度量关系；
7.2、采用额外的复杂网络模型或度量算法进行度量，在一定程度上增加了小样本学习的成本。


技术实现要素：

8.本发明的主要目的在于克服现有技术中的上述缺陷，提出一种用于神经网络小样本学习的空间电势度量方法，从而解决了现有的小样本度量技术中，无法利用低模型成本、低计算复杂度综合考虑类别内部以及类别之间关系的技术问题。
9.本发明采用如下技术方案：
10.一种用于神经网络小样本学习的空间电势度量方法，包括：
11.将支持集和查询集输入到特征嵌入提取网络中，分别得到已标记和未标记实例的特征嵌入向量集；
12.将已标记实例的特征嵌入向量输入到电荷量参数提取网络中，得到参数作为已标记实例的电荷量；
13.将同一类别的特征嵌入向量和电荷量范围参数都进行均值融合，并构建拟高维空间静电场；
14.根据已标记示实例设定正点电荷和负点电荷，结合点电荷的电荷量，在遍历所有点电荷极性组合下,求得未标记实例的特征嵌入向量在拟高维空间静电场中位置点的电势叠加值，并以电势叠加值作为未标记实例的度量值；
15.将度量值转换为类别概率分数，并计算所述类别概率分数与来自未标记实例真实标签的度量学习损失，以端对端的方式学习所有网络参数。
16.具体地，所述支持集和查询集具体为：
17.从训练集c
train
中抽样出n个类别的样本用于构成支持集和查询集；其中支持集每n个类别包含k个样本，表示为：s＝{(x1,y1),(x2,y2),(xi,yi)...,(xn×k,yn×k)}；查询集每n个类别包含数量不固定的样本，表示为：并且s∈c
train
，q∈c
train
，其中xi是d维输入向量，yi是xi的标签，i＝1,2,3...n
×
k；其中是d维输入向量，是d维输入向量，是的标签，i＝1,2,3...t；n、k、t都为正整数。
18.具体地，将支持集和查询集输入到特征嵌入提取网络中，分别得到已标记和未标记实例的特征嵌入向量集，具体为：
19.特征嵌入向量是通过将样本xi输入至特征嵌入提取网络f
θ
获得的m维向量，
20.对于支持集s和查询集q，采用同一个特征嵌入提取网络f
θ
，支持集s得到的已标记实例的特征嵌入向量表示为：f
θ
(xi)，查询集q得到的未标记实例的特征嵌入向量表示为：
21.具体地，所述电荷量参数提取网络具体为：
22.电荷量参数提取网络是仅由单一神经元输出的一层全连接层构成的，记为：g
θ
，其中θ表示网络参数。
23.已标记实例的特征嵌入向量f
θ
(xi)经过电荷量参数提取网络g
θ
得到电荷量范围参数qi＝g
θ
(f
θ
(xi))。
24.具体地，将同一类别的特征向量和电荷量范围参数进行均值融合，具体为：
25.对特征嵌入向量和电荷量范围参数进行均值融合的方法分别如下：
26.[0027][0028]
其中ks表示支持集s每个类别所包含的样本数，这里只对已标记样本做均值融合操作。
[0029]
具体地，遍历所有点电荷极性组合,求得不同组合下各个未标记实例的特征嵌入向量所在空间位置点的电势叠加值，并以电势叠加值作为未标记实例的度量值，所述的度量值具体为：
[0030][0031]
其中d(
·
,
·
)用欧几里得距离来表示，表示未标记实例的特征嵌入，f
p
、q
p
表示作为正点电荷的已标记实例的特征嵌入向量和电荷量范围参数，表示作为负点电荷的已标记实例的特征嵌入向量和电荷量范围参数。
[0032]
具体地，将度量值转换为类别概率分数，具体为：
[0033]
度量值转换为类别概率分数的方法是采用soft max函数实现的：
[0034][0035]
其中,表示第i个未标记实例的预测标签，表示第i个未标记实例以第j个已标记实例为正点电荷的空间电势度量值。
[0036]
具体地，所述度量学习损失，具体为：
[0037]
度量学习损失采用交叉熵损失：
[0038][0039]
其中，yi表示第i个未标记实例xi的真实标签，i(
·
)是用于体现预测是否正确的指示函数，即当预测正确时i(
·
)＝0，否则i(
·
)＝1。
[0040]
本发明实施例提供一种用于神经网络小样本学习的空间电势度量系统，包括：
[0041]
特征嵌入向量集获取单元：将支持集和查询集输入到特征嵌入提取网络中，分别得到已标记和未标记实例的特征嵌入向量集；
[0042]
已标记实例的电荷量获取单元：将已标记实例的特征嵌入向量输入到电荷量参数提取网络中，得到参数作为已标记实例的电荷量；
[0043]
高维空间静电场构建单元：将同一类别的特征嵌入向量和电荷量范围参数都进行均值融合，并构建拟高维空间静电场；
[0044]
空间电势度量值获取单元：根据已标记示实例设定正点电荷和负点电荷，结合点电荷的电荷量，在遍历所有点电荷极性组合下,求得未标记实例的特征嵌入向量在拟高维空间静电场中位置点的电势叠加值，并以电势叠加值作为未标记实例的度量值；
[0045]
网络参数更新单元：将度量值转换为类别概率分数，并计算所述类别概率分数与来自未标记实例真实标签的度量学习损失，以端对端的方式学习所有网络参数。
[0046]
由上述对本发明的描述可知，与现有技术相比，本发明具有如下有益效果：
[0047]
(1)本发明通过构建拟高维空间静电场来对嵌入空间中未标记实例与已标记实例进行电势度量，能够综合考虑嵌入空间中所有已标记实例与未标记实例之间的联合关系，并有利于样本拓展，进一步提升小样本任务的分类精度和泛化能力。
[0048]
(2)本发明在模型结构上，仅增加了一层由单一神经元输出的全连接网络，模型简易，所增加的额外学习成本较低。
[0049]
(3)本发明提供的基于空间电势度量的小样本学习方法可以灵活兼容于由特征嵌入提取模块、特征嵌入度量模块以及损失产生模块组成的小样本任务中，可移植性较高。
附图说明
[0050]
图1为一种用于神经网络小样本学习的空间电势度量方法原理图；
[0051]
图2为一种用于神经网络小样本学习的空间电势度量方法流程图；
[0052]
图3为一种用于神经网络小样本学习的空间电势度量系统结构图。
[0053]
以下结合附图和具体实施例对本发明作进一步详述。
具体实施方式
[0054]
本发明提出一种用于神经网络小样本学习的空间电势度量方法，从而解决了现有的小样本度量技术中，无法利用低模型成本、低计算复杂度综合考虑类别内部以及类别之间关系的技术问题。
[0055]
如图1为一种用于神经网络小样本学习的空间电势度量方法原理图，如图2为一种用于神经网络小样本学习的空间电势度量方法流程图，包括：
[0056]
s101：将支持集和查询集输入到特征嵌入提取网络中，分别得到已标记和未标记实例的特征嵌入向量集；
[0057]
具体地，所述支持集和查询集具体为：
[0058]
从训练集c
train
中抽样出n个类别的样本用于构成支持集和查询集；其中支持集每n个类别包含k个样本，表示为：s＝{(x1,y1),(x2,y2),(xi,yi)...,(xn×k,yn×k)}；查询集每n个类别包含数量不固定的样本，表示为：并且s∈c
train
，q∈c
train
，其中xi是d维输入向量，yi是xi的标签，i＝1,2,3...n
×
k；其中是d维输入向量，是d维输入向量，是的标签，i＝1,2,3...t；n、k、t都为正整数。
[0059]
具体地，将支持集和查询集输入到特征嵌入提取网络中，分别得到已标记和未标记实例的特征嵌入向量集，具体为：
[0060]
特征嵌入向量是通过将样本xi输入至特征嵌入提取网络f
θ
获得的m维向量，
[0061]
对于支持集s和查询集q，采用同一个特征嵌入提取网络f
θ
，支持集s得到的已标记实例的特征嵌入向量表示为：f
θ
(xi)，查询集q得到的未标记实例的特征嵌入向量表示为：
[0062]
对于支持集s和查询集q，它们可以使用同一个特征嵌入提取网络，也可以使用不同特征嵌入提取网络，本发明在后文的描述中，默认使用同一个特征嵌入提取网络f
θ
。
[0063]
s102：将已标记的特征向量输入到电荷量参数提取网络中，得到参数作为已标记
示例的电荷量；
[0064]
具体地，所述电荷量参数提取网络具体为：
[0065]
电荷量参数提取网络是仅由单一神经元输出的一层全连接层构成的，记为：g
θ
，其中θ表示网络参数。
[0066]
已标记实例的特征嵌入向量f
θ
(xi)经过电荷量参数提取网络g
θ
得到电荷量范围参数qi＝g
θ
(f
θ
(xi))。
[0067]
s103：将同一类别的特征向量和电荷量范围参数进行均值融合，构建拟高维空间静电场；
[0068]
具体地，将同一类别的特征向量和电荷量范围参数进行均值融合，具体为：
[0069]
对特征嵌入向量和电荷量范围参数进行均值融合的方法分别如下：
[0070][0071][0072]
其中ks表示支持集s每个类别所包含的样本数，这里只对已标记样本做均值融合操作。
[0073]
s104：根据已标记示实例设定正点电荷和负点电荷，结合点电荷的电荷量，在遍历所有点电荷极性组合下,求得未标记实例的特征嵌入向量在拟高维空间静电场中位置点的电势叠加值，并以电势叠加值作为未标记实例的度量值；
[0074]
将任意一类已标记示例作为正点电荷，其余类已标记实例作为负点电荷，结合电荷量范围参数，求得未标记的特征向量在拟高维空间“静电场”中位置点的“电势叠加值”。
[0075]
具体地，遍历所有点电荷极性组合,求得不同组合下不同未标记的特征向量所在位置点的电势叠加值，并以电势叠加值作为未标记实例的度量值，所述的度量值具体为：
[0076][0077]
其中d(
·
,
·
)用欧几里得距离来表示，表示未标记实例的特征嵌入，f
p
、q
p
表示作为正点电荷的已标记实例的特征嵌入向量和电荷量范围参数，表示作为负点电荷的已标记实例的特征嵌入向量和电荷量范围参数。
[0078]
s106：将度量值转换为类别概率分数，并计算所述类别概率分数与来自未标记示例真实标签的度量学习损失，以端对端的方式学习所有网络参数。
[0079]
具体地，将度量值转换为类别概率分数，具体为：
[0080]
度量值转换为类别概率分数的方法是采用softmax函数实现的：
[0081][0082]
其中,表示第i个未标记实例的预测标签，表示第i个未标记实例以第j个已标记实例为正点电荷的空间电势度量值。
[0083]
具体地，所述度量学习损失，具体为：
[0084]
度量学习损失采用交叉熵损失：
[0085][0086]
其中，yi表示第i个未标记实例xi的真实标签，i(
·
)是用于体现预测是否正确的指示函数，即当预测正确时i(
·
)＝0，否则i(
·
)＝1。
[0087]
如图3，本发明实施例提供一种用于神经网络小样本学习的空间电势度量系统，包括：
[0088]
特征嵌入向量集获取单元301：将支持集和查询集输入到特征嵌入提取网络中，分别得到已标记和未标记实例的特征嵌入向量集；
[0089]
已标记实例的电荷量获取单元302：将已标记实例的特征嵌入向量输入到电荷量参数提取网络中，得到参数作为已标记实例的电荷量；
[0090]
高维空间静电场构建单元303：将同一类别的特征嵌入向量和电荷量范围参数都进行均值融合，并构建拟高维空间静电场；
[0091]
空间电势度量值获取单元304：根据已标记示实例设定正点电荷和负点电荷，结合点电荷的电荷量，在遍历所有点电荷极性组合下,求得未标记实例的特征嵌入向量在拟高维空间静电场中位置点的电势叠加值，并以电势叠加值作为未标记实例的度量值；
[0092]
网络参数更新单元305：将度量值转换为类别概率分数，并计算所述类别概率分数与来自未标记实例真实标签的度量学习损失，以端对端的方式学习所有网络参数。
[0093]
本发明通过构建拟高维空间电势来对嵌入空间中未标记实例与已标记实例进行度量，能够综合考虑嵌入空间中所有已标记实例与未标记实例之间的联合关系，并有利于样本拓展，进一步提升小样本任务的分类精度和泛化能力。此外，本发明在模型结构上，仅增加了一层由单一神经元输出的全连接网络，模型简易，所增加的额外学习成本较低；而且本发明提供的基于空间电势度量的小样本学习方法可以灵活兼容于由特征嵌入提取模块、特征嵌入度量模块以及损失产生模块组成的小样本任务中，可移植性较高。
[0094]
上述仅为本发明的具体实施方式，但本发明的设计构思并不局限于此，凡利用此构思对本发明进行非实质性的改动，均应属于侵犯本发明保护范围的行为。