一种基于图神经网络的小样本图像分类方法

1.本发明涉及深度学习中的小样本图像识别领域，具体涉及小样本条件下的图像分类技术。


背景技术：

2.众所周知，深度学习的成功高度依赖于大量标记的数据，以此来训练精度较高的网络模型。尽管在图像领域已经拥有许多大型公开数据集，例如cifar、imagenet等数据集都包含了上千万张的图像。但是在一些特殊的领域，标记的数据很少且难以收集，因此深度学习对大数据的依赖阻碍了深度学习的发展。这使得人们不得不考虑采用其他方法去解决样本不足的问题。相比深度学习，人类在观察一个或多个实例就具有识别新物体的能力。基于人类能够快速学习的启发，小样本学习的概念被提出。但是，虽然近几年在小样本学习领域提出了许多经典且较为优秀的网络和方法，小样本学习的网络精度依然亟待提高，才能解决长期以来深度学习的数据依赖问题。
3.近年来，图神经网络被较多的研究学者关注，在小样本图像分类上也表现出一定潜力。因此本发明基于图神经网络的小样本分类算法，提出任务适应的特征提取网络，设计融合度量模块和加入阈值参数的损失函数。


技术实现要素：

4.为了解决小样本条件下的图像分类问题，本发明提出了一种基于边标记图神经网络算法egnn改进的小样本图像分类技术。本技术针对特征提取的问题，提出任务适应的特征提取网络，通过支持集图像预测一组参数作用于查询图像的最后一层特征图，使其分布与同类别支持图像更接近。同时针对egnn图节点规模问题，引入类原型向量作为图的节点表示。此外针对节点之间的相似性度量，设计融合度量模块和加入阈值参数的损失函数。
5.本发明所采用的技术方案是：
6.步骤1：输入待分类图像作为查询集图像和少量几张包含目标的图像作为支持集图像；
7.步骤2：通过共享特征提取网络对支持集图像和查询集图像进行特征提取生成特征图；
8.步骤3：将支持集的特征图送入参数预测网络中对每个类别分别预测一组参数α和β，结合参数α和β对查询图像特征图进行加权和偏置计算；
9.步骤4：生成查询集的原型向量和支持集的原型向量作为图的初始化节点构建gnn网络；
10.步骤5：gnn的图节点和边节点迭代更新中，采用融合特征度量模块进行节点相似性的度量，最终输出查询节点的类别概率。
11.与现有技术相比，本发明的有益效果是：
12.(1)改进对相似样本的分类能力，增强模型的泛化能力；
13.(2)对于样本不足的小样本图像分类，能更好的进行分类。
14.附图表说明
15.图1为：resnet12网络结构。
16.图2为：本发明设计的任务适应特征提取模块tab结构图。
17.图3为：本发明设计的原型图神经网络结构。
18.图4为：本发明设计的特征融合方式。
19.图5为：本发明的特征融合模块网络结构。
具体实施方式
20.为使本发明的目的、技术方案和优点更加清楚，下面结合实施方式和附图，对本发明作进一步地详细描述。
21.本具体实施方式中，针对小样本图像分类的方法包括下述处理步骤：
22.步骤1：图像输入
23.首先输入查询图像和少量支持集图像，不同于传统图像分类算法，输入单张待分类图像，本方法同时输入待分类的图像作为查询图像，少数几张包含目标的图像作为支持集图像。因此，本发明同时对查询图像和支持图像进行处理。
24.步骤2：共享特征提取网络，设计tab任务适应特征提取模块提取特征图
25.本发明采用resnet12作为嵌入特征提取网络，resnet12网络结构如图1所示。
26.在resnet12的基础上，设计了任务适应特征提取模型tab，其整体流程如图2所示，对于小样本学习输入n
‑
way k
‑
shot任务的图像样本。首先支持集图像和查询集图像通过共享特征提取网络进行特征图的提取，然后特征提取网络提取的支持集的特征图送入参数预测网络中预测与任务相关的参数，这里计算支持集每个类别的k个图像的特征图的平均值作为输入，分别预测一组参数，接着这组参数应用于提取得到查询图像的最后一层特征图，对查询图像的特征图进行加权和偏移计算。由于每个类别分别预测一组参数作用于查询图像特征图，那么n个类别就会得到n个处理后的特征图，为了后续将其表示为图神经网络的节点特征，将n个加权和偏移计算后的特征图进行求和平均，得到适应当前任务的新的特征图。
27.根据上述提出的tab模块，节点的初始化表示如公式1所示。
[0028][0029]
其中γ是从输入支持集特征图从而预测的一组参数，该参数用于影响查询集特征特征提取器的输出。具体地，使用不同的两个α
c
，β
c
向量作用于查询图像特征特征提取最后每一层的输出，如公式2所示。
[0030]
f
emb
(f
i,q
|α
i,c
,β
i,c
)＝α
i,c
f
i,c
+β
i,c
ꢀꢀꢀꢀꢀ
(2)
[0031]
其中f
i,q
表示特征提取器提取的查询图像最后一层卷积层的输出的第i个通道，α
i,c
表示类别c在第i个通道的缩放系数，β
i,c
表示偏移值。
[0032]
tab模块使用支持集的特征图作为输入，对于k
‑
shot任务，每个类别包含k个支持样本，而对于一个类别只需预测一组参数，因此使用支持集样本特征图的平均值作为输入，如公式3所示。
[0033][0034]
为了预测α，β向量的值，设计两个全连接网络，其包含三个全连接层。因此α，β的表示见公式4和5。
[0035][0036][0037]
其中和g
θ
分别表示α，β的预测网络。
[0038]
步骤3：生成查询集的原型向量和支持集的原型向量作为图的初始化节点构建图神经网络
[0039]
为了将图神经网络的节点规模固定到一定数量，如图3所示，本发明提出基于原型的节点表示。原型的基本思想是基于同类样本的嵌入特征围绕一个原型表示，因此可以将图神经网络中同类别的多个样本节点聚合为一个节点。具体的，每个类别的原型用同类样本的嵌入特征均值来进行表示，如公式6所示。
[0040][0041]
步骤4：gnn的图节点和边节点迭代更新中，采用融合特征度量模块进行节点相似性的度量，最终输出查询节点的类别概率。
[0042]
基于边标记的图神经网络egnn在迭代过程中利用节点之间的相似性和差异性来更新节点特征和边特征，边特征是代表节点之间相似性和差异性的二维向量。传统的度量方式是通过计算特征之间的距离，如欧几里得距离、余弦距离、马氏距离等。相比传统度量方式，神经网络可以直接学习衡量特征之间的距离。本发明在基于神经网络的度量方式上，提出基于特征融合的度量模块。通过神经网络度量节点特征的距离，相当于又进行了一次特征提取，在原有的特征基础上得到更高层语义的特征。为了同时利用原本节点的特征和度量网络进一步提取的特征，本发明设计了度量模块的多层特征融合机制，旨在融合不同层的特征，得到表达能力更强的特征。
[0043]
本发明的特征融合方式如图4所示，输入是图神经网络的节点特征，经过两层1
×
1卷积、批量正则化、relu激活函数组成的卷积块进一步提取更加非线性的特征，然后与输入节点特征进行通道合并，使得合并的特征包含更多的信息。合并的特征导致通道数的增加，此时再利用1
×
1的卷积进行有效的降维，降维后的特征经过批量正则化和relu激活函数后与合并特征进行再一次合并，得到包含多级特征信息的二次合并特征，二次合并特征执行前述相同的降维后通过全连接层得到固定维数的融合特征。通过本发明设计的特征融合，最终的特征既具有原始节点的特征信息，也具有中间层更加抽象和高级的特征信息。最终通过sigmoid激活函数输出节点的相似性概率。
[0044]
具体的网络结构如图5所示。
[0045]
本发明提出一种新的二进制交叉熵损失函数，用于改进对相似样本的分类能力，增强模型的泛化能力。上诉图卷积网络通过迭代地更新操作后，输出每个节点与其它节点的相似性概率，是一个二分类问题，即该节点与另外的节点要么是同一个类别，要么是不同
的类别。对于二分类问题一般采用叉熵损失函数(binary cross
‑
entropy loss)，损失函数公式如7所示。
[0046][0047]
其中，y
i
代表真实的标签，p
i
代表网络预测为正的概率。
[0048]
交叉熵损失函数关心对于正确标签预测概率的准确性，对于相同类别的两个样本，其预测属于相同类别的准确率越高损失值越小，对于不同类别的两个样本预测属于同一类别的概率越低损失值越小。为了增强模型的泛化能力，避免过拟合，我们希望只关注于那些难以分辨的样本，而不是尽量去拟合那些容易分辨的样本。比如对于相同类别的两个样本，我们希望其预测为同一类别的概率为0.95就可以了，而不用拟合到预测概率为1。因此我们改进交叉熵损失函数，加入阈值参数α,当预测概率超过阈值时损失函数值忽略不计。改进的损失函数如公式8所示。
[0049][0050]
其中，为阈值截断函数。