一种基于p-Laplacian图卷积神经网络的半监督分类方法与流程

本发明涉及一种半监督分类方法，特别是指一种基于p-laplacian图卷积神经网络的半监督分类方法。

背景技术：

随着大数据时代的飞速发展，科学、工程和社会生活中每天都在产生海量数据。因此，如何更好的从大量无标记的样本以及少量有标记的样本中发掘出有价值的信息，就成为了当前机器学习和模式识别的重要研究领域之一。近年来，将深度学习和基于流形假设的算法结合起来应用于半监督分类领域中，可以提取到更具有代表性的数据特征，有助于提高模型的分类效果。

目前最具有代表性的方法是基于图卷积神经网络的半监督分类算法(gcn)。gcn作为卷积神经网络(cnn)的有效变体，成功的将cnn推广到可以高效的处理具有任意结构的数据。gcn使用图laplacian矩阵表示数据的流形结构，然后通过优化频谱图卷积的一阶近似值，提出一种新的分层线性模型公式。此外，gcn能够同时的学习样本的特征信息与结构信息，通过融合特征信息与结构信息，从而提取出更加全面的数据特征。然而，由于laplacian零空间中的测地线函数是一个常数函数，因此无法平滑地外推到看不见的数据，导致laplacian矩阵无法更好地保持样本之间的局部拓扑结构信息。

技术实现要素：

为解决现有技术中的不足，本发明提供一种基于p-laplacian图卷积神经网络的半监督分类方法，相对于laplacian矩阵而言，p-laplacian是laplacian的非线性推广，能够反应出更加精细的流形结构，更有利于发现隐藏在数据中的结构信息，从而获得更好的分类效果。

为解决上述技术问题，本发明提供技术方案如下：

本发明提供一种基于p-laplacian图卷积神经网络的半监督分类方法，包括：

步骤1：提取训练样本的特征，将每个样本用一个特征向量进行表示；

步骤2：对提取特征后的样本分别计算其p-laplacian矩阵；

步骤3：基于p-laplacian矩阵计算样本结构信息矩阵，由此得到结构信息矩阵；

步骤4：在结构信息矩阵的基础上建立基于p-laplacian的图卷积神经网络模型(plapgcn)；

步骤5：用plapgcn模型对训练样本的特征进行卷积操作，得到第一层网络的输出；

步骤6：每一层网络的输出作为下一层网络的输入，重复步骤(5)可得到多层的plapgcn网络；

步骤7：将最后一层卷积网络的输出作为softmax分类器的输入，得到每个训练样本所对应的预测标签以及训练模型中使用的各种模型参数；

步骤8：然后计算验证样本的交叉熵损失，选择最好的模型参数；

步骤9：将测试样本与训练样本采用相同的方法提取样本特征，并用学习得到的最优的卷积网络对测试样本进行卷积操作，经最后一层卷积网络输出之后，每个测试样本同样可以得到一个特征向量；

步骤10：将最后一层卷积网络输出的特征向量送到softmax分类器进行分类即可。

进一步的，所述步骤3中，样本的结构信息矩阵为其中，λmax为p-laplacian矩阵lp的最大特征值。

进一步的，所述步骤5具体为：首先，利用xavier方法初始化第一层网络权重w¹；

然后，利用plapgcn模型对最初的样本特征向量矩阵进行第一层卷积操作得到第一层提取的样本特征向量矩阵h⁽¹⁾；

其中，relu是线性激活函数，是一种人工神经网络中常用的激活函数，f(x)＝max(0，x)；其中，h⁽⁰⁾＝x表示最初的样本特征向量矩阵。

进一步的，所述步骤6具体为：首先，将第一层卷积网络的输出h⁽¹⁾作为第二层卷积网络输入的样本特征向量矩阵；其次，利用xavier方法初始化第二层网络权重w²；

然后，利用plapgcn模型对第二层的样本向量特征矩阵进行第二层卷积操作然后得到第二层提取的样本特征向量矩阵h⁽²⁾。

进一步的，所述步骤7具体为：首先，将最后一层卷积网络的输出作为softmax分类器的输入；通过softmax函数计算每个样本属于各个类的概率分布；然后，根据每个样本属于各个类概率的最大值判定为哪一类标签。

进一步的，所述步骤8具体为：首先，将训练样本上获得的各种模型参数在验证样本上进行训练；然后，根据交叉熵损失函数c＝-∑kyklogzk选择最优的模型参数；其中yk表示真实的标签，zk表示经过softmax函数输出的概率分布矩阵。

进一步的，所述第一层网络权重w¹和第二层网络权重w²均满足的均匀分布。

本申请中数据存储设备包括训练数据、验证数据和测试数据，首先提取训练样本的特征，将每个样本用一个特征向量进行表示；然后对提取特征后的样本分别计算其p-laplacian矩阵，p-laplacian矩阵中包含比laplacian矩阵更加精细的数据局部几何信息；基于p-laplacian矩阵计算样本结构信息矩阵，由此得到的结构信息矩阵便包含了样本所需要的局部几何信息；在结构信息矩阵的基础上建立基于p-laplacian的图卷积神经网络模型(plapgcn)，此模型比gcn模型就局部几何信息的精细程度而言更具有代表性；用plapgcn模型对训练样本的特征进行卷积操作，得到第一层网络的输出；每一层网络的输出作为下一层网络的输入，重复可得到多层的plapgcn网络；将最后一层卷积网络的输出作为softmax分类器的输入，得到每个训练样本所对应的预测标签以及训练模型中使用的各种模型参数，然后计算验证样本的交叉熵损失，通过选择最好的模型参数，降低交叉熵损失，提高模型分类效果；将测试样本与训练样本采用相同的方法提取样本特征，并用学习得到的最优的卷积网络对测试样本进行卷积操作，经最后一层卷积网络输出之后，每个测试样本同样可以得到一个特征向量；将最后一层卷积网络输出的特征向量送到softmax分类器进行分类。

与现有技术相比，本发明具有以下有益效果：

本发明在基于p-laplacian的图卷积神经网络模型(plapgcn)的基础上，采用多次卷积操作，在每一层卷积的过程中利用基于p-laplacian的结构信息矩阵，能够大幅度提高模型分类效果。

附图说明

图1为本发明的基于p-laplacian图卷积神经网络的半监督分类方法的结构示意图；

图2所示为本发明的基于p-laplacian图卷积神经网络的半监督分类方法的流程图；

图3所示为本发明所采用的第一层卷积网络的流程图；

图4所示为本发明所采用的第二层卷积网络的流程图；

图5所示为本发明所采用的分类器层和模型优化参数的流程图；

图6所示为本发明的采用的二层卷积网络时的算法流程图；

图7为本发明实施例1和对比例1-4在citeseer数据库上的实验结果图；

图8为本发明实施例1和对比例1-4在cora数据库上的实验结果图；

图9为本发明实施例1和对比例1-4在pubmed数据库上的实验结果图。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。

实施例1

一种基于p-laplacian图卷积神经网络的半监督分类方法，如图1-6所示。首先向数据存储设备中输入数据信息，这里的数据信息包括用于训练、验证以及测试的数据。其中训练数据的类别标签一部分是已知的，其他部分是未知的。而验证数据和测试数据的类别标签是已知的。此外测试数据可以是用户输入的也可以是数据库中已经采集好的。其次提取每个数据的特征，将每个数据转换成一个特征向量。然后利用所设计的方法对训练数据进行训练，得到不同的网络模型参数，将学习到的不同模型参数在验证数据上进行训练，通过降低交叉熵损失来选择最优的模型参数。测试样本的特征经过由上述学习得到的最优模型处理后，可以提取到最具有代表性的特征向量。最终，用softmax分类器对特征向量进行分类识别。

本发明设计的方法如图2所示。步骤10是起始动作。步骤11是根据特征向量表示的数据计算其p-laplacian矩阵。然后是在p-laplacian矩阵的基础上计算样本结构信息矩阵。步骤12是初始化权重参数w¹。步骤13是用plapgcn模型对样本的特征向量进行卷积操作，得到第一层网络的输出，步骤11、12和13的详细说明如图3所示。至此，第一层卷积网络结束，第二层网络的处理步骤跟第一层类似。其中，步骤14将第一层的输出作为第二层的输入，进而组成第二层的样本特征向量矩阵。步骤15是初始化权重参数w²。步骤16是根据第二层的样本特征向量矩阵利用plapgcn模型算法进行卷积操作。步骤14、15和16的详细说明如图4所示。至此，第二层卷积网络结束。步骤17为分类识别过程，将最后一层卷积网络输出的样本特征向量矩阵作为softmax分类器的输入，然后采用softmax分类器进行分类。步骤18为plapgcn模型通过降低交叉熵损失来选择最优的模型参数的过程，步骤17和18的详细说明如图5所示。步骤19为结束状态。

图3给出了图2步骤中11、12和13的详细描述，具体说明了如何计算样本的结构信息矩阵、初始化权重参数w¹和计算第一层卷积的过程。步骤1100是起始状态。步骤1101是计算样本的p-laplacian矩阵lp，然后根据p-laplacian矩阵计算样本的结构信息矩阵其中λmax表示p-laplacian矩阵lp的最大特征值。步骤1201是利用xavier方法初始化第一层网络权重w¹，满足的均匀分布。步骤1301是利用plapgcn模型对最初的样本特征向量矩阵进行第一层卷积操作然后得到第一层提取的样本特征向量矩阵h⁽¹⁾。其中relu是线性激活函数，是一种人工神经网络中常用的激活函数，f(x)＝max(0，x)。h⁽⁰⁾＝x表示最初的样本特征向量矩阵。步骤1302是结束状态。

图4给出了图2步骤中14、15和16的详细描述，具体说明了如何初始化权重参数w²和计算第二层卷积的过程。步骤1400是起始状态。步骤1401是将第一层卷积网络的输出h⁽¹⁾作为第二层卷积网络输入的样本特征向量矩阵。步骤1501是同样利用xavier方法初始化第二层网络权重w²，满足的均匀分布。步骤1601是利用plapgcn模型对第二层的样本向量特征矩阵进行第二层卷积操作然后得到第二层提取的样本特征向量矩阵h⁽²⁾。步骤1602是结束状态。

图5给出了图2步骤中17和18的详细描述，具体说明了如何利用softmax分类器进行分类和选择最优模型参数的过程。步骤1700是起始状态。步骤1701是将第二层卷积网络的输出h⁽²⁾作为softmax分类器的输入。步骤1702是通过softmax函数计算每个样本属于各个类的概率分布。步骤1703是根据每个样本属于各个类概率的最大值判定为哪一类标签。步骤1801是在模型在验证数据中选择最好参数的过程。测试数据不需要该过程。交叉熵损失函数c＝-∑kyklogzk表示真实标签与预测标签的误差，误差越小代表模型识别率越高。其中yk表示真实的标签，zk表示经过softmax函数输出的概率分布矩阵。将在训练数据中学习到的不同模型参数在验证数据上进行训练，通过降低交叉熵损失来选择最优的模型参数。然后将得到的最优的模型参数对应的权重值，替换原来的w¹和w²，便于后续进行测试。步骤1802是结束状态。

为了验证p-laplacian图卷积神经网络(plapgcn)算法的有效性，仅以上述实施例为例构建对比例如下。

对比例1

采用现有的gcn模型进行分类。

对比例2

本对比例plapgcn-1中，p＝2。

对比例3

本对比例plapgcn中，p＝2。

对比例4

本对比例中plapgcn-1，p为其他更好的p值。

plapgcn-1(p＝2)和plapgcn(p＝2)是利用p＝2的p-laplacian构造流形结构。plapgcn-1(其他更好的p值)和plapgcn(其他更好的p值)是利用其他更好p值的p-laplacian构造流形结构。plapgcn-1(p＝2)和plapgcn-1(其他更好的p值)是结构信息矩阵非最优的情况下的方法。

为了验证p-laplacian图卷积神经网络(plapgcn)算法的有效性，我们采用citeseer、cora和pubmed数据库进行了实验。由于硬件条件的限制，我们只使用pubmed数据库中的5000个样本。我们采用的是网上已经提取好特征的数据用于实验。实验时，我们选取1000个有标签样本作为测试集，随机选取500个有标签样本作为验证集，数据集的其他样本作为训练集。此外，在citeseer和cora数据库的训练集中分别随机选取20％，30％，40％，50％和60％的样本作为有标签样本，其他都是无标签样本；而pubmed数据库的训练集中分别随机选取10％，15％，20％，25％和30％的样本作为有标签样本，其他都是无标签样本。在相同实验设置的条件下，分别测得gcn，plapgcn-1(p＝2)，plapgcn(p＝2)，plapgcn-1(其他更好的p值)以及plapgcn(其他更好的p值)的识别率。图7、图8和图9说明了实验的结果，横坐标表示实验选用的训练样本的标签率，纵坐标表示识别率，在每个训练样本不同标签数量下重复五次实验，每次实验的训练样本标签是随机选取的。从图7、图8和图9所示的误差棒柱状图中可以看出，就平均识别率(即误差棒柱状图中中间的那条线)而言，plapgcn(其他更好的p值)优于前四种算法，实现了最好的分类效果。

综上可知，本申请中基于p-laplacian图卷积神经网络的半监督分类方法，采用多次卷积操作，在每一层卷积的过程中利用基于p-laplacian的结构信息矩阵，能够大幅度提高模型分类效果。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。