一种基于主成分分析的宽度学习方法与流程

本发明涉及一维或二维数据处理
技术领域：
，具体涉及一种基于主元分析和宽度学习的数据识别方法。
背景技术：
随着技术的发展，越来越多的工作已经可以通过计算机来完成以提高效率，这些技术可以统称为人工智能。众所周知，深度学习已经是人工智能的重要领域之一。深度学习目前已经在很多领域特别是在大数据处理方面得到了成功应用，并且已经达到了前所未有的识别精度。常用的深度学习网络有深层置信网络(deepbeliefnetworks,dbn)[1],[2]，深层玻尔兹曼机(deepboltzmannmachines,dbm)[3]，卷积神经网络(convolutionalneuralnetworks,cnn)[4],[5]。然而，深度学习的弊端也日益凸显。深层网络有着非常复杂的网络结构和超参数，使得我们很难从理论上去分析深层神经网络的结构。提高深层神经网络识别精度的常用手段有调整超参数(如学习率、学习率衰减系数、正则化系数等)，修改隐层的个数或隐层节点数，更换激活函数等，每次调整都需要重新训练网络，这个训练过程需要消耗大量的时间。为了解决深层神经网络的问题，c.l.philipchen和zhulinliu提出了broadlearningsystem[6]。我们称之为宽度学习系统，所使用的网络结构被称为宽网。宽网的优势在于可以任意增加输入节点，特征节点或增强节点，而不需要对网络重新进行训练。当今科技的飞速发展伴随着数据量和数据维度的急剧增长，如果将这些数据直接输入构建的神经网络中，势必会极大的增加运算量，降低训练效率，而且在噪声的干扰下，训练效果有可能会降低。因此，我们在训练之前先通过主成分分析方法(principalcomponentanalysis,pca)对样本数据进行预处理，降低训练数据的维度，并最大程度保留原始训练数据的特征。主成分分析(principalcomponentanalysis,pca)是特征提取常用的一种线性变换方法。主元分析方法是在原始数据的基础上，构造另外一组标准正交基，组成新的投影空间，使得原始数据在新的投影空间中的投影方差最大，误差最小。通常情况下，原始数据在新的投影空间中的投影能够保留原始数据90％以上的特征。通过主元分析方法，我们得到了由一组标准正交基构成的新的投影空间p，并将原始数据在空间p中的投影作为宽网的特征节点。另外，我们在新的标准正交基的任意两个基向量p1,p2之间插入一个向量p1,2，依次类推，我们可以在k个基向量之间插入个向量，对这些向量进行施密特正交化后又得到一组标准正交基q。将原始数据在空间q中的投影作为宽网的增强节点。通过这种方法，我们将原始数据做了进一步的增强，使得原本不太明显的特征变得更加明显。将特征节点的矩阵和增强节点的矩阵拼接为一个矩阵an，wn为连结an和输出节点之间的权重矩阵，可以很方便的求出初始的权重矩阵之后，当有新样本(xa,ya)输入网络，或者增加特征节点或增强节点时，可以在原有的权重矩阵的基础上对权重矩阵进行更新，而不用重新训练，极大提高了学习效率。本发明涉及的期刊参考文献如下：[1]g.e.hinton,s.osindero,andy.-w.teh,“afastlearningalgorithmfordeepbeliefnets,”neuralcomput.,vol.18,pp.0899–7667,may2006.[2]g.e.hintonandr.r.salakhutdinov,“reducingthedimensionalityofdatawithneuralnetworks,”science,vol.313,no.5786,pp.504–507,2006.[3]r.salakhutdinovandg.e.hinton,“deepboltzmannmachines,”inproc.aistats,vol.1.2009,p.3.[4]y.lecun,l.bottou,y.bengio,andp.haffner,“gradient-basedlearningappliedtodocumentrecognition,”proc.ieee,vol.86,no.11,pp.2278–2324,nov.1998.[5]k.simonyananda.zisserman,“verydeepconvolutionalnetworksforlarge-scaleimagerecognition."[online].available:https://arxiv.org/abs/1409.1556,2014.[6]c.l.philipchenandzhulinliu,“broadlearningsystem:aneffectiveandefficientincrementallearningsystemwithouttheneedfordeeparchitecture”,ieeetransactionsonneuralnetworksandlearningsystems.volume:29,issue1,jan.2018.技术实现要素：本发明所要解决的技术问题是针对现有深度学习方法结构复杂，参数调整具有不确定性，训练耗时比较长，进一步的讲，c.l.philipchen和zhulinliu提出的broadlearningsystem(宽度学习系统)是直接将高维的原始数据输入宽度学习网络，仍然会使网络结构产生相对复杂，计算量较大的弊端，提出了一种基于主成分分析的宽度学习方法，该方法将利用主成分分析对原数据降维作为宽度学习网络输入的特征节点，进一步的为了将降维后的数据中相对不明显的特征节点显示出来，以特征节点的线性组合原理得到宽度学习网络输入的增强节点，以宽度学习数据处理模型训练结果的精度和速度为依据来不断调整增强节点，完善宽度学习训练模型。为了解决上述技术问题，本发明的技术方案是这样实现的：一种基于主成分分析的宽度学习方法，包括：宽度学习网络的节点设置步骤、宽度学习网络的权重参数设置步骤、宽度学习网络的参数训练步骤、宽度学习网络的识别学习步骤；宽度学习网络的节点设置步骤以主元分析方法为基础，以所获得的主元分量作为宽度学习网络的特征节点，将基于主元分析步骤得到的所有特征节点经过线性组合得到若干增强节点；宽度学习网络的权重参数设置步骤是将宽度学习网络的特征节点和增强节点作为宽度学习网络输入层，对于有期望的输出层，来初步确定宽度学习网络的权重参数；宽度学习网络的参数训练步骤借助于分块矩阵求取伪逆的思想，当输入新的样本时，不需要对整个网络重新进行计算更新，只需要计算与新增输入样本相关的特征节点和增强节点新增矩阵，结合新增样本的期望输出，更新权重参数，再结合更新特征节点和增强节点组成的矩阵，来确定总样本的输出，并依据拟合性能进行增强节点的删除或增加；宽度学习网络的识别学习步骤是使用经以上步骤训练好的网络模型对未知输入样本进行识别。一种基于主成分分析的宽度学习方法，具体包括以下步骤：第一步：获取训练样本集x∈rn×m，该样本集x有n个独立样本，每个样本包含m维的数据；通过以下的公式(1)将样本集中的数据经过标准化去掉量纲；第二步：通过以下步骤对经过标准化后的数据进行协方差分解，并按给定的阈值ε进行特征选择，确定主元的个数，也就确定了宽度学习网络特征节点的个数；其中s为数据的协方差阵，λ是s的特征值矩阵，为对角阵，其对角线上的元素满足λ1≥λ2≥…≥λm，v是s的特征向量矩阵，维数为m×m，p是v的前a列，包含所有主元的信息，是v余下的m-k列，包含非主元信息，也称残差；主元特征向量的个数k即为宽度学习网络特征节点的个数；第三步：通过第二步，得到了另一组标准正交基p，接下来将经过标准化的训练样本集投影到新的坐标系p中，使得经过旋转变换后的数据t能最大化的表示出原始数据的特征并使得误差最小：z＝ap,(z∈rn×k，a∈rn×m，p∈rm×k)(3)第四步：将宽度学习网络的特征节点个数设置为k；将z作为特征节点的输入；第五步：在获取的k个特征值λ1≥λ2≥…≥λk对应的k个特征向量的基础上，在每两个特征向量之间都插入一个向量以得到种组合的特征向量；并利用该种组合的特征向量来提取原始数据特征；将任意两个特征向量相加取平均值得到一个新的向量，并对这组向量进行施密特正交化后可以得到一个由个向量组成的向量空间q；对于经过标准化的训练数据a，在空间q上的投影为：h＝aq(4)得到的投影向量的维数为m，作为宽度学习网络的增强节点的个数，样本a在向量空间q上的投影h作为宽度学习网络增强节点的输入；第六步：将上述步骤所得的矩阵z和h拼接成为一个矩阵，标记为an:an＝[z|h](5)第七步：对于期望的输出yn，有anwn＝yn，从而可得连接an和yn的权重矩阵wn:其中，an+是矩阵an的伪逆；第八步：当增加新的训练数据时的参数更新过程，新增输入样本xa及其期望输出ya时，特征节点和增强节点新增矩阵aa为：aa＝xa(p|q)(7)更新特征节点和增强节点组成的矩阵：新增输入样本后，更新权重：第九步：使用经以上步骤训练好的网络模型对未知输入样本进行识别。本发明相比现有技术的有益效果：本发明用在数据处理方面相比现有技术具有短的训练时间，方便了网络参数实时更新。具体来说：首先使用主成分分析方法对原始数据进行了特征提取，通过主成分分析方法以较少的维度最大程度的反映原始数据的信息。另外，采用插值方法使得原始数据中不明显特征变得明显，弥补了主元分析方法剔除的残差信息。本发明的技术方案在mnist数据集上进行仿真实验，实验结果表明，在保证识别精度的前提下，缩短了训练时间，方便了网络参数实时更新。附图说明图1是本发明的实施流程示意图。图2是本发明的具体实施例中能量占比，主元个数与测试精度的关系图。图3是本发明的具体实施例中主元个数，增强节点个数与测试精度的关系图。图4是本发明的具体实施例中主元个数44，增强节点个数946，训练样本个数与测试精度的关系。具体实施方式以下结合附图1，以及具体实施例，对本发明做出进一步描述。一种基于主成分分析的宽度学习方法，包括：宽度学习网络的节点设置步骤、宽度学习网络的权重参数设置步骤、宽度学习网络的参数训练步骤，宽度学习网络的识别学习步骤；宽度学习网络的节点设置步骤以主元分析方法为基础，以所获得的主元分量作为宽度学习网络的特征节点，将基于主元分析步骤得到的所有特征节点经过线性组合得到若干增强节点；宽度学习网络的权重参数设置步骤是将宽度学习网络的特征节点和增强节点作为宽度学习网络输入层，对于有期望的输出层，来初步确定宽度学习网络的权重参数；宽度学习网络的参数训练步骤借助于分块矩阵求取伪逆的思想，当输入新的样本时，不需要对整个网络重新进行计算更新，只需要计算与新增输入样本相关的特征节点和增强节点新增矩阵，结合新增样本的期望输出，更新权重参数，再结合更新特征节点和增强节点组成的矩阵，来确定总样本的输出，并依据拟合性能进行增强节点的删除或增加。宽度学习网络的识别学习步骤是使用经以上步骤训练好的网络模型对未知输入样本进行识别。在
背景技术：
参考文献[6]中提到的宽度学习系统将原始输入的线性组合经过非线性激活作为特征节点的输入，在将特征节点输入的线性组合经非线性激活函数后得到增强节点的输入；然后同时将特征节点和增强节点映射到期望输出，它们之间的连接权重根据极限学习机的思想求取。而本发明新增特征节点、增强节点或输入样本时，权重的更新利用分块矩阵求取伪逆的思想去实现。一种基于主成分分析的宽度学习方法，具体包括以下步骤：第一步：获取训练样本集x∈rn×m，该样本集x有n个独立样本，每个样本包含m维的数据；通过以下的公式(1)将样本集中的数据经过标准化去掉量纲；第二步：通过以下步骤对经过标准化后的数据进行协方差分解，并按给定的阈值ε进行特征选择，确定主元的个数，也就确定了宽度学习网络特征节点的个数；其中s为数据的协方差阵，λ是s的特征值矩阵，为对角阵，其对角线上的元素满足λ1≥λ2≥…≥λm，v是s的特征向量矩阵，维数为m×m，p是v的前a列，包含所有主元的信息，p是v余下的m-k列，包含非主元信息，也称残差；主元特征向量的个数k即为宽度学习网络特征节点的个数；第三步：通过第二步，得到了另一组标准正交基p，接下来将经过标准化的训练样本集投影到新的坐标系p中，使得经过旋转变换后的数据t能最大化的表示出原始数据的特征并使得误差最小：z＝ap,(z∈rn×k，a∈rn×m，p∈rm×k)(12)第四步：将宽度学习网络的特征节点个数设置为k；将z作为特征节点的输入；第五步：在获取的k个特征值λ1≥λ2≥…≥λk对应的k个特征向量的基础上，在每两个特征向量之间都插入一个向量以得到种组合的特征向量；并利用该种组合的特征向量来提取原始数据特征；将任意两个特征向量相加取平均值得到一个新的向量，并对这组向量进行施密特正交化后可以得到一个由个向量组成的向量空间q；对于经过标准化的训练数据a，在空间q上的投影为：h＝aq(13)得到的投影向量的维数为m，作为宽度学习网络的增强节点的个数，样本a在向量空间q上的投影h作为宽度学习网络增强节点的输入；第六步：将上述步骤所得的矩阵z和h拼接成为一个矩阵，标记为an:an＝[z|h](14)第七步：对于期望的输出yn，有anwn＝yn，从而可得连接an和yn的权重矩阵wn:其中，是矩阵an的伪逆；第八步：当增加新的训练数据时的参数更新过程，新增输入样本xa及其期望输出ya时，特征节点和增强节点新增矩阵为aa：aa＝xa(p|q)(16)更新特征节点和增强节点组成的矩阵：新增输入样本后，更新权重：第九步：使用经以上步骤训练好的网络模型对未知输入样本进行识别。仿真实验：本仿真采用mnist数据集，mnist数据集时nist数据集的一个子集，它包含了60000张图片作为训练数据，10000张图片作为测试数据；在mnist数据集中的每一张图片都代表了0-9中的一个数字；图片的像素矩阵为28×28，而且数字都会出现在图片的正中间；能量占比是指所选取的主元包含了原始数据信息量的百分比。在训练之前，首先将二维图像的像素矩阵放到一个一维数组中，然后按照该实施例的实施步骤依次执行。结果分析：1.首先选取不同的主元个数，利用上述方法得到不同的特征节点个数，维持增强节点个数为0，仿真结果如下：能量占比主元个数测试精度训练耗时60％2679.58％0.98s65％3481.85％1.02s70％4483.24％1.09s75％6084.79％1.22s80％8585.28％1.54s85％12485.67％2.10s90％18485.99％2.62s95％26886.35％3.83s96％28986.36％4.01s97％31486.24％4.38s98％34686.02％4.79s99％39585.96％5.51s分析：在能量占比96％以前，随着主元个数的增加，所训练的模型在测试数据上的分类精度也不断增加；但之后，分类精度又逐渐下降，我们认为这是原始数据在残差空间上的投影对训练效果产生了负面的影响。2.进一步采用插值的方法增加增强节点，仿真结果如下：能量占比主元个数增强节点个数测试精度训练耗时60％2632594.05％3.32s65％3456195.5％5.97s70％4494696.46％11.47s75％60177097.14％28.56s80％85357098.25％53.42s85％124762698.70％435.38分析：随着主元个数的增多，增强节点个数急剧增加，测试精度不断增加。3.选取主元个数44，增强节点个数946，不断增加输入样本个数，仿真结果如下：训练样本个数测试精度1000095.7％1500095.99％2000096.042500096.213000096.233500096.244000096.284500096.315000096.335500096.346000096.37分析：随着训练样本的增加，模型在测试数据集上的分类精度也逐渐增加，体现了本发明所提方法的有效性。4.c.l.philipchen的论文中对mnist数据集的仿真结果中最高达到了98.74％的分类正确率，特征节点个数为100，增强节点个数为11000，训练消耗时间961秒；本发明提出的方法达到了98.70％的分类精度，但是训练消耗时间仅有435秒。实验结果表明，本发明设计所提方法的训练效果与原有的宽度学习方法相比，在测试数据集上的分类精度基本一致，但是训练模型消耗的时间明显减少。以上所述的实施例，仅仅是对本发明的优选实施方式的描述。在不脱离本发明设计精神的前提下，本领域技术人员对本发明的技术方案作出的各种变形和改进，均应属于本发明权利要求书确定的保护范围。当前第1页12