基于变长度粒子群优化算法的极限学习的制造方法【专利摘要】一种基于变长度粒子群优化算法的极限学习机，包括步骤：(1)随机初始化粒子群位置和速度，粒子群中的每一个粒子表示一个ELM分类器；(2)计算每个粒子对于评价函数的适应值f(pi)；(3)比较各个粒子的行数与全局最优解的行数的大小关系，选择不同的更新公式对各个粒子的速度和位置进行更新，生成下一代粒子群；(4)最优隐元个数及相应的输入权重和隐元偏置；(5)计算输出权重，得到使得交叉验证精度最高的ELM分类器。利用变长度粒子群优化算法自动地选择隐元个数，同时选择相应的输入权重和隐元偏置，使ELM分类器的泛化性能最大化，能够以较少隐元个数的ELM分类器获得最大的泛化性能，测试所需时间短，效率高。【专利说明】基于变长度粒子群优化算法的极限学习机【
技术领域：
】[0001]本发明涉及一种利用变长度粒子群的优化算法进行优化改进的极限学习机，属于极限学习机【
技术领域：
】。【
背景技术：
】[0002]单隐层前馈神经网络(SLFN:Single_hiddenLayerFeedforwardNeuralNetwork)可以任意精度逼近任意复杂的函数，1998年在《IEEETransactionsonNeuralNetworks》(IEEE神经网络学报)第9卷224-229页发表的《具有任意有界非线性激活函数的前馈神经网络的隐层神经元个数的上界》的研究表明，具有任意非线性激活函数的单隐层前馈神经网络至多需要N个隐层神经元就可以以零误差学习N个不同的样本，具有强大的非线性辨识能力，SLFNs己被广泛应用于模式识别、函数逼近、系统建模和控制等领域。[0003]SLFNs大多采用梯度下降法进行参数学习，收敛速度慢，且容易陷入局部极小值。针对这一问题，2004年南洋理工大学HuangGuangbin等在《ProceedingsofIEEEInternationalJointConferenceonNeuralNetworks》(IEEE神经网络国际会议论文集)第2卷985—990页发表的《Extremelearningmachine:anewlearningschemeoffeedforwardneuralnetworks》(极限学习机:一种新的前馈神经网络学习方法)提出了一种简单易用、有效的单隐层前馈神经网络学习算法一极限学习机(ELM=ExtremeLearningMachine)，只需要设置隐层节点个数，输入权值和隐元偏置随机初始化给定，输出权值利用广义逆解析计算得到，与传统的BP算法相比，ELM算法不需迭代、学习效率高、精度高、参数调整简单，受到了广泛关注。[0004]传统的ELM基于训练误差最小化原理，输出权重直接由最小二乘估计方法得出，在训练样本少或者训练样本不均衡的情况下，会出现过拟合问题，导致泛化性能降低；初始定义的参数(隐层神经元个数、随机生成的输入权值和隐元偏置)对神经网络的泛化性能影响很大，特别是在训练样本不均衡或者训练样本少的情况；在实际应用过程中，为了达到理想精度，需要设置大量的隐层神经元个数，也会导致泛化性能的降低。所以，近年来研究者们提出了许多改进的ELM方法以提高ELM分类器的泛化性能。[0005]2013年《Neurocomputing》(神经计算)在101卷229_242页发表的《Weightedextremelearningmachineforimbalancelearning》(解决不平衡学习的加权极限学习机)针对不均衡样本问题，通过为每一样本分配权重，强化样本少的类别对分类器的影响，同时弱化样本多的类别对分类器的影响。2012年《SoftComputing》(软计算)在16卷1493—1502页发表的〈〈Dynamicensembleextremelearningmachinebasedonsampleentropy》(基于样本熵的动态合成极限学习机)应用AdaBoost将训练集分类，为每一训练子集训练一个ELM分类器，然后，基于样本熵动态合成策略将测试样本进行分类，会减轻过度学习训练样本带来的过拟合问题。2012年《InformationSciences》(信息科学)在185卷66-77页发表的《Votingbasedextremelearningmachine))(基于投票机制的极限学习机)提出单独训练多个具有相同网络结构的ELM分类器，再基于多数投票方式确定最终的分类结果，提高分类精度。上述改进算法通过对训练样本加权、或者应用多分类器提高分类精度，而没有涉及ELM的输入权重、隐元偏置和隐元个数的最优选择问题。[0006]CN103065191A公开的《一种快速的神经网络学习方法》和CN102708381A公开的《融合最小二乘向量机回归学习思想的改进极限学习机》通过在代价函数中综合考虑训练误差所代表的经验风险和输出权重范数所代表的结构风险，修正计算输出权重，优化泛化性能，也没有涉及ELM的输入权重、隐元偏置和隐元个数的最优选择问题。[0007]2OO6年《IEEETransactionsonNeuralNetworks》(IEEE神经网络学报)在17卷1411-1423页发表的〈〈Afastandaccurateonlinesequentiallearningalgorithmforfeedforwardnetworks》(一种快速精确的前馈网络在线序列学习算法)提出了在线序列极限学习机(0S-ELM:0nlineSequentialExtremeLearningMachine)，根据新得到的训练样本不断修正输出权重。2010年《Computers&MathematicswithApplications》(计算机、数学及其应用)在60卷377-389页发表的《Anewonlinelearningalgorithmforstructure-adiustableextremelearningmachine》(一种新型的结构可调在线极限学习机)提出了一种结构可调的在线极限学习机(SAO-ELM)，在线学习过程中，可以添加隐层神经元个数，再根据迭代公式计算修正输出权重。这些在线ELM分类器也没有涉及ELM的输入权重、隐元偏置和隐元个数的最优选择问题。[0008]由于ELM算法随机选择输入权重和隐元偏置，利用随机选择的输入权重和隐元偏置计算使得训练误差最小的输出权重，而输入权重和隐元偏置的选择很有可能并不是最优的，研究者们已经开展了优化ELM输入权重和隐元偏置选择这方面的工作。2005年《Patternrecognition》(模式识别)在38卷1759—1763页发表的《Evolutionaryextremelearningmachine》(进化极限学习机)，在给定隐层神经元个数前提下，应用差分进化算法选择能够使得性能指标(综合考虑误差和输出权重的范数)最优的输入权重和隐元偏置。2006年《AdvancesinNeuralNetworks-1SNN2006,LectureNotesinComputerScience》(先进神经网络，计算机科学讲义)3971卷644-652页发表的《Evolutionaryextremelearningmachine—basedonparticleswarmoptimization》(基于粒子群优化算法的进化极限学习机)应用粒子群优化算法在给定隐元个数的基础上迭代优化输入权重和隐元偏置。2011年《Neurocomputing》(神经计算)在74卷2483-2490页发表的《Astudyoneffectivenessofextremelearningmachine))(对极限学习机有效性的研究)提出选择使得输出矩阵列满秩的输入权重和隐元偏置，提高ELM分类器的测试精度。2012年((Neurocomputing))(神经计算)发表的((Animprovedevolutionaryextremelearningmachinebasedonparticleswarmoptimization》(基于粒子群优化算法的进化极限学习机)在综合考虑验证集的误差和输出权重范数的性能指标前提下，利用粒子群优化算法优化输入权重和隐元偏置。上述研究在对输入权重和隐元偏置的优化过程中需要提前设定隐元个数，并没有考虑隐元个数的优化。[0009]针对ELM模型中隐元个数的优化选取问题，近年研究者们也提出了优化策略。2009年《IEEETransactionsonNeuralNetworks》(IEEE神经网络学报)在20卷1352-1357页发表的《ErrorMinimizedExtremeLearningMachineWithGrowthofHiddenNodesandIncrementalLearning》(最小误差递增隐元个数的渐进式极限学习机)提出在学习过程中，通过随机地在网络中增加隐元个数，并更新输出权重，达到自动获取能够使得误差最优的网络结构的目的。2010年《IEEETransactionsonNeuralNetworks))(IEEE神经网络期刊)在21卷158—162页发表的《0P-ELM:OptimallyPrunedExtremeLearningMachine))(最佳精简极限学习机)利用多响应稀疏回归方法剔除掉不重要的隐元，获得较紧凑的网络结构。以上策略对ELM隐元个数进行优化，但是对输入权重和隐元偏置并没有同时进行优化。[0010]2009年《AppliedSoftComputing》(应用软计算)在9卷541—552页发表的《No-referenceimagequalityassessmentusingmodifiedextremelearningmachineclassifier》提出应用实数编码的遗传算法同时优化隐元个数及相应输入权重和隐元偏置，但需要人工调节算法中定义的新的遗传算子的多个参数。[0011]本发明所提出的基于变长度粒子群优化算法的极限学习机，利用简单的变长度粒子群优化算法，同时优化ELM的隐元个数及相应输入权重和隐元偏置，不仅大大提高了ELM分类器的泛化性能，而且能够以较少隐元个数的ELM分类器获得最大的泛化性能，测试所需时间短，效率高。【
发明内容】[0012]本发明针对现有极限学习机及其各优化算法存在的不足，特别是，如何优化ELM网络结构提高ELM分类器的泛化性能，提出一种基于变长度粒子群优化算法的极限学习机。该极限学习机利用变长度粒子群优化算法(VPS0:Variable-lengthParticleSwarmOptimization)自动地选择隐元个数，同时选择相应的输入权重和隐元偏置，使ELM分类器的泛化性能最大化，能够以较少隐元个数的ELM分类器获得最大的泛化性能，测试所需时间短，效率高。[0013]本发明提出的基于变长度粒子群优化算法的极限学习机，具体包括以下步骤:[0014](I)粒子群中的每一个粒子表示一个ELM分类器，粒子群中的第i个粒子表示为LX(n+1)的二维实数矩阵:'wIiwn,,,wmrmwlη-Wziw'12...b2L0015」P1-;:...::,WtlWL2…wLnbL_[0016]其中，Pi的行数L表示为该ELM分类器的隐元个数，(WjlwJ2…wJnb」)表示第j个隐元的输入权重和偏置，j=l，…L，η为输入层神经元个数，即数据集特征维数；[0017](2)计算每个粒子对于评价函数的适应值f(Pi)，评价函数f(x)定义为分类器的交叉验证精度；[0018](3)对各个粒子的速度和位置进行更新，生成下一代粒子群；[0019]Vi(t)，Pi(t)分别表示第t代粒子群中第i个粒子的速度和位置，p『(t)表示第i个粒子在t代进化中产生的局部最优解，ρ》ω表示在t代进化中产生的全局最优解，按照Piω的行数与PjW的行数是否相等，采用不同的更新公式；[0020]①如果Pi⑴的行数与的行数相同，即第i个粒子Pi(t)所代表的ELM分类器与全局最优解6(0所代表的ELM分类器具有同样的隐元个数，那么，[0021]Vi(t+I)=WV1(f)+—pi(t))+c2r2—Pi(t))?[0022]Pi(t+1)=Pi(t)+Vi(t+1)o[0023]其中ω为惯性因子，r1；r2是[0，I]均匀取值的随机数，用来保持粒子的多样性，C1,C2是学习因子，为正常数，Cl，C2=L5，惯性因子ω的计算如下:[0024]【权利要求】1.一种基于变长度粒子群优化算法的极限学习机，其特征是，包括以下步骤:(1)粒子群中的每一个粒子表示一个ELM分类器，粒子群中的第i个粒子表示为LX(n+1)的二维实数矩阵:【文档编号】G06N3/12GK103473598SQ201310425815【公开日】2013年12月25日申请日期:2013年9月17日优先权日:2013年9月17日【发明者】马昕,薛冰霞,李贻斌申请人:山东大学