一种基于极限学习机算法的识别方法
【技术领域】
[0001] 本发明属于模式识别和神经网络的技术领域，具体地设及一种基于极限学习机算 法的识别方法。
【背景技术】
[0002] 人工神经网络（Artificial Neural Network,ANN)拥有强大的自学习、自组织、自 适应能力，一直W来都是机器学习领域中比较普遍且实用的方法。其中，单隐层的前馈神经 网络（Single-hidden Layer 化6壯orward Neural networks, SLFN)因为结构简单并且具 有一致的逼近能力，成为了 模型中研究的热点。传统的SLFN普遍采用梯度下降算法来 训练，其收敛速度慢，网络中所有的参数都要经过多次迭代求得，通常花费时间要几小时几 天甚至更长，有时甚至还会陷入局部最优解。为了解决W上问题，G.B.化ang等人于2004年 提出了一种新型的SLFN算法，被称为极限学习机巧xtreme Learning Machine, ELM)。该 算法不依赖于输入权值和隐单元偏置的选择，可W进行随机赋值，然后通过合适的激活函 数得到隐含层的输出矩阵，网络的输出权值可由解析直接求得。整个算法中所有参数的确 定无需迭代，无需微调，因此与传统的训练方法如BP算法相比，其学习速度更快，泛化性能 更好。
[0003] 在神经网络当中，激活函数的性能表现一直处于核屯、地位，如果激活函数选择不 当，那么无论怎么改进网络结构和学习方法都难W达到很好的学习精度，甚至根本不可能 完成学习任务。化rn化和Leshno已经证明；对于含有可加节点的SLFN，如果激活函数为连 续的，有界的并且非常数的非多项式，则一定可W逼近任意连续的目标函数。因此如果能选 择合适的激活函数对于优化网络性能具有重要作用。
[0004] 同时，传统的ELM算法通过优化网络实际输出与理论输出误差解析求得输出权 值，所W它能很好地表示输入信号。当将ELM算法应用于分类任务时，训练样本类别信息是 可利用的，如何将样本的类别信息加入到网络的学习模型当中，使学到的网络在保证表示 效果的同时对同类样本具有更好的聚集性，对不同类样本具有更好的可分性，该对于分类 识别问题尤为必要。
【发明内容】
[0005] 本发明的技术解决问题是；克服现有技术的不足，提供一种基于极限学习机算法 的识别方法，其提高网络的泛化性能，使解析求得的输出权值更加利于分类，从而大大提高 了识别率。
[0006] 本发明的技术解决方案是；该种基于极限学习机算法的识别方法，该方法包括训 练阶段，对于给定训练集N= {(Xi，ti) IXfG Rn，tiG Rm，i = 1，…，N}，激活函数g(x)= log (1+eX)，隐单元个数L其包括w下步骤：
[0007] (1)随机生成输入单元与隐单元之间的权值Wj.，隐单元的偏置bj.，其中j = 1，…，L ;
[000引 似通过公式做计算隐单元的输出矩阵H，
[0009]
【主权项】
1. 一种基于极限学习机算法的识别方法，其特征在于，该方法包括训练阶段，对于给定 训练集N= {(Xi,ti)lx#Rn,hGRm,i= 1，…，N}，激活函数g(x) =log(l+ex)，隐单元 个数L，其包括以下步骤： (1) 随机生成输入单元与隐单元之间的权值Wj，隐单元的偏置bj，其中j= 1，…，L; (2) 通过公式⑶计算隐单元的输出矩阵H，
通过公式（15)、（16)分别计算H中同一类别分量的类内距SJP不同类别分量的类间 距Sb对输出权值0求导中的Si，S2，
(3) 通过公式（20)计算隐单元到输出单元的输出权值|3 (15) (16) ；
(20)〇
2. 根据权利要求1所述的基于极限学习机算法的识别方法，其特征在于，该方法包括 测试阶段，对于给定测试集
.和训练好的网络，其包括以下步骤： (I) 与训练时网络所有的参数一致，通过公式（21)记录每个测试样本由网络输出的类 别向量：
(21)； (II) 通过公式（22)计算识别率：将网络输出的类别信息〇i与样本对应的实际标签ti 进行对比求得识别率：
(22)。
3. 根据权利要求1所述的基于极限学习机算法的识别方法，其特征在于，当是数字库 (MNIST)时，输入单元节点为784,隐含单元节点为1000,输出单元结点分别为10,随机输 入权值和隐单元偏置w,bG(-1，1)，激活函数为Sigmoid时C= 0. 1，激活函数为ReLU和 Softplus时C= 0? 01，a= 0? 2,b= 0? 3〇
4. 根据权利要求1所述的基于极限学习机算法的识别方法，其特征在于，当是人脸库 (ORL、AR、ExtendedYaleB)时，输入单元节点都为784,隐含单元节点都为600,输出单元 结点分别为40、120、38,随机输入权值和隐单元偏置w，bG(-1，1)，激活函数为Sigmoid时 C= 0? 1，激活函数为ReLU和Softplus时C= 0? 01，a= 0? 2,b= 0? 8。
【专利摘要】本发明公开了一种基于极限学习机算法的识别方法，其提高网络的泛化性能，使解析求得的输出权值更加利于分类，从而大大提高了识别率。该方法包括训练阶段，对于给定训练集N＝{(xi,ti)|xi∈Rn,ti∈Rm,i＝1,…,N},激活函数g(x)＝log(1+ex)，隐单元个数L，其包括步骤：(1)随机生成输入单元与隐单元之间的权值wj，隐单元的偏置bj，其中j＝1,…,L；(2)计算隐单元的输出矩阵；(3)分别计算H中同一类别分量的类内距Sw和不同类别分量的类间距Sb对输出权值β求导中的S1,S2；(4)通过公式(20)计算隐单元到输出单元的输出权值β。
【IPC分类】G06K9-66, G06N3-08
【公开号】CN104616030
【申请号】CN201510029085
【发明人】孙艳丰, 杨新东, 胡永利
【申请人】北京工业大学
【公开日】2015年5月13日
【申请日】2015年1月21日