对应的类别，然后用输出向量〇中前k个最大 值对应的向量建立自适应子字典向量= [4"ω?4,( γ…」，其中m(i)e{l，2，...m}。
[0038] 然后重构稀疏表示系数：
，其中τ是调整 系数。
[0040] 其中Ad是第d类的训练样本；是第d类样本对应的稀疏表示系数。
[0041] 本发明有益效果如下：
[0042] 这种基于超限学习机与稀疏表示分类(ELM-SRC)改进的自适应超限学习机与稀疏 表示分类(EA-SRC)的算法不仅具有较高的识别率，而且较快的学习速度，大大降低了计算 复杂度。
【附图说明】
[0043] 图1为本发明流程示意图；
[0044] 图2为本发明单隐层前馈神经网络示意图。
【具体实施方式】
[0045] 下面结合具体的实验来验证本发明的改进之处，以下描述仅作为示范和解释，并 不对本发明作任何形式上的限制。
[0046] 如图1和图2所示，选取任意一个数据库，首先由随机函数随机产生L个隐层节点参 数(wi，bi)，i = l，2,…，L，其中Wi是连接第i个隐层节点和输入神经元的输入权重，bi是第i 个隐层节点的偏差，L是隐层节点个数。计算出隐层输出矩阵
[0048] (1)如果隐层节点个数小于样本数，即L〈 = N。为了提高计算效率，对隐层输入矩阵 进行奇异值分解，假设H=UDVT，其中0 = (^8{(11，"油，"_如}是对角矩阵，(^是矩阵!1的第1个 奇异值，则HH T = VD2VT，并且VVT = VTV=I。事先设定好调整参数λ的上限Amax和下限Amin，在 e [λΜη，Amax]范围内，分别计算出HAT矩阵的每层分解矩HATr = HV(?2+λ_I)-1VTHT，其中HAT =HH+ = Η(ΗτΗ)-曲。在Ai e [ λΜη，Amax]范围内，计算不同调整参数λ对应的均方差Μ·?￡:/ν"?，
。其中h是期望的输出，而是实际的输出。返回 上式中计算出的最小均方差对应的λ，即λ_。此时可以取得较好的泛化性能，并且也可以最 大化分类边界。然后计算出连接隐层节点和输出神经元的输出权重/?，计算公式如下
[0049] (2)如果隐层节点个数小于样本数，即L> = N。对隐层输入矩阵进行奇异值分解，假 设H = UDVT，其中0 = (^8{(11，."(^，."如}是对角矩阵，(^是矩阵!1的第1个奇异值，则冊7 = UD2UT，并且UUT=UTU= I。事先设定好调整参数λ的上限Amax和下限λΜη，在λ! e [Amin，Amax]范围 内，分别计算出HAT矩阵的每层分解矩HATr = HHTU(D2+AQptI)-V，其中ΗΑΤ = ΗΗ+ = Η(ΗτΗ)-￥， 再计算出不同调整参数λ对应的均方差，
是期望的输出，而~是实际的输出。然后返回上式中计算出的最小均方差对应的λ，即λ%*。 此时可以取得较好的泛化性能，并且也可以最大化分类边界。计算出连接隐层节点和输出
[0050] 然后计算出输出向量0 = ff(Wl wy為,,,為)身Ρ如果查询图片的输出向量0中 极大值和次大值的差值大于事先设定的阈值，即〇f-〇s>〇,直接采用超限学习机(ELM)已训练 好的神经网络，输出向量中最大值对应的索引即为查询图片所属类别。如果ELM输出向量〇 中极大值和次大值的差值小于事先设定的阈值，即〇f -〇s〈〇，首先找出输出向量〇中前k个最 大值所对应的索引，其中de {1，2,.. .m}，然后用输出向量〇中前k个最大值对应的向量建立 自适应子字典向量4 = …。重构的稀疏表示系数计算公式如下，
，其中τ是调整系数。对于d=l，d〈m分别找出相应的Ad和 ，计算出相应的残差
。找出残差最小值对应的类别y，即为图片 所属类别。
【主权项】
1. 一种基于超限学习机与稀疏表示分类的改进方法，其特征在于包括如下步骤： 步骤1、随机产生隐层节点参数(巧1，61)，1 = 1，2，-，，^其中巧1是连接第1个隐层节点和 输入神经元的输入权重，bi是第i个隐层节点的偏差，L是隐层节点个数； 步骤2、计算出隐层节点输出矩阵H(wi, ????α,χι，···，XN，bi,…bi,··· ,t)L)，且其中w是连接隐层节点和输入神经元的输入权重，X是训练样本输入，N是训练样本个 数，bi是第i个隐层节点的偏差，g〇表示激活函数； 步骤3、根据L和N的大小关系，分别采用不同的公式计算出连接隐层节点和输出神经元 的输出权重八 步骤4、计算出查询图片y的输出向量0 = WW|，...，w,，j，A|，. 步骤5、对ELM输出向量ο中的极大值Of和次大值〇s的差值进行判断，并求出输出向量中 最大值对应的索引即为查询图片所属类别； 如果ELM输出向量0中的极大值Of和次大值〇s的差值大于预先设定的阔值0,即〇f-〇s>曰， 则直接采用超限学习机化LM)已训练好的神经网络，求出输出向量中最大值对应的索引即 为查询图片所属类别； 如果输出向量中的极大值Of和次大值〇s的差值小于我们预先设定的阔值，即曰广〇s<〇，贝。 认为图片包含的噪声较高，采用稀疏表示分类算法进行分类。2. 如权利要求1所述的一种基于超限学习机与稀疏表示分类的改进方法，其特征在于 所述的步骤3中，如果L和N的大小为L<=N，即隐层节点个数小于等于样本数，则为了提高计 算效率，对隐层节点输出矩阵进行奇异值分解，具体的： 3-1.奇异值分解H=UDVT，其中〇 =扣曰旨{(11，.''山，.''〇^}是对角矩阵，山是矩阵雌]第1个 奇异值，则HHT=VD2^;其中U是η阶酉矩阵，V是η阶酉矩阵;并且UUT=uTu=I，VVT = vTv=i; 3-2 .设定好调整参数λ的上限Amax和下限Amin，在λ? e [Amin，Amax]范围内，分别计算出正交 投影矩阵 HAT 的每层分解矩 HATr，HATr = HV化2+ληΙ)-νΗΤ，其中 ηΑΤ = ΗΗ+ = ΚηΤη)-1ηΤ; 3-3.在范围内计算不同调整参数λ对应的统计均方误差，计算公式为：其中是期望的输出，而Oj是实际的输出； 3-4.计算出的最小统计均方误差Μ祐fSEw对应的、即;此时能够取得较好的泛化性 能，并且也能够最大化分类边界； 3-5.计算出连接隐层节点和输出神经元的输出权重3. 如权利要求1所述的一种基于超限学习机与稀疏表示分类的改进方法，其特征在于 所述的步骤3中，如果L和N的大小为L〉N，即隐层节点个数大于样本数，则为了提高计算效 率，对隐层节点输出矩阵进行奇异值分解，具体的： 3-6.奇异值分解H=UDVT，其中〇 =扣曰旨{(11，。'山，。'〇^}是对角矩阵，山是矩阵雌]第1个 奇异值，则hht=υ〇2?]Τ，并且UIJT=IJTU = I，= yTy = I; 3-7 .设定好调整参数λ的上限Amax和下限Amin，在λ? e [Amin，Amax]范围内，分别计算出正交 投影矩阵HAT的每层分解矩HATr = HHTu(D2+AiI)-iuT，其中HAT = HH+ = H化邮-1町 3-8.在λιΕ [ληιη，λ?3χ]范围内，计算不同调整参数λ对应的统计均方误差MWfEM :，计 算公式为：其中是期望的输出，而Oj是实际的输出； 3-9.计算出的最小统计均方误差MWf&'s对应的即^Dpt;此时能够取得较好的泛化性 能，并且也能够最大化分类边界； 3-10.计算出连接隐层节点和输出神经元的输出权重4.如权利要求1所述的一种基于超限学习机与稀疏表示分类的改进方法，其特征在于 步骤5所述的稀疏表示分类算法首先利用输出向量0中前k个最大值建立自适应子字典，然 后重构出训练样本的稀疏表示系数，求出相应的残差，最后找出残差中最小值对应的索引 即为图片属于的类别，具体的： 首先找出输出向量0中前k个最大值所对应的类别，然后用输出向量0中前k个最大值对 应的向量建立自适应子字典向量其中m(i)E{l,2,. . .m}; 然后重构稀疏表示系数，公式如下，x = 3rgmjn||心;il^ +r ||x|i，其中τ是调整系 数； 最后计算出相应的残差其中Ad是第d类的训练样本；是第d类样本对应的稀疏表示系数。
【专利摘要】本发明公开了一种基于超限学习机与稀疏表示分类的改进方法。本发明步骤如下：1、随机产生隐层节点参数；2、计算出隐层节点输出矩阵，3、根据L和N的大小关系，采用不同的公式计算出连接隐层节点和输出神经元的输出权重4、计算出查询图片y的输出向量；5、对ELM输出向量ο中的极大值οf和次大值οs的差值进行判断，如果差值大于设定值，则求出输出向量中最大值对应的索引即为查询图片所属类别；否则进入步骤6；6、采用输出向量ο中k个最大值所对应的训练样本，构造子字典，采用系数重构算法计算图片y的线性表示系数，计算残差并根据残差所对应的类别确定查询图片的所属类。本发明计算量就会大大减少，实现较高的识别率，也能够大大降低计算复杂度。
【IPC分类】G06K9/62, G06N3/04
【公开号】CN105701506
【申请号】CN201610018444
【发明人】曹九稳, 郝娇平, 张凯, 曾焕强, 赖晓平, 赵雁飞
【申请人】杭州电子科技大学
【公开日】2016年6月22日
【申请日】2016年1月12日