一种基于超限学习机与稀疏表示分类的改进方法
【技术领域】
[0001] 本发明属于图像分类领域，尤其涉及一种基于超限学习机与稀疏表示分类的改进 方法。
【背景技术】
[0002] 图像分类，也就是自动把输入图片归并到某一特定的类别中吸引了越来越广泛的 关注，尤其是因为它在安全系统，医学诊断，人机交互等多个领域的应用。在过去的几年，从 机器学习发展而来的一些技术在图像分类领域也产生了很大的影响。事实上，几乎过去提 出的每一种方法都有它的优点和缺点。一个不可避免的问题就是计算复杂度和分类准确性 的折中。换句话说，也就是不可能设计出一种在所有应用中在效率和识别率都最好的方法。 为了解决这个问题，混合的系统应运而生，也就是集成了各种不同方法的优点从而形成一 种更加有效的方法。
[0003] -个成功的图像分类系统至关重要的因素就是分类器。一个设计良好的分类器不 会因为其他一些因素，例如不同的特征提取方法而受到影响。在过去的几十年中，人工神经 网络由于可以随意设置输入参数而大大受益，不但学习速度比较快，而且也取得了更好的 泛化性能。在它们之中，超限学习机(Extreme Learning Machine，ELM)被广泛的关注和研 究。超限学习机(ELM)之所以如此受欢迎，是因为它具有快速的学习速度，实时处理的能力 和神经网络的可测量性。除了超限学习机(ELM)，另一个也备受研究团体关注的是基于稀疏 表不的分类（Sparse Representation based Classification，SRC)。稀疏表不分类（SRC) 最开始是为了研究人类视觉神经元的稀疏表现，后来发现它在人脸识别，机器视觉和方向 估计等方面也具有良好的表现。稀疏表示分类(SRC)是尽量找出来自同一类的样本图片之 间的联系并且通过线性回归建立起待查询图片的稀疏表示系数。尽管ELM和SRC各自都有突 出的优点，但是它们仍然存在一些缺点限制了它们在实际应用中的发展。实验表明ELM的学 习速度很快，但是不能较好的处理噪声，SRC虽然可以较好的处理噪声但是付出了很大的计 算代价。另外需要注意到的是一个设计良好的分类器不仅需要表现出较高的识别率，而且 需要有较快的识别效率。既然超限学习机(ELM)和稀疏表示分类(SRC)各有优点，那么设计 一种混合分类器就是合理的。实验表明，ELM-SRC在识别率方面比超限学习机(ELM)表现好， 计算复杂度也比稀疏表示分类(SRC)降低了，但是由于使用了完备字典，超限学习机与稀疏 表示分类(ELM-SRC)计算复杂度仍然是很高的。
[0004] 人工神经网络(Artificial Neural Networks)也简称为神经网络(NNs)，它是一 种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠 系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。 人工神经网络是一种应用类似于大脑神经突触联接的结构进行信息处理的数学模型。在工 程与学术界也常直接简称为神经网络。构成前馈网络的各神经元接受前一级输入，并输出 到下一级，无反馈，可以用一有向无环图表示。图的节点分为两类，即输入节点和计算单元。 每个计算单元可以有任意个输入，但只有一个输出，而输出可以耦合到其他任意多个其他 节点的输入。前馈神经网络通常分为不同的层，第i层的输入只与第i-ι层的输出相关联，输 入和输出节点由于可以和外界相连，直接受环境的影响，称为可见层，而其他的中间层则称 为隐层D单隐层前馈神经网络（Single-hidden Layer Feedforword neural Networks， SLFNs)顾名思义就是隐层只有一层的前馈神经网络。对于N个任意不同的样本，其中 Xi=[Xil，Xi2，'"Xin]T，ti=[til，ti2，···，tin]T，具有Μ个隐层节点的标准单隐层前馈神经网络 (SLFNs)来说，其数学模型是
，其中是输入节点和 隐层节点的权重，&是隐层节点和输出节点之间的权重，bi是隐层偏差，g(x)是激活函数。
[0005]具有Μ个隐层节点的单隐层前馈神经网络（SLFNs)可以零误差逼近，意味着
，也就是
：，上面的N个等式也可以写成Ηβ = Τ，其中
[0008] Η是隐层输出矩阵。实验表明，随机选取输入权重和隐层偏差就可以准确的得到Ν 个不同的观测值。事实表明，单隐层前馈神经网络（SLFNs)不仅学习速度快，而且具有较好 的泛化性能。
【发明内容】
[0009] 本发明的目的是针对现有方法中存在的问题，提供一种基于超限学习机与稀疏表 示分类的改进方法。本方法是一种基于超限学习机与稀疏表示分类(Extreme Learning Machine-Sparse Representation based Classification，ELM_SRC)改进的自适应超限学 习机与稀疏表不分类（Ex t r eme Learning Machine and Adaptive Sparse Representation based Classification，EA_SRC)的算法。为了实现上述目的，本发明采用 如下方案。
[0010] 本发明解决其技术问题所采用的技术方案包括如下步骤：
[0011] 步骤1、随机产生隐层节点参数(Wi，bi)，i = l，2，···，L，其中Wi是连接第i个隐层节 点和输入神经元的输入权重，bi是第i个隐层节点的偏差，L是隐层节点个数。
[0012] 步骤2、计算出隐层节点输出矩阵H(wi，…机，XI，…，XN，bi，···bi，…，bL)，且
[0013]其中w是连接隐层节点和输入神经元的输入权重，X是训练样本输入，N是训练样本 个数，h是第i个隐层节点的偏差，g〇表示激活函数。
[0014] 步骤3、根据L和N的大小关系，分别采用不同的公式计算出连接隐层节点和输出神 经元的输出权重》p
[0015] 步骤4、计算出查询图片y的输出向= //(η，,,…,。
[0016] 步骤5、对ELM输出向量〇中的极大值Of和次大值~的差值进行判断，并求出输出向 量中最大值对应的索引即为查询图片所属类别。
[0017] 如果ELM输出向量〇中的极大值Of和次大值~的差值大于预先设定的阈值σ，Β卩0f-〇s>〇,则直接采用超限学习机(ELM)已训练好的神经网络，求出输出向量中最大值对应的索 引即为查询图片所属类别。
[0018] 如果输出向量中的极大值Of和次大值Os的差值小于我们预先设定的阈值，即〇f-〇s 〈〇,则认为图片包含的噪声较高，采用稀疏表示分类算法进行分类。
[0019] 所述的步骤3中，如果L和Ν的大小为L〈 = N，即隐层节点个数小于等于样本数，则为 了提高计算效率，对隐层节点输出矩阵进行奇异值分解，具体的：
[0020] 3-1.奇异值分解H=UDVT，其中0 = …di，…dN}是对角矩阵，di是矩阵Η的第 i个奇异值，则HHT = VD2VT。其中U是η阶酉矩阵矩阵，V是η阶酉矩阵。并且UUT = UTU = I，VVT = VTV=I〇
[0021] 3-2.设定好调整参数λ的上限λΜ和下限λ-，在λ#[λΜη，λ ΜΧ]范围内，分别计算 出正交投影矩阵HAT的每层分解矩骱1^，骱1^ =狀(02+人111)-￥护，其中骱丁 =冊+ = !1(护!1)- V。
[0022] 3-3.在λ!e [λ-，Amax]范围内计算不同调整参数λ对应的均方差财职严155 :，计算公 式为：
[0024] 其中tj是期望的输出，而〇j是实际的输出。
[0025] 3-4.计算出的最小均方差对应的λ，即lpt。此时能够取得较好的泛化性 能，并且也能够最大化分类边界。
[0026] 3-5.计算出连接隐层节点和输出神经元的输出权重
[0028]所述的步骤3中，如果L和N的大小为L>N，即隐层节点个数大于样本数，则为了提高 计算效率，对隐层节点输出矩阵进行奇异值分解，具体的：
[0029] 3-6.奇异值分解H=UDVT，其中0 = …di，…dN}是对角矩阵，di是矩阵Η的第 i 个奇异值，则HHT=UD2UT，并且UUT=U TU = I，VVT = VTV = I。
[0030] 3-7 .设定好调整参数λ的上限λΜ和下限λΜη，在e [ λΜη，Amax ]范围内，分别计算 出正交投影矩阵HAT的每层分解矩HATr = HHTU(D2+AiI)-V，其中ΗΑΤ = ΗΗ+ = Η(ΗτΗ)-
[0031] 3-8.在λ#[λΜη，λ_]范围内，计算不同调整参数λ对应的均方差，计算 公式为：
[0033] 其中tj是期望的输出，而〇j是实际的输出。
[0034] 3-9.计算出的最小均方差对应的λ，即λ。^。此时能够取得较好的泛化性 能，并且也能够最大化分类边界。
[0035] 3-10.计算出连接隐层节点和输出神经元的输出权重》=+ 。
[0036] 步骤5所述的稀疏表示分类算法首先利用输出向量〇中前k个最大值建立自适应子 字典，然后重构出训练样本的稀疏表示系数，求出相应的残差，最后找出残差中最小值对应 的索引即为图片属于的类别，具体的：
[0037] 首先找出输出向量〇中前k个最大值所