一种基于PSO的权值直接确定神经网络结构优化方法与流程

本发明涉及神经网络优化技术领域，具体涉及一种基于pso的权值直接确定神经网络结构优化方法。

背景技术：

人工神经网络(artificialneuralnetworks,ann)，是模拟生物神经系统的组织结构、处理方式和系统功能的抽象和模拟；神经网络是由大量处理单元互联组成的非线性、自适应信息处理系统。人工神经网络的应用场景主要涉及自动化、电子工程、计算机科学、数学、统计学、神经生物学等众多相关学科；由于其并行计算、分布式存储、高度容错、非线性自适应处理能力等显著特点，在模式识别、智能控制、组合优化、系统辨识与预测以及智能信息处理等领域都得到广泛的成功应用。由于众多工程实际问题都可以转化为人工神经网络对特定函数逼近问题，自20世纪80年代中期以来，人工神经网络被研究人员广泛而深入地研究，神经网络的理论研究和实际应用在许多领域取得了显著的进展，在国内外都进入了一个蓬勃发展的好时期。

目前最为主流的神经网络训练算法是基于误差反向传播(back-propagationalgorithm，bp)的算法，这种算法通过迭代可以使得神经网络中的参数向着误差减少的梯度方向变化。然而，这类基于梯度下降的算法具有一些不可避免的内在弱点，比如：易于陷入局部最优、迭代时间冗长及收敛速度慢、无法确定最佳神经元数目等。为了彻底克服bp算法这些弱点并提高网络的性能(收敛速度，网络逼近能力)，近年来提出了幂激励权值直接确定神经网络。不同于传统的bp算法，幂激励权值直接确定神经网络通过选取线性独立的幂级数作为隐含层神经元的激励函数，最终的网络输出相当于幂级数多项式。在构建网络确定隐含层神经元后，隐含层神经元到输出层的权值可以通过基于最小二乘原理的权值直接确定(weights-direct-determination，wdd)算法以闭解形式直接算出，无需反复迭代，从而避免传统bp类型算法中易于陷入局部最优、迭代时间冗长及收敛速度慢等弱点，大大提高了计算速度以及网络逼近能力。然而在生成神经元以及确定神经元的权值后，神经网络的最佳拓扑结构(或最优隐神经元数目)尚未确定。考虑到人工神经网络拓扑结构与其性能有着密切的关系，如果不对拓扑结构进行优化，神经网络会难以收敛到逼近误差全局最小点和取得最优连接权值。传统的bp算法在神经网络隐含层神经元数目选择和优化上大体缺乏完善统一的确定性理论指导。目前，确定隐含层神经元数目主流办法是先构造一个适当规模的网络，然后人工根据网络性能需求和规则动态地增加或删除隐神经元及连接，但是这类方法会增加算法的复杂度和学习时间，并且在神经元数目巨大的时候难以实现，容易陷入局部最优。

因此，为了优化权值直接确定神经网络的拓扑结构，目前亟待引入粒子群优化(particleswarmoptimization，pso)算法优化隐含层神经元数目提升网络的结构性能，将两者结合成为基于pso优化的权值直接确定神经网络，旨在通过生物演化算法确定神经元结构，并尽可能地提高网络的逼近能力，降低逼近误差。pso算法从一组随机解出发，这组随机解被称为一个种群，种群之中的每个随机解被称为粒子。每个粒子在迭代过程中根据自己的历史经验以及其它粒子的经验进行进化，并通过适应度来评价解的好坏。pso通过追随当前搜索到的最优值来寻找全局最优，最终实现找到适应度最佳的解，即最优解。这种优化方法比遗传算法规则更为简单，并且在解决实际问题中展示了其优越性。

但是标准的pso算法直接应用在上述权值直接确定神经网络时，表现比较差，究其原因主要有两点：一是在优化问题规模比较大(神经元数目很大)时候，pso的优化效果较差；二是在优化后期，如果粒子速度更新规则保持不变，就会导致粒子依然保持较强的全局寻优能力，局部寻优能力较弱，导致容易出现粒子在潜在最优区域附近不断徘徊，而无法进一步探索局部最优值的问题。

技术实现要素：

本发明的目的是为了解决现有技术中的上述缺陷，提供一种基于pso的权值直接确定神经网络结构优化方法，该优化方法在应用pso寻找权值直接确定神经网络最优结构的过程中，一方面在pso优化之前首先对神经元进行删减，减小优化问题的规模；另一方面，在速度更新规则中采用惯性系数(inertiaweight)变异策略，控制粒子速度，提高优化后期粒子的局部寻优能力，更好地探索潜在的最优区域。本发明应用粒子群算法优化权值直接确定神经网络的拓扑结构(隐神经元数目)，并对优化方法进行改进，最终获取更好的网络结构性能，提高网络的逼近能力。

本发明的目的可以通过采取如下技术方案达到：

一种基于pso的权值直接确定神经网络结构优化方法，该方法包括如下步骤：

s1、构建一个幂激励神经网络，所述的幂激励神经网络包括级联的输入层、隐层、输出层，

其中，输入层和输出层均采用线性恒等函数作为激励函数，输入层神经元个数为2，输出层神经元个数为1；隐神经元总数为n，第d+1隐层神经元激励函数为二元幂级数pd，d＝0,1,…,n-1；输入层与隐层神经元连接权值均为1，所有神经元阈值均设为0。

s2、根据权值直接确定方法算出隐层神经元到输出层的连接权值；

s3、设定一个阈值，将连接权值小于该阈值的神经元删除；

s4、经删除后，把待优化的剩余隐层神经元的使用情况按顺序编码成0/1数码串表示为粒子群算法中粒子个体；

s5、设定粒子群算法的种群规模、最大进化代数以及搜索范围和速度范围；

s6、粒子群算法初始化：生成一定规模的粒子群，粒子的位置随机均匀分布，并赋值给每个粒子一个随机速度；

s7、根据适应值，初始化全局历史最优位置以及每个粒子历史最优位置；

s8、基于前一次迭代的结果，更新惯性系数，更新粒子的速度、位置，即所有候选解更新；

s9、计算步骤s8中所有当前候选解的适应值；

s10、将步骤s9中得到的适应值，与前一次迭代中确定的全局历史最优适应值以及粒子历史最优适应值进行比较，根据对比结果更新最优适应值以及对应的全局历史最优位置、粒子的历史最优位置；

s11、判断当前迭代次数是否到达最大迭代次数，若不是，返回步骤s8；若是，迭代结束，分别输出全局历史最优适应值以及对应的最优位置作为最优逼近误差以及最优网络结构。

进一步地，所述的步骤s3中设定一个阈值，删去连接权值小于该阈值的神经元，减少pso算法需要优化的规模，具体方式是：设定一个阈值ε，将在步骤s2中计算得到连接权值数量级小于该阈值的神经元进行删减处理。比如：第d+1个神经元的连接权值为wd，当log10(wd)<ε时，将该神经元删去，否则保留。

进一步地，所述的步骤s4中将剩余神经元按顺序编码成0/1数码串表示为pso算法中的粒子个体，具体方法如下：首先，设删除后的剩余神经元总数为k′，对删减剩余后的神经元进行排序，并将排序后的神经元进行分组(分组数假设为r，每组内神经元个数假设为l)，并尽量保持每个分组内神经元数目一致。之后，根据各分组内的神经元的使用情况进行编码为0/1数码串(如：使用该神经元为1，否则为0)。根据二-十进制转换，将r个0/1数码串均转换成十进制数，组合成r维向量。r维向量的每个维度内的数字唯一对应该分组内的神经元使用情况。把待优化r维向量表示为pso算法中的粒子进行后续优化，优化结束后将历史最优粒子映射为对应的神经网络结构，即可获得所述网络结构的最优解。

进一步地，所述的步骤s5中搜索范围和速度范围。为了控制优化过程，避免种群无限制扩张，以及搜索速度过快导致难以收敛，需要对搜索范围和速度范围进行控制。其中，r维向量每个维度的范围是[0,2^l-1]，即该分组内为一个神经元都不使用到l个神经元均使用；r维向量每个维度速度范围被设置为[-(2^l-1)/2,(2^l-1)/2]，则速度控制策略为：

其中，为每个粒子的速度向量(r维向量)，为粒子群最大速度向量r维向量，每个维度的取值范围为：[-(2^l-1)/2,(2^l-1)/2]。

进一步地，所述的步骤s7中的适应值定义为对应网络的均方逼近误差eave，其具体定义为

其中，m为对目标函数采样数，为向量或矩阵二范数的平方，在上述公式中，权值列向量w、输入受激励矩阵q和目标输出列向量γ分别表示为：

w＝[w0w1w2…wd…wn-1]^t∈rⁿ,

γ＝[φ1φ2…φm]^t∈r^m

上式中，表示对应于第x个采样点的第d+1个隐神经元的受激励响应(x＝1,2,…,m；d＝0,1,2,…,n-1)，m为样本总量，此处n为隐层神经元总数。当输入变量u采样点数为su，输入变量u采样点数为sv时，m＝su×sv。粒子的适应值为粒子对应的神经网络结构的均方逼近误差，误差越小则该粒子的质量越好。

进一步地，所述的步骤s7中的惯性系数。此处，惯性系数ω采用变异策略，即随着迭代进行改变。惯性系数具体更新公式如下：

其中，t是当前迭代次数，t是最大迭代次数，ωmax和ωmin是惯性系数的范围。

本发明相对于现有技术具有如下的优点及效果：

本发明基于幂激励权值直接确定神经网络，该神经网络可以直接计算出隐层神经元到输出层连接权值。为了提高该网络的结构性能，本发明将标准pso算法应用于优化网络结构，寻找最佳隐层神经元数目。本发明通过引入了神经元预删减策略与惯性系数变异策略，改善优化效果，获取更好的逼近效果。实验证明，通过采用本发明所述的基于pso的权值直接确定神经网络结构优化方法，所训练的网络具有很强的逼近能力以及去躁能力，因而具备很强的实用价值。

附图说明

图1是本发明实施例中基于pso的权值直接确定神经网络结构优化方法的流程图；

图2是本发明实施例中基于的两输入权值直接确定神经网络模型图；

图3(a)是将要进行逼近的二元目标函数a的曲面图；

图3(b)是pso优化后的网络逼近二元目标函数a的网络输出曲面图；

图3(c)是pso优化后的网络逼近二元目标函数a的网络输出与原目标函数a对比后得出的相对误差曲面图；

图4(a)是将要进行逼近的二元目标函数b的曲面图；

图4(b)是pso优化后的网络逼近二元目标函数b的网络输出曲面图；

图4(c)是pso优化后的网络逼近二元目标函数b的网络输出与原目标函数a对比后得出的相对误差曲面图；

图5(a)是对二元目标函数a进行加噪后的曲面图；

图5(b)是pso优化后的网络对加噪后的二元目标函数a进行去噪的网络输出曲面图；

图5(c)是pso优化后的网络对加噪后的二元目标函数a进行去噪的网络输出与未加噪声原目标函数a对比后得出的相对误差曲面图；

图6(a)是对二元目标函数a进行加噪后的曲面图；

图6(b)是pso优化后的网络对加噪后的二元目标函数b进行去噪的网络输出曲面图；

图6(c)是pso优化后的网络对加噪后的二元目标函数b进行去噪的网络输出与未加噪声原目标函数b对比后得出的相对误差曲面图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例

图1所示为本实施例公开的基于pso的权值直接确定神经网络的结构优化方法的流程图，包括以下步骤：

s1、构建一个两输入幂激励神经网络，其中输入层、输出层神经元激活函数为线性函数,隐层神经元激活函数为二元幂级数；

s2、根据权值直接确定方法算出隐层神经元到输出层的连接权值；

s3、设定一个阈值，将连接权值小于该阈值的神经元删除；

s4、经删除后，把待优化的剩余隐层神经元的使用情况按顺序编码成0/1数码串表示为粒子群算法中粒子个体；

s5、设定粒子群算法的种群规模，最大进化代数以及搜索范围和速度范围；

s6、粒子群算法初始化：生成一定规模的粒子群，粒子的位置随机均匀分布，并赋值给每个粒子一个随机速度；

s7、根据适应值，初始化全局历史最优位置以及每个粒子历史最优位置；

s8、基于前一次迭代的结果，更新惯性系数，更新粒子的速度、位置，即所有候选解更新；

s9、计算步骤s8所有当前候选解的适应值；

s10、将步骤s9中得到的适应值，与前一次迭代中确定的全局历史最优适应值以及粒子历史最优适应值进行比较，根据对比结果更新最优适应值以及对应的全局历史最优位置、粒子的历史最优位置；

s11、判断当前迭代次数是否到达最大迭代次数，若不是，返回步骤s8；若是，迭代结束,分别输出全局历史最优适应值以及对应的最优位置作为最优逼近误差以及最优网络结构。

图2所示为本发明基于的两输入幂激励神经网络模型图，所构建的幂激励神经网络模型包括三层结构，分别是输入层、隐藏层和输出层。其中，输入层和输出层均采用线性恒等函数作为激励函数，输入层神经元个数为2，输出层神经元个数为1；隐神经元总数为n，第d+1隐神经元激励函数为二元幂级数pd(d＝0,1,…,n-1)；输入层与隐层神经元连接权值均为1，所有神经元阈值均设为0。

图3(a)-图3(c)所示为应用本发明所述的pso优化后的网络对二元目标函数a的逼近效果图，其中图3(a)为需要逼近的目标函数a，图3(b)为应用所构造网络对目标函数a的逼近效果，图3(c)为神经网络逼近目标函数a的相对误差。由图3(a)和图3(b)对比可知，网络输出与目标函数a的曲面基本一致；由图3(c)可知网络相对逼近误差数量级达到10^-7。以上分析说明，本发明所构造的网络能够准确的逼近目标函数a。二元目标函数a为：

图4(a)-图4(c)所示为应用本发明所述的pso优化后的网络对二元目标函数b的逼近效果图，其中图4(a)为需要逼近的目标函数b，图4(b)为应用所构造网络对目标函数b的逼近效果，图4(c)为神经网络逼近目标函数b的相对误差。由图4(a)和图4(b)对比可知，网络输出与实际目标函数b的曲面基本一致；由图4(c)可知网络相对逼近误差数量级达到10^-8。以上分析说明，本发明所构造的网络能够准确的逼近目标函数b。二元目标函数b为：

图5(a)-图5(c)所示为应用本发明所述的pso优化后的网络对加噪后的二元目标函数a的去躁效果图，其中图5(a)为加噪后的目标函数a，图5(b)为应用所构造网络对加噪后的函数a的去躁效果，图5(c)为去躁后的网络与未加噪声目标函数对比的相对误差。由图3(a)和图5(b)对比可知，网络去躁输出与不带噪声目标函数a的曲面基本一致；由图5(c)可知去躁后的网络输出的相对逼近误差相对较小。以上分析说明，本发明所构造的网络，即使在目标函数带有较大幅值的随机噪声的情况下，网络去躁输出仍能够精确的逼近目标函数a，实现去躁。

图6(a)-图6(c)所示为应用本发明所述的pso优化后的网络对加噪后的二元目标函数b的去躁效果图，其中，图6(a)为加噪后的目标函数b，图6(b)为应用所构造网络对加噪后的函数b的去躁效果，图6(c)为去躁后的网络与未加噪声目标函数对比的相对误差。由图4(a)和图6(b)对比可知，网络去躁输出与不带噪声目标函数b的曲面基本一致；由图6(c)可知去躁后的网络输出的相对逼近误差相对较小。以上分析说明，本发明所构造的网络，即使在目标函数带有较大幅值的随机噪声的情况下，网络去躁输出仍能够精确的逼近目标函数b，实现去躁。

根据设计流程图的相关步骤，在此针对本发明进行详细的算法解析。首先，对本发明基于的两输入幂激励神经网络的进行详细说明。

先给出两输入幂激励神经网络逼近能力的理论基础和网络构建合理性。设是有界闭集，c(ω)为定义在ω上的有实值连续函数所张成的空间，根据著名的stone-weierstrass定理(二元形式)。是一个代数集，目标函数φ(p)∈c(ω)。则为使目标函数φ可用g中元素一致逼近，需且只需和均能找到一个逼近函数使得：

其中|·|表示标量的绝对值。在二元空间中，目标函数φ(u,v)是定义于上的连续函数，则φ(u,v)在ω上能用u,v的多项式函数逼近。

在此基础上，根据二元幂级数展开的理论，以及二元taylor级数，可以用二元幂级数形式的多项式函数对未知函数φ(u,v)进行逼近。

则可以得到式子两输入幂激励网络的输入输出关系式：

其中，aij为二元幂级数系数，wd＝aij为第d+1隐神经元到输出层神经云的连接权值，由权值直接确定方法得到，pd＝u^i-jv^j为第d+1隐神经元的激活函数，为神经元总数，k为变量u和v的幂次之和。

至此，上述网络逼近能力理论基础和网络构建合理性证明结束。

根据上述两输入幂激励神经网络，给出基于此神经网络权值直接确定方法的理论基础。传统意义上，隐层神经元与输出层之间的连接权值可由传统的基于误差回传(back-propagation,bp)的迭代学习算法获得。为了避免bp算法冗长的迭代训练过程，本发明基于的神经网络采用基于最小二乘原理伪逆形式的权值直接确定方法，从而直接计算得到隐层神经元与输出层之间的连接权值。权值直接确定的计算公式将由如下直接给出：

w＝(q^tq)^-1q^tγ

其中，上标t表示为矩阵向量的转置，(q^tq)^-1q^t为矩阵q的伪逆，记为q⁺，所以以上公式也可以表达为w＝q⁺γ。在上述公式中，权值列向量w、输入受激励矩阵q和目标输出列向量γ分别表示为：

w＝[w0w1w2…wd…wn-1]^t∈rⁿ

γ＝[φ1φ2…φm]^t∈r^m

其中，表示对应于第x个采样点的第d+1个隐神经元的受激励响应(x＝1,2,…,m；d＝0,1,2,…,n-1)，m为样本总量，此处n为隐层神经元总数。当输入变量u采样点数为su，输入变量u采样点数为sv时，m＝su×sv。

至此，权值直接确定方法介绍完毕。

在使用粒子群优化之前，为了减少pso算法优化问题的维度，提高优化效率，本发明中提出一种神经元预删减策略，对输出权值较小，对逼近贡献较小的神经元进行删减。该策略的具体方式是：设定一个阈值ε，将在步骤s2中计算得到连接权值数量级小于该阈值的神经元进行删减处理。比如：第d+1个神经元的连接权值为wd，当log10(wd)<ε时，将该神经元删去，否则保留。

为了使用pso算法进行优化，首先需要将网络结构表示为待优化的r维向量，并表示为待优化的粒子个体。在本发明中，一种将隐层神经元的使用情况表示为粒子个体的方法被设计并使用，其具体设计内容是：首先，设删除后的剩余神经元总数为k′，对剩余的神经元进行排序，并将排序后的神经元进行分组(分组数假设为r，每组内神经元个数假设为l)，并尽量保持每个分组内神经元数目一致。之后，根据各分组内的神经元的使用情况进行编码为0/1数码串(如：使用该神经元为1，否则为0)。根据二-十进制转换，将r个0/1数码串均转换成十进制数，组合成r维向量。r维向量的每个维度内的数字唯一对应该分组内的神经元使用情况。把待优化r维向量表示为pso算法中的粒子进行后续优化，优化结束后将历史最优粒子映射为对应的神经网络结构，即可获得所述网络结构的最优解。

下面针对流程图中的pso优化部分的具体算法流程进行详细说明。首先，对pso算法的参数进行初始化设定：设定种群规定种群规模n，最大进化代数t，速度更新公式中的认知参数。同时，为了控制优化过程，避免种群无限制扩张，以及搜索速度过快导致难以收敛，需要对搜索范围和速度范围进行控制。其中，r维向量每个维度的范围是[0,2^l-1]，即该分组内为一个神经元都不使用到l个神经元均使用；r维向量每个维度速度范围被设置为[-(2^l-1)/2,(2^l-1)/2]，则速度控制策略为：

其中，为每个粒子的速度向量(n维向量)，为粒子群的最大速度向量r维向量，每个维度的取值范围为：[-(2^l-1)/2,(2^l-1)/2]。

pso算法初始化：生成规定规模的粒子，组成初始粒子群，种群中每个粒子的位置矢量随机生成，均匀分布在搜索空间，并附给每个粒子一个随机速度规定pso算法中评价解的质量的适应值为网络均方逼近误差eave，定义为：

其中，为向量或矩阵二范数的平方。

对初始解进行评估，计算出随机生成的初始解的全局最优值gb，以及每个粒子的适应值作为初始每个粒子历史最佳适应值pb。设置当前迭代次数t＝0。

在t+1次迭代中，基于之前的全局历史最优位置gbi、粒子历史最优位置pbi以及前一次迭代中粒子的速度与位置对粒子速度进行更新，更新公式如下(以粒子i为例)：

其中，c1和c2是认知参数，在初始化pso参数时设置，r1和r2是一个幅值在[0,1]的随机数，i＝1，2，3，…,n代表第i个粒子。为了使粒子可以具有更好的局部寻优能力，在此本发明设计了一个惯性系数ω变异更新策略，该惯性系数随着迭代进行线性下降，由此增强粒子在进化后期的局部寻优能力。惯性系数的更新公式为：

其中，ωmax和ωmin是惯性系数的极大值与极小值，t是当前迭代次数，t是最大迭代次数。

根据粒子速度更新公式，粒子i的位置更新公式表示为：

pso算法经过粒子迭代、进化，粒子逐渐收敛到适应值最优的区域，即最优解可能存在区域。当迭代次数到达最大迭代次数后，pso算法最终输出全局历史最优值以及全局历史最优位置

gb＝[x′0,x′1,...,x′d,…,x′r-1]，

即最优网络均方逼近误差以及全局最优解。通过将所求的粒子最优位置映射到网络隐层神经元使用情况，我们得到优化后的网络最佳结构。每个神经元的使用情况为x′d(d＝0,1,2,…,r-1)且x′d＝0,1。则经过pso优化后的神经网络输入输出关系式可以被更新为：

经过pso优化后的网络结构即为本发明所述的基于pso优化的权值直接确定神经网络的最优网络结构。

此处，为了展现本发明提出的一种基于pso的权值直接确定神经网络结构优化方法的优越性，选取以下两个二元函数进行计算机仿真实验，验证所优化网络的逼近能力以及去躁能力：

首先，在仿真实验中，在u∈[-1,1]，v∈[-1,1]，分别对目标函数a、b进行均匀采样组成样本，采样间隔为0.04，即采样总数m＝51×51＝2601。然后通过本发明提出的基于pso优化的权值直接确定神经网络进行训练，获得权值与最优结构。仿真结果如图3(a)、图3(b)和图3(c)以及图4(a)、图4(b)和图4(c)。从图3(a)、图3(b)和图3(c)以及图4(a)、图4(b)和图4(c)可以看出，网络输出和目标函数曲面基本一致，逼近相对误差较小，以上分析表明基于pso优化的权值直接确定神经网络具有很强的逼近能力，即验证了本发明所提出的基于pso的权值直接确定神经网络结构优化方法的优越性。

在此基础上，为了进一步说明本发明的优越性，还对网络的去躁能力进行验证。在目标函数a、b上加入的噪声为随机噪声,随机噪声采用均值为0，服从均匀分布的伪随机数来模拟，该噪声幅度区间为

仿真结果见图5(a)、图5(b)和图5(c)以及图6(a)、图6(b)和图6(c)。由图3(a)和图5(b)、图4(a)和图6(b)对比可知，网络去躁输出与不带噪声目标函数a、b的曲面基本一致；由图5(c)、图6(c)可知去躁后的网络输出的相对逼近误差相对较小。以上分析说明，本发明所构造的网络，即使在目标函数带有较大幅值的随机噪声的情况下，网络去躁输出仍能够精确的逼近目标函数a、b，即具有良好的去躁性能。在实际应用中，网络的去躁能力可用于减少数据采样时引入的误差，良好的去躁性能使得网络在实际应用中具有更大应用价值。

上述两个仿真实验说明，所提出的基于pso的权值直接确定神经网络结构优化方法能够训练出具有很高逼近精度的神经网络，并且网络具有较强的去躁性能，因而具有极高的实用价值。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。