基于粒子群优化算法改进的神经网络模型用于数据预测方法
【专利摘要】本发明涉及计算机应用工程【技术领域】，是一种基于粒子群优化算法改进的神经网络模型用于数据预测方法，按照下述步骤进行：步骤 1 数据样本的表示；步骤 2 数据的预处理；步骤 3
RBF 神经网络参数初始化；步骤 4 利用二元粒子群优化算法确定隐含层神经元的数目和隐含层径向基核函数的中心；步骤 5 初始化局部粒子群优化算法的各个参数。本发明所述的基于粒子群优化算法改进的神经网络模型用于数据预测方法能够易于确定 RBF 神经网络模型隐含层神经元的数目，从而改善了 RBF 神经网络性能，提高了数据预测的精确度，同时，本发明中的基于粒子群优化算法改进的神经网络模型具有模型复杂度低，鲁棒性强，可扩展性好的特点。
【专利说明】基于粒子群优化算法改进的神经网络模型用于数据预测方 法
【技术领域】
[0001] 本发明涉及计算机应用工程【技术领域】，是一种基于粒子群优化算法改进的神经网 络模型用于数据预测方法。
【背景技术】
[0002] RBF(radial basis function)神经网络模型是一种自组织自学习的结构化的预 测方法，它可以根据一段时期内的历史检测数据，通过自组织自学习的方法建立一种结构 化的预测模型，该模型能够最大程度上描述并追踪数据的变化规律，并对未知的数据作出 最大概率的预测。该模型由于结构简单、参数较小、性能较优等特点被广泛采用。
[0003] 但是，在工程应用中，RBF神经网络模型隐含层神经元的数目对网络的性能有较大 的影响，如果隐含层神经元数目过少，则网络无法学习到样本的内在规律，对数据的学习能 力降低，如果隐含层神经元的数目过多则容易导致"过拟合"问题，即模型对数据的学习过 于充分，以至于对噪声数据都进行了充分的学习，在实际预测时预测性能不是很好，因此根 据样本的规模和维数确定最佳隐含层神经元的数目对提高网络性能至关重要。
[0004] 粒子群优化算法是一种群体智能算法，它通过众多粒子之间的信息共享机制在空 间中循环迭代向全局最优解无限逼近，粒子群优化算法由于模型简单、参数少被广泛的应 用于非线性、不可微和多峰值的复杂问题的求解。
【发明内容】
[0005] 本发明提供了一种基于粒子群优化算法改进的神经网络模型用于数据预测方法， 克服了上述现有技术之不足，其能有效解决RBF神经网络模型隐含层神经元的数目不易确 定对RBF神经网络性能有较大影响的问题。
[0006] 本发明的技术方案是通过以下措施来实现的：一种基于粒子群优化算法改进的神 经网络模型用于数据预测方法，按照下述步骤进行：
[0007] 步骤1 :数据样本的表示，使用变量X, 表示第i个样本，使用 Xu 表示第i个样本的第t个分量；
[0008] 步骤2:数据的预处理，根据数据样本构建训练样本集Xtrain= Ix1, X2，…，xN}和测 试样本集 Xtest = U1, X2,…，XiJ ;
[0009] 步骤3 :RBF神经网络参数初始化，根据训练样本集的维数M确定输入层神经元的 数目Ninput = M，根据要预测的数据的维数确定输出层神经元的数目Nratput = P ;
[0010] 步骤4:利用二元粒子群优化算法确定隐含层神经元的数目和隐含层径向基 核函数的中心，其中：隐含层神经元的数目用H表示，隐含层径向基核函数的表达式为 /(x;，e,) = exp(-τ|χ, -c,|)，i = 1，2,…，H，隐含层径向基核函数的中心用Ci表示；
[0011] 步骤5 :初始化局部粒子群优化算法的各个参数，包括粒子群数目，粒子群数目用 表示；粒子群的位置用I; =I^l 表示,粒子的位置Λ·丨表示RBF神经网络隐含 层到输出层的权值矩阵w ;粒子群的速度用C ，…表示；最大迭代次数用tl__表 示；适应度函数精度用P lps。表示；k近邻算法中k的初始值k = 1 ;
[0012] 步骤6 :根据适应度函嬰
【权利要求】
1. 一种基于粒子群优化算法改进的神经网络模型用于数据预测方法，其特征在于按照 下述步骤进行： 步骤1:数据样本的表示，使用变量表示第i个样本，使用 Xu IeNj表示第i个样本的第t个分量； 步骤2:数据的预处理，根据数据样本构建训练样本集Xtrain= Ix1, X2，…，％}和测试样 本集 Xtest = {x" x2,…，xj ; 步骤3 :RBF神经网络参数初始化，根据训练样本集的维数M确定输入层神经元的数目 Ninput = M，根据要预测的数据的维数确定输出层神经元的数目Nratput = P ; 步骤4:利用二元粒子群优化算法确定隐含层神经元的数目和隐含层径向基核 函数的中心，其中：隐含层神经元的数目用H表示，隐含层径向基核函数的表达式为 /(H) = exp(-c|)，d，2，一J/，隐含层径向基核函数的中心用 Ci表示； 步骤5 :初始化局部粒子群优化算法的各个参数，包括粒子群数目，粒子群数目用 Nhwmi表示；粒子群的位置用尤…，心I表示，粒子的位置Xit表示RBF神经网络隐 含层到输出层的权值矩阵w ;粒子群的速度用Ff =I^1X2,…,心]表示；最大迭代次数用 表示；适应度函数精度用P lps。表示；k近邻算法中k的初始值k = 1 ;
i个神经元径向基核函数的中心向量，I I ? I I2表示向量的欧几里得距离； 步骤7 :更新全局最优粒子的位置和个体的历史最优位置，从粒子群中选择具有最小 适应度函数值的粒子为全局最优粒子Pgbest,个体最优粒子Pbest与初始化时粒子的位置相 同； 步骤8 :通过k近邻算法计算局部粒子群优化算法中各粒子的邻域最优粒子Plbest ; 步骤 9 :根据公式 CXrf + cW (Krf - 4 ) + C2r2 [(1 -?)('- 4 更新粒子的速
值，Wmd为惯性权重最终值，t表示当前的迭代次数，t_表示最大迭代次数；V:,表示第i个 粒子第d维第t次迭代的值；Cl，c2表示认知系数，取值为2 ;ri，r2为随机系数；/?:,表示第t 次迭代，第i个粒子的个体历史最优位置第d维的值；4表示第t次迭代第i个粒子位置第 d维的值；姹表示第t次迭代第i个粒子的邻域最优粒子位置第d维的值；a为调节系数， a G [〇，1]，用于调节粒子对全局最优粒子和邻域最优粒子的适应度，a的变化根据公式
步骤10 :根据公式0.4*更新粒子的位置；n是调节系数，从[〇, 1]之间取随 机数； 步骤11 :判断局部粒子群优化算法是否达到最大迭代次数或预先设定的精度 P lps。；即Otpmax或p〈plps。两者是否有一个成立，如果两者有一个成立则转到步骤12,否则 返回步骤6; 步骤12 :从粒子群中选择适应度函数值最小的粒子；该粒子的位置参数即作为神经网 络隐含层到输出层的权值矩阵W ; 步骤13 :RBF神经网络模型的建立，根据得到的模型参数建立RBF神经网络模型，模型 参数包括通过二元粒子群优化算法得到的隐含层神经元的数目H、隐含层径向基核函数的 中心和通过局部粒子群优化算法得到的隐含层到输出层的权值矩阵W ; 步骤14 :利用RBF神经网络模型进行数据预测，用测试样本集作为RBF神经网络模 型的输入样本，利用建立好的RBF神经网络模型，用于对未知的数据进行预测，RBF网络
2.根据权利要求1所述的基于粒子群优化算法改进的神经网络模型用于数据预测方 法，其特征在于步骤4包括以下子步骤： 子步骤401 :二元粒子群优化算法参数初始化，初始化粒子群的数目用Nswmi表示；随机 初始化粒子群的位置用< …，xL了表示，其中= *!?1丨，#=丨L2,….4?丨* 〇表示该位 置没有神经元节点，1表示该位置有神经元节点，t表示当前的迭代次数，tmax表示最大迭代 次数；随机初始化粒子群各粒子的速度，用C =卜KwL,；!表示，其中心=丨OJ丨，二元粒子 群算法收敛的精度值，用I表示； 子步骤402 :选取二元粒子群中的最优粒子，根据最优粒子表示的神经元数目用 K-Means算法进行聚类，二元粒子群算法第一次迭代时，随机选取一个粒子作为最优粒子， 从二元粒子群算法第二次开始迭代时，根据各粒子适应度函数的值选取全局最优粒子； 所述K-Means算法包括： 子步骤40201 :根据二元粒子表示的神经元节点的数目k，初始化聚类中心，用 !丨表示第j个聚类中心；
距离数据样本最近的聚类中心，并把该数据样本点归为该类，其中Ci表示第Xi样本所属的 类，表示第j个聚类中心；
子步骤403 :根据公式fitness = Y (m/mmax) +Ii ? SSE计算二元粒子群各粒子适应度函 数的值，其中：Y，U e [〇，1]，m表示当前神经元的数目，Hlmax表示隐含层神经元的最大数 目； 子步骤404 :根据各个粒子的适应度函数的值，选择适应度函数值最小的粒子作为全 局最优粒子Pgbest,并更新各粒子的历史最优值Plbest ; 子步骤405:根据公式-毛计算下一次迭代时粒子的 速度，其中：《表示惯性系数，C1和C2表示认知系数，C1和C 2取值为2, ri，r2表示随机系数， 沁表示粒子的历史最优位置值，< 表示当前最优位置，（/6-.<,,；)表示的是粒子位置前后变 化的汉明距离，表示粒子的全局最优位置，.<;表示当前位置，心_)表示全局最优粒 子的位置和当前位置的汉明距离； 子步骤406 :计算下一次迭代时粒子的位置，计算S(<:/ > = (I + e 1的值，并判断条 件rSS(v;;;l>)是否成立，当条件成立时，则= U当条件不成立时，则4+1? =0;其中：r是 [〇, 1]之间的随机数； 子步骤407 :判断二元粒子群优化算法是否达到了最大迭代次数或达到设定的收敛精 度值I，即t>t_是否成立或fitneSS〈 €是否成立，如果条件之一成立则执行步骤5,否则 返回步骤402,通过二元粒子群优化算法和K-Means算法得到了 RBF隐含层神经元的最佳数 目K以及对应的聚类中心Ujt5
3.根据权利要求1或2所述的基于粒子群优化算法改进的神经网络模型用于数据预测 方法，其特征在于步骤8包括以下子步骤： 子步骤801 :根据k近邻算法和粒子群中粒子各维的值构建kd树； 子步骤802 :根据kd树搜索原理，找到每个粒子的k个最近邻粒子即top (k)个粒子； 子步骤803 :根据搜索得到的k个最近邻粒子的适应度函数值，确定每个粒子的邻域最 优粒子plbest ; 子步骤804 :k = k+1，即下一次迭代时各粒子的邻域扩大一个粒子的范围，直到最后k 的值等于粒子群的规模，k =队__"。
【文档编号】G06N3/02GK104361393SQ201410451866
【公开日】2015年2月18日 申请日期:2014年9月6日 优先权日:2014年9月6日
【发明者】李国栋, 刘琳, 宋志新, 王晓磊, 李凯, 黄琳华 申请人:华北电力大学, 国家电网公司, 国网新疆电力公司信息通信公司