基于遗传算法的神经网络优化系统及方法
【专利摘要】本发明公开了一种基于遗传算法的神经网络优化方法及系统，该方法包括如下步骤：建立问题空间和GA算法空间的映射关系，将神经网络的连接权值和阈值映射成二进制编码的基因串；随机产生N个基因串的初始种群；设计适应度函数；根据上述结果利用遗传算法在解空间中定位出一个较好的搜索空间；将上步骤定位的搜索空间作为神经网络搜索的初始权值和阈值，利用神经网络的局部搜索能力在这个小的解空间中搜索出最优解，通过本发明，能极大地提高搜索时间，得到较好的权值和阈值分布。
【专利说明】基于遗传算法的神经网络优化系统及方法
【技术领域】
[0001]本发明涉及神经网络领域，特别是涉及一种基于遗传算法的神经网络优化系统及方法。
【背景技术】
[0002]近几十年来，研究人员在人工神经网络领域中做了相当多有意义的工作，主要的研究工作集中在以下几个方面:
[0003](I)生物原型研究。从生理学、心理学、解剖学、脑科学、病理学等生物科学方面研究神经细胞、神经网络、神经系统的生物原型结构及其功能机理。
[0004](2)建立理论模型。根据生物原型的研究，建立神经元、神经网络的理论模型。其中包括概念模型、知识模型、物理化学模型、数学模型等。
[0005](3)网络模型与算法研究。在理论模型研究的基础上构作具体的神经网络模型，以实现计算机模拟或准备制作硬件，包括网络学习算法的研究。这方面的工作也称为技术模型研究。
[0006](4)人工神经网络应用系统。在网络模型与算法研究的基础上，利用人工神经网络组成实际的应用系统。
[0007]神经网络连接权值和阈值的整体分布包含着神经网络系统的全部知识。现有的获取权值和阈值的方法都是采用确定的权值和阈值变化规则，在训练中逐步调整，最终得到一个较好的权值和阈值分布。这就可能因陷入局域极值而不能得到适当的权值和阈值分布。而遗传算法(GA)是一种基于群体进化的随机化全局优化搜索算法，它的搜索始终遍及整个解空间而又不依赖于梯度信息，并且鲁棒性强。但它的局部搜索能力却不足，而且有研究表明，遗传算法可以用极快的速度达到最优解的90%左右，但要达到真正的最优解则要花费很长的时间。
【发明内容】
[0008]为克服上述现有技术存在的不足，本发明之目的在于提供一种基于遗传算法的神经网络优化系统及方法，通过采用遗传算法对神经网络的权值和阈值进行快速优化，在解空间中定位出一个较好的搜索空间，并将此空间作为神经网络搜索的初始权值和阈值，然后利用神经网络的局部搜索能力在这个小的解空间中搜索出最优解，能极大地提高搜索时间，得到较好的权值和阈值分布。
[0009]为达上述及其它目的，本发明提出一种基于遗传算法的神经网络优化方法，包括如下步骤:
[0010]步骤一，建立问题空间和GA算法空间的映射关系，将神经网络的连接权值和阈值映射成二进制编码的基因串；
[0011]步骤二，随机产生N个基因串的初始种群；
[0012]步骤三，设计适应度函数；[0013]步骤四，根据上述结果利用遗传算法在解空间中定位出一个较好的搜索空间；
[0014]步骤五，将步骤四定位的搜索空间作为神经网络搜索的初始权值和阈值，利用神经网络的局部搜索能力在这个小的解空间中搜索出最优解。
[0015]进一步地，于步骤一中，设神经网络中输入层节点个数为P，隐含层的阈值为e j，个数为R(j e R)，输出层的阈值叭个数为J(k G J)，输入层到隐含层的权值{wji;i G P，j G R}个数为M,隐含层到输出层的权值{wk/; j G R，k G J}个数为L，其中P，R，J, M,L G Z+(Z+为正整数集)，把每个权值和阈值用一定长的0/1 二进制串对应表示，然后，将所有权值和阈值对应的0/1 二进制串按顺序级联在一起，得到一个基因串一染色体，将其表示如下:
[0016]
【权利要求】
1.一种基于遗传算法的神经网络优化方法，包括如下步骤: 步骤一，建立问题空间和GA算法空间的映射关系，将神经网络的连接权值和阈值映射成二进制编码的基因串； 步骤二，随机产生N个基因串的初始种群； 步骤三，设计适应度函数； 步骤四，根据上述结果利用遗传算法在解空间中定位出一个较好的搜索空间； 步骤五，将步骤四定位的搜索空间作为神经网络搜索的初始权值和阈值，利用神经网络的局部搜索能力在这个小的解空间中搜索出最优解。
2.如权利要求1所述的一种基于遗传算法的神经网络优化方法，其特征在于，于步骤一中，设神经网络中输入层节点个数为P，隐含层的阈值为0」，个数为R(j G R)，输出层的阈值叭个数为J(k e J)，输入层到隐含层的权值{Wji ;i G P, j G R}个数为M，隐含层到输出层的权值{wk/; j G R，k G J}个数为L，其中P，R，J，M，L G Z+(Z+为正整数集)，把每个权值和阈值用一定长的0/1 二进制串对应表示，然后，将所有权值和阈值对应的0/1 二进制串按顺序级联在一起，得到一个基因串一染色体，将其表示如下:
3.如权利要求2所述的一种基于遗传算法的神经网络优化方法，其特征在于:在将各权值和阈值对应的二进制字符串级联在一起时，与同一隐节点相连的连接权值对应的字符串或与同一层阈值对应的字符串放在一起。
4.如权利要求2所述的一种基于遗传算法的神经网络优化方法，其特征在于，该适应度函数为:
5.如权利要求4所述的一种基于遗传算法的神经网络优化方法，其特征在于，该适应度函数中的参数emk通过如下步骤获得: 把某一学习模式的值作为输入层单元的输出Ii,，用输入层到隐含层的权值Wm和隐含层单元的阈值0 j求出隐含层单元j的输出vj; 用隐含层单元的输出Vj，隐含层到输出层的权值Wk/以及输出层单元k的阈值抖求出输出层单兀k的输出yk ； 由学习模式的期望输出dk和输出层的输出yk,得到第m个模式的第k个输出节点的emk。
6.如权利要求4所述的一种基于遗传算法的神经网络优化方法，其特征在于，步骤四还包括如下步骤: 将适应度函数的幂标定法与选择操作的期望值方法结合，并给出期望生存模型，获得群体中每个个体在其子代的期望生存数目M/ ； 在M/ ^ 2时，若除了父代中个体单一遗传给子代外所复制的子代的总数超过父代中被淘汰个体的总数，则结合排序选择方法作选择操作，
7.如权利要求6所述的一种基于基于遗传算法的神经网络优化方法，其特征在于:该交叉操作采用一点交叉，交叉概率为P。；该变异操作采用一点变异，变异概率为Pm。
8.一种基于遗传算法的神经网络优化系统，至少包括: 映射关系建立模块，用于建立问题空间和GA算法空间的映射关系，将神经网络的连接权值和阈值映射成二进制编码的基因串； 初始种群产生模块，用于随机产生N个基因串的初始种群； 适应度函数设计模块，用于设计适应度函数； 搜索空间定位模块，根据前述模块的结果利用遗传算法在解空间中定位出一个较好的搜索空间； 优化模块，将该搜索空间定位模块定位的搜索空间作为神经网络搜索的初始权值和阈值，利用神经网络的局部搜索能力在这个小的解空间中搜索出最优解。
9.如权利要求8所述的一种基于遗传算法的神经网络优化系统，其特征在于，该适应度函数为:
10.如权利要求8所述的一种基于遗传算法的神经网络优化系统，其特征在于，该搜索空间定位模块通过如下过程定位出搜索空间: 将适应度函数的幂标定法与选择操作的期望值方法结合，并给出期望生存模型，获得群体中每个个体在其子代的期望生存数目M/ ； 在M/ ^ 2时，若除了父代中个体单一遗传给子代外所复制的子代的总数超过父代中被淘汰个体的总数，则结合排序选择方法作选择操作，pFp为某基因串的适应
【文档编号】G06N3/12GK103593703SQ201310613181
【公开日】2014年2月19日 申请日期:2013年11月26日 优先权日:2013年11月26日
【发明者】熊玉梅 申请人:上海电机学院