基于人工蜂群算法的选择性神经网络集成算法的制作方法

文档序号:12124435阅读:332来源:国知局

本发明涉及人工智能领域,尤其涉及一种基于人工蜂群算法的选择性神经网络集成算法。



背景技术:

人类所具有的最独特的创造力在于可以通过已有经验与常识来学习并发现未知的事物,因此具备学习能力是人的一个极其重要的特征。随着科学技术的发展,人们开始探索如何制造智能机器来替代人的繁复的智力劳动,并且在某些方面已经取得了巨大成功。然而,机器不是人,它不具备人的思维、学习创造能力。如何使机器具备智能,使机器可以模拟人的大脑思维,可以像人一样地思考问题、学习新知识,就成为急需解决和发展的科学问题。机器学习就是这样一门学科,它能够构建一些方法来有效地模拟人的大脑活动。目前,如何使机器具备拟人化的学习,进行更深层次的理解工作,还有很多问题有待探索和解决。

机器学习在人工智能的研究中占据着非常重要的地位,它逐渐成为人工智能研究的核心内容之一。现在针对机器学习的应用已经遍及人工智能领域的各个分支,如专家系统、自动推理、自然语言理解、模式识别、计算机视觉、智能机器人、生物信息学等领域。一般而言,机器学习的研究主要是从生理学、认知科学的角度出发,理解人类的学习过程,从而建立人类学习过程的计算模型或者认知模型,并发展成各种学习理论和学习方法。在此基础上,研究通用的学习算法,进行理论上的分析,建立面向任务的具有特定应用的学习系统,是一重要课题。

集成学习是当前机器学习中研究热点之一,其根本思路是使用多个学习器学习同一个问题,再利用合适的策略把多个学习结果进行整合,最后得到比单一学习器更好的学习效果,这样能够明显提高学习系统的泛化能力。国际机器学习界的权威学者狄特利希(T.G.Dietterich)曾将集成学习列为机器学习四大研究方向之首。要获得和利用集成学习方法,一般分为两步:第一步,产生多个训练集,独立训练,分别得到不同学习模型,主要技术有Boosting,套袋(Bagging)和Stacking;第二步,采用一定的合成方法,将集成的个体输出进行合成,分类器主要采用多数投票法。但现有的从所有学习器来组成集成的效果并不是很好。



技术实现要素:

针对上述现有技术中的不足,本发明提供一种基于人工蜂群算法的选择性神经网络集成算法,具有算法简单、灵活性强和鲁棒性强的优点。

为了实现上述目的,本发明提供一种基于人工蜂群算法的选择性神经网络集成算法,包括步骤:

S1:输入参数并设置一基础学习器,所述参数包括一原样本集、一循环次数最大值、一阈值、一蜜源总数和一开采极限值;

S2:初始化一当前循环次数;

S3:利用自助法根据所述原样本集生成多组迭代样本集;

S4:将多组所述迭代样本集生成一神经网络;

S5:判断所述当前循环次数是否小于循环次数最大值,如是将所述当前循环次数加一并返回步骤S3,否则继续后续步骤;

S6:生成一蜜源码集,所述蜜源码集包括多个蜜源码,所述蜜源码与所述迭代样本集一一对应,将每一所述蜜源码的被采集次数置零;

S7:选定一所述蜜源码并判断当前所述蜜源码的被采集次数是否大于所述开采极限值,如是随机选择另一未被选定过的所述蜜源码,再继续后续步骤;如否,直接继续后续步骤;

S8:计算当前所述蜜源码的适应度并根据所述适应度确定的概率采用轮盘赌的方法选择一蜜源码并对该蜜源码进行开采;

S9:在当前所述蜜源码的位置的一固定范围内定位并生成一新蜜源码;

S10:计算所述新蜜源码的适应度;

S11:判断所述新蜜源的适应度是否大于当前所述蜜源码的适应度;如否,开采当前所述蜜源码,并将当前所述蜜源码的所述被采集次数加1;如是,选定所述新蜜源码并将所述新蜜源码加入所述蜜源码集,开采所述新蜜源码,并将所述新蜜源的被采集次数置一;

S12:记录当前各蜜源码的适应度的最大值;

S13:判断当前一迭代次数值是否小于预设的一迭代最大次数,如是继续后续步骤,如否返回步骤S7;

S14:获取当前所述神经网络和当前所述神经网络输出结果的集成。

本发明的进一步改进在于,所述步骤S3中:所述原样本集包括T组样本,利用自助法对所述原样本集中的T组样本有放回地抽取M组形成一所述迭代样本集,重复抽样N次,形成N组所述迭代样本集,其中,T、M和N为大于零的自然数,且T>M>N。

本发明的进一步改进在于,所述步骤S6中:对每一所述迭代样本集随机生成一蜜源码,所述蜜源码为一N位的二进制数,各所述蜜源码形成所述蜜源码集。

本发明的进一步改进在于,所述S7步骤中:所述另一未被选定过的蜜源码的位置与当前所述蜜源码的位置的关系是:

X(n+1)=Xmin(n)+r1(Xmax(n)-Xmin(n));

其中,X(n+1)表示另一未被选定过的蜜源码的位置,r1为随机数且0≤r1≤1;Xmin(n)为所述另一未被选定过的蜜源码的位置距离当前蜜源码的最小距离,Xmax(n)为所述另一未被选定过的蜜源码的位置距离当前蜜源码的最大距离。

本发明的进一步改进在于,所述S8步骤中:所述蜜源码的适应度f为:

其中,V表示一验证集,EV表示当前蜜源码所对应的集成输出在所述验证集V上的误差;

所述蜜源码被选择的概率为所述蜜源码的适应度与所有蜜源码适应度总和的比值,所述蜜源码被选择的概率公式为:

Pi表示第i蜜源码被选择的概率;f为当前蜜源码的适应度;

fi表示第i蜜源码的适应度,EiV表示第i蜜源码所对应的集成输出在所述验证集V上的误差。

本发明的进一步改进在于,所述S9步骤中,所述新蜜源码的位置与当前所述蜜源码的位置的关系是:

X(n+1)=X(n)+r2(X(n)-Xk(n));

其中,X(n)表示当前所述蜜源码的位置,X(n+1)表示所述新蜜源码的位置,r2为随机数且-1≤r2≤1,1≤k≤N;Xk(n)为不同于当前所述蜜源码位置的一随机蜜源码位置。

本发明由于采用了以上技术方案,使其具有以下有益效果:

本发明通过改进的算法,使得本发明的方法具有算法简单、灵活性强和鲁棒性强的优点。

附图说明

图1为本发明实施例的基于人工蜂群算法的选择性神经网络集成算法的流程图。

具体实施方式

下面根据附图1,给出本发明的较佳实施例,并予以详细描述,使能更好地理解本发明的功能、特点。

请参阅图1,本发明实施例的一种基于人工蜂群算法的选择性神经网络集成算法,包括步骤:

S1:输入参数并设置一基础学习器,参数包括一原样本集、一循环次数最大值、一阈值、一蜜源总数和一开采极限值;

S2:初始化一当前循环次数;

S3:利用自助法根据原样本集生成多组迭代样本集;

S4:将多组迭代样本集生成一神经网络;

S5:判断当前循环次数是否小于循环次数最大值,如是将当前循环次数加一并返回步骤S3,否则继续后续步骤;

S6:生成一蜜源码集,蜜源码集包括多个蜜源码,蜜源码与迭代样本集一一对应,将每一蜜源码的被采集次数置零;

S7:选定一蜜源码并判断当前蜜源码的被采集次数是否大于开采极限值,如是随机选择另一未被选定过的蜜源码,再继续后续步骤;如否,直接继续后续步骤;

S8:计算当前蜜源码的适应度并根据适应度确定的概率采用轮盘赌的方法选择一蜜源码并对该蜜源码进行开采;

S9:在当前蜜源码的位置的一固定范围内定位并生成一新蜜源码;

S10:计算新蜜源码的适应度;

S11:判断新蜜源的适应度是否大于当前蜜源码的适应度;如否,开采当前蜜源码,并将当前蜜源码的被采集次数加1;如是,选定新蜜源码并将新蜜源码加入蜜源码集,开采新蜜源码,并将新蜜源的被采集次数置一;

S12:记录当前各蜜源码的适应度的最大值;

S13:判断当前一迭代次数值是否小于预设的一迭代最大次数,如是继续后续步骤,如否返回步骤S7;

S14:获取当前神经网络和当前神经网络输出结果的集成。

其中,在步骤S3中:原样本集包括T组样本,利用自助法对原样本集中的T组样本有放回地抽取M组形成一迭代样本集,重复抽样N次,形成N组迭代样本集,其中,T、M和N为大于零的自然数,且T>M>N。

在步骤S6中:对每一迭代样本集随机生成一蜜源码,蜜源码为一N位的二进制数,各蜜源码形成蜜源码集。

在S7步骤中:另一未被选定过的蜜源码的位置与当前蜜源码的位置的关系是:

X(n+1)=Xmin(n)+r1(Xmax(n)-Xmin(n));

其中,X(n+1)表示另一未被选定过的蜜源码的位置,r1为随机数且0≤r1≤1;Xmin(n)为另一未被选定过的蜜源码的位置距离当前蜜源码的最小距离,Xmax(n)为另一未被选定过的蜜源码的位置距离当前蜜源码的最大距离。

在S8步骤中:蜜源码的适应度f为:

其中,V表示一验证集,EV表示当前蜜源码所对应的集成输出在验证集V上的误差;

蜜源码被选择的概率为蜜源码的适应度与所有蜜源码适应度总和的比值,蜜源码被选择的概率公式为:

Pi表示第i蜜源码被选择的概率;f为当前蜜源码的适应度;

fi表示第i蜜源码的适应度,EiV表示第i蜜源码所对应的集成输出在验证集V上的误差。

在S9步骤中,新蜜源码的位置与当前蜜源码的位置的关系是:

X(n+1)=X(n)+r2(X(n)-Xk(n));

其中,X(n)表示当前蜜源码的位置,X(n+1)表示新蜜源码的位置,r2为随机数且-1≤r2≤1,1≤k≤N;Xk(n)为不同于当前蜜源码位置的一随机蜜源码位置。

人工蜂群算法简单、灵活和鲁棒性强,因此将其和集成学习结合起来得到基于人工蜂群算法的选择性神经网络集成算法。首先利用Bootstrap方法产生多组迭代样本集,训练得到多个学习器,然后给每个学习器赋予能够反映其在集成中重要性的权重系数,组成权值向量个体,每个个体代表一个蜜源,将所有个体组成初始化的蜜源总体,代入人工蜂群算法寻优,最后利用得到的最优权向量(即:当前神经网络)和阈值进行比较,确定需要剔除的学习器,从而得到选择性集成学习的结果。

以上结合附图实施例对本发明进行了详细说明,本领域中普通技术人员可根据上述说明对本发明做出种种变化例。因而,实施例中的某些细节不应构成对本发明的限定,本发明将以所附权利要求书界定的范围作为本发明的保护范围。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1