本发明属于遥感技术领域,具体涉及一种协同演化算法优化的支持向量机湿地遥感分类方法。
背景技术:
支持向量机(svm)是一种基于统计学习理论的新型的机器学习方法,该方法以统计学习理论中的vc维和结构风险最小化原理为基础,借助核函数将线性不可分问题转化为线性可分问题,使问题最终转化为求解凸二次规划问题,克服了“维数灾难”和“过学习”,在小样本、非线性以及高维模式识别中具有突出优势,现已在诸多应用领域取得很好的效果,成为机器学习领域的研究热点。
研究表明,参数的选择对于支持向量机的求解性能有着重要意义。目前,将智能算法融入到svm的参数选择当中是svm参数优化的主要方法。在遥感领域,有学者利用支持向量机进行分类及信息提取。lyu,aporwal,ejholden,mcdentith.towardsautomaticlithologicalclassificationfromremotesensingdatausingsupportvectormachines[j].computers&geosciences2010,45(6):229-239提出了改进的基于网格搜索的优化支持向量机参数的遥感分类方法。臧淑英,张策,张丽娟,张玉红.遗传算法优化的支持向量机湿地遥感分类.地理科学[j]2012,32(4):434-441提出了遗传算法优化的支持向量机进行遥感分类,然而将支持向量机与协同演化算法相结合在遥感分类研究中尚未出现。
技术实现要素:
本发明的目的提供了一种协同演化算法优化的支持向量机湿地遥感分类方法,本发明采用pso-ga协同演化算法对svm模型参数进行优化选择,并将粒子群算法pso和遗传算法ga相结合,以获得最优化参数和高精度分类,对演化策略进行概率选择。
为实现上述目的,本发明采取的技术方案如下:
一种协同演化算法优化的支持向量机湿地遥感分类方法,所述方法步骤如下:
一、个体编码方式
由于svm分类器的两个调节参数为实数,所以采用实数编码方法;其中,每个个体用如下的向量表示:
上式(5)中,indi表示不定因子个体;
依据此编码方式,则将核函数参数优化问题转换为寻找最佳个体的问题;
二、计算个体适应度函数
选择分类识别精度作为计算个体的适应度函数;适应度函数如下:
f(x)=max(precision)=max(tp/(tp+fp))(6)
上式(6)中,precision表示预测精度;
其中tp为被正确地划分为正例的个数,fp为被错误地划分为正例的个数;
三、pso-ga协同演化算法
(1)初始化种群及参数
设n为种群规模,迭代次数g,ga交叉概率
在第k代开始时,pso-ga协同演化算法根据策略选择概率μ(k)选择本代的演化策略;
(2)pso演化策略
pso-ga所使用的pso演化策略在搜索空间ω内采用群体的最优位置gi和个体的历史最优位置pi来调控粒子当前速度;按照公式(7)产生k+1代候选解x′(k+1);
上式(7)中,ω表示超平面的法向量、vi表示速度、v′i为下一时刻速度;
(3)ga演化策略
pso-ga所使用的ga演化策略要解决的优化问题定义为:
式中,f是实值函数,x={x1,x2,...,xm}t为在rn空间内变量集,其中x为式(8)中x的最优解集合,ω为所有可行解集合,其中σ2∈[0.01,50],c∈[1,1000];
(4)选择子代
在第k代演化结束后,从|x(k)∪x′(k+1)|个个体中,采用基于转盘式选择思想,选择n个个体构成最终子代x(k+1);具体做法是:以个体的相对适应值作为该个体在下一代中存活的概率,并使每个个体都有机会根据其相对适应值而被选中;实施该策略的步骤如下:
步骤一:顺序累计种群中各个体适应度值fi,得到适应度的累加值
步骤二:计算各个体被选中的概率pi=fi/sn;
步骤三:累计pi,求得累计概率
步骤四:产生[0,1]内的均匀分布的随机数r,若满足gi-1<r≤gi,则选择个体i;
步骤五:反复执行步骤四,直到产生的个体数目等于种群规模;
(5)更新策略的选择概率
第k代演化结束后,根据x(k+1)中每个子代个体及其对应父代个体x(k),对μ(k)进行如下更新;
针对x(k+1)代中个体,如果是来自于父代的演化,说明第k代使用的演化策略为当前的优势策略;为促使演化过程尽快收敛,应提高该演化策略h的选择概率μ(k)(h),同时降低其他演化策略l的选择概率μ(k)(l),并确保μ(k)(h)+μ(k)(l)=1。
本发明相对于现有技术具有的有益效果是:
实验结果表明,该算法同其他智能算法进行精度对比,得到了更好的执行效率和分类性能。本发明采用pso-ga协同演化算法对svm模型参数进行优化选择,该算法结合pso和ga,以获得最优化参数和高精度分类为设计方案,对演化策略进行概率选择,pso的优势在于其对解的记忆能力及高效的收敛速度,但是容易陷入到局部最优解,表现为极强的趋同性和较低的种群多样性。ga算法采取概率的方式保留一些具有潜在寻优能力的候选解,提高了种群的多样性,但其收敛速度相对较慢。两种演化计算方式的结合,既保证全局搜索能力以防止陷入局部最优,又提升演化速度。
具体实施方式
下面对本发明的技术方案作进一步说明,但并不局限于此,凡是对本发明技术方案进行修正或等同替换,而不脱离本发明技术方案的精神范围,均应涵盖在本发明的保护范围之中。
具体实施方式一:
1.基本原理及其性能分析
1.1支持向量机分类原理
支持向量机(svm)的机理是寻找一个满足分类要求的最优分类超平面,使得该超平面在保证分类精度的同时,能够使超平面两侧的空白区域最大化;以两类数据分类为例,给定训练样本集(xi,yi),i=1,...,l;x∈rn,y∈{+1,-1},超平面记作(w·x)+b=0,为使分类面对所有样本正确分类并且具备分类间隔,就要求它满足如下约束:
yi[(w·xi)+b]≥1i=1,2,…,l(1)
上式(1)中w表示超平面的法向量、b表示偏置;
可以计算出分类间隔为2/||w||,因此构造最优超平面的问题就转化为在约束式下求:
上式(2)中φ(w)为代价函数,w′为w的转置;
在高维空间中,如果训练样本不可分或者事先不知道它是否线性可分,将允许存在一定数量的错分类样本,引入非负松弛变量ζi;上述问题转化为线性约束条件下的二次规划问题:
然而,在实际分类中,很难保证类别之间线性可分;对于线性不可分情况,支持向量机引入核函数技术,将输入向量映射到一个高维的特征向量空间,并在该特征空间中构造最优分类面;由于径向基核函数具有的良好性能,在实际应用中,一般选择径向基核函数作为支持向量机分类的核函数:
k表示径向基核函数;
1.2粒子群算法(pso)和遗传算法(ga)
pso是一种基于迭代的优化算法,系统初始化为一组随机解,通过迭代搜寻最优值;该算法规则简单,易于实现,算法精度高、收敛快,并且在解决实际问题中展示了其优越性但容易陷入到局部最优解,表现为极强的趋同性和较低的种群多样性;ga是一种随机搜索的算法,在遗传机理与生物自然选择基础上发展而来的算法,能很好的解决最优问题;该算法采取概率的方式保留一些具有潜在寻优能力的候选解,提高了种群的多样性,但其收敛速度慢;ga与pso的演化特征具有互补性,结合pso和ga进行算法设计,能够提高收敛速度并实现深度和广度的优化过程;
1.3支持向量机中参数对分类性能的影响
以径向基函数为核函数的svm分类器有两个可调参数,核函数参数σ2和误差惩罚因子c;核函数参数σ2主要影响样本数据在高维特征空间中分布的复杂程度,而误差惩罚因子c的作用是在确定的特征空间中调节学习机的置信范围和经验风险的比例;因此要想获得推广能力良好的svm分类器,首先要选择合适的σ2将数据映射到合适的特征空间,然后针对该确定的特征空间寻找合适的c以使学习机的置信范围和经验风险具有最佳比例;这就使得对svm核函数参数σ2和c同时进行优化具有重大意义;除了在同一特征空间优化c以获得对应该空间的最优svm,还要优化核函数参数σ2以获得全局最优的svm;
2优化svm参数的协同演化算法
2.1算法设计思路
根据nfl(nofreelunch)理论,不存在适用于所有问题的优化算法;但对于一些特定的优化问题,则能够通过协同演化进行优化算法设计,提高优化算法获取最优解的期望;从结构上看,协同演化算法分为串行协同和并行协同;其中,串行协同是指在每一代中顺序执行多个演化策略;并行协同通过策略选择概率,在多个策略中依历史信息,选择适用于当前演化过程的演化策略;与串行协同相比,并行协同对不同优化问题的适应性更强、时间复杂度更低;本发明基于pso(particleswarmoptimization)和ga(geneticalgorithm)演化策略设计适用于优化支持向量机参数的pso-ga协同演化算法;
2.2个体编码方式
由于svm分类器的两个调节参数为实数,所以采用实数编码方法;这种编码方法计算速度更快,并且更能够稳定的收敛于全局最大值;此类实数编码方式是现有研究中被使用的方法,其中,每个个体用如下的向量表示:
上式(5)中,indi表示不定因子个体;
依据此编码方式,则将核函数参数优化问题转换为寻找最佳个体的问题;
2.3计算个体适应度函数
协同演化策略需要对个体进行评价,因此需要寻找一种将核函数参数作为个体进行评价的适应度函数,本发明选择分类识别精度作为计算个体的适应度函数;适应度函数如下:
f(x)=max(precision)=max(tp/(tp+fp))(6)
在上式(6)中,precision表示预测精度;
其中tp为被正确地划分为正例的个数,fp为被错误地划分为正例的个数;
2.4pso-ga协同演化算法
(1)初始化种群及参数
设n为种群规模,迭代次数g,ga交叉概率
在第k代开始时,pso-ga协同演化算法根据策略选择概率μ(k)选择本代的演化策略;
(2)pso演化策略
pso-ga所使用的pso演化策略在搜索空间ω内采用群体的最优位置gi和个体的历史最优位置pi来调控粒子当前速度;按照公式(7)产生k+1代候选解x′(k+1);
上式(7)中ω表示超平面的法向量、vi表示速度、v′i为下一时刻速度;
(3)ga演化策略
pso-ga所使用的ga演化策略要解决的优化问题定义为:
式中,f是实值函数,x={x1,x2,...,xm}t为在rn空间内变量集,其中x为式(8)中x的最优解集合,ω为所有可行解集合,其中σ2∈[0.01,50],c∈[1,1000];
(4)选择子代
在第k代演化结束后,从|x(k)∪x′(k+1)|个个体中,采用基于转盘式选择思想,选择n个个体构成最终子代x(k+1);具体做法是:以个体的相对适应值作为该个体在下一代中存活的概率,并使每个个体都有机会根据其相对适应值而被选中;实施该策略的步骤如下:
步骤一:顺序累计种群中各个体适应度值fi,得到适应度的累加值
步骤二:计算各个体被选中的概率pi=fi/sn;
步骤三:累计pi,求得累计概率
步骤四:产生[0,1]内的均匀分布的随机数r,若满足gi-1<r≤gi,则选择个体i;
步骤五:反复执行步骤四,直到产生的个体数目等于种群规模;
(5)更新策略的选择概率
第k代演化结束后,根据x(k+1)中每个子代个体及其对应父代个体x(k),对μ(k)进行如下更新;
针对x(k+1)代中个体,如果是来自于父代的演化,说明第k代使用的演化策略为当前的优势策略;为促使演化过程尽快收敛,应提高该演化策略h的选择概率μ(k)(h),同时降低其他演化策略l的选择概率μ(k)(l),并确保μ(k)(h)+μ(k)(l)=1。
3实验分析
3.1数据准备与湿地分类体系
采用2015年6月14日过境的landsattm5影像(轨道号120/27),分辨率为30m,均匀选取控制点;通过二次多项式几何精校正到albersconicalequalarea投影下,并对研究区域进行了裁剪.利用扎龙保护区配准后的1∶50000地形图构建数字高程模型(dem),分别提取样本光谱特征变量和纹理特征变量及gis辅助特征变量,共组成50维特征变量的矩阵作为初始的实验数据;
综合考虑研究区地物形态,将研究区域划分为6种地物类型,分别为:耕地、草地、沼泽湿地、水体、居民地、未利用地.
3.2实验配置
设置种群规模为50,迭代次数g为200,ga交叉概率
本发明训练集采用6种类型地物各选取300个训练样本,尽可能地保证属于各类地物的“蓝本”,均匀分布于整个研究区.最终确定核函数最优参数σ2为17.336,c为91.453,此时的训练精度为95.18%,以该寻优参数构造svm分类器并用于测试.测试集在6种类型地物各选取40个测试样本。
3.3分类验证及对比分析
为了验证本发明提出算法的有效性,将其优化的核函数参数同遗传算法优化的svm参数和网格搜索优化的svm参数进行分类精度验证,结果见表1,2和3所示;
表1pso-ga协同演化算法优化svm机湿地遥感分类精度
表2遗传算法优化svm湿地遥感分类精度
表3网格搜索优化svm湿地遥感分类精度
对比表1和表2可知,pso-ga协同演化算法优化的svm湿地遥感分类与遗传算法优化的svm湿地遥感分类相比,在不同地物上分别有不同程度的精度提高,尤为显著的是在草地和耕地中,制图精度分别提高了17%和12%左右,在居民地和耕地中,用户精度提高了17.5%和10%。草地、耕地与居民地三者光谱相似,群落相互之间没有严格的界限,协同演化算法优化的支持向量机依然能做出准确地区分。
4结论
本发明提出的pso-ga协同演化算法优化svm参数的湿地遥感分类方法,通过建立种群之间的竞争或合作关系以及相互作用来提高各自性能,适应复杂系统的动态演化环境,以达到种群优化的目的;该方法是一种有效的湿地遥感分类手段,具有一定的普适性和应用价值。