基于一种复合核函数的高光谱分类方法
【专利摘要】本发明提供的是基于一种复合核函数的高光谱分类方法。输入一幅高光谱图像，类别数为N；以支持向量机为基分类器，同时从所述高光谱图像每个类别中随机地选取s个样本组成训练集，剩余样本组成测试集，确定各参数的变化范围，然后结合K次交叉验证确定支持向量机的最优性能参数，包括惩罚因子和核参数；利用复合核构建策略，构造复合核函数，对支持向量机进行训练；利用训练过程得到的支持向量机判决函数的参数，循环N次，进而得到测试集属于每类别的判决函数值，组成矩阵确定多分类器策略，即找到矩阵每列的最大值。本发明具有可以更好的描述数据集的分布特征，且分类精度相对较高等特点。其参数优化所消耗的时间相对于传统多核学习方法也相对较短。
【专利说明】基于一种复合核函数的高光谱分类方法
【技术领域】
[0001]本发明涉及的是一种高光谱图像的分类方法，特别是基于一种新复合核函数的高光谱分类方法(Hyperspectral Image Classificat1n Based on A New CompositeKernel)。
【背景技术】
[0002]近些年，卫星传感器的发展提高了空间分辨率和光谱分辨率，同时也缩短了访问时间，进而为高光谱分类方法的发展创造了条件。神经网络分类器，K近邻分类器，贝叶斯分类器，决策树分类器以及基于核的分类器等已经广泛地应用于高光谱领域，其中基于核函数的分类方法得到越来越多的关注。支持向量机(Support Vector Machine, SVM)是最为典型的基于核函数的分类方法，在处理有限的高维训练样本时，依然可以取得良好的分类性能，使得其在高光谱分类中占有一定的地位。鉴于实际数据的多源性且表达方式的多样性，传统的单核已不足以满足实际需求。近十多年里，多核学习(Multiple KernelLearning，MKL)技术得到了关注和发展，主要从四个方面进行改进:1)多核学习策略的改进；如Rakotomamonjy等提出的简单多核学习(Simple-MKL)，其使用梯度下降法来解决多核学习问题。2)参数优化的改进；Li等提出不使用任何凸约束项的参数优化方式。3)多个核函数结合方式的改进；如Xia等利用了 boosting的结合方式。4)快速策略的改进；如611等人提出高光谱分类的代表性多核学习。最为常见的多核学习方法为混合核函数(MixtureKernels，MKs)，即将多个核函数线性加权求和，该核函数的有效性已经得到了验证且广泛地应用于高光谱分类领域。但是其在训练过程中，参数优化所消耗的时间却也是巨大的。
【发明内容】
[0003]本发明的目的在于提供一种可以更好的描述数据集的分布特征，且分类精度相对较高，参数优化所消耗的时间相对较短的基于一种复合核函数的高光谱分类方法。
[0004]本发明的目的是这样实现的:
[0005]步骤1:输入一幅高光谱图像，类别数为N ；
[0006]步骤2:以支持向量机为基分类器，同时从所述高光谱图像每个类别中随机地选取s个样本组成训练集，剩余样本组成测试集，确定各参数的变化范围，然后结合K次交叉验证确定支持向量机的最优性能参数，包括惩罚因子和核参数；
[0007]步骤3:利用复合核构建策略，构造复合核函数，对支持向量机进行训练；
[0008]步骤4:利用训练过程得到的支持向量机判决函数的参数，循环N次，进而得到测试集属于每类别的判决函数值，组成矩阵，其中ntest表示测试样本的个数；
[0009]步骤5:确定多分类器策略，即找到矩阵每列的最大值，其行序号对应每个测试样本的预测标签，i = ntest。
[0010]本发明的特点在于:
[0011]1、参数设置过程中基分类器的选择可以使用其他基于核的分类器代替支持向量机。
[0012]2、参数设置过程中最优性能参数的确定，是采用网格搜索和K次交叉验证相结合的方式。
[0013]3、训练过程中复合核函数的构建是通过多次非线性映射而得到的，计算如下:
[0014]K1 (χ, ζ) = Φ ! (χ).Φ ! (ζ)
[0015]K2 (χ, ζ) = Φ2 [ Φ ! (χ) ].Φ2[ Φ ? (ζ) I
[0016]
[0017]Km(χ, ζ) = ΦΜ[ ΦΜ_! (χ) ].Φι,?ΦΜ-^ζ)]
[0018]其中ΚΜ(χ，ζ)表示样本χ和ζ的核函数，ΦΜ表示第M次非线性映射函数。ΦΜ可以是高斯映射，多项式映射或是其他非线性映射，且当M = 2时，基于该复合核函数分类器的分类性能可达到收敛状态。
[0019]4、当M = 2时，复合核函数的参数优化时间要远小于传统的混合核函数的参数优化时间。
[0020]基于上述特点，本发明提出的基于一种新复合核函数的高光谱分类方法具有可以更好的描述数据集的分布特征，且分类精度相对较高等特点。与此同时，其参数优化所消耗的时间相对于传统多核学习方法也相对较短。
【专利附图】
【附图说明】
[0021]图1为本发明的基于一种复合核函数的高光谱分类方法流程图。
[0022]图2a-图2b为高光谱图像Indian Pines，其中:图2a为灰度图、图2b为参考地物类别。
[0023]图3a_图3b为双月牙形模拟数据集分类边界视觉图，其中:图3a为高斯核函数Gauss分类边界视觉图、图3b为连续高斯映射复合核函数G(G)分类边界视觉图。图中空心符号代表测试样本，实心符号代表训练样本。
[0024]图4为针对高光谱数据集Indian Pines不同核函数分类性能比较表I。表格中Linear表示单一线性核函数，Polynomial表示单一多项式核函数，Gauss表示单一高斯核函数，MKs表示混合核函数，G (G)表示连续高斯映射复合核函数，G (P)表示多项式-高斯映射复合核函数，P(G)表示高斯-多项式映射复合核函数，P (P)表示连续多项式映射复合核函数。
[0025]图5为不同核函数参数优化时间对比表2。
[0026]图6为不同的训练样本数目对不同核函数分类性能的影响表3。
【具体实施方式】
[0027]下面结合附图举例对本发明做更详细地描述。
[0028]本发明为基于一种新复合核函数的高光谱分类方法，包括输入过程、参数设置、训练过程、分类过程以及输出过程五个步骤。输入过程即输入一幅高光谱图像；参数设置是初始化以及参数优化的过程；训练过程是以支持向量机为基分类器，训练基分类器模型的过程；分类过程是利用上述过程得到的模型参数，从而给出测试集属于每类别的判决函数值过程；输出过程是确定多分类器策略，且给出测试样本预测标签的过程。下面给出详细过程:
[0029]具体分析步骤如下:
[0030]步骤S1:输入过程。输入一幅高光谱图像，N表示类别数。
[0031]步骤S2:参数设置。从图像中每个类别中随机地选取s个样本组成训练集，剩余样本组成测试集。确定各参数的变化范围，然后结合K次交叉验证确定支持向量机的最优性能参数。该步骤进一步包括以下步骤:
[0032]步骤S2.1:样本集的确定；从高光谱图像的N个类别中每类随机地选取s个样本组成有标签训练样本集D = ((X11Y1),..., (xn，yn)}，其中Xi表示第i个有标签样本的光谱特征，Yi表示样本Xi的标签，n = 16s表示训练样本个数。剩余样本组成测试集馬《 ={%...*xH,, ntest表示测试样本个数。
[0033]步骤S2.2:参数范围的确定；采用多项式核函数以及高斯核函数为基本核函数进行复合核函数的合成。多项式核为ΚΡ(χ，ζ) = ΦΡ(χ).ΦΡ(ζ) = [(χ.z)+l]d,其参数为d, ΦΡ(χ)表示样本χ的多项式映射函数。高斯核为Ke(x，z) = Φ(；(χ).Φ(；(ζ)=exp (- |x-z I I2/σ2)，其高斯半径为σ，(j5e(x)表示样本χ的高斯映射核函数。支持向量机的惩罚因子C，高斯半径σ以及d的变化范围分别为:{2°，21，...，28}，{2_5，2_4，...，21}和{2-2，2-1，..，24}。
[0034]步骤S2.3:K次交叉验证；在每个参数组合情况下，将训练样本集D分割成K个子集，依次保留一子集用于测试，其余的K-1个子集用于训练SVM分类器模型。交叉验证重复K次，每个子集验证一次，且计算K次分类精度的平均值。当平均精度达到最大值时，说明该参数组合为最优的。
[0035]步骤S3:训练过程。利用复合核构建策略，构造复合核函数，对支持向量机进行训练。该步骤进一步包括以下步骤:
[0036]步骤S3.1:复合核函数的构建；通过多次非线性映射得到复合核函数，计算如下:
[0037]K1 (χ, ζ) = Φ ! (χ).Φ ? (ζ)
[0038]K2 (χ, ζ) = Φ2 [ Φ ! (x) ].Φ2[ Φ ? (ζ) I
[0039]...
[0040]Km(χ, ζ) = ΦΜ[ ΦΜ_! (χ) ].ΦμΙΙΦμ-Χζ)]
[0041]其中ΚΜ(χ，ζ)表示样本χ和ζ的核函数，ΦΜ表示第M次非线性映射函数。ΦΜ可以是高斯映射，多项式映射或是其他非线性映射，且当M = 2时，基于该复合核函数分类器的分类性能可达到收敛状态。当M = 2时，Ke(e)，KG(P), KP(G)和KP(P)分别为连续高斯映射复合核函数，多项式-高斯映射复合核函数，高斯-多项式映射复合核函数以及连续多项式映射复合核函数。表达式如下:
[0042]KG(G) (χ, ζ) = Φ^Φ^χ)].Φ0[Φ0(ζ)]
[0043]= exp [-1 I φ G (χ) - φ G (ζ) | |2/ σ 22](I)
[0044]
[0045]= exp[-[ Φ(；(χ).<J>G(x)+ <J>G(z).Φ<；(ζ)-2 Φ<；(χ).Φ<；(ζ) ]/ σ 22]
[0046]= exp[-[Kg(χ, χ) +Kg(ζ, ζ)_2Kg(χ, ζ)] / σ 22]
[0047]KG(P) (χ, ζ) = Φ(；[Φρ(χ)].Φ0[ΦΡ(ζ)]
【权利要求】
1.基于一种复合核函数的高光谱分类方法，其特征是: 步骤1:输入一幅高光谱图像，类别数为N ； 步骤2:以支持向量机为基分类器，同时从所述高光谱图像每个类别中随机地选取s个样本组成训练集，剩余样本组成测试集，确定各参数的变化范围，然后结合K次交叉验证确定支持向量机的最优性能参数，包括惩罚因子和核参数； 步骤3:利用复合核构建策略，构造复合核函数，对支持向量机进行训练； 步骤4:利用训练过程得到的支持向量机判决函数的参数，循环N次，进而得到测试集属于每类别的判决函数值，组成矩阵，其中ntest表示测试样本的个数； 步骤5:确定多分类器策略，即找到矩阵1每列的最大值，其行序号对应每个测试样本的预测标签，fi € ys I = I5,,.,Hlel,
2.根据权利要求1所述的基于一种复合核函数的高光谱分类方法，其特征是:所述步骤2具体包括: 步骤2.1:从高光谱图像的N个类别中每类随机地选取s个样本组成有标签训练样本集D = {(X1, Y1),, (xn, yn)}，其中Xi表示第i个有标签样本的光谱特征，Ii表示样本Xi的标签，n = 16s表示训练样本个数，剩余样本组成测试集=丨*1，…}，ntest表示测试样本个数； 步骤2.2:采用多项式核函数以及高斯核函数为基本核函数进行复合核函数的合成，多项式核为ΚΡ(χ，ζ) = ΦΡ(χ).ΦΡ(ζ) = [(X.z)+l]d,其参数为d, ΦΡ(χ)表示样本X的多项式映射函数；高斯核为Ke (X，ζ) = Φ(；(χ).Φ(；(ζ) = exp (-1 x-z I |2/ σ2)，其高斯半径为σ，Cj5e(X)表示样本X的高斯映射核函数；支持向量机的惩罚因子C，高斯半径σ以及d的变化范围分别为:{2°, 21，...，28}，{2_5，2_4，...，21}和{2_2，2-1，.., 24}； 步骤2.3:在每个参数组合情况下，将训练样本集D分割成K个子集，依次保留一子集用于测试，其余的K-1个子集用于训练SVM分类器模型，交叉验证重复K次，每个子集验证一次，且计算K次分类精度的平均值，当平均精度达到最大值时，该参数组合为最优的。
3.根据权利要求1或2所述的基于一种复合核函数的高光谱分类方法，其特征是:所述步骤3具体包括: 步骤3.1:通过多次非线性映射得到复合核函数，计算如下:
K1 (x, z) = Φι(χ).Φ“ζ)
K2 (x, ζ) = Φ 2 [ Φ ! (χ) ].Φ2[Φ!(ζ)]
ΚΜ(Χ，Ζ) = ΦμΕΦμ-Αχ)].Φι,?ΦΜ-! (ζ)] 其中Km(X，ζ)表示样本X和ζ的核函数，ΦΜ表示第M次非线性映射函数；ΦΜ是高斯映射，多项式映射或是其他非线性映射，且当M = 2时，基于该复合核函数分类器的分类性能达到收敛状态；当M = 2时，Ke(e)，KG(P), KP(G)和KP(P)分别为连续高斯映射复合核函数，多项式-高斯映射复合核函数，高斯-多项式映射复合核函数以及连续多项式映射复合核函数；表达式如下:
Kg(ο (χ, ζ) = Φ G [ Φ G (χ) ].Φ G [ Φ G (ζ) ] = exp [- | φ G (x) - φ G (ζ) | 2/ σ 22] (I) = exp [-[
其中χ和ζ表示两个像元，σ 2表示第二次高斯映射的高斯半径，d2表示第二次多项式映射的多项式参数；式(I) (3)中第一次高斯映射的高斯半径为σ i，式(2) (4)中第一次多项式映射的多项式参数为Cl1 ； 步骤3.2:对支持向量机进行训练，得到支持向量机决策函数的权重向量和阈值α *和b*。
【文档编号】G06K9/62GK104200217SQ201410386737
【公开日】2014年12月10日 申请日期:2014年8月7日 优先权日:2014年8月7日
【发明者】王立国, 郝思媛, 窦峥, 赵春晖 申请人:哈尔滨工程大学