一种基于Chernoff距离和SVM的高光谱数据多分类方法

文档序号:9631823
一种基于Chernoff距离和SVM的高光谱数据多分类方法
【技术领域】
[0001] 本发明属于模式识别领域,涉及一种优化训练数据的基于Chernoff距离的SVM分 类方法。
【背景技术】
[0002] 高光谱图像数据通常由数百个连续分布的波段构成。把整个数据看成一个三个 维度数据长方体,其中两维确定对象在观测平面中的位置,第三维确定对象在光谱波长中 的位置。以AVIRIS(AirborneVisible/InfraredImagingSpectrometer)高光谱数据为 例,相邻两个波段之间一般仅相隔l〇nm左右。由于图像空间相邻波段的波段间相关性非常 强,使得传统分类方法必须进行降维之后才能继续处理数据,常用的方法为波段选择。因为 核方法(kernelmethod)受输入空间高维数的影响很小,所以越来越多的研究者选择核方 法。无论是否选择波段选择,核方法都具有优良的分类性能,例如我们非常熟悉的支持向量 机(SupportVectorMachines,SVM)分类器。但是,很少有研究致力于扩展SVM方法使其 更适合高光谱数据的多分类应用。
[0003] 分类错误概率是模式识别中特征有效性的最佳度量,特征选择的理想目标使达到 分类错误概率最小。但这点往往难于做到。因此错误概率上界最小常常是一种合理的选择。 Chernoff提出的错误概率上界是最小的,称Chernoff上界。Chernoff上界可以有效提高 单个核分类器的分类精度,且对于核分类器的分类策略有一定的指导作用。
[0004] 由于SVM在本质上只能完成二分类任务,高光谱数据的典型多分类应用往往需要 借助多个SVM及一定的策略来构建多分类器。目前利用高光谱数据第三维信息对SVM进行 改进的工作主要集中在以下两个方面:一是对高光谱输入数据进行滤波处理,二是生成定 制化的核函数。但是这些方法都只针对统一的SVM。对于组建多分类器的各SVM,以往的研 究都采取了一致对待的简单方案。更加精确的方法是采取一种更为有利的多分类方案,BP 根据各子分类器所处理的两类对象的特点对其进行核函数的单独定制。在多分类策略上, 广泛应用的是 0AA(0ne-Against_All,一对多)和 0A0(0ne-Against_0ne,一对一)两种策 略,他们各有优缺点,前者的子分类器数量较少,但各子分类器的训练时间较长,后者的子 分类器数量较多,但各子分类器的训练时间较短。而分类精度方面,二者在经过参数寻优之 后差别并不大。

【发明内容】

[0005] 本发明的目的在于提出一种改进的基于Chernoff距离的SVM分类方法,通过引 入Chernoff距离加权矩阵,使得分类器在训练的过程中充分利用样本的类间信息,且利用 Chernoff距离对0ΑΑ策略分类顺序选择给予指导,不仅提高了传统的SVM方法的精确度,而 且对小样本类别的分类精度有较大的提高,适用于基于0ΑΑ分类策略的高光谱图像模式识 别应用。
[0006] 本发明的目的是通过以下技术方案实现的:
[0007] -种基于Chernoff距离和SVM的高光谱数据多分类方法,包括如下五个步骤:
[0008] -、对输入数据进行预处理,得到归一化数据;
[0009] 二、计算任意两个类别之间的Chernoff距离,得到Chernoff距离矩阵;
[0010] 三、确定多分类任务0ΑΑ策略下的执行顺序表,得到每个波段以及全波段的可分 性度量;
[0011] 四、构建基于Chernoff距离的子分类器指导系数;
[0012] 五、采用基于Chernoff距离的加权SVM分类器执行整个0ΑΑ策略所确定的分类任 务,直到得到各个测试样本的最终单一类别属性。
[0013] 本发明与现有技术相比,具有如下优点:
[0014] 1、在传统的SVM分类方法中,引入Chernoff距离加权矩阵,使得分类器在训练的 过程中充分利用样本的类间信息,从而改善分类效率。由于本方法在各子分类器的优化上 采取了更具有针对性的做法,因而能够有效地提高各子分类器的分类精度,从而提高多分 类器的最终分类精度。
[0015] 2、与传统的0ΑΑ分类策略相比,本方法中利用对0ΑΑ策略下的各子分类器执行顺 序给予指导,具体是通过利用Chernoff计算得到的总体可分性度量来确定该执行顺序表, 这就使得可分性好的类别首先从测试样本中分出去,可分性不好的类别则依次放在最后进 行区分。而且,在每次子分类器进行分类的时候,所采用的加权系数,即分类指导系数,都是 根据剩下的类别来综合计算的,已经分出的类别并没有考虑,这也增强了加权分类的针对 性,从而将每个子分类器的分类误差进一步降低。
【附图说明】
[0016] 图1为本发明的流程图;
[0017] 图2为高光谱图像数据原始图;
[0018] 图3为高光谱图像数据标签图;
[0019] 图4为标准SVM核函数分类效果图;
[0020] 图5为基于Chernoff距离的核函数分类效果图。
【具体实施方式】
[0021] 下面结合附图对本发明的技术方案作进一步的说明,但并不局限于此,凡是对本 发明技术方案进行修改或者等同替换,而不脱离本发明技术方案的精神和范围,均应涵盖 在本发明的保护范围中。
【具体实施方式】 [0022] 一:本实施方式提供了一种基于Chernoff距离和SVM的高光谱数 据多分类方法,通过预处理将输入数据正规化,计算任意两个类别之间的Chernoff距离并 利用可分性度量指导0AA(0ne-Against-All,一对多)策略分类顺序以提高分类精度,利用 Chernoff距离向量对单个子分类器进行加权,接着多次使用加权SVM分类器对样本分类。
[0023] 如图1所示,共分为五个步骤,具体步骤如下:
[0024] 步骤一:设置训练样本与测试样本。
[0025]1)对于拍摄的多光谱遥感图像...其中Row,Co1 umn表示多光谱遥感图 像的宽和长,B表示多光谱遥感图像的波段数目,设xzeRB,z= 1,2, ...,N是B维样本,yze{1,2, . . .,L}是与X2相关的类别标签,其中N是样本数目,L是类别数目。
[0026] 2)将同一类别的像素全部集中到一起,对所有像素中涉及到分类类别的像素都这 样处理。
[0027] 3)给分组系数Group赋值,同时该系数也就是常说的"几折交叉验证"的折数。
[0028] 4)将原始样本分为训练样本与测试样本,分别用二维矩阵TrainSamples和 TestSamples来表示,列向量对应单一像素的各波段的光谱信息数据,其中训练样本占总样 本的Ι/Group,其余(1-Group)/Group剩余样本为测试样本。
[0029] 5)对训练样本和测试样本进行归一化处理。
[0030] 步骤二:计算两个不同类别之间的Chernoff距离。
[0031] 1)选择两个不同的类别,设为第p类和第q类。
[0032] 设np和nq分别为训练样本中第p类和第q类样本的个数。对于样本的第k-1、k 和k+1三个波段,首先将这三个波段的数据进行归一化处理,接着将这三个波段上的第p类 和第q类样本的数据按照列向量的形式存到两个临时变量矩阵Dp和Dq中,其中Dp为ηpX3 维的矩阵,Dq为nqX3维的矩阵。
[0033] 2)计算Dp与Dq每一列的均值,得到两个1X3的均值矩阵Meanp与Meanq〇
[0034] 3)计算Dp与Dq的协方差,得到两个3X3的协方差矩阵Covp与Covq。
[0035] 4)对所有两两不相同的类别进行Chernoff距离计算:
[0036]
[0037] 其中,Qkq,q为第p类和第q类之间的Chernoff距离,k为当前波段号,Meanp与 Meanq分别为第p类和第q类在第k-1、k和k+Ι三个波段上的均值矩阵,Covp与Covq分别 为第P类和第q类在第k-1、k和k+1三个波段上的协方差矩阵,β为Chernoff距离调节 参数,且0 <β< 1。多次改变β可以为分类器找到合适的误差上界。
[0038] 5)通过4)中计算的Chernoff距离构建Chernoff距离矩阵:
[0039]
[0040] 由于Chernoff距离为两个不同类别之间的参数,所以对角线上的元素为0,Cp,q为 BX1 的向量,,p= {1,2, · · ·,L},q= {1,2, · · ·,L}且p辛q。 将第P类和第q类之间的距离与第q类和第P类之间的距离合并成一个距离。
[0041] 6)重复第1)到第5)步,直到对训练样本任意两个类别的所有维度都进行了 Chernoff距离的计算过程为止。
[0042] 步骤三:确定多分类任务0ΑΑ策略下的执行顺序表。
[0043] 多分类任务考虑类别总数大于等于3的情况。不同于普通的0ΑΑ策略,本方法利 用Chernoff距离指导0ΑΑ分类顺序。
[0044] 1)对第p类训练样本与其他类别的Chernoff距离向量求和,得到每个波段上对其 他所有类别的Chernoff距离向
+作为子分类器的指导系数。每个波段上第 P类训练样本与其他类别的Chernoff距离为
[0045] 2)将|中每个波段相加,得到第p类在所有波段上对其他所有类别的总体可分性 度量之=|>^ 7=1
[0046] 3)将所有类别的总体可分性度量按数值大小递减的顺序排列,则0ΑΑ策略下的执 行顺序表即为该排列顺序,用有序集〈ClassyClass2,. . .Class:,. . .,ClassJ表示,其中 CIbss^^ {1,2,· · ·,L},1 - 1,2,· · ·,L〇
[0047] 步骤四:构建基于Chernoff距离的子分类器指导系数。
[0048] 当0ΑΑ策略下的执行顺序确定之后,我们即可通过L个子分类器(每个子分类都 是二分类器)来完成所有L类的分类任务,具体执行顺序为:首先通过ClaSSl和所有剩余 类别的二分类来确定出测试样本中标签序号等于ClasSl的样本,接着通过Class2和所有剩 余类别(注意此时已经不含有ClasSl类别)的二分类来确定出测试样本中标签序号等于 Class2的样本,依次执行下去,最后一个二分类器将判断Class^i和Class^的类别归属。
[0049] 具体每一个子分类器都将含有一个基于Chernoff距离的子分类器指导系数,用 于提高各子分类器的分类性能,获得置信率更高的分类结果,该子分类器指导系数的计算 过程具体如下:
[0050] 1)对于最先分类的类别Class!,若Class!:i,其中ie{1,2, · · ·,L},即Classi 对应的类别为第i类,位于Chernoff矩阵中的第i行,则子分类器指导系数为:
[0051]
[0052] 其中,C1>q为Chernoff矩阵中第i行,第q列的元素。
[0053] 2)按照 0ΑΑ策略下的执行顺序表〈Class^Class;;,· · ·Alassp. · ·,ClassL>,进行 到Classj^时候,若Class:=j,其中je{1,2,. . .,L},计算时把已分类类别的Cherno
再多了解一些
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1