一种新型多类支持向量机分类结果的最终决策方法

1.本发明涉及一种分类技术，尤其涉及一种新型多类支持向量机分类结果的最终决策方法。


背景技术：

2.与其他传统分类学习技术相比，支持向量计算机svm具备了精度高、计算速率快、泛化性能强等优势。svm的工作机理可概括为：寻找一个分类超平面，此平面不仅使得训练样本中的两类样本点能被分开，并且距离该平面尽可能地远；而对线性不可分的问题，则可通过核函数将低维输入空间的数据映射到高维空间，以便将原低维空间的线性不可分问题转化为高维空间上的线性可分问题。
3.对于线性可分的两类分类问题，其关键技术之一是寻找最优分类超平面，即寻找最优线性判别函数。设x
i
∈r
d
为样本数据，y
i
∈{+1,
‑
1}为相应的类别标号，其中i＝1,
…
,n。线性判别函数的一般形式为g(x)＝w
·
x+b，其相应的分类面为w
·
x+b＝0。
4.svm算法最初的目标是为二分类问题而设计的，即一类是+1，另外一类则是
‑
1，但在现实中我们需要完成多类分类，而不是简单的两分类，这就需要我们来构造合适的多类分类器。目前，构造支持向量机的多类分类器的方式主要有两种：一种方法是直接方式，即通过直接地修改目标函数，将多个被划分曲面的参数求解组合起来形成一个优化问题，可分为多个类别。这种方式虽然看似简单，但是由于计算的复杂性很高，实现起来很困难。另一种方法是间接方式，即通过组合多个分类器和两个分类器来实现多个分类器的构建，常见的方式有1
‑
a
‑
1型分类器和1
‑
a
‑
r型分类器。
[0005]1‑
a
‑
r(one
‑
against
‑
rest)型分类器即一对余型分类器。分类是通过赢家通吃策略来完成的，子分类器使用最高输出函数来指定类。首先，第一类训练标记为+1，其他类标记为
‑
1，这样经过一次svm训练就可以得到第一类，然后继续到其他类来分离第二类，以此类推直到结束。这种分类方法的优势之一就是子分类器的数量与分类中的数量相同，数量也比较少，分类的速度也比较快。缺点是每一个子模型的训练都必须是将所有的样本都作为一次训练样本，所以当我们要求解二次规划中出现的问题时，训练的速度就会随之由于训练样品的数目增加而出现急剧降低，且添加新类别时，所有模型都需要重新训练。
[0006]
图1为1
‑
a
‑
r型分类器示意图，如图1所示，该方法需要构造数个两类子分类器，将每一类与别的类别划分开，得到k个判别函数，以设计所需至少三类为例，有1，2，3类数据，需要构造三个子分类器，即1类为+1其余为
‑
1，2类为+1其余为
‑
1，3类为+1其余为
‑
1的三个子分类器。将测试集输入这三个子分类器进行测试，取最后输出值最大的即可能性最大的一类作为进行测试的样本的类别。
[0007]1‑
a
‑
1(one
‑
against
‑
one)型分类器即一对一型分类器，分类是使用最大获胜投票策略完成的，其中每个分类器将一个实例分配到两个类中的一个。每个svm分类器都可以被区分为两个不同的类别。数据被输入到这些子分类器中，根据结果进行投票，然后把投票都添加到指定的分类中，并根据投票的数量确定测试样本的类别。这种分类的优点是在训练
单个模型时相对较快。添加训练集时，不需要重新训练所有的支持向量机，只需要重新训练与新添加的训练集相关的子类。缺点是所需子类数随着类别的增加呈现二次函数关系，训练时间和测试时间相对较慢。
[0008]
图2为1
‑
a
‑
1型分类器示意图，如图2所示，该方法通过在每两类之间训练一个分类器，因此对于一个k类问题，要构造总计c(k，2)个两类分类器。以设计所需至少三类为例，有1，2，3类数据，需要构造c(3，2)＝3个子分类器，即能分出1类与2类，1类与3类，2类与3类的子分类器，将测试集输入这三个子分类器进行测试，分类时采用投票决策法，假如测试集是1类的数据，则能1类得到两票取胜。
[0009]
对于两类目标的分类问题，svm只需构造一个分类器直接得出分类判别结果；而对于多类目标分类问题，则需将其转化为多个两类目标分类问题，且需相应地构造多个两类目标子分类器。获得全部子分类器的判别结果后，传统方法采用或投票或最大概率的方式来决策出最后的类属判别结果，该方法数十年来一直沿用，判别结果都容易受到野值样本和子判别器的影响。如何突破传统，寻求更好的决策方式，其研究有其重要的现实意义和应用价值。近年来，学者们较多地研究了核函数的构造及各种算法的优化来提高svm的性能，使得svm技术在理论和应用方面都得到了极大发展。然而，对于由子分类器判别结果决策出最终判别结果的研究却相对较少。在此背景下，本发明提出一种新型多类支持向量机分类结果的最终决策方法。


技术实现要素：

[0010]
本发明的目的是提供一种新型多类支持向量机分类结果的最终决策方法，相对于传统决策方法，分类精度均能够达到更高的分类准确率，其中在使用线性核的情况下，新决策方法的效果提升更为显著。
[0011]
为实现上述目的，本发明提供了一种新型多类支持向量机分类结果的最终决策方法，包括以下步骤：
[0012]
s1、设原始训练样本为x
i
，i＝1，2，
…
k，类别数目为n，训练判别器时正类类别标签为l1，负类类别标签为l2，其中l1＞l2，子判别器数量为m，利用训练样本及其类别标签信息训练得到结果不做二值量化的m个判别函数，分别记为f1(
·
)，f2(
·
)，
…
，f
m
(
·
)，数值范围约在l1～l2之间；
[0013]
s2、记若对应类别j，则规定其类别标签为j(j∈{1，2，
…
，n})，利用训练样本及其类别标签信息训练得到结果已做n值量化的最终决策判别器，决策判别器的输出结果f(
·
)即为相应样本的类别判别结果。
[0014]
优选的，步骤s1中m与n之间具有依赖关系。
[0015]
优选的，子判别器为svm或者svm变体。
[0016]
优选的，1
‑
a
‑
r型分类结构中m＝n。
[0017]
优选的，1
‑
a
‑
1型分类结构中m＝n(n+1)/2。
[0018]
优选的，步骤s2之后还包括：
[0019]
s3、利用训练样本及其类别标签信息，采用传统方法训练得到结果不做二值量化的svm中间决策判别器，用中间决策判别器结果对步
骤s2中的更新，进而更新svm最终决策判函数f(
·
)；
[0020]
s4、多次重复步骤s3。
[0021]
优选的，子判别器为二叉树或者四叉树。
[0022]
因此，本发明采用上述新型多类支持向量机分类结果的最终决策方法，相对于传统决策方法，分类精度均能够达到更高的分类准确率，其中在使用线性核的情况下，新决策方法的效果提升更为显著。
[0023]
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
[0024]
图1为1
‑
a
‑
r型分类器示意图；
[0025]
图2为1
‑
a
‑
1型分类器示意图；
[0026]
图3为1
‑
a
‑
r型线性分类结果对比图；
[0027]
图4为1
‑
a
‑
r型非线性分类结果对比图；
[0028]
图5为1
‑
a
‑
1型线性分类结果对比图；
[0029]
图6为1
‑
a
‑
1型非线性分类结果对比图。
具体实施方式
[0030]
以下将结合附图对本发明作进一步的描述，需要说明的是，本实施例以本技术方案为前提，给出了详细的实施方式和具体的操作过程，但本发明的保护范围并不限于本实施例。
[0031]
图3为1
‑
a
‑
r型线性分类结果对比图；图4为1
‑
a
‑
r型非线性分类结果对比图；图5为1
‑
a
‑
1型线性分类结果对比图；图6为1
‑
a
‑
1型非线性分类结果对比图，如图3
‑
图6所示，本发明包括以下步骤：
[0032]
s1、设原始训练样本为x
i
，i＝1，2，
…
k，类别数目为n，训练判别器时正类类别标签为l1，负类类别标签为l2，其中l1＞l2，子判别器数量为m，利用训练样本及其类别标签信息训练得到结果不做二值量化的m个判别函数，分别记为f1(
·
)，f2(
·
)，
…
，f
m
(
·
)，数值范围约在l1～l2之间；
[0033]
s2、记若对应类别j，则规定其类别标签为j(j∈{1，2，
…
，n})，利用训练样本及其类别标签信息训练得到结果已做n值量化的最终决策判别器，决策判别器的输出结果f(
·
)即为相应样本的类别判别结果。
[0034]
优选的，步骤s2之后还包括：
[0035]
s3、利用训练样本及其类别标签信息，采用传统方法训练得到结果不做二值量化的svm中间决策判别器，用中间决策判别器结果对步骤s2中的更新，进而更新svm最终决策判函数f(
·
)；
[0036]
s4、多次重复步骤s3。
[0037]
优选的，步骤s1中m与n之间具有依赖关系。
[0038]
优选的，子判别器为svm或者svm变体。
[0039]
优选的，1
‑
a
‑
r型分类结构中m＝n。
[0040]
表1为1
‑
a
‑
r型多类分类结构下分类与传统基于最大概率的决策方法的分类精度对比表：
[0041][0042]
由表1可知，在1
‑
a
‑
r型svm的分类实验中，在线性svm的情况下，新的决策方法分类精度达到了76.17％，在非线性情况下，新的决策方法分类精度达到了83.33％。
[0043]
优选的，1
‑
a
‑
1型分类结构中m＝n(n+1)/2。
[0044]
表2为1
‑
a
‑
1型多类分类结构下与传统基于最大概率的决策方法的分类精度对比表：
[0045][0046]
由表2可知，在1
‑
a
‑
1型svm的分类实验中，在线性svm的情况下，新的决策方法分类精度达到了77.11％，在非线性情况下，新的决策方法分类精度达到了91.67％。
[0047]
综上可知，相对于传统决策方法，本实施公开方法的分类精度均能够达到更高的分类准确率，其中在使用线性核的情况下，新决策方法的效果提升更为显著。而在1
‑
a
‑
r型分类器结构与1
‑
a
‑
1型分类器结构的横向对比中，1
‑
a
‑
r型多类分类器结构对新决策方法的适应性更好。
[0048]
优选的，子判别器为二叉树或者四叉树。即该方法同样可以用于其他诸如二叉树、四叉树等具有子分类器结构的多类分类决策判别，不限于高光谱分类应用，同样也不局限于svm及其各种变体(相关向量机，孪生支持向量机，大边界学习机等)，且其他分类工具如神经网络、随机森林等具有多个子判别结构的都可以采用本方法。
[0049]
因此，本发明采用上述新型多类支持向量机分类结果的最终决策方法，相对于传统决策方法，分类精度均能够达到更高的分类准确率，其中在使用线性核的情况下，新决策方法的效果提升更为显著。
[0050]
最后应说明的是：以上实施例仅用以说明本发明的技术方案而非对其进行限制，尽管参照较佳实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对本发明的技术方案进行修改或者等同替换，而这些修改或者等同替换亦不能使修改后的技术方案脱离本发明技术方案的精神和范围。