一种多平面凸近端支持向量机的运算方法

1.本发明涉及机器学习领域，尤其涉及一种多平面凸近端支持向量机的运算方法。


背景技术：

2.作为一种有效的二分类方法，特别是对xor问题，基于广义特征值的近端支持向量机(gepsvm)近年来得到广泛关注，其寻找两个非平行的近端超平面来拟合相应的数据点，同时超平面间尽可能远离。受这种非平行拟合超平面思想的启发，众多非平行超平面分类器得到深入研究，其大致可分为以下两类：基于求解二次规划问题(qpp)的方法和基于求解广义特征值的方法。对于前者，khemchandani等首次提出twsvms，与标准svm相比，它通过求解两个较小规模的qpps来确定两个非平行的近端超平面。之后，许多类似的方法被进一步提出，如tbsvms、npsvm等。
3.对于后者，也是本发明主要关注的，研究人员也做出了许多努力。ye等人通过结合最大间隔标准，提出了dgepsvm算法。shao等人通过将gepsvm的优化目标从比值形式改为差值形式，提出了igepsvm算法。此外，通过重新形式化gepsvm的原始优化问题，ye等人提出了多权向量投影支持向量机(mvsvm)，随后他们进一步提出一个增强型mvsvm(emvsvm)。近年来，一些研究者开始关注如何提高该类方法的鲁棒性。将l2-范数距离替换为l1-范数距离，li等和yan等人分别探究了l1-范数的非平行近端支持向量机。sun等进一步提出一种改进的鲁棒lpnpsvm算法，其拥有任意lp-范数的正则化机制。chen等人探索了一种迹损失正则化的鲁棒非平行近端支持向量机。此外，gepsvm技术还拓展到其他研究领域，如半监督学习和多视图学习。
4.尽管上述gepsvm的各种变体在不同程度上增强了分类性能，但除emvsvm外，这些分类器每个类别中拟合超平面或投影权重向量的数量仍然仅限于一个。直觉上，使用单一拟合超平面似乎是不够的，这很可能会造成对具有复杂特征结构的数据集的欠拟合。此外，尽管emvsvm拥有多个投影权重向量，但它们不得不通过网格搜索技术获得，从而导致额外的计算开销。


技术实现要素：

5.本发明所要解决的技术问题是针对背景技术中所涉及到的缺陷，提供一种多平面凸近端支持向量机，用于解决具有复杂特征结构数据的二分类问题，特别是具有复杂特征结构的xor问题。
6.本发明为解决上述技术问题采用以下技术方案：
7.一种多平面凸近端支持向量机的运算方法，包含以下步骤：
8.步骤1)，根据class 1和class
ꢀ‑
1的数据点矩阵c和d，分别构建相应的对称矩阵g和h；
9.步骤2)，基于g和h构建多平面凸近端支持向量机的优化目标函数；
10.步骤2.1)，构建gepsvm的目标函数：
[0011][0012]
其中，z表示所求拟合超平面，i表示tikhonov正则化项，δ＞0表示权重参数，r(z)表示z的目标函数；
[0013]
步骤2.2)，使用矩阵迹操作对gepsvm的目标函数作变换：
[0014][0015]
步骤2.3)，对于class 1和class
ꢀ‑
1，均引入一个对称正定(spd)矩阵a来替换zz
t
，得到如下a的第一目标函数r(a)：
[0016][0017]
对a的第一目标函数r(a)进行转化，得到a的第二目标函数h(a)：
[0018][0019]
步骤2.4)，采用spd流形的黎曼几何来指导a的第二目标函数，得到如下优化目标：
[0020][0021]
式中，h
t
(a)为a的第三目标函数；ψr表示spd矩阵上的黎曼距离；
[0022]
t表示权重参数；
[0023]
步骤3)，对a的第三目标函数引入正则化项，得到如下解：
[0024][0025]
并采用cholesky-schur方法对该解进行求解，得到class 1最终的spd矩阵解；
[0026]
步骤4)，求解class 1、class
ꢀ‑
1的拟合超平面；
[0027]
步骤4.1)，对class 1最终的spd矩阵解进行cholesky分解得到class 1的拟合超平面z1；
[0028]
步骤4.2)，将a的第三目标函数引入正则化项后的解中g、h的位置交换，得到class
ꢀ‑
1的解并采用cholesky-schur方法求解得到class
ꢀ‑
1最终的spd矩阵解；
[0029]
对class
ꢀ‑
1最终的spd矩阵解进行cholesky分解得到class
ꢀ‑
1的拟合超平面z2；
[0030]
步骤5：对于输入多平面凸近端支持向量机的变量x，通过以下公式将其标定为class 1或class
ꢀ‑
1：
[0031][0032]
其中z1和z2分别表示class 1和class
ꢀ‑
1的分类器。
[0033]
本发明旨在将gepsvm每类拟合超平面的数目有原来的一个拓展到多个，然而这样的拓展不是平凡的，即使可能，原基于广义特征值的优雅求解方案也将无法保证。为迎接该挑战，本发明首先对原gepsvm的目标函数作了一个简单但关键的变换，然后提出了多平面凸近端支持向量机的运算方法，它依据对应数据集的特征确定一组拟合超平面，其有以下
优势：
[0034]
1.采用一个严格(测地线)凸的目标函数重新刻画了原gepsvm的优化问题，由此得到一个优雅的闭式解，其仅需几行matlab代码；
[0035]
2.实现了每个类别拥有一组拟合超平面，带来更高的分类性能增益；
[0036]
3.所获拟合超平面拥有不同的维度，使得它们能够从不同特征维度拟合每个类别且不易发生过拟合；
[0037]
4.相比gepsvm及其现有变体，本发明形式上更加灵活，能够自然无缝地拓展到特征加权学习。
附图说明
[0038]
图1是本发明的流程示意图。
具体实施方式
[0039]
下面结合附图对本发明的技术方案做进一步的详细说明：
[0040]
本发明可以以许多不同的形式实现，而不应当认为限于这里所述的实施例。相反，提供这些实施例以便使本发明公开透彻且完整，并且将向本领域技术人员充分表达本发明的范围。在附图中，为了清楚起见放大了组件。
[0041]
下面以求解class 1的拟合超平面为例，对本发明的技术内容作进一步说明，本具体实施方式中实验数据均来自uci标准数据库中的真实数据集。附图1展示了本发明提到的多平面凸近端支持向量机运算方法的流程图，具体包括如下步骤：
[0042]
步骤1：构建class 1与class
ꢀ‑
1数据点集的对称矩阵
[0043]
给定数据集其中yi∈{-1，1}，令矩阵和分别表示class 1和class
ꢀ‑
1的数据点集，n、d、n1、n2分别是总数据点个数、数据点特征维度、class 1数据点个数、class
ꢀ‑
1数据点个数，则class 1与class
ꢀ‑
1数据点集的对称矩阵构造如下：
[0044]
g：＝[c e]
t
×
[c e]
[0045]
h：＝[d e]
t
×
[d e]
[0046]
其中e表示全一向量。
[0047]
步骤2：多平面凸近端支持向量机优化目标的构建
[0048]
我们知道gepsvm的目标函数为
[0049][0050]
其中，z表示所求拟合超平面，i表示tikhonov正则化项，δ＞0表示权重参数，r(z)表示z的目标函数。为使获得多个拟合超平面成为可能，我们首先对该目标函数(在不考虑tikhonov正则化项下)使用矩阵迹操作做一个简单但关键变换：
[0051][0052]
对于class 1和class
ꢀ‑
1，我们均引入一个对称正定(spd)矩阵a来替换zz
t
，得到
如下a的第一目标函数r(a)：
[0053][0054]
请注意，上述优化问题对于a是非凸的，求解a通常采用迭代技术，进而仍会产生相当大的计算复杂性。受几何均值度量学习(gmml)的启发，我们不直接求解上述问题，而是将其转化为如下优化问题：
[0055][0056]
式中，h(a)为a的第二目标函数；
[0057]
该优化目标的约束集是开放的，且是严格(测地线)凸的，更重要的是它仍然确保拟合class1的数据点，同时尽可能远离class
ꢀ‑
1的数据点。从测地线的视角来看，为矩阵g和h分配不同的权重对于优化问题也至关重要，为此，我们进一步采用spd流形的黎曼几何来指导式(1)的学习，得到如下优化目标：
[0058][0059]
式中，h
t
(a)为a的第三目标函数，ψr表示spd矩阵上的黎曼距离；
[0060]
t表示权重参数。
[0061]
步骤3：求解spd矩阵
[0062]
事实上，第三目标函数的最优解就是g-1
和h测地线间的点，即a＝g-1
#
t
h，为了进一步避免矩阵g在某些情况下可能不可逆或近似奇异的问题，我们可以引入正则化项，它可以被视为关于a的先验知识，这样我们有如下解：
[0063][0064]
我们采用cholesky-schur方法计算公式(3)得到class 1最终的spd矩阵解。
[0065]
步骤4：求解多平面凸近端支持向量机的拟合超平面
[0066]
我们的最终目标是获得class 1的拟合超平面z，其就是对class 1最终的spd矩阵解进行cholesky分解得到拟合超平面z1，该步可以通过matlab命令实现。
[0067]
将式(3)中g、h的位置交换，得到class
ꢀ‑
1的解：采用cholesky-schur方法进行计算得到class
ꢀ‑
1最终的spd矩阵解；对class
ꢀ‑
1最终的spd矩阵解进行cholesky分解得到拟合超平面z2。
[0068]
步骤5：对于输入多平面凸近端支持向量机的变量x，通过以下公式将其标定为class 1或class
ꢀ‑
1：
[0069][0070]
其中z1和z2分别表示class 1和class
ꢀ‑
1的分类器。
[0071]
附加功能：特征加权学习
[0072]
如前所述，多平面凸近端支持向量机形式上更加灵活，可自然无缝地拓展到特征加权学习。执行此功能时无需改变目标函数，仅需将a设置为对角矩阵。具体技术内容如下：
class 1 and class
ꢀ‑
1.
[0085]
通过对比实验的精度结果可知，本发明提出方法相对现有方法获得性能上的显著提高。
[0086]
本技术领域技术人员可以理解的是，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。
[0087]
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。