椭球核组合支持向量机的二阶锥规划计算方法与流程

本发明属于模式识别与人工智能领域，具体涉及一种椭球核组合支持向量机的二阶锥规划计算方法，该方法主要应用于模式识别与人工智能领域专家系统、智能计算系统、决策系统，可显著提高椭球核组合支持向量机的计算效率。

背景技术：

支持向量机(support vector machine，SVM)是模式识别与人工智能领域中的重要技术，通过引入核矩阵，有效避免了高维空间中的内积运算，可归一化解决线性分类问题与非线性分类问题。在处理多源数据或异构数据时，由于单一核矩阵在应用过程中的诸多局限性，多核矩阵的组合使用成为必要措施。椭球组合是核矩阵组合的重要形式，也是最常用形式。研究并给出高效的椭球核组合支持向量机计算方法，对于提高支持向量机的工作效率及分类精度有着重要的实用意义和工程价值。

现有方法中，解决这类问题主要采用半定规划法或半无限规划法，计算复杂度较高。以半定规划法为例，对于规模为n的数据集，采用N个核矩阵的椭球组合，半定规划法的计算复杂度为O(N^1.5n^4.5)。当数据源巨量出现，样本数据爆发性增长时，半定规划法收敛速度缓慢，计算效率不高。半无限规划法同样面临低效问题。这给实际工程应用带来较大困难。因而亟需一种快速高效的椭球核组合支持向量机计算方法。

技术实现要素：

(一)要解决的技术问题

本发明要解决的技术问题是：如何给出快速高效的椭球核组合支持向量机计算方法，有效降低椭球核组合支持向量机的计算复杂度。

(二)技术方案

为解决上述技术问题，本发明提供一种椭球核组合支持向量机的二阶锥规划计算方法，依据目标优化问题中约束条件的锥特性，将约束条件逐一转换为二阶锥约束；采用二阶锥规划迭代计算，给出计算结果；使计算复杂度降为O(Nn^3.5)；

如上所述的一种椭球核组合支持向量机的二阶锥规划计算方法，具体包括如下步骤：

步骤一：输入样本数据{x₁,...,x_n}，及标号集{y₁,...,y_n}，变量初值α，预设容忍度ε，初始海森矩阵H；

步骤二：添加自由变元u,c,β',λ',τ，生成二阶锥约束；

步骤三：求解最小化问题：

其中，τ＝[τ₁,...,τ_N]^T，τ≥0表示τ_i≥0,i＝1,2,...,N；c＝[c₁,...,c_N]^T，r_i＝rank(D_i)，D_i＝Q^1/2，Q为矩阵，矩阵元素Q_i,j＝K_i,jy_iy_j；K为核矩阵；y＝[y₁,...,y_l]^T；e为单位向量；λ∈R；

步骤四：若有当前目标函数梯度的下降值小于预设的收敛容忍度，则步骤终止，得到分类结果；否则返回步骤三进行下一次迭代。

(三)有益效果

与现有技术相比较，本发明具备如下有益效果：

1、本发明提出了一种椭球核组合支持向量机的二阶锥规划计算方法，可有效降低椭球核组合支持向量机的计算复杂度。

2、本发明适用范围广泛，适合于多源、异构数据集，可直接应用于故障判断、医疗诊断、专家系统、智能计算等模式识别与人工智能各领域。

附图说明

图1为本发明提出的球型分布数据专用线性二分类计算方法流程图。

具体实施方式

为使本发明的目的、内容、和优点更加清楚，下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。

为解决上述技术问题，本发明提供一种椭球核组合支持向量机的二阶锥规划计算方法，依据目标优化问题中约束条件的锥特性，将约束条件逐一转换为二阶锥约束；采用二阶锥规划迭代计算，给出计算结果；使计算复杂度降为O(Nn^3.5)；

如上所述的一种椭球核组合支持向量机的二阶锥规划计算方法，如图1所示，具体包括如下步骤：

步骤一：输入样本数据{x₁,...,x_n}，及标号集{y₁,...,y_n}，变量初值α，预设容忍度ε，初始海森矩阵H；

步骤二：添加自由变元u,c,β',λ',τ，生成二阶锥约束；

步骤三：求解最小化问题：

其中，τ＝[τ₁,...,τ_N]^T，τ≥0表示τ_i≥0,i＝1,2,...,N；c＝[c₁,...,c_N]^T，r_i＝rank(D_i)，D_i＝Q^1/2，Q为矩阵，矩阵元素Q_i,j＝K_i,jy_iy_j；K为核矩阵；y＝[y₁,...,y_l]^T；e为单位向量；λ∈R；

步骤四：若有当前目标函数梯度的下降值小于预设的收敛容忍度，则步骤终止，得到分类结果；否则返回步骤三进行下一次迭代。

实施例

本实施例具体内容如下：

一、工作流程

在输入样本数据{x₁,...,x_l}后，本发明计算方法的关键部分在于计算一个与原问题等价的二阶锥规划问题。核矩阵的椭球组合可表示为：

工作流程：

本发明提出的一种椭球核组合支持向量机的二阶锥规划计算方法流程如图1所示，具体包括如下步骤：

步骤一：输入样本数据{x₁,...,x_n}以及标号集{y₁,...,y_n}，其中x_i∈R^m，i＝1,...,l，y_i∈{-1,1}，i＝1,...,n，1表示数据属于正类，-1表示数据属于负类；初始变量值α₀＝[1,...,1]^T，预设容忍度ε＝10^-3，初始海森矩阵H_k＝E，E为单位矩阵；

步骤二：添加自由变元u,c,β',λ',τ，并赋初值u＝[1,...,1]^T，c＝[1,...,1]^T，β'＝[1,...,1]^T，λ'＝0，τ＝[1,...,1]^T，生成二阶锥约束。本发明计算方法的关键部分在于计算一个与原问题等价的二阶锥规划问题。在本步骤中，按如下方式生成二阶锥约束：

原约束：

步骤三：将矩阵Q∈U，

变量值α₀，带入如下最小化问题，并求解：

其中，τ＝[τ₁,...,τ_N]^T，τ≥0表示τ_i≥0,i＝1,2,...,N；c＝[c₁,...,c_N]^T，r_i＝rank(D_i)，D_i＝Q^1/2，Q为矩阵，矩阵元素Q_i,j＝K_i,jy_iy_j；K为核矩阵；y＝[y₁,...,y_l]^T；e为单位向量；λ∈R；u＝[u₁,...,u_N]^T；求解采用梯度下降方式迭代计算，具体为：在第k步迭代中，优化目标变量α_k的更新方向为λ_k，λ_k通过线性规划过程得到；更新步长为P_k，计算P_k要用到H_k值和g_k值，g_k为当前目标函数梯度值。更新完α_k后，需计算H_k+1的值，用于下次迭代过程，所需计算公式如下：

步骤四：若有当前目标函数梯度的下降值ψ_k小于预设的收敛容忍度，则步骤终止，得到结果；否则返回步骤三进行下一次迭代。

二、计算复杂度对比

令m_i表示二阶锥约束的维度，m表示二阶锥约束的个数，则二阶锥规划算法的迭代次数为半定规划法的迭代次数二阶锥规划法每次迭代的计算复杂度为O(m²∑_im_i)，半定规划法为O(m²∑_im_i²)。在椭球核组合支持向量机中，有

m＝O(N+n),

因此，本发明提出的一种椭球核组合支持向量机的二阶锥规划计算方法每步迭代的计算复杂度为O(Nn³)，总计算复杂度为O(Nn^3.5)。而半定规划法每步迭代的计算复杂度为O(Nn⁴)，总计算复杂度为O(N^1.5n^4.5)。

综上所述，本发明依据椭球核组合支持向量机中，目标优化问题约束条件的锥特性，将约束条件逐一转换为二阶锥约束；采用二阶锥规划迭代计算，给出计算结果。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。