Svm分类器的构造方法及装置制造方法
【专利摘要】本发明提供了一种SVM分类器的构造方法及装置，其中，该方法包括：根据MCP罚函数和基于相关系数的罚函数，构造SVM分类器的目标函数；在训练样本集上，对所述目标函数进行训练，得到所述目标函数中各个模型参数的取值；根据得到的各个模型参数的取值构造SVM分类器。本发明构造的SVM分类器可以在保证组特征选择准确性的同时，具备oracle性质和组效应性质，从而可以实现更为有效的特征选择和类标签分类。
【专利说明】SVM分类器的构造方法及装置
【技术领域】
[0001]本发明涉及机器学习和数理统计【技术领域】，特别涉及一种支持向量机(SupportVector Machine, SVM)分类器的构造方法及装置。
【背景技术】
[0002]传统的L2范数SVM只能实现分类的目的，在面对像高维小样本数据甚至超高维小样本数据时，这些数据中因为存在大量的冗余特征，利用传统的L2范数SVM进行分类预测准确率不高，无法在分类的同时实现特征选择。传统的LI范数SVM能够在实现分类的同时实现特征选择，但是LI范数SVM不具有特征选择的oracle性质和组效应性质，并且无法处理数据中存在高度共线性的情形，所谓oracle性质指的是特征选择效果具有特征选择一致性，即将与类标签最相关的特征选中的能力；所谓的组效应性质就是在进行特征分类的过程中，特征系数趋向于相等的数据可以被分在同一组中。
[0003]目前，还没有一种可以在保证进行准确的组特征选择的同时，又具备oracle性质和组效应性质的SVM分类器。
【发明内容】
[0004]本发明实施例提供了一种SVM分类器的构造方法，以达到构造一种可以在保证组特征选择准确性的同时，具备oracle性质和组效应性质的SVM分类器的目的，其中，该方法包括:
[0005]根据最小化最大凹度罚(Minimax Concave Penalty,MCP)罚函数和基于相关系数的罚函数，构造SVM分类器的目标函数；
[0006]在训练样本集上，对所述目标函数进行训练，得到所述目标函数中各个模型参数的取值；
[0007]根据得到的各个模型参数的取值构造SVM分类器。
[0008]本发明实施例还提供了一种SVM分类器的构造装置，以达到构造一种可以在保证组特征选择准确性的同时，具备oracle性质和组效应性质的SVM分类器的目的，其中，该装置包括:
[0009]目标函数构造模块，用于根据MCP罚函数和基于相关系数的罚函数，构造SVM分类器的目标函数；
[0010]训练模块，用于在训练样本集上，对所述目标函数进行训练，得到所述目标函数中各个模型参数的取值；
[0011]分类器构造模块，用于根据得到的各个模型参数的取值构造SVM分类器。
[0012]在本发明实施例中，利用MCP罚函数和基于相关系数的罚函数来构造SVM分类器的目标函数，因为MCP罚函数具备oracle性质，基于相关系数的罚函数构造的SVM分类器可以实现组效应性质，因此，通过上述方式最终构造的SVM分类器可以在保证组特征选择准确性的同时，具备oracle性质和组效应性质，可以实现更为有效的特征选择和类标签分类。
【专利附图】
【附图说明】
[0013]此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。在附图中:
[0014]图1是本发明实施例的SVM分类器的构造方法的方法流程图；
[0015]图2是本发明实施例的十折交叉验证方法的方法流程图；
[0016]图3是本发明实施的LI范数罚的示意图；
[0017]图4是本发明实施例的MCP罚的示意图；
[0018]图5是本发明实施例的LI范数罚的导函数的示意图；
[0019]图6是本发明实施例的MCP罚的导函数示意图；
[0020]图7是本发明实施例的SVM分类器的构造装置的结构框图。
【具体实施方式】
[0021]为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施方式和附图，对本发明做进一步详细说明。在此，本发明的示意性实施方式及其说明用于解释本发明，但并不作为对本发明的限定。
[0022]发明人考虑到，基于LI范数罚的SVM分类器之所以不具备oracle性质，是因为LI范数罚对于全部特征的系数都进行压缩，而MCP罚函数倾向于仅对较小的系数压缩为零，而对较大的系数进行很小的压缩甚至不压缩，因此，如何采用MCP罚函数构造SVM分类器可以具备很好的oracle性质，进一步的，所谓组效应性质指的是在面对数据中存在高度共线性的情形时，得到的模型向量中高度共线性的那些特征的系数趋向于相等，因而这些系数相等或者几乎相等的特征明显地形成了一个组，这个组的特点就是系数相等或者几乎相等，因此可以利用基于相关系数的罚函数构造SVM分类器，基于相关系数的罚函数的优点在于其根据数据中特征之间的相关系数情况自适应地改变罚的程度，对于非共线性和低度共线性的特征的系数之差的绝对值惩罚程度小，因而对于非共线性和低度共线性的特征之间的系数不具有令其相等的作用，它们不能形成一个明显的组，而对于彼此之间高度共线性，即相关系数很大的特征的系数之差的绝对值惩罚程度大，因而倾向于令高度共线性的特征之间的系数相等，它们明显形成了一个以系数相等为特点的组，即实现了组效应性质。
[0023]基于以上分析，在本例中提出了一种SVM分类器的构造方法，如图1所示，包括以下步骤:
[0024]步骤101:根据MCP罚函数和基于相关系数的罚函数，构造SVM分类器的目标函数；
[0025]步骤102:在训练样本集上，对所述目标函数进行训练，得到所述目标函数中各个模型参数的取值；
[0026]步骤103:根据得到的各个模型参数的取值构造SVM分类器。
[0027]在上述实施例中，利用MCP罚函数和基于相关系数的罚函数来构造SVM分类器的目标函数，因为MCP罚函数具备oracle性质，基于相关系数的罚函数构造的SVM分类器可以实现组效应性质，因此，通过上述方式最终构造的SVM分类器可以在保证组特征选择准确性的同时，具备oracle性质和组效应性质，可以实现更为有效的特征选择和类标签分类。
[0028]在上述步骤101中，构造的SVM分类器的目标函数可以是:
[0029]
【权利要求】
1.一种支持向量机SVM分类器的构造方法,其特征在于,包括: 根据最小化最大凹度罚MCP罚函数和基于相关系数的罚函数，构造SVM分类器的目标函数； 在训练样本集上，对所述目标函数进行训练，得到所述目标函数中各个模型参数的取值； 根据得到的各个模型参数的取值构造SVM分类器。
2.如权利要求1所述的方法，其特征在于，构造的SVM分类器的目标函数为:
3.如权利要求2所述的方法，其特征在于: MCP罚函数的表达式为:
4.如权利要求3所述的方法，其特征在于，对所述目标函数进行训练，包括: 采用交叉验证方法对所述目标函数进行训练。
5.如权利要求4所述的方法，其特征在于，采用交叉验证方法对所述目标函数进行训练，包括: 在可调参数入1、入2和y的取值区间上选取网格搜索的离散值，形成可调参数λρλ2和Y的离散取值； 将可调参数λ”入2和y的离散取值组合成三维网格点； 计算根据所述三维网格点中各个网格点的可调参数的离散值构造的SVM分类器的分类错误率； 将分类错误率最小的网格点作为最佳的网格点； 将选取的最佳的网格点对应的可调参数λP λ 2和y的数值作为训练得到的所述目标函数的可调参数值； 以训练得到的可调参数λ”入2和y作为已知量，在训练样本集上对SVM分类器进行训练得到模 型向量β和截距b; 将训练得到的可调参数入1、入2和Y、和模型向量β和截距b作为目标函数中各个模型参数的取值。
6.如权利要求5所述的方法，其特征在于，计算根据所述三维网格点中各个网格点的可调参数的离散值构造的SVM分类器的分类错误率，包括: 选取一个网格点； 将可调参数λ”入2和y的数值固定为该网格点上的取值； 将所述训练样本集分成M个大小相同的子集，M为大于等于5的正整数，重复执行以下操作直至每个子集都作为一次验证子集:选取所述M个大小相同的子集中的一个子集作为验证子集，其余M-1个子集作为训练子集，在训练子集上训练SVM分类器，得到模型向量β和截距b的值，利用得到的模型向量β和截距b的值构造SVM分类器，在验证子集上确定构造的SVM分类器的分类错误率； 计算得到的M个分类错误率的平均值，将得到的平均值作为该网格点对应的分类错误率。
7.如权利要求6所述的方法，其特征在于，在训练子集上训练SVM分类器，得到模型向量β和截距的值，包括: 利用局部二次近似方法求取所述目标函数中MCP罚函数的替代目标函数和铰链损失函数的替代目标函数； 用MCP罚函数的替代目标函数和铰链损失函数的替代目标函数，来替代所述目标函数中的MCP罚函数和铰链损失函数，得到二次近似处理后的目标函数； 在训练子集上，利用牛顿法求解二次近似处理后的目标函数的模型向量β和截距的值。
8.如权利要求1所述的方法，其特征在于，在训练样本集上，对所述目标函数进行训练之前，所述方法还包括: 获取总样本集； 对所述总样本集进行归一化处理； 从归一化处理后的总样本集中选取预定比例的样本作为训练样本集。
9.如权利要求8所述的方法，其特征在于，所述预定比例为70%。
10.一种支持向量机SVM分类器的构造装置，其特征在于，包括: 目标函数构造模块，用于根据最小化最大凹度罚MCP罚函数和基于相关系数的罚函数，构造SVM分类器的目标函数； 训练模块，用于在训练样本集上，对所述目标函数进行训练，得到所述目标函数中各个模型参数的取值； 分类器构造模块，用于根据得到的各个模型参数的取值构造SVM分类器。
11.如权利要求10所述的装置，其特征在于，所述目标函数构造模块构造的SVM分类器的目标函数为:
12.如权利要求11所述的装置，其特征在于: MCP罚函数的表达式为:
13.如权利要求12所述的装置，其特征在于，所述训练模块具体用于采用交叉验证方法对所述目标函数进行训练。
14.如权利要求13所述的装置，其特征在于，所述训练模块包括: 离散值确定单元，用于在可调参数λ P λ 2和y的取值区间上选取网格搜索的离散值，形成可调参数λ P λ 2和y的离散取值； 三维网格点生成单元，用于将可调参数λ”入2和y的离散取值组合成三维网格点；错误率计算单元，用于计算根据所述三维网格点中各个网格点的可调参数的离散值构造的SVM分类器的分类错误率； 最佳网格点确定单元，用于将分类错误率最小的网格点作为最佳的网格点； 可调参数值确定单元，用于将选取的最佳的网格点对应的可调参数λ”入2和y的数值作为训练得到的所述目标函数的可调参数值； 模型向量和截距确定单元，用于以训练得到的可调参数λ P λ 2和y作为已知量，在训练样本集上对SVM分类器进行训练得到模型向量β和截距b; 模型参数确定单元，用于将训练得到的可调参数λ”入2和Υ、和模型向量β和截距b作为目标函数中各个模型参数的取值。
15.如权利要求14所述的 装置，其特征在于，所述错误率计算单元包括: 选取子单元，用于选取一个网格点； 取值固定子单元，用于将可调参数λρ入2和y的数值固定为该网格点上的取值；分类错误率确定子单元，用于将所述训练样本集分成M个大小相同的子集，M为大于等于5的正整数，重复执行以下操作直至每个子集都作为一次验证子集:选取所述M个大小相同的子集中的一个子集作为验证子集，其余M-1个子集作为训练子集，在训练子集上训练SVM分类器，得到模型向量β和截距b的值，利用得到的模型向量β和截距b的值构造SVM分类器，在验证子集上确定构造的SVM分类器的分类错误率； 计算子单元，用于计算得到的M个分类错误率的平均值，将得到的平均值作为该网格点对应的分类错误率。
16.如权利要求15所述的装置，其特征在于，所述分类错误率确定子单元，在训练子集上训练SVM分类器，得到模型参数β和截距b的值，具体包括: 利用局部二次近似方法求取所述目标函数中MCP罚函数的替代目标函数和铰链损失函数的替代目标函数； 用MCP罚函数的替代目标函数和铰链损失函数的替代目标函数，来替代所述目标函数中的MCP罚函数和铰链损失函数，得到二次近似处理后的目标函数； 在训练子集上，利用牛顿法求解二次近似处理后的目标函数的模型向量β和截距的值。
17.如权利要求10所述的装置，其特征在于，还包括: 获取模块，用于在训练样本集上，对所述目标函数进行训练之前，获取总样本集； 归一化模块，用于对所述总样本集进行归一化处理； 选取模块，用于从归一化处理后的总样本集中选取预定比例的样本作为训练样本集。
18.如权利要求17所述的装置，其特征在于，所述预定比例为70%。
【文档编号】G06N99/00GK103970878SQ201410205772
【公开日】2014年8月6日 申请日期:2014年5月15日 优先权日:2014年5月15日
【发明者】刘建伟, 崔立鹏, 罗雄麟 申请人:中国石油大学(北京)