专利名称：分类器训练方法及其系统的制作方法
技术领域：
本发明涉及数据挖掘领域的技术领域，特别是涉及一种分类器训练方法，以及一种分类器训练系统。
背景技术：
基于分类器的线性分类方法在机器学习，数据挖掘领域扮演着重要的角色，并在如文本文类，信用卡风险控制等应用表现出较好的实际效果。分类器可以分为训练和预测两个步骤训练对于一组有类别标记的样本集(Xi, yj , i = I,... n, Xi e Rd, Ji e {-1, 1}，确定准则函数f (w)，其中，f (w)为关于x、y、w的函数，并通过优化方法获得f(w)的权重的极值解W*,从而得到线性判别函数g (X) = (w*) Tx。预测对于未知类别的样本xk，根据所述g (Xk)的取值对所述未知类别的样本进行分类。在分类器的训练过程中，训练速度是非常重要的指标，分类器的训练过程中常用的优化方法主要有两种批量式学习(batch learning)和随机学习(stochasticlearning)。批量式学习法在每次求取收敛下降方向时需要涉及到所有样本，从而保证很好的收敛特性。有限内存BFGS方法(limited-memory BFGS)属于批量式学习方法，由于其准确率高，运行速度快等优点近些年来备受欢迎。随机学习法在每一步学习中只需要对随机挑选出部分样本进行学习，特别是随机梯度法(stochastic gradient descent, S⑶)，每次选择一个样本来求取梯度下降方向。然而，随着对分类器训练速度的要求提高，上述两种优化方法的收敛速度越来越不能满足快速学习的需求，如何提高训练速度一直是技术人员亟待解决的技术难题。
发明内容
针对上述背景技术中存在的问题，本发明的目的在于提供一种分类器训练方法及其系统，提高优化方法的收敛速度，进一步提高分类器训练速度。一种分类器训练方法，包括根据带有类别标记的训练样本集，确定分类器的准则函数；根据所述训练样本集，采用随机梯度下降法对所述准则函数运行nl次迭代，获取所述准则函数的初步权重，其中，nl等于所述训练样本集的样本个数；在所述初步权重的基础上，采用有限内存BFGS方法继续对所述准则函数迭代直到收敛，获取所述准则函数的最终权重；根据所述最终权重获取线性判别函数，建立分类器。一种分类器训练系统，包括分类器定义模块，用于根据带有类别标记的训练样本集，确定分类器的准则函数；随机学习模块，用于根据所述训练样本集，采用随机梯度下降法对所述准则函数运行nl次迭代，获取所述准则函数的初步权重，其中，nl等于所述训练样本集的样本个数；批量学习模块，用于在所述初步权重的基础上，采用有限内存BFGS方法继续对所述准则函数迭代直到收敛，获取所述准则函数的最终权重；分类器模块，用于根据所述最终权重获取线性判别函数，建立分类器。本发明分类器训练方法及其系统通过采用两种不同的优化方法的结合，使优化方法的收敛速度更高，大大提高了分类器的训练速度。现有的两种优化方法，分别是随机梯度下降法和有限内存BFGS方法，但这两种方法具有各自不同的收敛特性，本领域技术人员难以找到合适的方法将这两种不同的优化方法结合，并且能够提高收敛速度。而如果随便将这两种方法结合，可能达到的效果不是提高收敛速度而是反而降低了收敛速度。本发明的分类器训练方法是通过理论推导和大量实验验证，得到随机梯度下降法和有限内存BFGS方法结合的最合适方法是先采用随机梯度下降法对所述准则函数运行nl次迭代，其中，nl等于训练样本集的样本个数，然后再在此基础上采用有限内存BFGS方法继续对所述准则函数运行若干次迭代直到收敛。实验证明，通过本发明的方法将两种优化算法结合能够大大提高收敛速度，从而提高分类器的训练速度，并且不会降低分类器的准确率。
图1是本发明分类器训练方法的流程示意图；图2是有限内存BFGS方法和随机梯度下降法的收敛速度示意图；图3为本发明分类器训练方法一种优选实施方式执行随机梯度下降法获得初步权重的流程示意图；图4为本发明分类器训练方法一种优选实施方式执行有限内存BFGS方法获得最终权重的流程示意图；图5是本发明分类器训练系统的结构示意图；图6为本发明分类器训练系统一种优选实施方式中随机学习模块的结构示意图；图7为本发明分类器训练系统一种优选实施方式中批量学习模块的结构示意图。
具体实施例方式请参阅图1，图1是本发明分类器训练方法的流程示意图。所述分类器训练方法，包括以下步骤S101，根据带有类别标记的训练样本集，确定分类器的准则函数；S102，根据所述训练样本集，采用随机梯度下降法对所述准则函数运行nl次迭代，获取所述准则函数的初步权重，其中，nl等于所述训练样本集的样本个数；S103，在所述初步权重的基础上，采用有限内存BFGS方法继续对所述准则函数运行若干次迭代直到收敛，获取所述准则函数的最终权重；S104，根据所述最终权重获取线性判别函数，建立分类器。本发明分类器训练方法提高了优化方法的收敛速度，进一步提高分类器训练速度，而又不会降低分类器的准确率。
其中，对于步骤S101，首先设定所述分类器的准则函数。所述训练样本集为分类器的训练样本的集合，所述类别标记用于标记所述样本的类别，通过对所述训练样本集中的样本的学习，训练分类器。设线性可分的样本集ki，yj, i = I,... n,Xi e Rd, Ji e {-1, 1}，将分类器的准则函数设置为
权利要求
1.一种分类器训练方法，其特征在于，包括以下步骤 获取有类别标记的训练样本集； 确定分类器的准则函数； 根据所述训练样本集，采用随机梯度下降法对所述准则函数运行nl次迭代，获取所述准则函数的初步权重，其中，nl等于所述训练样本集的样本个数； 在所述初步权重的基础上，采用有限内存BFGS方法继续对所述准则函数运行若干次迭代直到收敛，获取所述准则函数的最终权重； 根据所述最终权重获取线性判别函数，建立分类器。
2.如权利要求1所述的分类器训练方法，其特征在于，进一步包括对输入所述分类器的待处理样本进行分类的步骤，具体包括 根据输入分类器的待处理样本，计算所述线性判别函数的取值； 如果所述取值大于零，则将所述待处理样本划分为正类；如果所述取值小于零，则将所述待处理样本划分为负类。
3.如权利要求1所述的分类器训练方法，其特征在于，采用随机梯度下降法对所述准则函数运行nl次迭代，获得所述准则函数的初步权重的步骤包括 设定所述准则函数的第一权重； 根据所述第一权重对所述准则函数进行迭代，根据所述样本集中随机选取的一个样本，求取所述准则函数的一阶导数； 根据所述一阶导数以及预先设定的学习率，设定下一次迭代的第一权重，重新对所述准则函数进行迭代，直到所述迭代的次数等于nl时，获取对应的所述第一权重作为所述初步权重。
4.如权利要求1至3任一项所述的分类器训练方法，其特征在于，在所述初步权重的基础上，采用有限内存BFGS方法继续对所述准则函数运行若干次迭代直到收敛，获取所述准则函数的最终权重的步骤包括 设定所述准则函数的第二权重、对应的下降方向以及hessian矩阵；其中，所述第二权重的初始值等于所述初步权重； 根据所述第二权重对所述准则函数进行迭代，根据所述样本集中的所有样本，求取所述准则函数的一阶导数； 判断所述一阶导数是否小于预设的收敛阈值； 如果小于所述预设的收敛阈值，则获取此次迭代中所述准则函数的第二权重作为最终权重； 否则，根据所述准则函数的一阶导数修改所述下降方向以及hessian矩阵，根据修改后的所述下降方向、hessian矩阵以及预设的学习率计算下一次迭代的第二权重，根据下一次迭代的第二权重以及所述样本集重新计算所述准则函数的一阶导数，直到所述准则函数的一阶导数小于所述预设的收敛阈值。
5.一种分类器训练系统，其特征在于，包括 样本模块，用于获取有类别标记的训练样本集； 分类器定义模块，用于确定分类器的准则函数； 随机学习模块，用于根据所述训练样本集，采用随机梯度下降法对所述准则函数运行nl次迭代，获取所述准则函数的初步权重，其中，nl等于所述训练样本集的样本个数；批量学习模块，用于在所述初步权重的基础上，采用有限内存BFGS方法继续对所述准则函数运行若干次迭代直到收敛，获取所述准则函数的最终权重； 分类器模块，用于根据所述最终权重获取线性判别函数，建立分类器。
6.如权利要求5所述的分类器训练系统，其特征在于，进一步包括分类模块，所述分类模块用于根据输入分类器的待处理样本，计算所述线性判别函数的取值；如果所述取值大于零，则将所述待处理样本划分为正类；如果所述取值小于零，则将所述待处理样本划分为负类。
7.如权利要求5所述的分类器训练系统，其特征在于，所述随机学习模块包括 第一初始化模块，用于设定所述准则函数的第一权重； 随机迭代模块，用于根据所述第一权重对所述准则函数进行迭代，根据所述样本集中随机选取的一个样本，求取所述准则函数的一阶导数； 初步权重获取模块，用于根据所述一阶导数以及预先设定的学习率，设定下一次迭代的第一权重，重新对所述准则函数进行迭代，直到所述迭代的次数等于nl时，获取对应的所述第一权重作为所述初步权重。
8.如权利要求5至7任一项所述的分类器训练系统，其特征在于，所述批量学习模块包括 第二初始化模块，用于设定所述准则函数的第二权重、对应的下降方向以及hessian矩阵；其中，所述第二权重的初始值等于所述初步权重； 批量迭代模块，用于根据所述第二权重对所述准则函数进行迭代，根据所述样本集中的所有样本，求取所述准则函数的一阶导数； 判断模块，用于判断所述一阶导数是否小于预设的收敛阈值； 最终权重获取模块，用于在所述一阶导数小于所述预设的收敛阈值时，获取此次迭代中所述准则函数的第二权重作为最终权重；否则，根据所述准则函数的一阶导数修改所述下降方向以及hessian矩阵，根据修改后的所述下降方向、hessian矩阵以及预设的学习率计算下一次迭代的第二权重，根据下一次迭代的第二权重以及所述样本集重新计算所述准则函数的一阶导数，直到所述准则函数的一阶导数小于所述预设的收敛阈值。
全文摘要
本发明提供一种分类器训练方法及其系统，所述方法包括以下步骤根据带有类别标记的训练样本集，确定分类器的准则函数；根据所述训练样本集，采用随机梯度下降法对所述准则函数运行n1次迭代，获取所述准则函数的初步权重，其中，n1等于所述训练样本集的样本个数；在所述初步权重的基础上，采用有限内存BFGS方法继续对所述准则函数迭代直到收敛，获取所述准则函数的最终权重；根据所述最终权重获取线性判别函数，建立分类器。本发明能够提高优化方法的收敛速度，从而提高分类器的训练速度，并且不会降低分类器的准确率。
文档编号G06N5/00GK103020711SQ20121057277
公开日2013年4月3日 申请日期2012年12月25日 优先权日2012年12月25日
发明者吕俊超, 黄哲学 申请人:中国科学院深圳先进技术研究院