一种多核学习新算法
【专利摘要】多核学习(MKL)通过多种核函数的组合，实现了对多种特征集合的表示，有利于对多源数据的处理。本发明提出的一种多核学习的新方法，Mirro-Descent(MD)方法求解，达到了既提高学习精度，又提高学习速度的目的。
【专利说明】—种多核学习新算法
一、【技术领域】
[0001]本发明属于智能控制与建模领域,涉及多核学习(Multiple Kernel Learning,MKL)、最优化算法等方法。
二、【背景技术】
[0002]多核学习(MKL)通常可以转化为半定规划问题来求解。对于一些规模较小的数据集，MKL不会遇到太大的障碍。但对于一些大规模问题，由于涉及到多核矩阵的快速求解、高维多核矩阵的分解等，半定规划求解算法效率非常低。Bregman在设计、分析可行性和优化问题的算法的过程中，通过使用Bregman距离函数,首创了优美而有效的Bregman优化方法。Bregman优化方法是当前算法理论中重要的研究课题。
[0003]三、专利内容:
[0004]1、专利目的
[0005]发明一种基于Bregman距离的非稀疏多核学习方法，这种方法既能提高多核学习的精度，有能提高多核学习的速度。
[0006]2、技术解决方案
[0007]本发明提出弹性MKL框架，求解的基本思路是，首先把其优化问题转化为一个凸优化问题，并采用Mirro-Descent(MD)方法来求解。
四、【具体实施方式】
[0008]Mirro-Descent (MD)方法类似于最速下降算法,但是关键之处是,在辅助优化问题的每一步迭代中，利用Bregman距离函数,取代欧几里德(Euclidean)距离函数。Bregman距离函数利用单纯形的几何性质，导致MD方法在单纯形直积(Product of Simplices)上进行优化，因此，相比简单多核(SimpleMKL)等方法，具有非常高的运算效率。因此，对于弹性多核学习的算法研究，关键是构造能作为Bregman距离的具体函数。
[0009]利用MD方法的关键之处是构造Bregman距离函数。考虑如下的最优化问题:
[0010]minf (X) x e X(I)
[0011]其中X e Rn是具有非空内点的凸闭集，目标函数f:X —R具有Lipschitz连续性，即满足3Z, |f (x)-f (y) I≤Li x-y |。f对于给定的任意x e X存在能够计算f (x)和f' (x)的预报。这个优化问题，经典的次梯度投影算法(SPA)采用迭代的方式求解:
[0012]xt+1 = Jix(xt+1-stf(xt))(2)
[0013]其中St是步长，
【权利要求】
1.发明的一种多核学习新算法，其特征在于:利用Mirro-Descent(MD)方法来求解。
2.权利要求1所述的一种多核学习新算法，其特征还在于:在辅助优化问题的每一步迭代中，利用Bregm an距离函数，取代欧几里德(Euclidean)距离函数。
【文档编号】G06F17/50GK104021236SQ201310064323
【公开日】2014年9月3日 申请日期:2013年3月1日 优先权日:2013年3月1日
【发明者】王书舟 申请人:天津工业大学