一种非稀疏的多核学习算法
【专利摘要】多核学习(MKL)通过多种核函数的组合，实现了对多种特征集合的表示，有利于对多源数据的处理。本发明提出的非稀疏多核学习，在组内的核函数采用l1范数，相当于仅选择最重要的核函数进行组合，以提升稀疏性；在组间采用l2范数，相当于平等地选择处于不同子空间的核函数，以提高学习和预测的精度。这种非稀疏多核学习问题采用，Mirro-Descent(MD)方法求解，达到了既提高学习精度，又提高学习速度的目的。
【专利说明】—种非稀疏的多核学习算法一、【技术领域】
[0001]本发明 属于智能控制与建模领域,涉及多核学习(Multiple Kernel Learning,MKL)、最优化算法等方法。
二、【背景技术】
[0002]多核学习(MKL)通常可以转化为半定规划问题来求解。对于一些规模较小的数据集，MKL不会遇到太大的障碍。但对于一些大规模问题，由于涉及到多核矩阵的快速求解、高维多核矩阵的分解等，半定规划求解算法效率非常低。Bregman在设计、分析可行性和优化问题的算法的过程中，通过使用Bregman距离函数,首创了优美而有效的Bregman优化方法。Bregman优化方法是当前算法理论中重要的研究课题。
[0003]三、专利内容:
[0004]1、专利目的
[0005]发明一种基于Bregman距离的非稀疏多核学习方法，这种方法既能提高多核学习的精度，有能提高多核学习的速度。
[0006]2、技术解决方案
[0007]本发明提出的非稀疏多核学习，在组内的核函数采用I1范数，相当于仅选择最重要的核函数进行组合，以提升稀疏性；在组间采用I2范数，相当于平等地选择处于不同子空间的核函数，以提高学习和预测的精度。这种最优化问题，是一种非光滑的凸优化问题，本发明提出利用Mirro-Descent(MD)方法来求解。
四、【具体实施方式】
[0008]Mirro-Descent (MD)方法类似于最速下降算法,但是关键之处是,在辅助优化问题的每一步迭代中，利用Bregman距离函数,取代欧几里德(Euclidean)距离函数。Bregman距离函数利用单纯形的几何性质，导致MD方法在单纯形直积(Product of Simplices)上进行优化，因此，相比简单多核(SimpleMKL)等方法，具有非常高的运算效率。因此，对于弹性多核学习的算法研究，关键是构造能作为Bregman距离的具体函数。
[0009]MKL的最优化问题由两部分组成:mjn [/?emp(w)+ΑΩ(νν)]，Remp(w)为经验风险，用以拟合样本数据。Ω (w)为正则项，用以限制决策函数的复杂度。具体来说，假设给定的N个样本U,.，其中xi属于输入空间，Yi属于输出空间。对于回归问题yieR。对于核函数km的Gram矩阵为Km = (^(χ?； Yi)) ^j, Hm为相应的再生核希尔伯特空间，并假设Km正定。首先考虑固定核权值的学习问题。对于M个非负核权屯，d2，…dM，组合核的核矩阵
-km。则决策函数的I2范数的形式为
m~l
M Wf Il2M
[0010]WfWn= t mins.t./=￡/,,(3)
[0011]则固定核权值的MKL问题归结为
【权利要求】
1.发明的一种非稀疏的多核学习算法，其特征在于:在组内的核函数采用I1范数，以提升稀疏性；在组间采用I2范数，以提高学习和预测的精度。
2.权利要求1所述的一种非稀疏的多核学习算法，其特征还在于:利用Mirro-Descent (MD)方法来 求解。
【文档编号】G06F17/50GK103902749SQ201210568354
【公开日】2014年7月2日 申请日期:2012年12月25日 优先权日:2012年12月25日
【发明者】王书舟 申请人:天津工业大学