一种基于主动学习的回归分析系统及方法
【专利摘要】本发明提供了一种基于主动学习的回归分析系统及方法，其中：数据采集模块收集回归学习所需的未标注数据，并进行预处理；训练集构建模块构建回归学习所需的训练数据，包括：初始阶段，从存储的未标注数据中随机挑选部分样本进行人工标注，构建初始训练集。迭代阶段，调用回归学习模块已经构建的回归模型，执行主动学习方法选择最有信息的样本进行标注，扩展已有的训练集；将标注后的数据存于存储模块；回归学习模块调用数据存储模块中的有标注的数，训练回归模型；上述训练集构建模块和回归学习模块，交互迭代进行；预测模块在主动学习迭代结束后，调用回归学习模块建立的回归模型，对因变量进行预测。本发明可以提高回归系统的数据分析的准确性。
【专利说明】—种基于主动学习的回归分析系统及方法
【技术领域】
[0001]本发明属于机器学习领域和数据挖掘领域，具体是一种基于主动学习的回归分析系统及方法。
【背景技术】
[0002]在自然科学和经济社会中，各种现象之间互相联系互相影响是一个普遍规律。一些因素(称之为自变量)的变化会导致与之相联系的因素(称之为因变量)产生相应的变化。回归分析系统是在分析自变量和因变量之间相关关系的基础上，建立回归方程，并将回归方程作为对未来因变量的预测模型。根据自变量与因变量的相关关系，回归分析可以分为线性回归和非线性回归。回归分析已广泛应用于各个行业(如工业生产，生物医学，金融市场，计算机人脸识别，语音识别等)的数据分析，也出现了很多利用回归分析技术的专利申请。
[0003]如已授权的中国专利102313722A(申请号201110260869.6)，该专利提供一种基于多元线性回归的煤质工业分析方法，该方法综合利用了对各工业分析指标具有显著贡献的相关元素的谱线信息，简化了由LIBS分析燃煤工业分析指标的过程，提高了定量分析的速度和精确度。又如已授权的中国专利1101515409A (申请号200910026146.2)，该专利提供一种通过管制工作负荷回归分析确定空域容量的方法，能够更为准确地衡量空域容量，对管制工作负荷预测和未来空域容量的评估更为直观，缩短了空域容量评估时间，保证空中交通的安全和高效。
[0004]回归分析属于监督学习，与其他的监督学习任务相似，回归模型的性能与训练集的质量高度相关。在实际的回归系统中，由于数据标注的代价巨大，因此，无法对收集到的海量无标注数据进行人工标注。目前广泛采用的方法是从海量未标注数据中随机挑选一部分数据进行标注，以此保持数据分布的特性。但是其不足之处在于，由于忽略训练集与回归模型之间的关系，因此，所构建的训练集难以保证回归模型的性能，从而导致回归系统的预测准确度不高，难以满足实际的需求。
【发明内容】
[0005]针对现有技术的不足，本发明的目的在于提供一种基于主动学习的回归分析系统，旨在充分利用训练集和回归模型之间的关系，提高回归系统的预测准确性，更好满足实际数据分析的需求。
[0006]为实现上述目的，本发明采用了以下技术方案:
[0007]本发明提供一种基于主动学习的回归分析系统，该系统包括:数据采集模块，训练集构建模块，回归学习模块，预测模块及数据存储模块，其中:
[0008]所述数据采集模块，收集回归学习所需的未标注数据，并对数据进行预处理，存于数据存储模块；
[0009]所述训练集构建模块，构建回归学习所需的训练数据，包括以下两个阶段:初始阶段，从存储的未标注数据中随机挑选部分数据进行人工标注，构建初始训练集；迭代阶段，调用回归学习模块已经构建的回归模型，执行主动学习方法，从未标注数据中选择最有信息的样本进行标注，扩展已有的训练集；将标注后的数据存于数据存储模块；
[0010]所述回归学习模块，调用数据存储模块中的有标注的数据，训练回归模型，包括线性回归模型和非线性回归模型；
[0011]所述的训练集构建模块和回归学习模块，交互迭代进行，从而充分利用训练集和回归模型之间的关系，提高回归系统的预测准确性。迭代终止条件包括多种:人工设置迭代次数，回归系统的预测性能满足实际需求等；
[0012]所述预测模块，主动学习迭代结束后，调用回归学习模块建立的回归模型，包括线性回归模型和非线性回归模型，对因变量进行预测，将预测结果展示给使用者；
[0013]所述数据存储模块，存储两部分数据:一部分存储未标注的数据，另一部分存储有标注的数据。其中，未标注数据被训练集构建模块调用，用于样本选择，当被选中标注后，转存为有标注数据。有标注数据被回归学习模块调用，用于训练回归模型。
[0014]本发明的另一目的在于提供一种用于上述系统的面向回归的主动学习方法，旨在选择最有信息的样本，更好解决已有技术的存在的上述不足之处。
[0015]所述一种面向回归的主动学习方法，具体包括如下步骤:
[0016]第一步骤，调用回归模型用Bootstrap方法获得未标注样本的预测值分布；
[0017]第二步骤，，获得当前回归模型对未标注样本X的预测值分布之后，对于每一个预测值，计算出该样本在当前回归模型下的预测误差；
[0018]第三步骤，得到样本的预测误差后，根据模型参数更新原则即按照预测误差的负梯度方向进行迭代更新，计算误差的梯度和模；
[0019]第四步骤，得到样本的K个梯度模之后，根据预测值的分布，计算梯度模的期望值，计算出期望值之后，根据此期望值主动选择构建回归模型的样本:选取期望值最大的样本。
[0020]与现有技术相比，本发明具有以下有益效果:
[0021]本发明上述的系统通过各模块之间的协调工作，充分利用回归模型和训练集之间的相互关系，能够选择出最有信息的样本，从而训练出高性能的回归模型，实现回归系统准确预测的目的。本发明应用于工业生产数据和农业数据的回归分析，结果准确度提升明显，可以更好的满足实际需求。
【专利附图】
【附图说明】
[0022]图1是本发明中基于主动学习的回归分析系统框架图；
[0023]图2是本发明中面向回归的主动学习流程图；
[0024]图3是本发明中基于主动学习的回归分析系统与现有技术的性能比较图。
【具体实施方式】
[0025]下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。
[0026]本实施例构建了一个基于主动学习的回归分析系统，。本发明的回归系统应用于工业生产和农业中的真实数据分析(包括水泥抗压强度数据，红葡萄酒质量数据和白葡萄酒质量数据)。在本发明的回归分析系统中，本实施例选取当前最重要的评价指标RMSE(Root Mean Squared Error,均方根误差)进行效果评价,并且与已有的具有代表性的技术进行了比较。可以充分测试本发明的效果。需说明的是，本发明的系统也可以应用于金融数据分析，计算机人脸识别，语音识别等各种实际应用。
[0027]表1给出了用于一个回归分析的水泥抗压强度数据的示例，自变量有水泥含量，水含量，塑化剂含量等，单位是公斤/立方米，因变量是水泥的抗压强度，为O~100的连续数值。回归系统需要依据已有的数据(前5行样本)，分析第6行样本水泥的抗压强度，以此对工业中新生产出的水泥进行识别和分类。
[0028]表1水泥抗压强度数据
【权利要求】
1.一种基于主动学习的回归分析系统，其特征在于，该系统包括:数据采集模块，训练集构建模块，回归学习模块，预测模块及数据存储模块，其中: 所述数据采集模块，收集回归学习所需的未标注数据，并对数据进行预处理，存于数据存储模块； 所述训练集构建模块，构建回归学习所需的训练数据，包括以下两个阶段:初始阶段，从存储的未标注数据中随机挑选部分数据进行人工标注，构建初始训练集；迭代阶段，调用回归学习模块已经构建的回归模型，执行主动学习方法，从未标注数据中选择最有信息的样本进行标注，扩展已有的训练集；将标注后的数据存于数据存储模块；其中所述主动学习方法先调用回归模型用Bootstrap方法计算未标注样本的预测值分布，再计算样本的预测误差，然后计算预测误差的梯度和模，最后根据预测值的分布计算梯度模的期望值，选择期望值最大的样本； 所述回归学习模块，调用数据存储模块中的有标注的数据，训练回归模型，所述回归模型包括线性回归模型和非线性回归模型； 上述训练集构建模块和回归学习模块，交互迭代进行，从而充分利用训练集和回归模型之间的关系，提高回归系统的预测准确性； 所述预测模块，主动学习迭代结束后，调用回归学习模块建立的回归模型，包括线性回归模型和非线性回归模型，对因变量进行预测，将预测结果展示给使用者； 所述数据存储模块，存储两部分数据:一部分存储未标注的数据，另一部分存储有标注的数据，其中，未标注数据被训练集构建模块调用，用于样本选择，当被选中标注后，转存为有标注数据；有标注数据被回归学习模块调用，用于训练回归模型。
2.根据权利要求1所述的基于主动学习的回归分析系统，其特征在于，所述数据采集模块收集回归学习所需的未标注数据，在回归系统中，每一个数据样本用一个特征向量表示，对数据的每一个特征按照以下公式进行归一化预处理:
3.根据权利要求1所述的基于主动学习的回归分析系统，其特征在于，所述训练集构建模块负责构建回归学习所需要的训练数据，构建训练集包括以下两个阶段:在初始阶段，即没有任何训练数据的情况下，从所存储的海量数据中随机挑选部分数据进行人工标注，作为初始训练集，并调用回归学习模块开始训练初始的回归模型，之后，训练集迭代构建；在迭代阶段，执行主动学习方法，对选择出的最有信息的样本数据进行标注。
4.根据权利要求1所述的基于主动学习的回归分析系统，其特征在于，所述回归学习模块，调用数据存储模块中的有标注的数据，训练回归模型，所述回归模型包括线性回归模型和非线性回归模型: 线性回归模型:f(x)= θ τχ，参数Θ通过训练样本的梯度下降法获取最优解；非线性回归模型:/w = Ixa,w,每一个hn(x)为一个基方程，通过样本特征空间划
m~l分构建，参数{λ i，λ 2，...，λ M}用梯度法获得最优解。
5.一种用于权利要求1所述回归分析系统的面向回归的主动学习方法，其特征在于，具体包括如下步骤: 第一步骤，调用回归模型用Bootstrap方法获得未标注样本的预测值分布对初始训练集按照训练集大小进行有放回的采样生成Bootstrap数据集，重复这种采样方式K次，即生成K个Bootstrap数据集,在每一个Bootstrap数据集上调用回归学习模块训练回归模型获得K个回归模型，用获得的K个模型对存储的未标注样本X进行预测，可获得未标注样本的预测值分布；K取值在4-8之间； 第二步骤，获得当前回归模型对未标注样本X的预测值分布之后，对于每一个预测值，计算出该样本在当前回归模型下的预测误差； 第三步骤，得到样本的预测误差后，根据模型参数更新原则即按照预测误差的负梯度方向进行迭代更新，计算误差的梯度和模: 线性回归模型:样本X预测误差的梯度计算为共有K个梯度，相应的，计算K个模,其中，f (X)为当前回归模型的预测值，Yi为Bootstrap的预测值； 非线性回归模型:首先为样本X做特征映射变换:Φ (X) = Di1(X),...，hM(x)]T，得到变换的特征后，预测误差的梯度计算为:(f (x) -Yi) Φ (x)，同样的有K个梯度，并相应的计算出K个模；其中，Mx)，...,hM(x)为非线性模型的基函数； 第四步骤，得到样本的K个梯度模之后，根据预测值的分布，计算梯度模的期望值，计算出期望值之后，根据此期望值主动选择构建回归模型的样本:选取期望值最大的样本。
【文档编号】G06F19/00GK103514369SQ201310430125
【公开日】2014年1月15日 申请日期:2013年9月18日 优先权日:2013年9月18日
【发明者】蔡文彬, 张娅 申请人:上海交通大学