一种用于过程参数在线检测的增量集成算法
【专利摘要】本发明是一种用于过程参数在线检测的增量集成算法，其特征在于包括下列步骤：(1)测量与被检测量相关的可测量，随机抽取M个子数据集。确定弱学习机个数和基准误差。(2)赋予子数据集中每个样本一个权重，并根据权重选取训练子集与测试子集。(3)对每一个弱学习机训练并测试；根据误差判断学习机，若为“优”则保留，进入步骤(4)，若为“劣”则抛弃，转到步骤(2)。(4)依据误差率将多个基本检测模型集成得到集成检测模型。(5)对集成检测模型进行检验，并计算误差率，若误差率大于基准误差，则放弃该模型，并转到步骤(2)。(6)重复步骤(2)-(5)得到M个集成检测模型。(7)将M个集成检测模型整合成最终检测模型。
【专利说明】一种用于过程参数在线检测的增量集成算法
【技术领域】
[0001] 本发明属于在线检测【技术领域】，具体涉及一种基于数据的智能增量集成检测方 法。
【背景技术】
[0002] 近年来，人工智能技术得到了飞速的发展，基于人工智能技术的各种软测量方法 在工业生产过程中也得到了广泛的应用。然而，在实际应用过程中基于单一智能算法的软 测量方法常常存在着泛化能力有限、容易出现过拟合等不足，造成软测量模型的精度难以 提高，严重制约了软测量技术在生产过程中的实际运用。集成学习可以将多个子学习机进 行融合，进而提高整个学习系统的性能，能够在很大程度上克服上述不足。目前，集成学习 已经成为国内外机器学习界的研究热点，但是大多数的研究都是针对分类问题进行的，如 研究最为广泛的Bagging和Boosting算法等，对于集成学习在回归问题上的研究则少之又 少。此外，在实际生产过程中需要软测量模型能够随着生产的进行不断进行更新，以确保其 测量精度，这种在线更新能力的优劣直接决定了软测量技术实际应用的有效性。传统的更 新方法常通过不断增加训练数据来对模型进行更新，使得模型的训练时间不断增加，若直 接减掉部分数据则造成信息缺失；或者更新方法只适用于某一类模型，不具有应用的广泛 性。软测量模型更新已经成为阻碍软测量实际应用的最大绊脚石。因此开发能够使软测量 模型具有不断学习新数据的能力，同时能够保存从旧数据中学习到的信息，不会遗忘旧知 识，具有在线学习效率高、节省训练时间、所需存储空间小的软测量建模方法，成为保障软 测量在实际生产过程中在线应用所迫切需要开发的技术。
[0003] 目前，用于集成软测量最为广泛的方法为Boosting集成算法，Boosting是一种 典型的基于重抽样技术的集成方法，其核心思想是在训练新的学习机时，更关注那些学 习效果较差的训练样本。Freund和Schapire将Schapire提出的自适应Boosting算法 (AdaBoost)进行扩展，提出了 AdaBoost. Ml算法和AdaBoost. M2算法，它们可以有效地解 决多分类问题。如何用Boosting集成思想来解决回归问题已经成为各国学者关注的问 题，Freund和Schapire将AdaBoost. M2延伸到回归问题中，提出了 AdaBoost. R集成算法， 该算法的核心是以映射的形式将回归数据转化为分类数据集，进而达到解决回归问题的目 的，并通过实验对其进行了验证，然而仍然存在着不足。针对AdaBoost. R集成算法的不足， Drucker对AdaBoost. R进行改进，提出了 AdaBoost. R2算法，并通过实验验证了其对于回归 问题的适用性。AdaBoost. R2实际上也是AdaBoost. M2在回归问题上的延伸，首先选择一种 回归方法作为基本弱学习机，然后根据样本每次训练的误差大小来修改该样本所对应的权 重，使用新的权重选择训练样本来训练弱学习机，反复上述过程直到满足终止条件，最后将 训练好的弱学习机通过一定模式进行集成，得到最终的集成结果。然而，AdaBoost. R2有着 与AdaBoost. Ml同样的缺点：当误差率大于0. 5时则不能继续对弱学习机进行训练。2001 年Polikar和Udpa结合AdaBoost思想提出了一种增量集成学习算法-Learn++算法，用 于解决多分类问题。Learn++算法具有增量学习的性能，能够从新数据中学习到新的信息， 同时不会遗忘从旧数据中学到的信息。对于已有的类不需要使用原始数据对其训练，并能 够通过对新数据的学习增加新的类。Learn++集成算法在分类问题上已有一定应用，但此类 增量学习的方法在解决回归问题上的研究仍然处于空白。
[0004] 本发明的支持基金为国家自然科学基金（61403277)。
【发明内容】
[0005] 本发明的目的在于针对过程参数在线软测量技术的不足，提供一种基于数据的智 能增量集成检测方法。该方法提供一种集成算法，能够提高传统软测量方法的检测精度，并 在集成过程中加入权重，通过对权重的更新赋予模型增量学习的性能，从而实现在线实时 检测。
[0006] 本发明的用于过程参数在线检测的增量集成算法具体步骤如下：
[0007] (1)测量并记录一定数量与被检测量相关的可测量和被检测量，并从得到的数据 集中随机抽取M个子数据集。选择一种基本智能算法作为弱学习机，并确定弱学习机的个 数L，确定基准误差ε。
[0008] (2)对于每一个子数据集进行以下操作：赋予每个样本一个权重，并根据权重选 取相应的训练子集与测试子集。
[0009] (3)对于每一个弱学习机使用训练子集进行训练，得到相应的基本检测模型，并使 用测试子集测试其检测效果；根据训练与检测的误差计算误差率，将误差率与误差判定值 进行比较，若误差率大于误差判定值，则判定学习机为"坏"学习机，则将该其抛弃，更新权 重后转到步骤（2);否则为"好"则保留，进入步骤（4)。
[0010] ⑷根据误差率的大小将L个基本检测模型进行集成，得到性能较好的集成检测 模型。
[0011] (5)使用步骤（2)中的子数据集对集成检测模型进行检验，并计算误差率Ε，若E > ε则放弃该检测模型，并转到步骤（2)。
[0012] (6)重复步骤（2)-(5)得到M个集成检测模型及对应的误差率Et，在此过程中根 据模型的误差率更新其对应的权重：
【权利要求】
1. 一种用于过程参数在线检测的增量集成算法，其特征在于包含有以下步骤： (1) 测量并记录一定数量与被检测量相关的可测量和被检测量，并从得到的数据集中 随机抽取M个子数据集。选择一种基本智能算法作为弱学习机，并确定弱学习机的个数L， 确定基准误差ε。 (2) 对于每一个子数据集进行以下操作：赋予每个样本一个权重，并根据权重选取相 应的训练子集与测试子集。 (3) 对于每一个弱学习机使用训练子集进行训练，得到相应的基本检测模型，并使用测 试子集测试其检测效果；根据训练与测试的误差将学习机分为"优"、"劣"两大类，若为"优" 则保留，进入步骤（4)，若为"劣"则将其抛弃，更新权重后转到步骤（2)。 (4) 根据基本检测模型误差率的大小将L个基本检测模型进行集成，得到性能较好的 集成检测模型。 (5) 使用步骤（2)中的子数据集对集成检测模型进行检验，并计算集成检测模型的误 差率，若误差率大于基准误差，则放弃该检测模型，并转到步骤（2)。 (6) 重复步骤（2)-(5)得到M个集成检测模型及对应的误差率，在此过程中根据模型的 误差率确定其对应的权重。 (7) 再根据该权重将M个集成检测模型进行整合，得到最终检测模型。
2. 权利要求1所述的一种用于过程参数在线检测的增量集成算法，其特征还在于：步 骤（1)中的子数据集个数M可以随着生产的进行而增加，即当有新数据需要学习或新信息 需要获取时，只需要增加子数据集的个数（如M+1)，使用新增加的数据进行训练得到新的 集成检测模型，重复步骤（7)将其与原有集成检测模型一起整合得到更新后的检测模型。
3. 权利要求1所述的一种用于过程参数在线检测的增量集成算法，其特征还在于：在 步骤（1)设定了基准误差ε，当进行到步骤（3)时计算训练与检测的误差率，将误差率与 基准误差进行比较，若误差率大于基准误差ε判定学习机为"劣"学习机，则放弃该检测模 型，重新进行学习。
4. 权利要求1所述的一种用于过程参数在线检测的增量集成算法，其特征还在于： 步骤（2)中的每次迭代都需要从子数据集Sm中选取训练子集TRt和测试子集TEt (Sm = TRt+TEt)，t= 1，2, . . .，L。而在计算误差时则考虑回归映射在所有数据上的误差，测试子 集的加入有效地提高了算法的泛化能力。
5. 权利要求1所述的一种用于过程参数在线检测的增量集成算法，其特征还在于：步 骤（6)中的权重更新为：?Hf这里#=<>!!= 1，2或3,Et为步骤（6)中的 误差率。
6. 权利要求1所述的一种用于过程参数在线检测的增量集成算法，其特征还在于：步 骤（7)中依据权重由式.
得到最终的集成输出；当有新数据需要更新 时，则为
7.权利要求1所述的一种用于过程参数在线检测的增量集成算法，其特征还在于：步 骤（2)中对数据集中的每个样本赋予一个权重，初始时每个样本的权重是相同的，随着学 习的进行，对于那些信息较容易被获取的样本，在权重更新时降低其权重；而信息获取较难 的数据样本则加大所对应的权重。即样本的权重是依据训练及测试误差的大小来更新的。
【文档编号】G06F19/00GK104462797SQ201410695786
【公开日】2015年3月25日 申请日期:2014年11月24日 优先权日:2014年11月24日
【发明者】田慧欣 申请人:天津工业大学