基于波段筛选的光谱加权集成校正模型的构建方法及系统与流程

本发明涉及光谱分析中的多元校正领域，具体为一种基于波段筛选的光谱加权集成校正模型的构建方法及系统。

背景技术：

近红外光谱技术是一种非常重要的无损检测技术，其应用领域十分广泛。虽然近红外光谱具有检测速度快，没有污染等优点，但是其光谱重叠严重等缺点对校正模型的要求很高。因此为了提高校正模型的精确度，增加校正模型的稳定性，近红外光谱的波段选择引起了普遍的关注。

随着集成学习在各个领域的渗透，基于波段筛选的集成校正模型成为提高近红外光谱校正模型精确度和稳定性的首选方法之一。与传统的多元校正模型相比，集成校正模型精确度更好，稳定性更高。其原因在于，多个子模型的集成结果减少了校正结果对单一模型的绝对依赖性。目前，近红外光谱校正模型主要有对波长变量聚类，然后在每一类中随机选取一个，再进行集成的模型。以及利用自组织神经网络对波长变量聚类，然后最小化交叉误差确定权重的集成学习方法。此外，还有通过对波长变量赋权的集成学习方法和基于波长变量选择框架的集成方法。然而已有的这些集成校正模型的稳定性以及权重设置仍然没有很好的解决。

基于上述技术问题，需要设计一种新的基于波段筛选的光谱加权集成校正模型的构建方法及系统。

技术实现要素：

本发明的目的是提供一种基于波段筛选的光谱加权集成校正模型的构建方法及系统。

为了解决上述技术问题，本发明提供了一种基于波段筛选的光谱加权集成校正模型的构建方法，包括：

红外光谱波长聚类；

对聚类后的红外光谱波长剪枝；

根据剪枝后的红外光谱波长构建综合加权系数；

根据综合加权系数构建加权集成校正模型；以及

通过加权集成校正模型得到预测含量矩阵。

进一步，所述红外光谱波长聚类的方法包括：

训练集所含s个样品的近红外光谱矩阵为x∈r^m×s，m为波长变量数，物质真实含量化学值矩阵为y∈r^s×1，1表示列数是1,r表示实数，则对近红外光谱矩阵x＝(r1,r2,…,rm)^t按照波长划分获得波长列向量r1,r2,…,rm，对r1,r2,…,rm进行聚类，分成n类，t表示转置。

进一步，所述对聚类后的红外光谱波长剪枝的方法包括：对每一类波长变量对应的近红外光谱矩阵和物质真实含量化学值矩阵y∈r^s×1分别进行偏最小二乘pls建模得到预测含量矩阵通过比较与y获得每一类波长变量对预测结果的影响；

式中，i表示波长变量类i＝1,…,n；mi为第i类波长变量。

进一步，所述对聚类后的红外光谱波长剪枝的方法还包括：计算每一类物质含量的最大绝对误差和方差；

所述最大绝对误差为：

所述方差为：

式中，μi为第i类波长变量绝对误差的均值；ei,j为ei中第j个样本的物质含量绝对误差值；εi和σi的值越大，则删除或减少第i类波长变量在加权集成校正模型中的权重；通过归一化获得统一指标下εi和σi的综合度量，即

式中，i＝1,…,n。

进一步，所述对聚类后的红外光谱波长剪枝的方法还包括：每一类波长变量对应的εi和σi大小具有同步变化，即最大绝对误差越大的类，其方差也越大；

对最大绝对误差和方差归一化的数值求和：zi＝εi+σi，并根据zi大小进行剪枝挑选出最大绝对误差和方差都较小的类，将zi按照从大到小进行排序，将数值变化较大的波长变量类进行剪枝。

进一步，所述根据剪枝后的红外光谱波长构建综合加权系数为：剪枝后波长变量剩余k类，在剩余的波长变量每一类中随机选取一个波长则k个波长对应的光谱矩阵组成一个子训练集；子训练集x^c中每一剩余的波长变量对预测结果的重要性不同；通过归一化的最大绝对误差εi和方差σi构建综合加权系数w修正x^c中剩余的波长变量即

w＝e^-ε·e^-σ；

式中，c表示剪枝；w表示加权系数，w＝(w1,w2,…,wk),ε＝(ε1,ε2,…,εk)，σ＝(σ1,σ2,…,σk)。

进一步，所述构建加权集成校正模型的方法为：结合物质真实含量化学值矩阵y∈r^s×1利用pls构建预测子模型得到β的计算值重复tc次获得tc个子加权集成校正模型从而得到并利用tc个得到加权集成校正模型的

式中，β为回归系数；e为误差；u,v为对x,y进行主成份分析的因子矩阵，满足x＝up,y＝vq，t表示转置，(u^tu)^-1表示矩阵(u^tu)的逆矩阵。

进一步，所述通过加权集成校正模型得到预测含量矩阵的方法为：将预测集的光谱矩阵xp利用w进行修正形成并代入公式：得到物质的预测含量矩阵

另一方面，本发明还提供一种基于波段筛选的近红外光谱加权集成校正模型系统，包括：

聚类模块，红外光谱波长聚类；

剪枝模块，对聚类后的红外光谱波长剪枝；

加权系数模块，根据剪枝后的红外光谱波长构建综合加权系数；

校正模型模块，根据综合加权系数构建加权集成校正模型；以及

预测含量矩阵模块，通过加权集成校正模型得到预测含量矩阵。

本发明的有益效果是，本发明通过红外光谱波长聚类；对聚类后的红外波长剪枝；根据剪枝后的红外波长构建综合加权系数；根据综合加权系数构建加权集成校正模型；以及通过加权集成校正模型得到预测含量矩阵，实现了加强加权集成校正模型稳定性。

附图说明

下面结合附图和实施例对本发明进一步说明。

图1是本发明所涉及的基于波段筛选的光谱加权集成校正模型的构建方法的流程图；

图2是本发明所涉及的基于波段筛选的光谱加权集成校正模型的流程图。

具体实施方式

现在结合附图对本发明作进一步详细的说明。这些附图均为简化的示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明有关的构成。

实施例1

图1是本发明所涉及的基于波段筛选的光谱加权集成校正模型的构建方法的流程图。

如图1所示，本实施例提供了一种基于波段筛选的光谱加权集成校正模型的构建方法，包括：红外光谱波长聚类；对聚类后的红外光谱波长剪枝；根据剪枝后的红外光谱波长构建综合加权系数；根据综合加权系数构建加权集成校正模型；以及通过加权集成校正模型得到预测含量矩阵，实现了加强加权集成校正模型稳定性。

图2是本发明所涉及的基于波段筛选的光谱加权集成校正模型的流程图。

如图2所示，在本实施例中，所述红外光谱波长聚类的方法包括：设训练集所含s个样品的近红外光谱矩阵为x∈r^m×s，m为波长变量数，物质真实含量化学值矩阵为y∈r^s×1，1表示列数是1,r表示实数，则对近红外光谱矩阵x＝(r1,r2,…,rm)^t按照波长划分获得波长列向量r1,r2,…,rm，对r1,r2,…,rm进行聚类，分成n类，t表示转置。

在本实施例中，所述对聚类后的红外光谱波长剪枝的方法包括：对每一类波长变量对应的近红外光谱矩阵和物质真实含量化学值矩阵y∈r^s×1分别进行偏最小二乘pls建模得到预测含量矩阵通过比较与y获得每一类波长变量对预测结果的影响；式中，i表示波长变量类i＝1,…,n；mi为第i类波长变量。

在本实施例中，所述对聚类后的红外光谱波长剪枝的方法还包括：计算每一类物质含量的最大绝对误差和方差；所述最大绝对误差为：

所述方差为：

式中，μi为第i类波长变量绝对误差的均值；ei,j为ei中第j个样本的物质含量绝对误差值；不失一般性，εi和σi的值越大，那么第i类波长变量建模的预测结果越差，在加权集成校正模型中这一类波长就需要被删除或者减少其在加权集成校正模型中的权重；由于εi和σi(i＝1,…,n)的数量单位不一样，构造一个统一指标对εi和σi进行综合度量，需要将二者进行归一化处理，即

在本实施例中，所述对聚类后的红外光谱波长剪枝的方法还包括：观察最大绝对误差εi和方差σi都归一化以后的结果，从中可以看出多数情况下每一类波长变量对应的εi和σi大小具有同步变化，即最大绝对误差越大的类，其方差也越大；为了能够挑选出最大绝对误差和方差都较小的类，对最大绝对误差和方差归一化的数值求和：zi＝εi+σi，并根据zi大小进行剪枝挑选出最大绝对误差和方差都较小的类，将zi按照从大到小进行排序，将数值变化较大的波长变量类进行剪枝；同时考虑了最大绝对误差和方差，更有利于挑选出最大绝对误差和方差都较小的类，减少冗余信息的干扰。

在本实施例中，所述根据剪枝后的红外光谱波长构建综合加权系数为：假设剪枝后波长变量剩余k类，在剩余的波长变量每一类中随机选取一个波长则k个波长对应的光谱矩阵组成一个子训练集；可以发现，剩余的波长变量中每一类波长的预测精度不同，即子训练集x^c中每一剩余的波长变量对预测结果的重要性不同；最大绝对误差和方差越大的波长变量，在模型建立时重要性越低，因此结合归一化的最大绝对误差εi和方差σi构建一个综合加权系数w对x^c中的剩余的波长变量进行修正，即

w＝e^-ε·e^-σ；

式中，c表示剪枝；w表示加权系数，w＝(w1,w2,…,wk)；

结合归一化的最大绝对误差εi和方差σi构建一个综合加权系数对剩余的波长变量进行修正，在一定程度上提高了预测结果的精确度和稳定性。

在本实施例中，所述构建加权集成校正模型的方法为：结合物质真实含量化学值矩阵y∈r^s×1利用pls构建预测子模型得到β的计算值重复tc次获得tc个子加权集成校正模型从而得到并利用tc个得到加权集成校正模型的式中，β为回归系数；e为误差；u,v为对x,y进行主成份分析的因子矩阵，满足x＝up,y＝vq，t表示转置，p,q为载荷矩阵，(u^tu)^-1表示矩阵(u^tu)的逆矩阵。

在本实施例中，所述通过加权集成校正模型得到预测含量矩阵的方法为：将预测集的光谱矩阵xp利用w进行修正形成并代入公式：得到物质的预测含量矩阵

实施例2

在实施例1的基础上，本实施例2还提供一种基于波段筛选的近红外光谱加权集成校正模型系统，包括：聚类模块，红外光谱波长聚类；剪枝模块，对聚类后的红外光谱波长剪枝；加权系数模块，根据剪枝后的红外光谱波长构建综合加权系数；校正模型模块，根据综合加权系数构建加权集成校正模型；以及预测含量矩阵模块，通过加权集成校正模型得到预测含量矩阵。

综上所述，本发明通过红外光谱波长聚类；对聚类后的红外波长剪枝；根据剪枝后的红外波长构建综合加权系数；根据综合加权系数构建加权集成校正模型；以及通过加权集成校正模型得到预测含量矩阵，实现了加强加权集成校正模型稳定性。

对波长变量进行聚类并综合考虑预测值和真实值的最大绝对误差和方差进行剪枝，有效减少了波长变量个数，更能提取信息量丰富的波长变量。在剪枝后的聚类中多次随机抽取波长变量并构造综合加权系数进行加权构建子训练集，不仅增加了训练集的多样性而且强化了不同波段的地位。集成学习过程中，通过对各子模型获得的β～i值进行集成，摆脱了预测结果对单一模型的依赖性，提高了模型的稳定性。

以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。