一种傅里叶红外光谱仪及其温漂在线校正方法与流程

1.本发明涉及红外光谱分析技术领域，特别是一种温漂在线校正方法及其应用该方法的傅里叶红外光谱仪。


背景技术：

2.红外光可以穿透不透明物体，在材料科学、生物化学等领域有着广泛的应用。将镓、砷及磷砷镓、磷化镓等材料构成的半导体发光二极管设置正向偏置，使得内部载流子发生复合，电子从高能级向低能级跃迁，以电磁辐射的形式释放能量。在特定的半导体材料和掺杂条件下，就产生了具有穿透能力的红外光，检测不同能量的红外光光强就组成了红外光谱。
3.红外光谱分析是一种利用物质对不同波长的红外光的吸收特性，进行分子结构和化学组成分析的技术。当一束具有连续波长的红外光通过物质，物质分子中某个基团的振动频率或转动频率和红外光的频率一样时，分子就吸收能量由原来的基态振动能级跃迁到能量较高的振动能级，该处波长的光就被物质吸收。红外辐射在穿透物质时，不同波长的红外光被物质吸收的程度不同。穿透物质后的各波长对应的光强组成了红外吸收光谱，分析光谱可以对物质进行定性定量分析。
4.红外光谱仪通常由光源、单色器、探测器和计算机处理信息系统组成。根据分光装置的不同，分为色散型红外光谱仪和傅里叶红外光谱仪。
5.傅立叶红外光谱仪是利用迈克尔逊干涉仪将红外光分成两束，在动镜和定镜上反射回分束器上，这两束光是宽带的相干光，会发生干涉。相干的红外光照射到样品上，经检测器采集，获得含有样品信息的红外干涉图数据，经过计算机对数据进行傅立叶变换后，得到样品的红外光谱图。
6.目前市面上的傅里叶红外光谱仪各有优缺点，但无一例外的都会受到温度变化的影响，在非标准温度下测得的光强值存在误差，这就是红外光谱的温漂问题。但是，目前针对该温漂问题的研究，主要为针对某一种确定物质的不同温度下的光谱曲线变化的研究。一方面，单纯探索确定物质下温度变化与光强的数量关系，不具有推广性；另一方面，在光谱测定实验中，光谱仪由于自身的工作放热，温度也会逐渐升高，温漂问题不可避免，如果忽略光谱仪的仪器因素，将导致测量结果的不准确性。


技术实现要素：

7.本发明的主要目的在于提供了一种傅里叶红外光谱仪及其温漂在线校正方法，基于深度学习的温漂校正方法，能准确预测出非标准温度下采集的光谱曲线在标准温度下的校正曲线，预测精度只取决于仪器本身而不限于被测物质特性，具有普适性。
8.为实现上述目的，本发明提供了一种温漂在线校正方法，其包括以下步骤：
9.步骤(1)，获取傅里叶红外光谱仪采集的光谱数据；
10.步骤(2)，对所述光谱数据进行数据清洗和数据归一化处理；
11.步骤(3)，对所述光谱数据提取如下特征：波长、光强、待校正温度，并对波长和光强进行特征融合，得到融合特征；
12.步骤(4)，将所述待校正温度和所述融合特征输入stacking集成模型进行数据训练或预测；其中，所述stacking集成模型包括两层，第一层采用lightgbm模型，第二层采用多元线性回归模型；
13.步骤(5)，将所述stacking集成模型的输出值反归一化为标准温度下的光强值。
14.本发明采用基于stacking集成模型的温漂校正方法，能准确预测出非标准温度下采集的光谱曲线在标准温度下的校正曲线，预测精度只取决于仪器本身而不限于被测物质特性，具有普适性。
15.并且，本发明对波长和光强进行特征融合，将得到的融合特征作为模型训练或预测的输入特征，能够极大的提高后续模型预测精度和速度。
16.本发明以波长、光强、待校正温度作为输入特征，不仅发挥了光谱仪温度传感器的作用，而且关联了温漂成因，在后续模型预测时，输入温度变化比单纯的检测光谱信号形变更直接快速，也具有更直观的物理意义。
17.本发明的stacking集成模型，第一层采用lightgbm模型，第二层采用多元线性回归模型，再结合波长、光强、待校正温度三个特征作为输入，不仅能够提升校正速度以便在线使用，而且能够有效避免过拟合。
18.优选的，所述的步骤(2)中，所述数据清洗进一步包括：
19.步骤(21)，选择sym8为小波基，分解层数为3层，对光谱数据进行三级小波变换，得到低频系数和高频系数；
20.步骤(22)，对所述高频系数使用固定阈值进行阈值化处理；
21.步骤(23)，将所述低频系数和阈值化处理后的高频系数通过小波重构，得到初步去噪数据；
22.步骤(24)，对初步去燥后的高频系数再使用中值滤波处理；
23.步骤(25)，将初步去燥后的低频系数和中值滤波处理后的高频系数重构为清洗后数据。
24.在光谱分析时，光谱原始数据通常会包含噪声，例如脉冲干扰或高斯白噪声等，这些噪声会让光谱原始数据的形状、位置等发生变化，进而影响分析的结果。为了提高分析的精确度，需要对光谱原始数据进行数据清洗，降低原始数据中的噪声，保留有用的信息，从而得到更精确而正确的结果。本发明中使用的中值滤波结合小波变换的数据清洗方法，光谱原始数据在去除了噪声后更加平滑，也尽可能地保留了有用的信息。
25.优选的，所述的步骤(2)中，所述数据归一化处理，是指对所述光谱数据进行z-socre标准化，标准化公式为其中，为μ(e)的平均值，σ为标准差，标准化后的数据符合标准正态分布，即均值为0，标准差为1。
26.由于输入的特征间量纲不一，绝对数值相差过大，为了消除特征间量纲的影响，需要进行数据标准化处理，以解决数据量纲之间的可比性。原始数据经过本发明的标准化处理后，各量纲处于同一数量级，使数据落入一个指定规则的区间，适合进行综合对比评价。同时，数据归一化可以提升模型的收敛速度和训练精度。
27.优选的，所述的步骤(3)中，对波长和光强进行特征融合，进一步包括：
28.步骤(31)，用高斯分布计算波长和光强之间的融合前距离，高斯分布的公式为p
j|i
表示中心为高维空间中一点xi时，高维空间中另一点xj是其临近点的概率；xi、xj、xk均为高维空间中某一点的坐标值；σi为不同的中心点xi对应的高斯分布的方差；
29.步骤(32)，用t分布计算波长和光强之间融合后距离，t分布的公式为yi、yj、yk为高维空间中xi、xj、xk映射到低维空间中的点；q
i|j
表示中心为低维空间中一点yi时，低维空间中另一点yj是其临近点的概率；
30.步骤(33)，用kl距离计算所述融合前距离和所述融合后距离是否一样，即，计算所述高斯分布和所述t分布是否相似，kl距离的公式为述高斯分布和所述t分布是否相似，kl距离的公式为p
j|i
为高斯分布中表示中心为高维空间中一点xi时，高维空间中另一点xj是其临近点的概率；q
j|i
表示中心为低维空间中一点yi时，低维空间中另一点yj是其临近点的概率；
31.步骤(34)，通过梯度下降法的不断迭代和缩小所述kl距离，梯度下降法的公式为c为上述两分布的kl距离，yi、yj为低维空间中的某一点，p
j|i
表示中心为高维空间中一点xi时，高维空间中另一点xj是其临近点的概率；p
i|j
表示中心为高维空间中一点xj时，高维空间中另一点xi是其临近点的概率；q
i|j
表示中心为低维空间中一点yi时，低维空间中另一点yj是其临近点的概率，q
j|i
表示中心为低维空间中一点yj时，低维空间中另一点yi是其临近点的概率。
32.当波长增长时，不同温度下的光谱曲线往往有相同的变化趋势，因此，波长和待校正温度下的光强之间存在一定的相关性。lightgbm模型是基于决策树的回归模型，本发明将相关性较高的波长和光强两个特征进行融合，有利于提升lightgbm模型的预测精度和速度。
33.优选的，所述的步骤(4)中，所述lightgbm模型的训练进一步包括：
34.步骤(41)，使用直方图算法寻找最佳分裂节点：首先对每个特征的取值离散化，然后构建一个宽度为k的直方图，实现用直方图代替原有的数据，最后将借助于构建的直方图遍历数据，计算每段样本中的梯度和样本数量等用来寻找最优分裂节点；
35.步骤(42)，使用基于梯度的单边采样方法goss进行数据采样：首先根据样本点的梯度的绝对值对所述样本点进行降序排序，然后根据设定好的大梯度数据采样率a在排序后的结果中选取样本生成一个大梯度样本点的子集；然后，对剩下的样本集合(1-a)的样本，根据设定好的小梯度数据采样率b，随机地选取b
·
(1-a)
×
100％个样本点，生成一个小梯度样本点的集合；接着，将大梯度样本和采样的小梯度样本合并，将小梯度样本乘上一个权重系数(1-a)/b；并且，使用上述的采样的样本，学习一个新的弱学习器；最后，不断地重复前述步骤直到达到预设的迭代次数或者收敛为止；
36.步骤(43)，使用互斥特征捆绑进行特征采样：首先构造一个带有权重的图，其权值对应于特征之间的总冲突；然后通过特征在图中的环长度来降序排序特征；最后检查上述
排序好的每个特征，确保特征捆绑集合的冲突数不会大于最大冲突阈值。
37.本发明使用直方图算法寻找最佳分裂节点无需遍历所有的数据，显著减少了计算量，提高了训练速度，有助于实现在线校正。使用互斥特征捆绑在缩短训练时间提升学习效率的同时，也大大增强了模型学习的多样性，在模型的泛化性能方面有极大的提升。
38.优选的，所述的步骤(4)中，所述多元线性回归模型的训练进一步包括：
39.步骤(44)，导入所述lightgbm模型的输出值，建立初始多元线性回归模型；
40.步骤(45)，以均方误差为损失函数，公式为步骤(45)，以均方误差为损失函数，公式为j(θ0，θ1，...，θn)为损失函数值，h
θ
(x0，x1，...，xn)表示参数为θ时线性回归模型在x0，x1，...，xn等点的值，yi为真实值；
41.步骤(46)，使用梯度下降法最小化损失函数，公式为θk＝θ
k-1-αx
t
(θ
k-1
x-y)；θk、θ
k-1
为第k次迭代中多元线性回归模型参数，x为特征矩阵，y为真实值矩阵，α为学习率；
42.步骤(47)，根据所述最小化的损失函数，调整初始多元线性回归模型的参数，并循环迭代训练初始多元线性回归模型，得到最终多元线性回归模型。
43.本发明采用多元线性回归模型，该模型结构较为简单，与lightgbm模型相结合时不易产生过拟合现象。
44.优选的，所述的步骤(4)中，对所述lightgbm模型进行训练之前，先对所述lightgbm模型的关键超参数进行自适应寻优；所述超参数包括：树的棵数、树的深度、学习率、最小叶子权重；所述超参数的优化步骤包括：
45.确定所述超参数的范围，并设置种群数量、迭代次数、交叉率和变异率；
46.对所述超参数类型进行编码，对所述树的棵数、树的深度和最小叶子权重采用二进制编码，对所述学习率则通过划分连续小区间进行编码；
47.初始化种群，以f1指标作为适应度函数，采用十折交叉验证方式计算个体的适应度值；
48.根据比例选择法对个体进行选择，其中适应度值越大的个体被选中的几率越高；
49.对选择的个体进行均匀交叉以及变异，并更新个体；
50.判断迭代次数是否达到最大迭代次数，如果满足则输出最优个体和对应适应度值；
51.最优个体所对应的最优参数即是lightgbm中的树的棵数、树的深度、学习率、最小叶子权重。
52.本发明中，树的棵数、树的深度，是防止过拟合的最重要的参数，对模型性能和泛化能力有决定性作用。学习率越小模型表现的最终表现容易获得比较好的结果，但是过小的学习率往往会导致模型的过拟合以及影响模型训练的时间，本发明通过自适应调优获得最优学习率参数。最小叶子权重对模型的泛化能力具有重要影响。
53.优选的，所述stacking集成模型的两层模型的融合过程包括如下步骤：
54.训练第一层模型：使用5折交叉验证，将训练数据随机等量划分为5个样本，将其中的1份作为验证集，其余的4份作为训练集进行训练，基于训练集训练lightgbm模型，基于训练集训练生成的模型对所述验证集进行预测，重复以上过程5次，得到第一层的lightgbm模型；
55.训练第二层模型：将第一层模型对训练数据的预测值作为第二层的多元线性回归模型的输入训练数据，第一层模型对测试数据的预测值作为第二层的多元线性回归模型的输入测试数据，使用第二层模型重复上述过程，得到的输出值即为所述stacking集成模型的输出结果。
56.本发明通过5折交叉验证的方法，每次的训练集都会与以往不同，在扩大了数据集规模的基础上，有效提高了泛化能力。通过stacking集成学习，综合了两种模型的长处，两种模型分别学习了光谱信号的不同信息，使得预测精度高于单独任何一种。
57.与所述温漂在线校正方法相对应的，本发明提供一种傅里叶红外光谱仪，其包括：
58.数据采集模块，用于采集光谱数据；
59.数据处理模块，用于对所述光谱数据进行数据清洗和数据归一化处理，以及对所述光谱数据提取如下特征：波长、光强、待校正温度，并对波长和光强进行特征融合，得到融合特征；
60.模型训练预测模块，将所述待校正温度和所述融合特征输入stacking集成模型进行数据训练或预测；其中，所述stacking集成模型包括两层，第一层采用lightgbm模型，第二层采用多元线性回归模型；将所述stacking集成模型的输出值反归一化为标准温度下的光强值。
61.综上，本发明的温漂在线校正方法，通过对光谱数据进行数据清洗；数据归一化；根据输入特征进行特征融合；划分原始数据；根据自适应寻优算法选取lightgbm关键超参数；输入融合后的特征对改进的lightgbm模型进行训练；采用预测结果训练多元线性回归模型；使用stacking集成学习算法融合改进的lightgbm模型和多元线性回归模型；将模型输出结果数据复原得到最终回归结果。实验表明，本发明能准确预测出非标准温度下采集的光谱曲线在标准温度下的校正曲线，预测精度只取决于仪器本身而不限于被测物质特性，具有普适性。
62.此外，本发明使用的中值滤波和小波变换的滤波算法可以刚好弥补lightgbm模型不擅长处理带有噪声的数据这一缺陷；使用lightgbm模型和多元线性回归模型结合的stacking集成学习算法契合光谱曲线的物理特性，可以精确得到对应标准温度下的校正曲线。
63.同时，使用的lightgbm模型速度快，对内存占用小，分布式运算可快速处理多通道下的海量光谱数据，实现在线校正。
64.综上，本发明使用的算法为提升光谱仪检测精度，推广使用范围提供了可能，有很好的应用前景。
附图说明
65.此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
66.图1为本发明温漂在线校正方法的流程简图；
67.图2为为宽波段傅里叶光谱仪在不同温度下所测70℃黑体原始光谱曲线(标准温度为25℃)；
68.图3为利用本发明方法对所测光谱曲线校正的结果(待校正温度为5℃)；
69.图4为利用本发明方法对所测光谱曲线校正的结果(待校正温度为15℃)；
70.图5为利用本发明方法对所测光谱曲线校正的结果(待校正温度为35℃)；
71.图6为利用本发明方法对所测光谱曲线校正的结果(待校正温度为45℃)；
72.图7为利用本发明方法对所测光谱曲线校正的结果(待校正温度为55℃)。
具体实施方式
73.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
74.如图1所示，本实施例的一种温漂在线校正方法，其包括以下步骤：
75.步骤(1)，获取傅里叶红外光谱仪采集的光谱数据；
76.步骤(2)，对所述光谱数据进行数据清洗和数据归一化处理；
77.步骤(3)，对所述光谱数据提取如下特征：波长、光强、待校正温度，并对波长和光强进行特征融合，得到融合特征；
78.步骤(4)，将所述待校正温度和所述融合特征输入stacking集成模型进行数据训练或预测；其中，所述stacking集成模型包括两层，第一层采用lightgbm模型，第二层采用多元线性回归模型；
79.步骤(5)，将所述stacking集成模型的输出值反归一化为标准温度下的光强值。
80.其中，本实施例中的stacking集成模型，训练阶段的输入为已知的融合特征和非标准温度，输出为已知的标准温度下的光强，要求模型的参数；预测阶段的输入为已知的融合特征和非标准温度，模型的参数已知，输出为待求的标准温度下的光强。
81.本实施例中采用基于stacking集成模型的温漂校正方法，能准确预测出非标准温度下采集的光谱曲线在标准温度下的校正曲线，预测精度只取决于仪器本身而不限于被测物质特性，具有普适性。
82.并且，本实施例中对波长和光强进行特征融合，将得到的融合特征作为模型训练或预测的输入特征，能够极大的提高后续模型预测精度和速度。
83.本实施例中以波长、光强、待校正温度作为输入特征，不仅发挥了光谱仪温度传感器的作用，而且关联了温漂成因，在后续模型预测时，输入温度变化比单纯的检测光谱信号形变更直接快速，也具有更直观的物理意义。
84.本实施例中的stacking集成模型，第一层采用lightgbm模型，第二层采用多元线性回归模型，再结合波长、光强、待校正温度三个特征作为输入，不仅能够提升校正速度以便在线使用，而且能够有效避免过拟合。
85.本实施例中，所述的步骤(2)中，所述数据清洗进一步包括：
86.步骤(21)，选择sym8为小波基，分解层数为3层，对光谱数据进行三级小波变换，得到低频系数和高频系数；
87.步骤(22)，对所述高频系数使用固定阈值进行阈值化处理；
88.步骤(23)，将所述低频系数和阈值化处理后的高频系数通过小波重构，得到初步
去噪数据；本实施例中，还对所述初步去燥数据使用小波变换进行一层分解；
89.步骤(24)，对初步去燥后的高频系数再使用中值滤波处理；本实施例中，选取滤波窗口宽度为n＝21；
90.步骤(25)，将初步去燥后的低频系数和中值滤波处理后的高频系数重构为清洗后数据。
91.在光谱分析时，光谱原始数据通常会包含噪声，例如脉冲干扰或高斯白噪声等，这些噪声会让光谱原始数据的形状、位置等发生变化，进而影响分析的结果。为了提高分析的精确度，需要对光谱原始数据进行数据清洗，降低原始数据中的噪声，保留有用的信息，从而得到更精确而正确的结果。本实施例中使用的中值滤波结合小波变换的数据清洗方法，中值滤波能有效去除脉冲噪声，小波变换去噪不仅能够有效去除白噪声，还能保留信号的细节部分，但对脉冲噪声的去除能力较弱，光谱原始数据在去除了噪声后更加平滑，也尽可能地保留了有用的信息。
92.并且，本实施例处理光谱信号时，选取sym8为小波基，分解层数为3层，信噪比较低；对于高频系数部分，使用固定阈值进行阈值化处理，是为了保护信号的局部特征；对高频系数使用中值滤波处理是由于信号中的噪声主要为高频信息，这种方法尽可能地减少了对有用信息的影响，得到的光谱信号在去除了噪声后更加平滑，也尽可能地保留了有用的信息。
93.本实施例中，所述的步骤(2)中，所述数据归一化处理，是指对所述光谱数据进行z-socre标准化，标准化公式为其中，为μ(e)的平均值，σ为标准差，标准化后的数据符合标准正态分布，即均值为0，标准差为1。
94.在所述的步骤(5)中，将所述stacking集成模型的输出值反归一化为标准温度下的光强值，该反归一化处理公式为：其中，为μ
*
(e)的平均值，σ为标准差。
95.由于输入的特征间量纲不一，绝对数值相差过大，为了消除特征间量纲的影响，需要进行数据标准化处理，以解决数据量纲之间的可比性。原始数据经过本实施例中的标准化处理后，各量纲处于同一数量级，使数据落入一个指定规则的区间，适合进行综合对比评价。同时，数据归一化可以提升模型的收敛速度和训练精度。
96.本实施例中，所述的步骤(3)中，对波长和光强进行特征融合，进一步包括：
97.步骤(31)，用高斯分布计算波长和光强之间的融合前距离，高斯分布的公式为p
j|i
表示中心为高维空间中一点xi时，高维空间中另一点xj是其临近点的概率；xi、xj、xk均为高维空间中某一点的坐标值；σi为不同的中心点xi对应的高斯分布的方差；
98.步骤(32)，用t分布计算波长和光强之间融合后距离，t分布的公式为yi、yj、yk为高维空间中xi、xj、xk映射到低维空间中的点；q
i|j
表示中心为低维空间中一点yi时，低维空间中另一点yj是其临近点的概率；
99.步骤(33)，用kl距离计算所述融合前距离和所述融合后距离是否一样，即，计算所
述高斯分布和所述t分布是否相似，kl距离的公式为述高斯分布和所述t分布是否相似，kl距离的公式为p
j|i
为高斯分布中表示中心为高维空间中一点xi时，高维空间中另一点xj是其临近点的概率；q
j|i
表示中心为低维空间中一点yi时，低维空间中另一点yj是其临近点的概率；
100.步骤(34)，通过梯度下降法的不断迭代和缩小所述kl距离，梯度下降法的公式为设定当kl距离小于10-3
时停止迭代，输出融合后新特征y；c为上述两分布的kl距离，yi、yj为低维空间中的某一点，p
j|i
表示中心为高维空间中一点xi时，高维空间中另一点xj是其临近点的概率；p
i|j
表示中心为高维空间中一点xj时，高维空间中另一点xi是其临近点的概率；q
i|j
表示中心为低维空间中一点yi时，低维空间中另一点yj是其临近点的概率，q
j|i
表示中心为低维空间中一点yj时，低维空间中另一点yi是其临近点的概率。
101.当波长增长时，不同温度下的光谱曲线往往有相同的变化趋势，因此，波长和待校正温度下的光强之间存在一定的相关性。
102.本实施例的特征融合是借鉴t-sne降维方法的思想，因为波长和待校正温度下的光强间存在一定的相关性。t-sne的基本思想为高维空间距离相近的数据点，映射到低维空间距离也尽量保持相似，所以本实施例中使用的算法也尽可能地使得待融合数据与融合后数据的kl距离相似。
103.并且，lightgbm模型是基于决策树的回归模型，本实施例中将相关性较高的波长和光强两个特征进行融合，有利于提升lightgbm模型的预测精度和速度。
104.在进行模型训练之前，还包括对所述光谱数据(光谱曲线)进行数据集划分：
105.本实施例中，采用不同温度下70℃黑体的光谱曲线数据集，该数据包含32组6个不同温度下(5℃-55℃)的光谱曲线。其中，25℃为光谱仪工作的标准温度，5℃、15℃、35℃、45℃、55℃下测得的数据为待校正光谱曲线。数据通过宽波段傅里叶红外光谱仪获取，光谱从2μm到8μm，光谱分辨率是4cm-1
，共938条谱线。采用的实验平台：intel(r)core(tm)i7-12700h cpu@2.70ghz，16gb(cpu)，geforce rtx3060super6gb(gpu)，python3.9，spyder4.2.5(深度学习框架)。
106.如上，原始数据共32
×
938个数据点，将采集到的原始数据按15:1的比例划分为训练数据和测试数据，原始数据共32组，取其中30组为训练数据，2组为测试数据。
107.本实施例中，所述的步骤(4)中，所述lightgbm模型的训练进一步包括：
108.步骤(41)，使用直方图算法寻找最佳分裂节点:首先对每个特征的取值离散化，然后构建一个宽度为k的直方图，实现用直方图代替原有的数据，最后将借助于构建的直方图遍历数据，计算每段样本中的梯度和样本数量等用来寻找最优分裂节点；
109.步骤(42)，使用基于梯度的单边采样方法goss进行数据采样：首先根据样本点的梯度的绝对值对所述样本点进行降序排序，然后根据设定好的大梯度数据采样率a在排序后的结果中选取样本生成一个大梯度样本点的子集；然后，对剩下的样本集合(1-a)的样本，根据设定好的小梯度数据采样率b，随机地选取b
·
(1-a)
×
100％个样本点，生成一个小梯度样本点的集合；接着，将大梯度样本和采样的小梯度样本合并，将小梯度样本乘上一个权重系数(1-a)/b；并且，使用上述的采样的样本，学习一个新的弱学习器；最后，不断地重
复前述步骤直到达到预设的迭代次数或者收敛为止；
110.步骤(43)，使用互斥特征捆绑进行特征采样：首先构造一个带有权重的图，其权值对应于特征之间的总冲突；然后通过特征在图中的环长度来降序排序特征；最后检查上述排序好的每个特征，确保特征捆绑集合的冲突数不会大于最大冲突阈值。
111.本实施例中使用直方图算法寻找最佳分裂节点无需遍历所有的数据，显著减少了计算量，提高了训练速度，有助于实现在线校正。使用互斥特征捆绑在缩短训练时间提升学习效率的同时，也大大增强了模型学习的多样性，在模型的泛化性能方面有极大的提升。
112.本实施例中，所述的步骤(4)中，所述多元线性回归模型的训练进一步包括：
113.步骤(44)，导入所述lightgbm模型的输出值，建立初始多元线性回归模型；
114.步骤(45)，以均方误差为损失函数，公式为步骤(45)，以均方误差为损失函数，公式为j(θ0，θ1，...，θn)为损失函数值，h
θ
(x0，x1，...，xn)表示参数为θ时线性回归模型在x0，x1，...，xn等点的值，yi为真实值；
115.步骤(46)，使用梯度下降法最小化损失函数，公式为θk＝θ
k-1-αx
t
(θ
k-1
x-y)；θk、θ
k-1
为第k次迭代中多元线性回归模型参数，x为特征矩阵，y为真实值矩阵，α为学习率；
116.步骤(47)，根据所述最小化的损失函数，调整初始多元线性回归模型的参数，并循环迭代训练初始多元线性回归模型，得到最终多元线性回归模型。
117.本实施例中采用多元线性回归模型，该模型结构较为简单，与lightgbm模型相结合时不易产生过拟合现象。
118.本实施例中，所述的步骤(4)中，对所述lightgbm模型进行训练之前，先对所述lightgbm模型的关键超参数进行自适应寻优；因为lightgbm的性能和泛化能力与选取的超参数有很大关系，而使用默认超参数设置或大部分算法中采用的网格超参数搜索算法往往很难取得满意地结果，所以选取合适的超参数搜索算法十分必要。
119.本实施例中，所述超参数包括：树的棵数、树的深度、学习率、最小叶子权重；所述超参数的优化步骤包括：
120.确定所述超参数的范围：树的棵树小于50，树的深度小于10，学习率在0.01-1之间，最小叶子权重大于2％，子样本数量大于5；并设置种群数量、迭代次数、交叉率和变异率：种群数量为10、迭代次数100、交叉率0.6和变异率0.05；
121.对所述超参数类型进行编码，对所述树的棵数、树的深度和最小叶子权重采用二进制编码，对所述学习率则通过划分连续小区间进行编码；
122.初始化种群，以f1指标作为适应度函数，采用十折交叉验证方式计算个体的适应度值；
123.根据比例选择法对个体进行选择，其中适应度值越大的个体被选中的几率越高；
124.对选择的个体进行均匀交叉以及变异，并更新个体；
125.判断迭代次数是否达到最大迭代次数，如果满足则输出最优个体和对应适应度值；本实施例中设置最大迭代次数为100；
126.最优个体所对应的最优参数即是lightgbm中的树的棵数、树的深度、学习率、最小叶子权重。
127.本实施例中，所述lightgbm模型各超参数的最优参数取值范围如下：
[0128][0129]
本实施例中，树的棵数、树的深度，是防止过拟合的最重要的参数，对模型性能和泛化能力有决定性作用。学习率越小模型表现的最终表现容易获得比较好的结果，但是过小的学习率往往会导致模型的过拟合以及影响模型训练的时间，本实施例中通过自适应调优获得最优学习率参数。最小叶子权重对模型的泛化能力具有重要影响。
[0130]
本实施例的stacking集成模型采用的是一种分层集成学习方法，这里分两层，第一层使用改进的lightgbm模型，第二层使用多元线性回归模型。使用5折交叉验证(5-fold cross-validation)：将训练数据随机等量划分为5个样本，每一份里6组数据，将其中的1份作为验证集，其余的4份作为训练集进行训练，重复这个过程5次。第一次的交叉验证包含两个过程：1).基于原始训练集训练lightgbm模型；2).基于原始训练集训练生成的lightgbm模型对原始验证集进行预测。将5次验证集的预测值组合起来，就是使用lightgbm模型的预测值。同时，我们还要用基于训练集的lightgbm训练模型对原始测试数据进行预测，因为我们进行的是5折交叉验证，所以这个过程将会进行5次，最终会生成的lightgbm模型对测试数据的预测值为这5次预测值的平均值。lightgbm模型的预测值为多元线性回归模型的输入训练数据，lightgbm模型对测试数据的预测值为多元线性回归模型的输入测试数据，使用第二层模型重复上述过程，得到的输出值即为归一化的最终标准温度下的光强。
[0131]
具体的，所述stacking集成模型的两层模型的融合过程包括如下步骤：
[0132]
训练第一层模型：使用5折交叉验证，将训练数据随机等量划分为5个样本，将其中的1份作为验证集，其余的4份作为训练集进行训练，基于训练集训练lightgbm模型，基于训练集训练生成的模型对所述验证集进行预测，重复以上过程5次，得到第一层的lightgbm模型；
[0133]
训练第二层模型：将第一层模型对训练数据的预测值作为第二层的多元线性回归模型的输入训练数据，第一层模型对测试数据的预测值作为第二层的多元线性回归模型的输入测试数据，使用第二层模型重复上述过程，得到的输出值即为所述stacking集成模型的输出结果。
[0134]
本实施例中，调用python中sklearn库里的lightgbm模型，输入为融合新特征y和待校正温度，输出为标准温度下的光强。输入训练数据得到训练好的lightgbm模型，将测试数据输入训练好的lightgbm模型，得到测试集上的预测值。在训练lightgbm模型时，使用自适应寻优得到的超参数树的棵树为35、树的深度为5、学习率0.45、最小叶子权重为6％。
[0135]
本实施例中通过5折交叉验证的方法，每次的训练集都会与以往不同，在扩大了数据集规模的基础上，有效提高了泛化能力。通过stacking集成学习，综合了两种模型的长处，两种模型分别学习了光谱信号的不同信息，使得预测精度高于单独任何一种。
[0136]
最后进行数据复原：将模型的输出值反归一化为标准温度下的光强值。
[0137]
最终得到的光谱曲线校正结果图如图3-图7所示：
[0138]
图中包括25℃标准温度下的真实值，为蓝色曲线；非标准温度下的光谱曲线通过使用本发明方法的校正曲线预测值，为橙色曲线。用均方误差mse衡量校正前非标准温度下
光谱曲线与标准温度下光谱曲线的差异，衡量校正后真实值和预测值的差距。
[0139]
图3中5℃光谱曲线校正后的mse值为0.0892，校正前为0.7650，提升了88.3％；图4中15℃光谱曲线校正后的mse值为0.0443，校正前为0.1888，提升了76.5％；图5中35℃光谱曲线校正后的mse值为0.0517，校正前为0.2405，提升了78.5％；图6中45℃光谱曲线校正后的mse值为0.0382，校正前为0.4107，提升了90.7％；图7中55℃光谱曲线校正后的mse值为0.0268，校正前为0.6704，提升了96.0％。
[0140]
综上，五个非标准温度下光谱曲线的mse值从校正前的0.4551改善到0.05，提升了89.0％。模型训练时间为4.2231s，模型运行时间为0.0768s，共4.3s。
[0141]
可以看出，本发明得到的校正结果图符合原光谱曲线趋势，接近于原始的光谱。因此，本发明能够有效地校正非标准温度下的光谱曲线，从而为光谱仪温漂问题在线校正、输出精确的光谱信息提出了有效的措施。
[0142]
另外，本实施例中提供一种傅里叶红外光谱仪，其包括：
[0143]
数据采集模块，用于采集光谱数据；
[0144]
数据处理模块，用于对所述光谱数据进行数据清洗和数据归一化处理，以及对所述光谱数据提取如下特征：波长、光强、待校正温度，并对波长和光强进行特征融合，得到融合特征；
[0145]
模型训练预测模块，将所述待校正温度和所述融合特征输入stacking集成模型进行数据训练或预测；其中，所述stacking集成模型包括两层，第一层采用lightgbm模型，第二层采用多元线性回归模型；将所述stacking集成模型的输出值反归一化为标准温度下的光强值。
[0146]
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于光谱仪实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0147]
并且，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0148]
上述说明示出并描述了本发明的优选实施例，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文发明构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。