一种基于多组分样品的多传感器光谱数据处理方法与流程

1.本发明涉及近红外光谱分析技术，具体涉及一种基于多组分样品的多传感器光谱数据处理方法。


背景技术：

2.随着微机电技术的发展，近几年，便携式近红外光谱仪被广泛应用于食品、饮料、医药、煤炭等各个领域。便携式近红外光谱仪不仅可以多组分平行检测，相较于传统的大型傅里叶变换光谱分析系统，其具有结构简单、成本低廉、携带方便、结果实时可见等优势，目前已成为光谱领域的热门产品。
3.目前市场上的便携式近红外光谱仪以单传感器设备为主，单传感器设备受到传感器技术的限制，其涵盖波段范围十分有限，采集得到的光谱数据稳定性较差，光谱数据容易发生偏移，进而容易造成预测效果不稳定，准确率低的问题。
4.为了增大传感器波段涵盖范围，提升便携式近红外光谱仪的应用场景，多传感器便携式近红外光谱仪应运而生，虽然多传感器便携式近红外光谱仪能够良好解决单传感器设备的各项问题，但如果采用传统的单传感器光谱数据处理方法对多传感器光谱数据进行处理，由于各个传感器光谱数据对待测样品各组分含量表征能力不同而容易引起预测值与实际标定值之间差异较大，从而降低便携式近红外设备对待测样品各个组分的预测分析能力。


技术实现要素：

5.本发明所要解决的技术问题是：提出一种基于多组分样品的多传感器光谱数据处理方法，提高便携式多传感器光谱设备的预测分析能力。
6.本发明解决上述技术问题采用的技术方案是：
7.一种基于多组分样品的多传感器光谱数据处理方法，包括以下步骤：
8.s1、采集多组分样品的原始多传感器光谱数据，按照传感器型号对光谱数据进行分类分解，获得单波段数据集；
9.s2、将各个单波段数据集按照样品数目进行二次分集，获得不同分集方式下的单波段训练集及验证集；
10.s3、结合多组分样品的各个组分含量标定值对不同分集方式下的各个单波段训练集进行光谱建模，并采用建立的光谱模型对相应的验证集进行预测，计算不同分集方式下单波段光谱模型的预测准确率；
11.s4、结合不同分集方式下各个单波段光谱模型对不同组分的预测准确率，计算单波段光谱模型对不同组分含量的表征系数；
12.s5、对于待测未知样品不同组分，结合不同分集方式下各个单波段光谱模型的表征系数对其对应预测值进行表征化处理，获得最终预测值。
13.进一步的，步骤s1中，获得的单波段数据集的个数与多传感器光谱仪中的传感器
型号个数对应，即，每一型号的传感器对应一个单波段数据集。
14.进一步的，步骤s2中，所述将各个单波段数据集按照样品数目进行二次分集，获得不同分集方式下的单波段训练集及验证集，具体包括：
15.采用时间顺序的方式将单波段数据集划分为折中训练集和折中验证集，即按照数据采集时间线，将前期采集的一定量光谱数据划分为折中训练集，剩余的一定量光谱数据划分为折中验证集；从而获得时间序列分集方式下的单波段训练集及验证集；
16.以及，采用随机划分的方式将单波段数据集划分为随机训练集和随机验证集，即在单波段数据集中的样品数据中随机选取一定量的光谱数据划分为随机训练集，剩余的一定量光谱数据划分为随机验证集；从而获得随机划分分集方式下的单波段训练集及验证集。
17.进一步的，步骤s2中，经过二次分集后，折中训练集和折中验证集中的数据比例以及随机训练集和随机验证集中的数据比例均为4:1。
18.进一步的，步骤s3中，所述采用建立的光谱模型对相应的验证集进行预测，计算不同分集方式下单波段光谱模型的预测准确率，具体包括：
19.利用在某一分集方式下的单波段训练集建立的光谱模型对该分集方式下的验证集中的光谱数据进行预测，若预测值与标定值的偏差在容错范围内，则判定为预测正确，通过对预测正确的光谱数据进行数量统计，获得统计值，则：
20.该分集方式下单波段光谱模型的预测准确率＝统计值/验证集中的光谱数据数量值*100％。
21.进一步的，步骤s4中，所述结合不同分集方式下各个单波段光谱模型对不同组分的预测准确率，计算单波段光谱模型对不同组分含量的表征系数，具体包括：
[0022][0023][0024]
其中，ti为时间序列分集方式下的第i个单波段光谱模型的预测准确率；ai为时间序列分集方式下的第i个单波段光谱模型对某一组分含量的表征系数；ti′
为随机划分分集方式下的第i个单波段光谱模型的预测准确率；ai′
为随机划分分集方式下的第i个单波段光谱模型对某一组分含量的表征系数；n为单波段光谱模型的个数(也是传感器的数量)。
[0025]
进一步的，步骤s5中，所述对于待测未知样品不同组分，结合不同分集方式下各个单波段光谱模型的表征系数对其对应预测值进行表征化处理，获得最终预测值，具体包括：
[0026][0027]
其中，a为对该待测未知样品的某一组分的最终预测值，ai为时间序列分集方式下的第i个单波段光谱模型对该待测未知样品中该组分的预测值；ai′
为随机划分分集方式下的第i个单波段光谱模型对该待测未知样品中该组分的预测值。
[0028]
本发明的有益效果是：
[0029]
该方法针对多组分样品的多传感器数据，采用预测准确率为指标，对应不同传感器光谱数据对不同组分样品的表征能力，进一步计算出表征系数进而对不同传感器预测值
进行表征化处理，由于考虑了不同传感器光谱数据对不同组分样品的表征能力，极大程度的提高了便携式多传感器光谱设备的预测分析能力。
附图说明
[0030]
图1是本发明实施例中的基于多组分样品的多传感器光谱数据处理方法流程图；
[0031]
图2是本发明实施例中的便携式多传感器近红外光谱仪各个传感器的排布示意图。
具体实施方式
[0032]
本发明旨在提出一种基于多组分样品的多传感器光谱数据处理方法，提高便携式多传感器光谱设备的预测分析能力。该方法首先采集多组分样品的原始多传感器光谱数据，按照传感器型号对光谱数据进行分类分解，获得单波段数据集；然后，将各个单波段数据集按照样品数目进行二次分集，获得单波段训练集及验证集；接着，结合多组分样品的各个组分含量标定值对各个单波段训练集进行光谱建模，并采用建立的光谱模型对相应的验证集进行预测，计算单波段光谱模型的预测准确率；再接着结合各个单波段光谱模型对不同组分的预测准确率，计算单波段光谱模型对不同组分含量的表征系数；最后，对于待测未知样品不同组分，结合各个单波段光谱模型的表征系数对其对应预测值进行表征化处理，获得最终预测值。
[0033]
本发明方案采用预测准确率为指标，对应不同传感器光谱数据对不同组分样品的表征能力，进一步计算出表征系数进而对不同传感器预测值进行表征化处理，由于考虑了不同传感器光谱数据对不同组分样品的表征能力，极大程度的提高了便携式多传感器光谱设备的预测分析能力。
[0034]
实施例：
[0035]
如图1所示，本实施例中的基于多组分样品的多传感器光谱数据处理方法包括以下步骤：
[0036]
s101、采集多组分样品的原始多传感器光谱数据，按照传感器型号对光谱数据进行分类分解，获得单波段数据集；
[0037]
本步骤中，多组分样品的原始多传感器光谱数据本质为各个单传感器光谱数据的集合，对其按照传感器型号进行逐一分类分解为多个单波段数据，便于后续计算出各个单传感器光谱数据对待测样品的表征能力。
[0038]
在一个具体实例中，采用的便携式多传感器近红外光谱仪包含3个不同型号的传感器，其中3个传感器波段范围分别为1255nm～1550nm，1555nm～1850nm，1855nm～2150nm，分辨率为5nm，波长点的分布方式为波长均分式，具体结构如图2所示。传感器1的波段范围为1255nm～1550nm，包含的波长点个数为m1＝1+(1550-1255)/5＝60个；传感器2的波段范围为1555nm～1850nm，包含的波长点个数为m2＝1+(1850-1555)/5＝60个；传感器3波段范围为1855nm～2150nm，包含的波长点个数为m3＝1+(2150-1855)/5＝60个。由以上可知，多传感器的原始光谱数据由3段光谱数据拼接而成，具体波长范围为1255nm～2150nm，总计包含m4＝m1+m2+m3＝180个波长点。按照传感器型号对多传感器光谱数据进行分类，获得3个单波段数据，为便于描述，分别设定为单波段数据p1，p2，p3，分别对应为传感器1、2、3的光谱数
据。
[0039]
s102、将各个单波段数据集按照样品数目进行二次分集，获得单波段训练集及验证集；
[0040]
本步骤中，在便携式近红外光谱分析技术中，为了达到最具代表性的预测效果，在待测样品数目固定时，过少的训练集样本会使得光谱模型过拟合，过少的验证集样本会使得预测效果可靠性差，当训练集样本数与验证集样本数的比例维持在4:1比例时，其预测效果最具代表性。
[0041]
在便携式近红外光谱分析技术的实际应用中，当样品数量达到400个时，即对应400条光谱数据时所建立的光谱模型便拥有良好的稳定性与预测能力。根据此特性，结合训练集样本数与验证集样本数的比例维持在4:1比例时，其预测效果最具代表性。
[0042]
因此，在一个具体实例中，采集多组分样品的原始多传感器光谱数据数目为500条，由于采集待测样品的光谱数据往往是一个持续过程，500个待测样品需要一定的采集周期，时间跨度较大，便携式近红外光谱设备由于自身设备老化或其他因素容易引起不同跨度时间点采集的光谱数据一致性较差的问题，因而，在对单波段数据进行分集时，采用两种不同的分集方式来消减预测误差：
[0043]
分集方式一为时间序列分集方式：采用时间顺序的方式划分为折中训练集、折中验证集，即，按照采集时间线，前期采集的400条光谱数据划分为折中训练集，剩余的100条光谱数据划分为折中验证集；
[0044]
分集方式二为随机划分分集方式：采用随机划分的方式分为随机训练集、随机验证集，即，在采集获得的500条光谱数据中随机选取400条光谱数据作为随机训练集，剩余的100条光谱数据划分为随机验证集。
[0045]
s103、结合多组分样品的各个组分含量标定值对各个单波段训练集进行光谱建模，并采用建立的光谱模型对相应的验证集进行预测，计算单波段光谱模型的预测准确率；
[0046]
本步骤中，光谱模型本身虽然包含一些模型判别指标，例如均方根误差、决定系数等，但该类指标仅能反应光谱模型的好坏效果，在实际的盲测过程中，对未知样品的预测准确率往往是判别近红外光谱分析能力的直观指标，由此可知，在计算表征系数时，采用预测准确率作为计算指标可以更好的代表光谱模型预测能力。
[0047]
在一个具体实例中，多组分样品选择为花椒样品，其组分含量选择挥发油、麻素两个组分，以组分挥发油为例，采用传统经典分析法获得500个花椒样品的挥发油含量标定值，并将这些含量值与花椒样品光谱数据进行逐一对应，对于分集方式一，采用各个单波段折中训练集进行光谱建模，并对对应单波段折中验证集进行预测，将预测值与标定值做对比，获得不同单波段数据p1，p2，p3的预测准确率t1，t2，t3。同理针对麻素含量，采用相同的处理方式，获得单波段数据p1，p2，p3的预测准确率k1，k2，k3；
[0048]
对于分集方式二，采用各个单波段随机训练集进行光谱建模，并对对应单波段随机验证集进行预测，将预测值与标定值做对比，获得不同单波段数据p1，p2，p3的预测准确率t4，t5，t6。同理针对麻素含量，采用相同的处理方式，获得单波段数据p1，p2，p3的预测准确率k4，k5，k6。
[0049]
其中，预测准确率的计算方式为：对总计100条验证集光谱数据进行预测，预测值与标定值的偏差在容错范围之内，即判定为预测正确，对预测正确的样本进行统计总计数
量为s个，则预测准确率t为：
[0050]
t＝100％*s/100
[0051]
s104、结合各个单波段光谱模型对不同组分的预测准确率，计算单波段光谱模型对不同组分含量的表征系数；
[0052]
本步骤中，针对待测样品某一种组分，单波段训练集预测准确率越高，则代表该波段光谱数据的样品表征能力越强，通过不同单波段光谱数据预测准确率之间的比值关系可以进一步计算出该种组分各个单波段光谱数据的表征系数，对于其余不同的组分，采用相同的方式进行表征系数的计算即可得到各个单波段数据对不同组分含量的表征系数。
[0053]
在一个具体实例中，以花椒样品的挥发油组分含量为例，不同单波段数据的预测准确率存在差异，预测准确率越高，则代表该单波段数据对该组分的表征能力越强，同时，采用两种分集方式来最大程度的消减预测误差，对于分集方式一，计算单波段数据p1，p2，p3的表征系数a1，a2，a3为：
[0054][0055]
对于分集方式二，计算单波段数据p1，p2，p3的表征系数a4，a5，a6为：
[0056][0057]
同理，对于花椒样品的麻素组分含量，采用相同的计算方式，分别计算出两种分集方式下单波段数据p1，p2，p3的表征系数β1,β2,β3,β4,β5,β6为：
[0058][0059]
s105、对于待测未知样品不同组分，结合各个单波段光谱模型的表征系数对其对应预测值进行表征化处理，获得最终预测值。
[0060]
本步骤中，由于传感器型号不同，其光谱数据涵盖的波段范围也不同，进而其表征样品的能力也会存在差异，如果对待测样品的不同组分含量均采用相同的表征系数进行表征化处理，光谱数据对不同组分的差异性表征能力极可能引起预测效果不稳定，针对某些组分预测效果优异，针对其余组分预测效果差的问题。通过不同组分单波段数据的预测准确率为基准进行表征系数的计算，进一步进行表征化处理则可以有效解决该问题，提升光谱分析能力。
[0061]
在一个具体实例中，对于未知组分标定值的待测花椒样品进行盲测，采集待测花椒样品的多传感器光谱数据，并按照传感器型号进行单波段数据划分，并进一步使用步骤103建立的单波段光谱模型对待测花椒样品单波段数据进行预测，对于待测花椒样品的挥发油含量，假设分集方式一中3个单波段光谱模型对应的预测值设定为a1，a2，a3，分集方式
二中3个单波段光谱模型对应的预测值设定为a4，a5，a6，结合表征系数对各个单波段数据的预测值进行表征化处理，即可获得该待测花椒样品挥发油含量的最终预测值a为：
[0062][0063]
同理，对于待测花椒样品的麻素含量，分集方式一中3个单波段光谱模型对应的预测值设定为b1，b2，b3，分集方式二中3个单波段光谱模型对应的预测值设定为b4，b5，b6，结合表征系数对各个单波段数据的预测值进行表征化处理，即可获得该待测花椒样品麻素含量的最终预测值b为：
[0064][0065]
最后应当说明的是，上述实施例仅是优选实施方式，并不用以限制本发明。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可以做出若干修改，等同替换、改进等，均应包含在本发明的保护范围之内。