一种水质多参数的光谱数据Stacking融合模型及水质多参数测量方法

一种水质多参数的光谱数据stacking融合模型及水质多参数测量方法
技术领域
1.本发明主要涉及水质检测技术领域，具体为一种水质多参数的光谱数据stacking融合模型及水质测量方法。


背景技术：

2.随着社会的发展和城市化进程的加快，大量含氮废水被直接排入水中，严重威胁人类的生存环境，不利于实现社会的可持续发展。城市及周边地表水中的有机污染物主要来自陆地生活源、地表径流、工业、服务业、养殖业和水生生物源污染，以蛋白质、氨基酸、腐殖酸、脂肪等有机污染物为主。环境监测技术通过化学需氧量(codcr)、高锰酸盐指数(codmn)、氨氮(nh3-n)、总磷(tp)、总氮(tn)和五日生化需氧量(bod5)等指标表征水体有机污染，其中 codcr、codmn、bod5通常用于表示水体中有机污染物总量；nh3-n、tn、tp的含量升高会导致水体富营养化，破坏生物多样性并产生臭味。
3.传统化学法水质监测存在干扰物多、选择性差、实验条件苛刻、分析时间长、需要消耗化学试剂等问题，难以满足实际应用的要求。紫外-可见吸收光谱法是基于紫外和可见波段 (200～800nm)的光谱数据对物质进行分析的一种方法。光谱法具有化学法无可比拟的优势，即样品无需处理、无污染、操作简便、实时等，现已广泛应用于环境监测、污染物分析、药品检验、食品安全等领域。随着光学仪器越来越精密，光谱仪采集到的光谱数据越来越完善，更加能反映复杂水体的组成成分。
4.紫外吸收光谱结合化学计量学方法已广泛应用于cod、色度、浊度等水质监测指标中，但随着样品组分的增多以及样品光谱信息复杂度的提高，仅仅通过单一模型进行预测得到的结果准确率通常较低或者不够稳定。集成学习通过某种策略可以将多个子模型进行融合，融合模型相比于子模型具有更高的稳定性以及更好的预测性能。将集成学习应用于光谱法水质检测能够提升现有模型的上限，具有极大的应用潜力。


技术实现要素：

5.本发明的目的是：提供一种水质多参数的光谱数据stacking融合模型及水质测量方法，用来解决复杂水体单一模型预测结果准确率较低或者不够稳定的问题以及传统水体有机物检测操作复杂、成本高、容易引起第二次污染、预测模型精度不高等缺陷问题。
6.为实现本发明的目的所采用的技术方案是：
7.1.使用紫外-可见吸收光谱法作为传统化学检测法的替代；
8.2.建立紫外-可见吸收光谱数据与化学值建立回归关系；
9.3.使用stacking融合模型保证回归预测的稳定。
10.与现有技术相比，本发明的有益效果是：
11.1.本发明说明了紫外-可见光谱技术用于监测水质污染状况的可行性，可为地表水的快速、原位、高效监测提供解决方案；
12.2.解决了传统实验方法操作复杂、可能造成二次污染等缺陷问题；
13.3.解决了单一模型对水质有机物预测结果准确率通常较低或者不够稳定的问题。
附图说明
14.图1为模型建立过程及使用过程；
15.图2为模型1建立流程图；
16.图3为模型2建立流程图；
17.图4为模型3建立流程图；
18.图5为模型4建立流程图；
19.图6为stacking融合过程示意图；
20.图7为水质硝态氮训练集和测试集模型的拟合结果图8为模型融合示意图
具体实施方式
21.以下结合附图和具体实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
22.结合图1至7所示，以水质硝态氮模型建立为例，本发明提供如下技术方案：
23.样本采集：
24.对9个地表水监测断面进行多次水样采集，使用直立采样器采集水面下深处的水体，按照水质采样规范平行分装在棕色玻璃瓶中，经多次采样共获得72个样本，用去离子水稀释后共获得162个样本，静置30min后取上层清液；
25.化学分析：
26.为保证化学分析与光谱分析的样品一致，将样品摇匀并静置30min后取上层清液进行检测，检测方法参照相关国标和行业标准。水质硝态氮的化学分析采用gb7480-1987中的方法进行测量。
27.s1、紫外-可见吸收光谱测量：
28.紫外-可见吸收光谱的采集装置主要包括光源、光谱仪、样品槽、光纤等。光源采用氘卤灯(爱万提斯，avalight-dhc)，光源的出射光经光纤耦合到样品槽。为提高入射光和出射光的传输效率，样品槽采用10
×
10mm的石英比色皿。产生的透射光经光纤光谱仪(复享光学，波长范围为197～987nm，波长分辨率为0.73nm)接收。采集到的紫外-可见光谱数据通过数据线传输至计算机中进行数据处理与建模分析。
29.数据模型算法建立：
30.本发明采用python构建水质指标预测模型，训练集与测试集样本的划分采用随机抽样法，抽取30％的样本作为测试集，用于评价模型的泛化能力和预测效果，剩余样本作为训练集用于建立预测模型。
31.s21、数据预处理
32.处理s1采集的光谱数据，依次对光谱数据使用sg滤波、趋势校正进行处理。
33.s22、数据预处理
34.处理s3采集的光谱数据，依次对光谱数据使用sg滤波、消除常数量偏移、一阶导
数、趋势校正进行处理；
35.s3、s4数据特征工程及基模型建立
36.基模型1的流程图如图2所示。使用kpca-xgboost对步骤s21预处理后的光谱数据进行降维，将降维后的数据作为特征输入到算法，以各类水质指标的化学分析结果作为算法的目标值，使用xgboost算法建立回归预测模型。使用网格搜索和交叉验证相结合对xgboost的超参数进行优化，以交叉验证集的均方根误差(cvmse)最小作为优化目标；
37.基模型2建立
38.基模型2的流程图如图3所示。使用rfe-xgboost对步骤s21预处理后的光谱数据进行特征选择。将选择出的特征波长输入到算法，以各类水质指标的化学分析结果作为算法的目标值，使用xgboost算法建立回归预测模型。使用网格搜索和交叉验证相结合对xgboost的超参数进行优化，以交叉验证集的均方根误差(cvmse)最小作为优化目标；
39.基模型3建立
40.基模型3的流程图如图4所示。使用kpca-svr对步骤s22预处理后的光谱数据进行降维，将降维后的数据作为特征输入到算法，以各类水质指标的化学分析结果作为算法的目标值，使用svr算法建立回归预测模型。使用优化算法和交叉验证相结合对svr的超参数进行优化，以交叉验证集的均方根误差(cvrmse)最小作为优化目标；
41.基模型4建立
42.基模型4的流程图如图5所示。使用rfe-xgboost对步骤s22预处理后的光谱数据进行特征选择。将选择出的特征波长输入到算法，以各类水质指标的化学分析结果作为算法的目标值，使用svr算法建立回归预测模型。使用优化算法和交叉验证相结合对svr的超参数进行优化，以交叉验证集的均方根误差(cvrmse)最小作为优化目标；
43.s5、融合模型建立
44.融合过程示意图如图6所示。对四种基模型的输出结果进行融合，使用线性回归建立四种模型输出结果和化学分析结果的回归方程。各基模型的输出需要交叉验证以防止线性回归过拟合；
45.s6、模型预测输出
46.将训练集的光谱数据经预处理和特征工程再输入至s5所建立的融合模型中，记录模型输出结果；使用决定系数r2和均方根误差rmse作为本发明模型效果的评价指标。训练集决定系数和测试集决定系数越接近1，说明模型相关性越高、预测效果越好；训练集均方根误差rmsec和测试集均方根误差rmsep的数值越小说明模型精度越高，泛化能力越强，训练集和测试集决定系数按照式1计算，训练集和测试集均方根误差按式2计算。
47.所述式1为：
48.所述式2为：
49.式1、2中，为第i个样本模型的预测值，为模型对所有样本预测值的均值，yi为
第 i个样本的真实值，m为样本的数量。
50.s5、结合算法、各类标准数据进行水质指标模型建立，从而进行实时检测、监测地表水质污染状况。
51.基于全波段光谱模型的水质硝态氮指标预测结果如表1所示，可以看出经过基模型的堆叠融合，stacking融合模型表现有较大的提升，测试集r2相比于其他四种基模型分别提升了 1.36％、1.41％、1.60％、1.73％，各水质硝态氮预测模型的训练集决定系数均大于0.9，且接近于说明stacking融合算法的预测值与水质硝态氮的化学分析值拟合度均较高，此外，各水质硝态氮预测模型的rmscp与rmsec的差距较小，说明训练得到的模型精度高、预测能力强、泛化能力好。
52.图7为训练集和测试集的建模的拟合结果。训练集和测试集拟合曲线的决定系数r2都高达0.98，说明本文所采用的建模方法正确，所建立的模型具有较好的稳健性以及适应能力，能够完成水质硝态氮的检测。本方法可为地表水的快速、原位、高效监测提供解决方案。
53.表1模型预测结果
[0054][0055]
本发明的一种水质多参数的光谱数据stacking融合模型及水质测量方法，包括如下步骤：
[0056]
s101、紫外-可见吸收光谱测量：采用光谱仪采集待测水样的光谱数据；
[0057]
s102、数据预处理：对采集到的光谱数据进行预处理；
[0058]
s103、数据特征工程：对预处理后的数据进行特征工程；
[0059]
s104、输入模型计算：将经过特征工程的输入所述的数据融合模型中，模型输出结果。
[0060]
其中，步骤s102数据预处理具体为：
[0061]
s1021、预处理方案1：处理s1采集的光谱数据，依次对光谱数据使用sg滤波、趋势校正进行处理；
[0062]
s1022、预处理方案2：处理s1采集的光谱数据，依次对光谱数据使用sg滤波、消除常数量偏移、一阶导数、趋势校正进行处理.
[0063]
其中，所述的数据特征工程s103步骤包括，
[0064]
s1031、特征工程方案1：使用kpca-xgboost对步骤s1021预处理后的光谱数据进行降维；
[0065]
s1032、特征工程方案2：使用rfe-xgboost对步骤s1021预处理后的光谱数据进行特征选择；
[0066]
s1033、特征工程方案3：使用kpca-svr对步骤s1022预处理后的光谱数据进行降维；
[0067]
s1034、特征工程方案4：使用rfe-xgboost对权步骤s1022预处理后的光谱数据进行特征选择。
[0068]
其中，步骤s104基模型建立具体为：
[0069]
s1041、基模型1建立：将步骤s1031中特征工程方案1降维后的特征输入到算法，以各类水质指标的化学分析结果作为算法的目标值，使用xgboost算法建立回归预测模型，使用网格搜索和交叉验证相结合对xgboost的超参数进行优化，以交叉验证集的均方根误差(cvmse)最小作为优化目标；
[0070]
s1042、基模型2建立：将步骤s1032中特征工程方案2筛选出的特征输入到算法，以各类水质指标的化学分析结果作为算法的目标值，使用xgboost算法建立回归预测模型，使用网格搜索和交叉验证相结合对xgboost的超参数进行优化，以交叉验证集的均方根误差 (cvmse)最小作为优化目标；
[0071]
s1043、基模型3建立：将步骤s1033中特征工程方案3降维后的特征输入到算法，以各类水质指标的化学分析结果作为算法的目标值，使用xgboost算法建立回归预测模型，使用网格搜索和交叉验证相结合对xgboost的超参数进行优化，以交叉验证集的均方根误差 (cvmse)最小作为优化目标；
[0072]
s1044、基模型4建立：将步骤s1034中特征工程方案4筛选出的特征输入到算法，以各类水质指标的化学分析结果作为算法的目标值，使用xgboost算法建立回归预测模型，使用网格搜索和交叉验证相结合对xgboost的超参数进行优化，以交叉验证集的均方根误差 (cvmse)最小作为优化目标。
[0073]
通过多模型融合的方式可以提升单一模型的预测精度，融合模型相比于单一模型具有更高的精度、更强的鲁棒性以及更好的泛化能力。
[0074]
以上所述仅是本发明的优选实施方式，应当指出的是，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。