基于弱监督的小样本总氮紫外光谱检测建模方法、系统及介质

1.本发明属于自动检测领域，涉及一种基于紫外光谱分析和弱监督的小样本总氮紫外光谱检测建模方法、系统及介质。


背景技术：

2.作为主要的水质污染评价指标，水体的总氮浓度可以直观的反应其有机物的污染程度，其快速、可靠的在线检测可以有效预防藻华、水体富营养化等一系列环境污染灾害。基于总氮氧化消解的最终产物在紫外光谱中的指纹吸收特性，我们可以通过原位检测待测水样氧化消解过程中紫外光谱的动态变化快速、可靠的检测水体总氮浓度。考虑到不同水体其总氮成分各不相同，在消解过程中不同水体的紫外光谱变化特征亦不相同，需要针对不同水体的水质特点建立不同的总氮光谱检测模型。然而，人工离线标定总氮样本浓度值费时费力，实际检测过程中往往无法获取足够的标定训练集样本，从而极大限制了总氮检测的实际应用效果。
3.弱监督机器学习算法，是近年来新兴起的一种机器学习方法，其重要可以分为三个大类：不完全监督，不确切监督和不准确监督。其中不完全监督指的是训练数据只有部分是带有标签的，同时大量的数据是没有被标注过的；不确切监督则主要指分类问题中的训练样本只有粗粒度标签；不准确监督的定义是指给定训练集中的样本标签不总是真值。对总氮检测而言，由于其训练样本参考值为在线检测仪器测量提供，其浓度标签往往与真值有较大差距，属于不准确监督的一种。


技术实现要素：

4.为克服实际检测过程中，训练样本总氮浓度真值难以获取，光谱检测模型训练样本不足等问题之一，本发明提出了一种全新的基于弱监督的小样本总氮紫外光谱检测建模方法，可以修正大偏差总氮浓度参考值，从而建立精准的总氮光谱检测模型，进而克服传统建模方法中训练集样本标签需要人工离线标定的问题。
5.为实现上述技术目的，本发明采用如下技术方案：
6.一种基于弱监督的小样本总氮紫外光谱检测建模方法，包括：
7.步骤1，针对训练集水样，均利用总氮自动标定仪获取时间上连续的总氮浓度参考值，同时利用紫外光谱仪检测消解过程中的紫外光谱数据；
8.步骤2，基于训练集水样消解过程中的紫外光谱数据，利用谱聚类构成训练集水样之间的空间关系网络和时间关系网络，进而建立训练集水样的时空关系网络；
9.步骤3，基于训练集水样的总氮浓度参数值、紫外光谱数据以及时空关系网络，构建基于弱监督的机器学习目标损失函数，并优化求解得到训练集水样在消解过程中的紫外光谱数据的权重矩阵；
10.步骤4，使用步骤3得到的权重矩阵对训练集水样的总氮浓度参考值进行修正，并
将所得修正值作为训练集水样的总氮浓度标签值；
11.步骤5，以训练集水样在消解过程中的紫外光谱数据和总氮浓度标签值，分别作为输入和输出数据，训练总氮光谱快速检测模型。
12.进一步的，所述总氮自动标定仪的检测误差要于10％。
13.进一步的，训练集水样的总氮浓度参考值和紫外光谱数据，按以下步骤获得：
14.步骤1.1：向氧化消解反应杯中加入待测样液1ml，碱性过硫酸钾氧化剂4ml，将得到的氧化消解混合溶液作为训练集水样；
15.其中碱性过硫酸钾溶液由lg/l naoh和1g/1k2s2o81∶1配置而成；
16.步骤1.2：以t为时间间隔，使用总氮自动标定仪检测训练集水样中的总氮浓度参考值，使用紫外光谱仪检测检测训练集水样的紫外光谱变化，同时利用环绕在反应杯外的加热电阻丝对训练集水样加热至120℃；
17.其中紫外光谱测量范围为200nm-300nm，时间间隔t为1s；
18.步骤1.3：待训练集水样升至120℃后维持温度5分钟，并持续以t为时间间隔测量训练集水样中的总氮浓度参考值和紫外光谱变化；
19.步骤1.4：利用降温风扇将训练集水样温度降至50℃，结束整个紫外光谱数据的收集过程。
20.进一步的，步骤2的具体过程为：
21.步骤2.1：计算训练集不同水样之间的紫外光谱欧式距离，并以此构建训练集的空间距离关系矩阵ds；
22.其中距离关系矩阵ds的每一个元素可以如下公式计算：
[0023][0024]
xi为训练集第i个水样在消解过程中的紫外光谱数据；
[0025]
步骤2.2：基于谱聚类构建训练集不同水样之间的相似性矩阵a，使得欧氏距离越大的两个水样的紫外光谱数据拥有越小的相似度，且每一个水样的紫外光谱数据都仅与τ个其他水样的相关联；
[0026]
其中相似度矩阵a的每一个元素a
ij
通过求解如下问题求得：
[0027][0028][0029]
γ为一个正则项参数；1为单位向量；ai为相似度矩阵a的第i行向量；τ是超参数；n为训练集样本数量；
[0030]
根据拉格朗日数乘法求解这一优化问题可得：
[0031][0032]
步骤2.3：利用求得的相似矩阵a构建训练集不同水样间的laplace空间关系网络ls：
[0033]
ls＝diag-a
ꢀꢀꢀꢀ
(4)
[0034]
式中，diag为一对角矩阵，其第i个对角元素可以通过如下公式计算：
[0035]dii
＝∑
jaij
ꢀꢀꢀꢀ
(5)
[0036]
步骤2.4：根据水样的检测时间计算不同水样间的时间距离矩阵d
t
，按照步骤3.2-3.3的方法计算训练集不同水样间的laplace时间关系网络l
t
，进而得到最终的训练集水样的时空关系网络l；
[0037]
其中d
t
的每个元素可由如下公式计算得到：
[0038][0039]
式中，ti和tj分别表示训练集第i个和第j个水样的紫外光谱数据的采集时间，元素表示xi与xj之间的时间距离；
[0040]
时空关系网络l由如下公式计算得到：
[0041]
l＝ls+μl
t
ꢀꢀꢀ
(7)
[0042]
式中，μ为超参数，用于调节时间关系网络和空间关系网络间的重要性程度。
[0043]
进一步的，构建得到的基于弱监督的机器学习目标损失函数，具体为：
[0044][0045]
式中，x为训练集所有水样在消解过程中的紫外光谱数据构成的矩阵，第一列为1个样本；y为训练集所有水样的总氮参考值构成的列向量；w为机器学习的权重矩阵，也即为训练集水样在消解过程中的紫外光谱数据的权重矩阵，β和λ为超参数。
[0046]
进一步的，采用拉格朗日数乘法对目标损失函数求解得到权重矩阵：
[0047]
w＝(xx
t
+βxlx
t
)-1
xy
ꢀꢀꢀꢀ
(9)。
[0048]
一种计算机系统，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述任一所述基于弱监督的小样本总氮紫外光谱检测建模方法的步骤。
[0049]
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如任一项所述的基于弱监督的小样本总氮紫外光谱检测建模方法。
[0050]
与现有技术相比，本发明的有益效果为：
[0051]
针对传统总氮检测建模方法存在的训练样本需求量大，样本标签需人工离线标定费时费力等问题，本发明采用弱监督机器学习方法，基于现有在线检测仪器提供的不精准总氮浓度参考值，通过不同样本间消解过程中的紫外光谱变化空间相似度及连续采样过程中的时间相似度，在线修正不同训练样本的总氮参考值，免除了训练样本总氮浓度值人工离线获取的需要，从而摆脱人工离线标定总氮浓度样本的限制。修正得到的总氮值，可用于训练总氮光谱快速检测模型，实现总氮在线检测仪的机器智能标定。
附图说明
[0052]
图1是基于弱监督的小样本总氮紫外光谱检测建模方法的流程图；
[0053]
图2是氧化消解过程中某一水样的紫外光谱变化示意图；
[0054]
图3是基于氧化消解过程中紫外光谱变化图构建的时空关系网络；
[0055]
图4是总氮浓度参考值，算法修正后的样本修正值及训练样本真值间的对比图。
具体实施方式
[0056]
下面对本发明的实施例作详细说明，本实施例以本发明的技术方案为依据开展，给出了详细的实施方式和具体的操作过程，对本发明的技术方案作进一步解释说明。
[0057]
一种基于弱监督的小样本总氮紫外光谱检测建模方法，参考图1所示，包括以下步骤：
[0058]
步骤1，针对训练集水样，均利用总氮自动标定仪获取时间上连续的总氮浓度参考值，同时利用紫外光谱仪检测消解过程中的紫外光谱数据；
[0059]
本实施例中的总氮自动标定仪，为市面通用的总氮在线检测仪，要求保证相对总氮浓度检测误差小于10％。
[0060]
其中，训练集水样的总氮浓度参考值和紫外光谱数据，按以下步骤获得：
[0061]
步骤1.1：向氧化消解反应杯中加入待测样液1ml，碱性过硫酸钾氧化剂4ml，将得到的氧化消解混合溶液作为训练集水样；
[0062]
其中碱性过硫酸钾溶液由1g/l naoh和1g/l k2s2o81∶1配置而成；
[0063]
步骤1.2：以t为时间间隔，使用总氮自动标定仪检测训练集水样中的总氮浓度参考值，使用紫外光谱仪检测检测训练集水样的紫外光谱变化，同时利用环绕在反应杯外的加热电阻丝对训练集水样加热至120℃；
[0064]
其中紫外光谱测量范围为200nm-300nm，时间间隔t为1s；
[0065]
步骤1.3：待训练集水样升至120℃后维持温度5分钟，并持续以t为时间间隔测量训练集水样中的总氮浓度参考值和紫外光谱变化；
[0066]
步骤1.4：利用降温风扇将训练集水样温度降至50℃，结束整个紫外光谱数据的收集过程。
[0067]
步骤2，基于训练集水样消解过程中的紫外光谱数据，利用谱聚类构成训练集水样之间的空间关系网络和时间关系网络，进而建立训练集水样的时空关系网络。具体包括以下步骤：
[0068]
步骤2.1：计算训练集不同水样之间的紫外光谱欧式距离，并以此构建训练集的空间距离关系矩阵ds；
[0069]
其中距离关系矩阵ds的每一个元素可以如下公式计算：
[0070][0071]
xi为训练集第i个水样在消解过程中的紫外光谱数据；
[0072]
步骤2.2：基于谱聚类构建训练集不同水样之间的相似性矩阵a，使得欧氏距离越大的两个水样的紫外光谱数据拥有越小的相似度，且每一个水样的紫外光谱数据都仅与τ个其他水样的相关联；
[0073]
其中相似度矩阵a的每一个元素a
ij
通过求解如下问题求得：
[0074][0075][0076]
γ为一个正则项参数；1为单位向量；ai为相似度矩阵a的第i行向量；τ是超参数，可以自己选择范围一般为5-20视具体数据集而定；；n为训练集样本数量；
[0077]
根据拉格朗日数乘法求解这一优化问题可得：
[0078][0079]
步骤2.3：利用求得的相似矩阵a构建训练集不同水样间的laplace空间关系网络ls：
[0080]
ls＝diag-a
ꢀꢀꢀꢀ
(4)
[0081]
式中，diag为一对角矩阵，其第i个对角元素可以通过如下公式计算：
[0082]dii
＝∑
jaij
ꢀꢀꢀꢀ
(5)
[0083]
步骤2.4：根据水样的检测时间计算不同水样间的时间距离矩阵d
t
，按照步骤3.2-3.3的方法计算训练集不同水样间的laplace时间关系网络l
t
，进而得到最终的训练集水样的时空关系网络l；
[0084]
其中d
t
的每个元素可由如下公式计算得到：
[0085][0086]
式中，ti和tj分别表示训练集第i个和第j个水样的紫外光谱数据的采集时间，元素表示xi与xj之间的时间距离；
[0087]
时空关系网络l由如下公式计算得到：
[0088]
l＝ls+μl
t
ꢀꢀꢀꢀ
(7)
[0089]
式中，μ为超参数，用于调节时间关系网络和空间关系网络间的重要性程度。
[0090]
步骤3，基于训练集水样的总氮浓度参数值、紫外光谱数据以及时空关系网络，构建基于弱监督的机器学习目标损失函数，并优化求解得到训练集水样在消解过程中的紫外光谱数据的权重矩阵。
[0091]
其中，构建得到的基于弱监督的机器学习目标损失函数，具体为：
[0092][0093]
式中，x为训练集所有水样在消解过程中的紫外光谱数据构成的矩阵，第一列为1个样本；y为训练集所有水样的总氮参考值构成的列向量；w为机器学习的权重矩阵，也即为训练集水样在消解过程中的紫外光谱数据的权重矩阵，β和λ为超参数。
[0094]
然后采用拉格朗日数乘法对目标损失函数求解得到权重矩阵：
[0095]
w＝(xx
t
+βxlx
t
)-1
xy (9)。
[0096]
步骤4，使用步骤3得到的权重矩阵w对训练集水样的总氮浓度参考值y进行修正，并将所得修正值作为训练集水样的总氮浓度标签值。
[0097]
步骤5，以训练集水样在消解过程中的紫外光谱数据x和总氮浓度标签值y，分别作为输入和输出数据，训练总氮光谱快速检测模型。
[0098]
训练得到的总氮光谱快速检测模型，即可用于在输入未知总氮浓度的待测溶液的紫外光谱数据时，输出得到该待测溶液的总氮浓度。
[0099]
实施例：
[0100]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是
本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0101]
以某自然湖泊总氮浓度快速在线检测弱监督建模为例。第一步，利用现有总氮在线检测仪，为每个训练集样本提供总氮浓度参考值；第二步基于微型紫外光谱仪，原位检测氧化消解过程中不同训练样本的紫外光谱变化，得到三维氧化消解过程光谱图(图2)；第三步，基于三维氧化消解过程光谱图构建不同训练样本间的时空相似度关系网络(图3)；第四步，基于弱监督对总氮在线仪提供的总氮浓度标定值进行修正(图4虚线)，同时利用修正后的训练样本总氮浓度值建立总氮光谱快速检测模型。本方法与传统总氮在线检测建模方法相比克服了人工离线检测的需要，实现了机器智能标定，所得建模检测结果如表1所示，从表1可以看出，本方法可以有效降低由于训练集样本标签不准确所造成的建模精度下降。
[0102]
表1基于弱监督的总氮光谱建模方法与传统建模方法检测性能比较
[0103][0104]
以上实施例为本技术的优选实施例，本领域的普通技术人员还可以在此基础上进行各种变换或改进，在不脱离本技术总的构思的前提下，这些变换或改进都应当属于本技术要求保护的范围之内。