一种多源光谱融合的自适应溶解有机碳在线检测方法

1.本发明属于水质检测技术领域，具体涉及一种多源光谱融合的自适应溶解有机碳在线检测方法。


背景技术：

2.溶解有机碳浓度可以衡量水体的污染程度，对有机污染起指示作用，是水质检测领域中的一项重要检测指标。溶解有机碳的检测大多是将有机碳氧化为co2后，通过红外线分析仪确定co2含量，并利用co2与溶解有机碳之间的对应关系来实现测定。根据工作原理不同可分为：高温氧化法、化学氧化法和光谱法。高温氧化法和化学氧化法在测量时都相对耗时，对检测环境要求较高，且化学氧化法所用试剂容易造成二次污染。
3.目前国内外学者侧重于通过光谱检测技术测定溶解有机碳的浓度。如lim等人提出通过紫外-可见分光光度计测定污水中254nm处的紫外吸光度，用于研究废水中有机物转化率。heloise等人利用uv254检测高度城市化和高污染地区的污水、城市径流中的溶解有机碳含量，并评价水体生物对有机物的降解性能。bertilsson等人通过测量荧光光谱值，利用线性回归分析法对溶解有机碳建立定量分析模型。baker等人用三维荧光光谱法研究荧光强度与河流水体生物需氧量之间的关系，帮助水质管理机构实现河流污水处理厂排放口的水质在线监测。但是紫外-可见光谱在实际检测情况中存在局限性，比如低浓度下吸光度低导致信噪比较低；在特殊场景下存在部分化学合成的有机物不具备吸光特性等。荧光光谱存在内滤效应，当物质浓度较高时，发射光的饱和会导致不同浓度的分辨能力下降。
4.综上所述，由于实际应用场景中，物质浓度实时变化，目前针对紫外-可见光谱检测技术或是三维荧光光谱检测技术在分辨率、浓度范围以及信噪比之间不可避免的权衡问题，缺乏多源光谱融合的自适应溶解有机碳检测方案，存在数据源单一、不同检测方法难以权衡等问题，使得现有溶解有机碳检测技术难以确保检测值的准确性。


技术实现要素：

5.本发明实施例的目的是提供一种多源光谱融合的自适应溶解有机碳在线检测方法，能够解决现有技术中数据源单一，不同检测方法之间难以权衡，检测精度差的技术问题。
6.为了解决上述技术问题，本发明是这样实现的：
7.本发明实施例提供了一种多源光谱融合的自适应溶解有机碳在线检测方法，包括：
8.s101：将待测溶解有机碳检测样本划分为训练样本和测试样本，对训练样本进行常规溶解有机碳检测，获取训练样本的浓度值；
9.s102：根据训练样本的光谱检测特性，将训练样本划分为高浓度区域和低浓度区域，并分别对两个浓度区域构建最小椭球模型，以得到椭球判别模型；
10.s103：提取实际水样的特征向量，通过椭球判别模型进行动态判别，当实际水样的
特征向量不位于任何一个椭球内时，采用多源光谱融合检测方法进行分析；
11.s104：对于采用多源光谱融合检测方法的实际样本进行数据融合，生成数据融合矩阵；
12.s105：对于数据融合矩阵进行特征提取以及特征嵌入融合，得到特征融合矩阵；
13.s106：构建cnn和lstm相结合的特征提取模型，以提取特征融合矩阵中的空间特征和样本序列差异特征；
14.s107：将测试样本代入到椭球判别模型中，以验证其有效性；
15.s108：利用新的样本点更新椭球判别模型。
16.在本发明实施例中，根据实际水样的特征进行动态判别以选用合适的检测方法，对于复杂水样采用多源光谱融合检测，权衡紫外-可见光谱检测方法和三维荧光光谱检测方法，提高溶解有机碳检测的准确性。
附图说明
17.图1是本发明实施例提供的一种多源光谱融合的自适应溶解有机碳在线检测方法的流程示意图；
18.图2为本发明实施例提供的一种多源光谱融合的自适应溶解有机碳在线检测方法示意图；
19.图3为本发明实施例提供一种最小椭球模型示意图；
20.图4为本发明实施例提供一种多源光谱融合检测框架图；
21.图5为本发明实施例提供一种光谱数据特征组合示意图；
22.图6为本发明实施例提供一种双向lstm算法示意图；
23.图7为本发明实施例提供一种lstm单元结构示意图。
24.本发明目的的实现、功能特点及优点将结合实施例、参照附图做进一步说明。
具体实施方式
25.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
26.下面结合附图，通过具体的实施例及其应用场景对本发明实施例提供多源光谱融合的自适应溶解有机碳在线检测方法进行详细地说明。
27.实施例一
28.参照图1，示出了本发明实施例提供的一种多源光谱融合的自适应溶解有机碳在线检测方法的流程示意图。
29.参照图2，示出了本发明实施例提供的一种多源光谱融合的自适应溶解有机碳在线检测方法示意图。
30.本发明实施例提供的一种多源光谱融合的自适应溶解有机碳在线检测方法，包括：
31.s101：将待测溶解有机碳检测样本划分为训练样本和测试样本，对训练样本进行
常规溶解有机碳检测，获取训练样本的浓度值。
32.在一种可能的实施方式中，s101具体包括：
33.s1011：将待测溶解有机碳检测样本的60％划分为训练样本，40％划分为测试样本，对训练样本进行常规溶解有机碳检测，获取训练样本的浓度值。
34.进一步地，对于检测样本与测试样本的比例可以根据实际需求进行调整。
35.s102：根据训练样本的光谱检测特性，将训练样本划分为高浓度区域和低浓度区域，并分别对两个浓度区域构建最小椭球模型，以得到椭球判别模型。
36.参照图3，示出了本发明实施例提供一种最小椭球模型示意图。
37.图3中右上角的椭球代表高浓度区域，左下角的椭球代表低浓度区域。
38.在一种可能的实施方式中，s102具体包括：
39.s1021：将判别椭圆表示为：
40.(x-c)
t
×a×
(x-c)＝1
ꢀꢀ
公式1
41.其中，x为变量点向量，c为椭圆的中心点，a为相关性矩阵；
42.s1022：在判别椭圆的基础上，增加约束条件：
43.(p
i-c)
t
×a×
(p
i-c)≤1
ꢀꢀ
公式2
44.其中，pi为检测得到的光谱数据特征，根据约束条件构建最小包络椭圆使得log|a|最小；
45.s1023：根据构建最小包络椭圆的原理，构建最小椭球模型，其中，椭球内的点和椭球之间为最小外接关系。
46.针对实际情况下，三维荧光光谱的检测速度和长期使用存在的不稳定性导致没有足够数据来表征光谱特征不确定性等问题，采用基于椭球的凸函数模型对特征空间中的样本点进行识别，从而确定特征数据的有界分布，并用于光谱检测方法的判别。该模型对样本数量依赖性不高，且具备可扩展性，具有一定的实用性，能够为光谱检测方法的判别提供一种有效手段。
47.s103：提取实际水样的特征向量，通过椭球判别模型进行动态判别，当实际水样的特征向量不位于任何一个椭球内时，采用多源光谱融合检测方法进行分析。
48.在一种可能的实施方式中，s103具体包括：
49.s1031：实际水样经过光谱预处理后进行特征提取，以获取实际水样的特征向量；
50.s1032：将实际水样的特征向量输入到动态判别模型中；
51.s1033：当实际水样的特征向量位于高浓度椭球内时，采用紫外-可见光谱进行分析；当实际水样的特征向量位于低浓度椭球内时，采用三维荧光光谱对光谱数据进行分析；当实际水样的特征向量不位于任何一个椭球内时，采用多源光谱融合检测方法进行分析。
52.针对溶解有机碳在中浓度条件下的方案选择问题，提出多源光谱融合检测方法，采用数据融合算法从光谱中提取交叉特征，通过组合两种光谱在不同浓度中的检测优势，实现中浓度条件下对溶解有机碳的有效检测。
53.s104：对于采用多源光谱融合检测方法的实际样本进行数据融合，生成数据融合矩阵。
54.参照图4，示出了本发明实施例提供一种多源光谱融合检测框架图。
55.在一种可能的实施方式中，s104具体包括：
56.s1041：利用数据驱动对光谱数据进行建模，对原始光谱数据进行非线性重构生成数据融合矩阵，
[0057][0058]
其中，ξ1表示紫外-可见光谱吸光度，ξ2表示三维荧光光谱激发或发射荧光强度，ξ1ξ2，表示不同光谱强度的乘积项，溶解有机碳值为η1，γ
11
，γ
12
为一次项参数，ω
12
，ω
11
，ω
22
为乘积项参数，ζ为残差。
[0059]
针对不同传感器获得光谱数据维度不同，不能组合的问题，采用特征提取及降维方法将原始数据转化为低维且具有相同维度的特征向量，从而可以利用数据驱动模型进行非线性重构，实现多源光谱的特征嵌入融合。
[0060]
s105：对于数据融合矩阵进行特征提取以及特征嵌入融合，得到特征融合矩阵。
[0061]
参照图5，示出了本发明实施例提供一种光谱数据特征组合示意图。
[0062]
在一种可能的实施方式中，s105具体包括：
[0063]
s1051：将三维荧光光谱分解为发射光谱矩阵和激发光谱矩阵，分别与紫外-可见光谱矩阵进行矩阵相乘，得到两个融合光谱矩阵p1、p2，通过向量之间的乘积计算将两个融合光谱矩阵组合，最终得到特征融合矩阵。
[0064]
s106：构建cnn和lstm相结合的特征提取模型，以提取特征融合矩阵中的空间特征和样本序列差异特征。
[0065]
参照图6，示出了本发明实施例提供一种双向lstm算法示意图。
[0066]
参照图7，示出了本发明实施例提供一种lstm单元结构示意图。
[0067]
在一种可能的实施方式中，s106具体包括：
[0068]
s1061：提取特征融合矩阵中的空间特征；
[0069]
其中，采用卷积神经网络对特征融合矩阵的局部特征进行提取，对于特征融合矩阵,ω
1:n
＝ω1…
,ωn，每一个ωi对应着它们的d
emb
维的稠密向量e[ωi]＝ωi，宽度为k的一维卷积在光谱序列上可移动一个大小为k的滑动窗口，对序列中的每一个窗口使用同一个滤波器；
[0070]
其中，滤波器工作的过程为窗口向量与权重向量u的内积，定义为窗口向量ωi,
…
,ω
i:i+k-1
，则第ωi个窗口的窗口向量然后将每一个窗口向量应用在滤波器上，得到标量值pi：
[0071][0072]
其中，g(
·
)为非线性激活函数，通常可以使用l个不同的滤波器将其排列成矩阵u，并增加一个偏置向量b:
[0073][0074]
其中，每一个向量pi代表了第i个窗口的l个值的集合；
[0075]
s1062：提取特征融合矩阵中的样本序列差异特征；
[0076]
其中，构建一种双向lstm算法，lstm在结构上主要由三个乘积运算门控单元构成：输入门、输出门、遗忘门，当存在信号输入至lstm单元时，遗忘门控制先前的多少记忆被保留，输入门决定有多少更新被保留，输出门控制整个记忆单元的输出内容；
[0077]
其中，第t个序列的更新如下所示：
[0078]ii
＝σ(w
iht-1
+uix
t
+bi)
[0079]fi
＝σ(wfh
t-1
+ufx
t
+bf)
[0080][0081][0082]
oi＝σ(w
oht-1
+uox
t
+bo)
[0083]ht
＝o
t
·
tanh(c
t
)
[0084]
公式6
[0085]
其中，σ为sigmoid函数，
·
为点积，x
t
为输入向量，c
t
为单元状态，为单元状态更新值，ii为输入门，fi为遗忘门，oi为输出门，h
t
为隐状态向量包含了第t个序列前后的有效信息；ui，uf，uc，uo为输入向量x
t
在不同门的权重矩阵；wi，wf，wc，wo为隐变量的权重；bi，bf，bc，bo为偏置向量；
[0086]
其中，遗忘门决定了要从原始单元状态c
t-1
中丢弃的信息，输入门和状态更新值决定了将在单元状态中保留的信息，的更新值c
t
可以用于对输出oi进行过滤以输出有效信息h
t
；
[0087]
将cnn计算得到的特征向量分别送入前馈和反馈lstm进行分析，再对不同输出向量进行整合得到输出值。
[0088]
针对空间特征提取的建模过程繁琐，导致模型泛化性能降低和过拟合等问题，采用卷积神经网络将空间特征的提取组合过程整合到一个模型中，选取不同大小的卷积核进行空间特征提取，在进行卷积操作后加入池化层，减小特征向量大小，并删除冗余空间信息来进一步聚焦特征向量中的信息，减小模型中的参数数量，从而防止过拟合。
[0089]
s107：将测试样本代入到椭球判别模型中，以验证其有效性。
[0090]
在一种可能的实施方式中，s107具体包括：
[0091]
s1071：对于测试样本，重复s103至s105后，获得其特征融合矩阵，将特征融合矩阵作为cnn-lstm溶液有机碳检测模型的输入，获得相应输出；
[0092]
s1072：对测试样本进行常规溶解有机碳检测，获取其浓度值；
[0093]
s1073：将模型预测值与真实测量值进行对比，以验证其有效性。
[0094]
s108：利用新的样本点更新椭球判别模型。
[0095]
在一种可能的实施方式中，s108具体包括：
[0096]
s1081：将测试样本点检测完成后，利用该样本点对椭球判别模型进行更新，将判别后的特征向量加入对应的区域，并重新计算椭球判别模型。
[0097]
在本发明实施例中，根据实际水样的特征进行动态判别以选用合适的检测方法，对于复杂水样采用多源光谱融合检测，权衡紫外-可见光谱检测方法和三维荧光光谱检测方法，提高溶解有机碳检测的准确性。
[0098]
进一步地，在本发明实施例中，可以有效检测全浓度范围内的溶解有机碳溶液，提
出多源光谱融合检测方案，采用数据融合算法，融合两种光谱数据，并进行特征提取和特征嵌入后，通过cnn算法进行空间特征提取后输入双向lstm算法进行序列特征提取并获得其输出值，结合两种光谱在不同浓度中的检测优势，实现中浓度条件下对溶解有机碳的有效检测；提出多源光谱融合的自适应溶解有机碳检测方案，根据物质浓度，实时自适应决策检测方法，充分发挥不同检测方法在各自适宜的检测范围内具有的较好检测性能，提高了适用性，确保全浓度范围内的检测值准确性。
[0099]
以上所述仅为本发明的实施例而已，并不用于限制本发明。对于本领域技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。