土壤重金属含量检测建模方法及装置、检测方法及装置与流程

文档序号:18215569发布日期:2019-07-19 22:37阅读:139来源:国知局
土壤重金属含量检测建模方法及装置、检测方法及装置与流程

本发明实施例涉及化学分析技术领域,尤其涉及一种土壤重金属含量检测建模方法及装置、检测方法及装置。



背景技术:

目前,土壤环境随着社会进步受到了严重的污染,土壤中的金属污染物不容易迁移,也不能被微生物分解,在土壤中日积月累形成污染,并随生物链的作用进入人体,对人体产生巨大危害。

化学分析法是土壤中重金属含量测定的国标方法,虽然检测精度高,但复杂且繁琐的前处理使得化学分析法检测时间长、成本高。x射线荧光(xrf)光谱分析是一种新型、快速、定量的检测技术,具有分析速度快、处理简单并且可以现场无损快速检测等优点,能够多元素同时分析,通过构建光谱与重金属含量值之间的定量模型进行快速检测和筛查,适合大量样品的现场检测,目前广泛应用于土壤重金属污染和农产品检测分析中。通过对国内外xrf光谱法进行土壤重金属检测的文献分析,目前常用的光谱定量模型包括多元线性模型、偏最小二乘模型、支持向量机模型等方法。

土壤背景复杂多样,土壤中重金属含量间存在着复杂的吸收增强效应,通过仪器扫描得到的土壤x射线荧光光谱数据维度高、数据间冗余大,需要通过变量选择方法,进行xrf特征变量选择,进而建立xrf特征变量与土壤重金属浓度关系模型。通过光谱变量区间选择法一旦确定了光谱特征波段,那么已经被选择或者删除的光谱波段将无法再次参与后续变量的选择,这容易导致“筑巢效应”,从而使得单一定量模型无法准确预测出土壤中重金属真实浓度值。因此,通过现有建模方法获得的土壤重金属含量检测模型的精度不高。



技术实现要素:

本发明实施例提供一种土壤重金属含量检测建模方法及装置、检测方法及装置,用以解决现有技术中获得的土壤重金属含量检测模型的精度不高的缺陷。

第一方面,本发明实施例提供一种土壤重金属含量检测建模方法,包括:

对于每一土壤样本,获取所述土壤样本的荧光光谱和目标重金属含量,将所述土壤样本的荧光光谱和目标重金属含量的组合作为一个训练样本,获得多个训练样本,组成训练样本集;

基于所述训练样本集,利用向前间隔偏最小二乘法依次建立多个基模型;

根据预设的集成策略,将各基模型集成为土壤重金属含量检测模型;

其中,所述基模型,用于表示土壤样本的荧光光谱中若干个波段的荧光光谱与土壤样本的目标重金属含量之间的关系。

第二方面,本发明实施例提供一种土壤重金属含量检测方法,包括:

获取待检测土壤的荧光光谱;

将所述待检测土壤的荧光光谱输入至土壤重金属含量检测模型,输出所述待检测土壤中目标重金属含量的检测结果;

其中,所述土壤重金属含量检测模型是利用第一方面的各种可能的实现方式中任一种可能的实现方式所提供的土壤重金属含量检测建模方法建立的。

第三方面,本发明实施例提供一种土壤重金属含量检测建模装置,包括:

第一获取模块,用于对于每一土壤样本,获取所述土壤样本的荧光光谱和目标重金属含量,将所述土壤样本的荧光光谱和目标重金属含量的组合作为一个训练样本,获得多个训练样本,组成训练样本集;

建模模块,用于基于所述训练样本集,利用向前间隔偏最小二乘法依次建立多个基模型;

集成模块,用于根据预设的集成策略,将各基模型集成为土壤重金属含量检测模型;

其中,所述基模型,用于表示土壤样本的荧光光谱中若干个波段的荧光光谱与土壤样本的目标重金属含量之间的关系。

第四方面,本发明实施例提供一种土壤重金属含量检测装置,包括:

第二获取模块,用于获取待检测土壤的荧光光谱;

检测模块,用于将所述待检测土壤的荧光光谱输入至土壤重金属含量检测模型,输出所述待检测土壤中目标重金属含量的检测结果;

其中,所述土壤重金属含量检测模型是利用第一方面的各种可能的实现方式中任一种可能的实现方式所提供的土壤重金属含量检测建模方法建立的。

第五方面,本发明实施例提供一种电子设备,包括:

至少一个处理器;以及

与所述处理器通信连接的至少一个存储器,其中:

所述存储器存储有可被所述处理器执行的程序指令,所述处理器调用所述程序指令能够执行第一方面的各种可能的实现方式中任一种可能的实现方式所提供的土壤重金属含量检测建模方法或执行第二方面的各种可能的实现方式中任一种可能的实现方式所提供的土壤重金属含量检测方法。

第六方面,本发明实施例提供一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令使所述计算机执行第一方面的各种可能的实现方式中任一种可能的实现方式所提供的土壤重金属含量检测建模方法或执行第二方面的各种可能的实现方式中任一种可能的实现方式所提供的土壤重金属含量检测方法。

本发明实施例提供的土壤重金属含量检测建模方法及装置、检测方法及装置,根据预设的集成策略,将利用向前间隔偏最小二乘法建立的多个基模型集成为土壤重金属含量检测模型,能克服“筑巢效应”,使得建立的土壤重金属含量检测模型具有更高的精度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1为根据本发明实施例提供的土壤重金属含量检测建模方法的流程示意图;

图2为根据本发明实施例提供的土壤重金属含量检测方法的流程示意图;

图3为根据本发明实施例提供的土壤重金属含量检测建模装置的功能框图;

图4为根据本发明实施例提供的土壤重金属含量检测装置的功能框图;

图5为根据本发明实施例提供的电子设备的结构框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

为了克服现有技术的上述问题,本发明实施例提供一种土壤重金属含量检测建模方法及装置、检测方法及装置,其发明构思是,基于变量区间建模的思想,通过向前间隔偏最小二乘法建立多个基模型,并将多个基模型集成为最终的土壤重金属含量检测模型。

图1为根据本发明实施例提供的土壤重金属含量检测建模方法的流程示意图。如图1所示,一种土壤重金属含量检测建模方法包括:步骤s101、对于每一土壤样本,获取土壤样本的荧光光谱和目标重金属含量,将土壤样本的荧光光谱和目标重金属含量的组合作为一个训练样本,获得多个训练样本,组成训练样本集。

具体地,预先获取多个土壤样本。为了使土壤样本具有更好的训练效果,多个土壤样本可以覆盖目标重金属大的含量范围。

目标重金属,指需检测其含量的重金属。目标重金属,可以为一种或多种重金属。

可以获取荧光光谱仪等光谱仪器采集的各土壤样本的荧光光谱。

对于每一土壤样本,可以将该土壤样本置于光谱仪器上,该光谱仪器可以采集该光谱仪器的工作能量范围内的光谱,作为该土壤样本的x射线荧光光谱。

一个土壤样品的原始光谱信号被光谱仪采集后,会被模数转换成为一系列离散的数字信号值,即通道。对于一次光谱的采集,光谱仪输出的光谱通道数c通常可以配置成1024、4096、8192个不等,每个通道对应在某个波长下的光谱强度。

为了提高采集的光谱的准确性、减少误差,可以将每一土壤样本随机转动方向测量三次并求取其三次测量的平均光谱(平均光谱对应平均吸光度)。

根据光谱仪输出的光谱通道数c,可以将每一土壤样品的荧光光谱表示为一个c维的光谱向量。

对于全部土壤样品,则可以将全部土壤样品的荧光光谱表示为一个光谱矩阵,矩阵的行列数分别为土壤样品的个数和光谱通道数c。

可以获取预先采集的各土壤样本的目标重金属含量。可以通过原子吸收、化学分析等理化方法测量出各土壤样本的目标重金属含量。

对于每一土壤样本,可以将该土壤样品的目标重金属含量表示为一个浓度向量,向量的维数为目标重金属的个数。

对于全部土壤样品,则可以将全部土壤样品的目标重金属含量表示为一个含量矩阵,矩阵的行列数分别为土壤样品的个数和目标重金属的个数。

对于每一土壤样本,可以将该土壤样品的荧光光谱和目标重金属含量的组合作为一个训练样本,从而可以得到多个训练样本,并将上述多个训练样本组成为训练样本集。

步骤s102、基于训练样本集,利用向前间隔偏最小二乘法依次建立多个基模型。

其中,基模型,用于表示土壤样本的荧光光谱中若干个波段的荧光光谱与土壤样本的目标重金属含量之间的关系,每个基模型可以是同构类型,也可以是异构类型。

偏最小二乘法(partialleastsquares,pls)是一种数学优化技术,它通过最小化误差的平方和找到一组数据的最佳函数匹配。偏最小二乘法融合了多元线性回归分析、典型相关分析和主成分分析。

通过偏最小二乘法建立基模型的过程,为基模型学习特征的过程,上述特征可以用于预测土壤样本的目标重金属含量。

间隔偏最小二乘法(intervalpartialleastsquares,ipls)的原理是将整个光谱分割成多个等宽波段的光谱,在每个波段进行偏最小二乘法回归,可以采用留一交叉验证、k折交叉验证等交叉验证方法计算各个波段的交叉验证均方根误差(rootmeansquareerrorforcrossvalidation,rmsecv),当rmsecv最小时,对应的因子数为最佳的主成分数,根据该主成分数在各波段建立局部最优pls模型。

间隔偏最小二乘法是一种基于变量区间选择的方法,通过间隔的方式进行变量区间选择,通过偏最小二乘法在各变量区间上进行建模。本发明实施例中,变量为波长。

为了便于进行变量区间选择,可以将荧光光谱波长范围划分为多个等宽波段。波段的数量可以预先设定或预先确定。将波段的数量设置为等于基模型的个数,基模型的个数也可以预先设定或预先确定。

向前间隔偏最小二乘法(forwardintervalpartialleastsquares,fipls),是在ipls的基础上,在已选择波段的基础上,依次在剩余的波段中选择rmsecv值最小的波段,与已选择波段联合成新的已选择波段,根据各训练样本的目标重金属和在新的已选择波段上的荧光光谱,在新的已选择波段上建立最优pls模型。

可以理解的是,每一基模型均为fipls构建过程中的子模型。

对于在若干个波段上建立的基模型,该基模型可以表示土壤样本的荧光光谱中上述若干个波段上的荧光光谱,与该土壤样本的各目标重金属含量之间的关系。将土壤样本的荧光光谱中上述若干个波段上的荧光光谱输入该基模型,该基模型可以输出该土壤样本中各目标重金属的含量的预测值。

由于土壤成分复杂多样,xrf光谱具有高维度,存在许多与目标元素不相关的冗余信息,若不去除其不相关信息,目标信息将可能被湮没掉一部分,由此,经模型预测出的重金属含量值始终存在较大的偏差。经土壤重金属含量预测相关文献分析可知,重金属元素间存在一定的增强吸收效应,采用基于变量优化的选择方法以及基于变量信息的选择方法虽高效、快速,但无法判断相关的冗余变量,尽管有些变量但从自身而言似乎并不重要,但与其他变量组合后,可能会显著提高整个模型的判别性能,而单变量选择方法无法识别出这些变量,导致重要信息的丢失,尤其是针对这种存在增强吸收效应的重金属xrf光谱。基于变量区间选择的方法则考虑了变量之间的相互关系,并以多个变量(如光谱波段区间)为单位进行特征选择,降低维度的同时在一定程度上能弱化部分重金属间的增强吸收效应,但仍然存在的问题是一旦特征被选择或者删除,将无法再参与后续变量选择过程,导致“筑巢效应”。

步骤s103、根据预设的集成策略,将各基模型集成为土壤重金属含量检测模型。

具体地,为了解决“筑巢效应”,并不采取传统的将rmsecv值最小时所对应的多个波段作为所优化的变量组合区间,将该所优化的变量组合区间上的fipls模型作为最终的土壤重金属含量检测模型,而是采用集成学习的方法,根据预设的集成策略,将向前间隔偏最小二乘法得到的各基模型集成为一个集成模型,将该集成模型作为最终的土壤重金属含量检测模型。

集成学习被广泛应用于分类任务中。集成学习的过程一般为以ann、决策树等弱分类器为基模型,结合一定的集成策略将多个弱分类器构成一个强分类器,进行相应的分类任务。

集成fipls可以将之前被选择或删除的特征转化成基模型的形式参与到整个建模过程中,解决特征变量区间选择方法产生的“筑巢效应”。

为了提高模型的预测精度,集成时,各个基模型具有一定权重。集成策略的基本原则可以为,将每个基模型学习到的特征按其学习能力大小集成到一起。学习能力大小,对应不同的权重,使不同基模型的输出在确定集成模型的输出时的权重不同。基模型权重的分布影响到集成模型预测值的准确度。

基模型权重调整在boosting集成方法中非常关键,而基模型权重调整能实现将每个基模型学习到的特征按其学习能力大小集成到一起。

可以基于预设的集成策略,实现对于不同的土壤样本,动态调整基模型权重,从而提高集成模型的预测精度。

需要说明的是,本发明实施例提供的土壤重金属含量检测建模方法可以称为boosting-fipls方法。

本发明实施例根据预设的集成策略,将利用向前间隔偏最小二乘法建立的多个基模型集成为土壤重金属含量检测模型,能克服“筑巢效应”,使得建立的土壤重金属含量检测模型具有更高的精度。

基于上述各实施例的内容,基于训练样本集,利用向前间隔偏最小二乘法依次建立多个基模型的具体步骤包括:获取第t个基模型的加权误差和,根据第t个基模型的加权误差和,更新第t个训练子集中每一训练样本的采样概率。

其中,1≤t≤k-1;k表示基模型的个数;第t个基模型的加权误差和,是根据第t个训练子集和第t个训练子集中每一训练样本的采样概率获得的。

需要说明的是,向前间隔偏最小二乘法依次建立k个基模型。为了提高最终的土壤重金属含量检测模型的精度,建立每个基模型之前,对训练样本集进行重采样,获得新的训练子集,根据新的训练子集进行偏最小二乘法建模,获得该基模型。

进行采样时,可以采用轮盘赌方法,根据训练样本集中每一训练样本的采样概率,进行有放回的采样,采样次数为训练样本集中训练样本的总数。若训练样本集包括n个不同的训练样本,则每次通过重采样获得的训练子集也包括n个训练样本,n个训练样本中可能存在相同的训练样本。

由于基模型的预测总是存在一定偏差,为了降低误差、提升精度,对于上一次重采样选中的训练样本,以训练样本的相对偏差为导向进行调整,训练样本被选中的概率,根据预测值的偏离程度进行更新,使偏差越大的样本在后续的基模型中得到更多的训练,以此期望降低实际值与预测值的偏差。

假设基模型的个数为k,对于训练样本集,对各训练样本进行权重归一化,即各训练样本的权重相同。训练样本的归一化权重公式为

wit=1/n

其中,t表示重采样的轮数;n表示训练样本集中训练样本的总数;i表示训练样本的编号。由于初始化是针对训练样本集进行获得的,训练样本的归一化权重公式中,t=1。

进行第t轮重采样时第i个训练样本的采样概率pit,可以根据各训练样本的权重确定,具体公式为

第t轮重采样后,获得第t个训练子集,基于第t个训练子集,可以建立第t个基模型。

建立第t个基模型之后,用第t个基模型对第t个训练子集中的每个训练样本进行预测,得到该训练样本的预测误差为

其中,ytreal(i)表示第t个训练子集中第i个训练样本的目标重金属含量(实际值);ytpred(i)表示通过第t个基模型获得的第t个训练子集中第i个训练样本的目标重金属含量预测值。

第t个基模型的加权误差和的计算公式为

第t个基模型的共同性指标的计算公式为

对于第t轮重采样选中的每一训练样本,通过下面的公式更新该训练样本的权重,使得该训练样本的采样概率得到更新:

样本权重的调整使得boosting-fipls具有自调节性,能动态调整训练集,并根据每个基模型的特点学习强化。

根据更新后的训练样本集中每一训练样本的采样概率,对训练样本集进行采样,获取第(t+1)个训练子集。

根据第t个基模型的加权误差和进行训练样本的权重更新后,根据更新后的训练样本集中每一训练样本的采样概率,对训练样本集进行第(t+1)轮重采样,获得第(t+1)个训练子集。

基于第(t+1)个训练子集,利用偏最小二乘法和变量区间选择算法,建立第(t+1)个基模型。

可以理解的是,基于第(t+1)个训练子集,利用偏最小二乘法和变量区间选择算法,从用于建立第t个基模型的t个波段中,确定用于建立第(t+1)个基模型的(t+1)个波段,确定建立在上述(t+1)个波段上的第(t+1)个基模型。

第1个基模型建立在1个波段上,第2个基模型建立在2个波段上,依次类推,第k个基模型建立在k个波段上(即建立在全谱上)。

本发明实施例通过以偏差为导向的训练样本权重调整,在建立每个基模型之前根据调整后的权重进行重采样获得新的训练子集,根据新的训练子集建立基模型,能有效降低土壤重金属含量检测模型的预测均方根误差(rootmeansquareerrorforprediction,rmsep),能提高土壤重金属含量检测模型的精度。

基于上述各实施例的内容,根据预设的集成策略,将各基模型集成为土壤重金属含量检测模型的具体步骤包括:按照各基模型输出的预测值从大到小的顺序,确定各基模型的求和序号;将各基模型的加权误差和,按照求和序号从小到大的顺序进行累加,确定累加结果大于各基模型的加权误差和之和的一半的最小求和序号;将求和序号为最小求和序号的基模型的输出作为土壤重金属含量检测模型的输出。

具体地,可以采用加权中值方法作为预设的集成策略,土壤重金属含量检测模型的输出通过如下步骤获得:

对于任一土壤样本,根据该土壤样本的荧光光谱,可以获得各基模型输出的目标金属含量预测值(假设基模型的个数为t);

将各基模型按照输出的预测值从大到小的顺序对各基模型进行重排列,将预测值最大的基模型的求和序号确定为k1、预测值第二大的基模型的求和序号确定为k2,直至将预测值最小的基模型的求和序号确定为kt;

确定满足的最小r对应的求和序号为kr的基模型输出的预测值,作为对于该土壤样本,土壤重金属含量检测模型输出的预测值。

确定r的公式可以表示为

其中,inf表示下确界;β表示基模型的共同性指标,根据基模型的加权误差和确定。

本发明实施例将加权中值方法作为预设的集成策略,能动态调整各基模型的权重,使得根据预设的集成策略集成各基模型建立的土壤重金属含量检测模型具有更高的精度。

基于上述各实施例的内容,组成训练样本集,与基于训练样本集,利用向前间隔偏最小二乘法依次建立多个基模型之间,还包括:基于训练样本集,利用交叉验证方法,确定基模型的个数和主成分数。

具体地,基模型的个数可以通过交叉验证方法确定。

获得训练样本集之后,可以根据所采用的交叉验证方法,将训练样本集分为子训练集和子测试集。

例如,若采用k折交叉验证方法,训练样本集包括k×b个训练样本,则可以将训练样本集分为k个子集,每个子集包括b个训练样本,k、b均为正整数,轮流选择(k-1)个子集作为训练集、剩余的一个子集作为子测试集。

在基模型的个数和主成分数的取值范围内,分别选取一个基模型的个数和一个主成分数进行组合;对每种组合,分别采用上述土壤重金属含量检测建模方法,基于子训练集获得一个集成模型,计算该集成模型的rmsecv;将rmsecv最小的集成模型所对应的基模型的个数和主成分数的组合,作为基于训练样本集进行建模时,基模型的个数和主成分数。

主成分数,指每一基模型中主成分的个数。

本发明实施例通过交叉验证方法确定基模型的个数和主成分数,使得根据所确定的基模型的个数和主成分数建立的土壤重金属含量检测模型具有更高的精度。

基于上述各实施例的内容,对于每一土壤样本,获取土壤样本的荧光光谱和目标重金属含量之前还包括:配置目标重金属含量属于预设范围的多个土壤样本。

具体地,各土壤样本可以通过配置获得,使得各土壤样本的目标重金属含量属于预设范围。

可以获取背景土壤样本,并将该背景土壤样本分成重量相同的多个小份,通过向每个小份背景土壤样本中添加目标重金属浓度不同的溶液,获得目标重金属含量属于预设范围的多个土壤样本。

目标重金属浓度不同的溶液,可以通过如下步骤配置:配置目标重金属浓度为预设的初始浓度梯度的整数倍的多份重金属标准溶液。

具体地,初始浓度梯度为i,可以配置目标重金属浓度分别为i、2×i、3×i、…、j×i、…、n×i的重金属标准溶液。每种浓度的重金属标准溶液都可以配置多份。其中,n为正整数,n为预设的最大倍数。

例如,可以配置a1份目标重金属浓度为i、a2份目标重金属浓度为2×i、a3份目标重金属浓度为3×i、a4份目标重金属浓度为4×i、a5份目标重金属浓度为j×i的重金属标准溶液;j为正整数,1≤j≤n(本例中n≥4);a1、a2、a3、a4、a5之和等于分成的小份背景土壤样本的数量;配置目标重金属浓度为i至4×i的重金属标准溶液,是为了覆盖土壤中各目标重金属的主要浓度范围,使得模型在主要应用场景下具有更高的精度;配置目标重金属浓度为j×i的重金属标准溶液,随机选择j的值,是为了是土壤样本不局限于各目标重金属的主要浓度范围,使得模型在非主要应用场景下也具有很高的精度。

多份重金属标准溶液配置好之后,向每一小份背景土壤样本中添加一份重金属标准溶液,从而可以获得目标重金属含量属于预设范围的多个土壤样本。

向每一小份背景土壤样本中添加重金属标准溶液的过程中,为了能更好的混匀,可以将重金属标准溶液用丙酮稀释混入小份背景土壤中,混合均匀后置于通风厨中自然挥发;土壤完全风干后,再研磨混匀,按指定标号放到样品盒中,密封保存,作为一个土壤样本。

本发明实施例通过配置目标重金属含量属于预设范围的多个土壤样本,使得土壤样本的目标重金属含量覆盖更合适的范围,使得建立的土壤重金属含量检测模型具有更高的精度。

为了便于对本发明各实施例的理解,下面通过一个实例说明本发明上述各实施例提供的建模方法。

对背景土壤样本进行目标重金属的背景值测量,结果为as的含量为3ppm,cu的含量为15ppm,cr的含量为30ppm,pb的含量为18ppm,zn的含量为39ppm。

将背景土壤样本分为重量均为30g的91个小份。

各目标重金属的预设的初始浓度梯度为i,其中1到40号重金属标准溶液的浓度梯度为i;41到50号重金属标准溶液的浓度梯度为2×i;51到60号重金属标准溶液的浓度梯度为3×i;61到70号重金属标准溶液的浓度梯度为4×i;71至91号重金属标准溶液的浓度梯度为j×i;其中j=1,2,3,4...,n。

用丙酮稀释上述91份标准重金属溶液,分别添加到1小份背景土壤样本中,混合均匀后置于通风厨中自然挥发,土壤完全风干后,再研磨混匀,按指定标号放到样品盒中,密封保存,得到91个土壤样本。

土壤样本装在样品杯中进行检测,将麦拉膜与样品杯嵌套固定,保持底部平整,尽量不要产生褶皱,避免对测量结果产生干扰;将土壤样本填充进样品杯中,填压紧实后盖上盖子,为保证土壤不易松散,可借助简易压片机进行压紧。土壤样本中需去除石子、杂草等杂质,并将较大块状土壤压碎,以保证待测面土壤填充均匀平整,制作完成的待测品。

使用便携式x射线土壤重金属检测仪对样品进行光谱扫描,仪器配置ag靶微型x光管、电子冷却si-pin探测器,设置电压30kv,电流40ua,积分时间为300ms,测量时间200s,每个土壤样本重复测量3次,获取各土壤样本在0~26kev范围内的光谱信息。

采用任一种理化法测量各土壤样本的as、cu、cr、pb、zn等5种目标重金属的含量(即理化参照值y)。

根据各土壤样本的光谱信息和目标重金属含量,构造训练样本集和测试集。91个样本中去除4个异常样本后的87个不同浓度的土壤样品按照浓度梯度法设定训练集与测试集的数量比为2划分,训练样本集包括58个训练样本,测试集包括29个样本。

对于全部样本,将各样本按照理化参照值y的大小进行排序,排序可以是从大到小,也可以是从小到大。

根据样本采集的要求,设定训练样本集与测试集中样本的数量比为整数k。依据之前排好的顺序,选择k个样本放入训练样本集中,再选择1个样本放入测试集中。重复上面的步骤,直至获得训练样本集和测试集。

若样本总数量不是(k+1)的整数倍,则在最后一次分配中,将k个或不足k个的剩余样本放入训练样本集。

若样本总数量恰好为(k+1)的整数倍,对于最后一个样本,不将其放入测试集中,而是随机取出训练样本集中的某一样本,将两个样本互换。这样做的目的是保证样本理化参照值的最大值与最小值都归入训练样本集中。

根据上述训练样本集包括的58个训练样本,根据提取的吸收光谱与对应训练样本的5种目标重金属含量建立boosting-fipls模型。

其中,训练样本集t={(x1,y1),(x2,y2),…,(xn,yn)}。x是一个长度为4096的多元素自变量,x={x1,x2,x3……xp},p=1,2,3……4096;y是一个长度为5的因变量,y={y1,y2,y3,y4,y5}。

采用3折交叉验证的方法对主成分和基模型个数进行选择,经3折交叉验证得出boosting-fipls模型在主成分为3,基模型个数为12的时候其模型预测性能最优。

根据主成分为3,基模型个数为12,建立12个基模型,并将12个基模型集成为boosting-fipls模型。

将测试集的29个样本的特征吸收光谱输入已建立的boosting-fipls模型,得到相应的预测结果。

上述模型计算得到的土壤样本的5种重金属cu、zn、as、pb、cr的相关系数分别为0.9961、0.9941、0.9869、0.9950、0.9921,rmsep为6.9629、18.3691、8.3156、10.5889、22.7487,相对平均偏差为0.0812、0.0871、0.1035、0.0888、0.1260,说明预测值与实际值吻合度好,表明本发明的boosting-fipls模型精度高、具有较好的实用性。对于boosting-fipls模型,五种目标重金属无论是rmsep,平均相对偏差,还是偏差的标准差,相对于pls模型、fipls模型,都有不同程度的降低,说明boosting-fipls模型具有更高的精度。

图2为根据本发明实施例提供的土壤重金属含量检测方法的流程示意图。基于上述各实施例的内容,如图2所示,一种土壤重金属含量检测方法包括:步骤s201、获取待检测土壤的荧光光谱。

可以获取荧光光谱仪等光谱仪器采集的待检测土壤的荧光光谱。

可以将待检测土壤置于光谱仪器上,该光谱仪器可以采集该光谱仪器的工作能量范围内的光谱,作为待检测土壤的x射线荧光光谱。

为了提高采集的光谱的准确性、减少误差,可以将待检测土壤随机转动方向测量三次并求取其三次测量的平均光谱(平均光谱对应平均吸光度)。

根据光谱仪输出的光谱通道数c,可以将待检测土壤的荧光光谱表示为一个c维的光谱向量。

步骤s202、将待检测土壤的荧光光谱输入至土壤重金属含量检测模型,输出待检测土壤中目标重金属含量的检测结果。

其中,土壤重金属含量检测模型是利用上述任一土壤重金属含量检测建模方法实施例提供的建模方法建立的。

需要说明的是,由于利用上述任一土壤重金属含量检测建模方法实施例提供的建模方法建立的土壤重金属含量检测模型具有非常高的预测精度,因而可以将该模型用于土壤重金属含量检测,将该模型的预测结果作为土壤重金属含量检测结果。

获得待检测土壤的x射线荧光光谱之后,将待检测土壤的光谱向量输入土壤重金属含量检测模型,土壤重金属含量检测模型输出待检测土壤的浓度向量,作为待检测土壤中目标重金属含量的检测结果。

本发明实施例通过待检测土壤的荧光光谱和土壤重金属含量检测模型,获得待检测土壤中目标重金属含量的检测结果,检测结果更准确、精度更高。

图3为根据本发明实施例提供的土壤重金属含量检测建模装置的功能框图。基于上述各实施例的内容,如图3所示,该装置包括第一获取模块301、建模模块302和集成模块303,其中:

第一获取模块301,用于对于每一土壤样本,获取土壤样本的荧光光谱和目标重金属含量,将土壤样本的荧光光谱和目标重金属含量的组合作为一个训练样本,获得多个训练样本,组成训练样本集;

建模模块302,用于基于训练样本集,利用向前间隔偏最小二乘法依次建立多个基模型;

集成模块303,用于根据预设的集成策略,将各基模型集成为土壤重金属含量检测模型;

其中,基模型,用于表示土壤样本的荧光光谱中若干个波段的荧光光谱与土壤样本的目标重金属含量之间的关系。

具体地,第一获取模块301获取光谱仪器采集的各土壤样本的荧光光谱和理化方法测量出的各土壤样本的目标重金属含量,将同一土壤样本的荧光光谱和目标重金属含量的组合作为一个训练样本,获得多个训练样本,组成训练样本集。

建模模块302利用向前间隔偏最小二乘法,基于训练样本集,依次建立多个基模型。

集成模块303采用集成学习的方法,根据预设的集成策略,将向前间隔偏最小二乘法得到的各基模型集成为一个集成模型,将该集成模型作为最终的土壤重金属含量检测模型。

本发明实施例提供的土壤重金属含量检测建模装置,用于执行本发明上述各实施例提供的土壤重金属含量检测建模方法,该土壤重金属含量检测建模装置包括的各模块实现相应功能的具体方法和流程详见上述土壤重金属含量检测建模方法的实施例,此处不再赘述。

该土壤重金属含量检测建模装置用于前述各实施例的土壤重金属含量检测建模方法。因此,在前述各实施例中的土壤重金属含量检测建模方法中的描述和定义,可以用于本发明实施例中各执行模块的理解。

本发明实施例根据预设的集成策略,将利用向前间隔偏最小二乘法建立的多个基模型集成为土壤重金属含量检测模型,能克服“筑巢效应”,使得建立的土壤重金属含量检测模型具有更高的精度。

图4为根据本发明实施例提供的土壤重金属含量检测装置的功能框图。基于上述各实施例的内容,如图4所示,该装置包括第二获取模块401和检测模块402,其中:

第二获取模块401,用于获取待检测土壤的荧光光谱;

检测模块402,用于将待检测土壤的荧光光谱输入至土壤重金属含量检测模型,输出待检测土壤中目标重金属含量的检测结果;

其中,土壤重金属含量检测模型是利用上述任一土壤重金属含量检测建模方法实施例提供的建模方法建立的。

具体地,第二获取模块401获取荧光光谱仪等光谱仪器采集的待检测土壤的荧光光谱。

检测模块402,将待检测土壤的光谱向量输入土壤重金属含量检测模型,土壤重金属含量检测模型输出待检测土壤的浓度向量,作为待检测土壤中目标重金属含量的检测结果。

需要说明的是,上述土壤重金属含量检测模型,可以通过上述任一实施例提供的土壤重金属含量检测建模方法建立。

本发明实施例提供的土壤重金属含量检测装置,用于执行本发明上述各实施例提供的土壤重金属含量检测方法,该土壤重金属含量检测装置包括的各模块实现相应功能的具体方法和流程详见上述土壤重金属含量检测方法的实施例,此处不再赘述。

该土壤重金属含量检测装置用于前述各实施例的土壤重金属含量检测方法。因此,在前述各实施例中的土壤重金属含量检测方法中的描述和定义,可以用于本发明实施例中各执行模块的理解。

本发明实施例通过待检测土壤的荧光光谱和土壤重金属含量检测模型,获得待检测土壤中目标重金属含量的检测结果,检测结果更准确、精度更高。

图5为根据本发明实施例提供的电子设备的结构框图。基于上述实施例的内容,如图5所示,该电子设备可以包括:处理器(processor)501、存储器(memory)502和总线503;其中,处理器501和存储器502通过总线503完成相互间的通信;处理器501用于调用存储在存储器502中并可在处理器501上运行的计算机程序指令,以执行上述各方法实施例所提供的方法,例如包括:对于每一土壤样本,获取土壤样本的荧光光谱和目标重金属含量,将土壤样本的荧光光谱和目标重金属含量的组合作为一个训练样本,获得多个训练样本,组成训练样本集;基于训练样本集,利用向前间隔偏最小二乘法依次建立多个基模型;根据预设的集成策略,将各基模型集成为土壤重金属含量检测模型;或者包括:获取待检测土壤的荧光光谱;将待检测土壤的荧光光谱输入至土壤重金属含量检测模型,输出待检测土壤中目标重金属含量的检测结果。

本发明另一实施例公开一种计算机程序产品,计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序,计算机程序包括程序指令,当程序指令被计算机执行时,计算机能够执行上述各方法实施例所提供的方法,例如包括:对于每一土壤样本,获取土壤样本的荧光光谱和目标重金属含量,将土壤样本的荧光光谱和目标重金属含量的组合作为一个训练样本,获得多个训练样本,组成训练样本集;基于训练样本集,利用向前间隔偏最小二乘法依次建立多个基模型;根据预设的集成策略,将各基模型集成为土壤重金属含量检测模型;或者包括:获取待检测土壤的荧光光谱;将待检测土壤的荧光光谱输入至土壤重金属含量检测模型,输出待检测土壤中目标重金属含量的检测结果。

此外,上述的存储器502中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(rom,read-onlymemory)、随机存取存储器(ram,randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

本发明另一实施例提供一种非暂态计算机可读存储介质,非暂态计算机可读存储介质存储计算机指令,计算机指令使计算机执行上述各方法实施例所提供的方法,例如包括:对于每一土壤样本,获取土壤样本的荧光光谱和目标重金属含量,将土壤样本的荧光光谱和目标重金属含量的组合作为一个训练样本,获得多个训练样本,组成训练样本集;基于训练样本集,利用向前间隔偏最小二乘法依次建立多个基模型;根据预设的集成策略,将各基模型集成为土壤重金属含量检测模型;或者包括:获取待检测土壤的荧光光谱;将待检测土壤的荧光光谱输入至土壤重金属含量检测模型,输出待检测土壤中目标重金属含量的检测结果。

以上所描述的系统实施例仅仅是示意性的,其中作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。

通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如rom/ram、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行上述各个实施例或者实施例的某些部分的方法。

最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1