联合室内外光谱的波段及比值组合的重金属含量支持向量机回归方法与流程

文档序号:21957754发布日期:2020-08-25 18:35阅读:350来源:国知局

本发明主要涉及到土壤重金属检测技术领域,特指一种联合室内外光谱的波段及比值组合的重金属含量支持向量机回归方法。



背景技术:

土壤中重金属的大量累积可污染农作物、通过食物链危害人体健康,引发致癌风险。准确、高效测定土壤重金属含量进而有效开展重金属污染土壤综合防治正逐渐成为全球范围关注的热点。目前,土壤重金属含量调查多借助实地采样和原子吸收分光光度法实验室化学分析测定。该方法虽精度高、可靠性强,但成本高,且耗时耗力。

高光谱技术以其波段数多,分辨率高,光谱连续性强的优势,已被广泛应用于复杂土壤组分的定量化反演研究中。土壤高光谱遥感反演在土壤黏土矿物、铁氧化物、有机质、水分以及氮等组分的含量预测等方面得到了成功应用。同时,高光谱技术在土壤重金属污染监测的研究中也发现,重金属污染土壤的光谱曲线与不受重金属污染的土壤光谱曲线存在显著差异。国内外研究人员以河漫滩平原、矿区、农田为例,先后探究了土壤光谱与cd、zn、cu、as、pb等重金属含量间的响应关系;成功建立了光谱吸收谷面积、不对称度等光谱特征参量与重金属含量间的经验统计模型;在对光谱进行平滑、微分、吸收度变换等预处理的基础上,将不同波段反射率比值、差值与重金属含量进行了曲线拟合,开展了强相关性波段与重金属含量的多元回归建模,基于光谱主成分的多元回归建模,以及偏最小二乘回归(plsr)建模。

尽管上述土壤重金属含量高光谱反演建模中,具有花费较少、效率较高的优势,但由于室内、室外大气等环境条件不同导致的土壤光谱差异,使得室内光谱难以有效直接应用于野外大范围土壤重金属污染调查;单波段容易造成地物的可辨识性不强,土壤背景信息不容易分离,影响重金属反演效果;土壤成分复杂,重金属含量线性回归效果不理想。

为此,亟需找到一种可在野外直接利用土壤室外光谱大范围高效反演土壤重金属含量的方法。



技术实现要素:

本发明要解决的技术问题就在于:针对现有技术存在的技术问题,本发明提供一种原理简单、反演精度高、检测效果好的联合室内外光谱的波段及比值组合的重金属含量支持向量机回归方法。

为解决上述技术问题,本发明采用以下技术方案:

一种联合室内外光谱的波段及比值组合的重金属含量支持向量机回归方法,其特征在于,步骤包括:

步骤s1:土壤样品采集及土壤光谱测定;

步骤s2:ks-ds算法构建光谱转换模型;即,构建选取的转换集样品的室内、室外光谱转换模型;

步骤s3:光谱预处理及相关分析;即,采用构建的土壤室内外光谱转换模型将土壤样品室外光谱进行光谱转换,得到转换后的土壤室外光谱数据;构建强相关波段及波段比值组合模型,波段光谱反射率与样本重金属含量间pearson相关系数找出指示土壤重金属含量差异的强相关波段;用每个强相关波段分别与其他强相关波段做比值处理,并逐一与重金属含量做相关分析,找出强相关波段比值;

步骤s4:融合室内外光谱的支持向量机重金属含量反演模型构建,进行检测。即,构建融合室内外光谱的支持向量机重金属含量反演模型;强相关性波段和波段比值组合作为模型的输入变量,土壤铬含量为因变量,用训练样本训练支持向量机模型,用训练好的模型反演重金属含量。

作为本发明的进一步改进:所述步骤s1包括:

步骤s101:土壤样品采集:采用格网取样法采集自然污染土壤表层样品;

步骤s102:土壤光谱测定:野外采集土样时,同步采集室外土壤光谱;室外光谱采用地物光谱仪测量,测试前进行白板定标,获取绝对反射率;每个土样测试过程中重复测定350-2500nm光谱波段范围若干条反射光谱曲线,取算术平均值作为该土样的实际反射光谱数据;同样方法测量室内土壤样本得到室内光谱曲线。

作为本发明的进一步改进:所述步骤s101中,将土壤样品带回室内,首先在阴凉通风室内风干,去除土壤中杂质;然后采用陶瓷用具研磨、过100目尼龙筛,以备土壤基本理化性质和光谱学特性测定试验所用;然后采用原子吸收分光光度法测定土壤重金属含量。

作为本发明的进一步改进:所述步骤s102中,测试光源为1000w卤素灯,5°视场角,光源照射方向与垂直方向夹角15°;光源距离设置为30cm,探头距离5cm;测量过程探头保持与土壤样本平面成45°角。

作为本发明的进一步改进:所述步骤s2包括:

步骤s201:利用kennard-stone算法通过计算采样土壤室内光谱之间的欧氏距离,选择转换集样品;

步骤s202:采用直接校正算法构建选取的转换集样品的室内、室外光谱转换模型;采用构建的土壤室内外光谱转换模型将土壤样品室外光谱进行光谱转换,得到转换后的土壤室外光谱数据。

作为本发明的进一步改进:所述kennard-stone算法具体实现步骤为:首先,选择两两样本之间距离最大的两个样本作为第一个和第二个转换集样品;然后,分别计算剩余的样本与已选样本之间的距离;对于每个剩余样本而言,其与已选样品之间的最短距离被选择,然后选择这些最短距离中相对最长的距离所对应的样本,作为第三个转换集样品;重复直至所选的转换集样品的个数等于事先确定的数目为止。

作为本发明的进一步改进:所述步骤s3包括:

步骤s301:光谱去噪:采用光谱去噪方法,去除首尾信噪比较低的波段350-380nm和2410-2500nm,室外光谱还去掉受水汽影响严重的波段1880-1965nm;

步骤s302:光谱微分:用差分近似对离散光谱数据进行微分,方法如下:

式中,ri表示第i个波段光谱的反射率,wi表示第i个波段的波长;

步骤s303:光谱重采样:对各样本光谱的350-2500nm间的1024个波段进行间隔为10nm的采样,算术平均值计算后的重采样波段数为198个;

步骤s304:相关分析:波段光谱反射率与样本重金属含量间pearson相关系数用于表征指示土壤重金属含量差异的强相关波段,计算公式为:

式中,xi代表光谱第i个波段反射率,y代表样本重金属含量,σ代表标准差,相关系数t检验过程中0.05水平显著的波段为强相关波段;用每个强相关波段分别与其他强相关波段做比值处理,并逐一与重金属含量做相关分析,t检验过程中0.05水平显著波段比值为强相关波段比值。

作为本发明的进一步改进:所述步骤s4包括:

步骤s401:强相关性波段和波段比值组合作为模型的输入变量,土壤铬含量为因变量,70%土壤样本为训练样本,30%样本为测试样本,粒子群算法搜索支持向量机svm参数,训练svm模型;

步骤s402:用训练好的svm模型反演重金属含量。

与现有技术相比,本发明的优点在于:

1、本发明的联合室内外光谱的波段及比值组合的重金属含量支持向量机回归方法,考虑到土壤室内、室外光谱内在的关联一致性,同时顾及地理环境要素对于土壤光谱反射率值的变化影响,选择合适的转换集,构建室内、室外土壤光谱的关联转换模型,采用构建的土壤室内外光谱转换模型将土壤样品室外光谱进行光谱转换,得到转换后的土壤室外光谱数据,消除环境条件导致的土壤光谱差异;考虑单波段容易造成地物的可辨识性不强,土壤背景信息不容易分离,通过比值增强加强地物之间的对比度,减弱背景而突出地物信息,建立强相关波段及波段比值组合模型来进行重金属浓度的反演;考虑土壤成分复杂,重金属含量线性回归效果不理想,引入能够较好地解决小样本、非线性、高维数和局部最小点等实际问题的支持向量机模型,以强相关波段及波段比值组合为输入自变量,土壤重金属含量为因变量,构建融合室内外光谱的支持向量机重金属含量反演模型,以提高反演精度。

2、本发明的联合室内外光谱的波段及比值组合的重金属含量支持向量机回归方法,针对单波段容易造成地物的可辨识性不强,通过比值增强加强地物之间的对比度;针对土壤光谱各波段之间的环境条件和变化是相同的,所以对波段间进行比值运算,可以减弱背景而突出局部地物信息,达到增强目标地物的效果。本发明通过构建强相关波段及波段比值组合模型来进行重金属浓度的反演。

2、本发明的联合室内外光谱的波段及比值组合的重金属含量支持向量机回归方法,采用支持向量机(svm)的方式,不仅结构简单,而且能够较好地解决小样本、非线性、高维数和局部最小点等实际问题,svm进行土壤参数预测的研究也取得了较好的进展。本发明以强相关波段及波段比值组合为输入自变量,土壤重金属含量为因变量,构建了融合室内外光谱的支持向量机重金属含量反演模型。即,本发明以强相关波段及波段比值组合为输入自变量,土壤重金属含量为因变量,构建融合室内外光谱的支持向量机重金属含量反演模型,以提高反演精度。

附图说明

图1是本发明方法的流程示意图。

图2是本发明在具体应用实例中室外光谱处理的流程示意图;其中(a)为室外光谱的示意图;(b)为室外转换光谱的示意图;(c)为室外光谱预处理的示意图。

图3是本发明在具体应用实例中铬含量与波段相关性的示意图;其中(a)为铬含量与波段相关性示例的示意图;(b)为铬含量与波段比值相关性示例的示意图;(c)为铬含量强相关波段及波段比值组合示例的示意图;(d)为铬含量回归模型散点图示例的示意图。

具体实施方式

以下将结合说明书附图和具体实施例对本发明做进一步详细说明。

如图1-图3所示,本发明的联合室内外光谱的波段及比值组合的重金属含量支持向量机回归方法,其步骤为:

步骤s1:土壤样品采集及土壤光谱测定;

步骤s2:ks-ds算法构建光谱转换模型;即,构建选取的转换集样品的室内、室外光谱转换模型;

步骤s3:光谱预处理及相关分析;即,采用构建的土壤室内外光谱转换模型将土壤样品室外光谱进行光谱转换,得到转换后的土壤室外光谱数据;构建强相关波段及波段比值组合模型,波段光谱反射率与样本重金属含量间pearson相关系数找出指示土壤重金属含量差异的强相关波段;用每个强相关波段分别与其他强相关波段做比值处理,并逐一与重金属含量做相关分析,找出强相关波段比值;

步骤s4:融合室内外光谱的支持向量机重金属含量反演模型构建,进行检测。即,构建融合室内外光谱的支持向量机重金属含量反演模型。强相关性波段和波段比值组合作为模型的输入变量,土壤铬含量为因变量,用训练样本训练支持向量机模型,用训练好的模型反演重金属含量。

在具体应用实例中,步骤s1的具体步骤包括:

步骤s101:土壤样品采集:采用格网取样法采集自然污染土壤表层(0-20cm)样品。

如具体应用中,为了消除或者减弱土壤中的水分、粒径、杂质等对土壤光谱数据的影响,将土壤样品带回室内,首先在阴凉通风室内风干,去除土壤中石块、植物碎片等杂质;然后采用陶瓷用具研磨、过100目尼龙筛,以备土壤基本理化性质和光谱学特性测定试验所用。采用原子吸收分光光度法测定土壤重金属含量;

步骤s102:土壤光谱测定:野外采集土样时,同步采集室外土壤光谱。室外光谱采用psr-3500便携式地物光谱仪测量,测试前进行白板定标,获取绝对反射率;每个土样测试过程中重复测定350-2500nm光谱波段范围10条反射光谱曲线,取算术平均值作为该土样的实际反射光谱数据;同样方法测量室内土壤样本得到室内光谱曲线,如测试光源为1000w卤素灯,5°视场角,光源照射方向与垂直方向夹角15°;光源距离设置为30cm,探头距离5cm;测量过程探头保持与土壤样本平面成45°角。

在具体应用实例中,步骤s2的具体步骤包括:

步骤s201:利用kennard-stone算法通过计算采样土壤室内光谱之间的欧氏距离,选择转换集样品。kennard-stone算法具体实现步骤为:首先,选择两两样本之间距离最大的两个样本作为第一个和第二个转换集样品;然后,分别计算剩余的样本与已选样本之间的距离;对于每个剩余样本而言,其与已选样品之间的最短距离被选择,然后选择这些最短距离中相对最长的距离所对应的样本,作为第三个转换集样品;重复直至所选的转换集样品的个数等于事先确定的数目为止。

步骤s202:采用直接校正算法(directstandardization,ds)构建选取的转换集样品的室内、室外光谱转换模型;采用构建的土壤室内外光谱转换模型将土壤样品室外光谱进行光谱转换,得到转换后的土壤室外光谱数据;

在具体应用实例中,步骤s3的具体步骤包括:

步骤s301:光谱去噪:为保证光谱测量过程中数据的有效性与增强光谱特征差异,采用光谱去噪方法,去除首尾信噪比较低的波段350-380nm和2410-2500nm,室外光谱还去掉受水汽影响严重的波段1880-1965nm;

步骤s302:光谱微分:微分在信号提取中可以消除部分共有系统误差。但顾及微分信号提取中对噪声的放大,本发明用差分近似对离散光谱数据进行微分,方法如下:

式中,ri表示第i个波段光谱的反射率,wi表示第i个波段的波长;

步骤s303:光谱重采样:高光谱数据相邻波段往往高度相关,存在信息冗余。重采样能降低波段之间的相关性,提高数据处理效率、方便模型建立。本研究对各样本光谱的350-2500nm间的1024个波段进行间隔为10nm的采样,算术平均值计算后的重采样波段数为198个;

步骤s304:相关分析:相关性分析可以反映两个变量间线性关系的强弱,本发明波段光谱反射率与样本重金属含量间pearson相关系数可用于表征指示土壤重金属含量差异的强相关波段,计算公式为:

式中,xi代表光谱第i个波段反射率,y代表样本重金属含量,σ代表标准差,相关系数t检验过程中0.05水平显著的波段为强相关波段;用每个强相关波段分别与其他强相关波段做比值处理,并逐一与重金属含量做相关分析,t检验过程中0.05水平显著波段比值为强相关波段比值。

在具体应用实例中,步骤s4的具体步骤包括:

步骤s401:强相关性波段和波段比值组合作为模型的输入变量,土壤铬含量为因变量,70%土壤样本为训练样本,30%样本为测试样本,粒子群算法(pso)搜索支持向量机(svm)参数,训练svm模型;

步骤s402:用训练好的svm模型反演重金属含量。

以上仅是本发明的优选实施方式,本发明的保护范围并不仅局限于上述实施例,凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理前提下的若干改进和润饰,应视为本发明的保护范围。

当前第1页1 2 
当前第1页1 2 
网友询问留言 留言:0条
  • 还没有人留言评论。精彩留言会获得点赞!
1