一种基于LSTM的土壤有机质含量高光谱建模方法

一种基于lstm的土壤有机质含量高光谱建模方法
技术领域
1.本发明涉及土壤光谱采集与分析技术领域，具体是一种基于长短期记忆网络lstm（long short-term memory，简称lstm）的土壤有机质含量高光谱建模方法。


背景技术：

2.土壤有机物(som)含量的测量是碳循环研究和森林管理中的一个关键程序。som不仅提供作物所需的养分，改善土壤物理结构，还有助于保水保肥，因此，能够快速、准确地估计som含量，对于提高粮食产量和帮助农业的可持续发展具有重要意义。然而，传统的som含量估算方法成本高、耗时长、工作量大，因此，不能满足当前生产管理的需要。
3.幸运的是，高光谱遥感技术的发展已经产生了几种新的土壤分析方法。土壤养分含量预测具有广泛的研究和应用基础。随着机器学习的发展，许多新的谱模型回归预测算法不断被提出和应用。由于可见近红外光谱的复杂性，多种方法被应用于土壤光谱的预处理，如 savitzky-golay平滑、标准化和归一化方法。采用sg平滑和散射校正相结合的方法对土壤光谱数据进行处理，以最大限度地减少光谱中不相关和无用的信息，增加光谱与测量值之间的相关性。通过选择最佳的预处理方法组合对土壤vis-nir数据进行处理，不仅可以最大程度地消除干扰因素，而且可以利用各预处理方法之间的互补关系，提高网络模型的预测精度。现有文献中，研究人员多集中于光谱数据的预处理，相关光谱回归模型的建议和改进较少。一种高性能的光谱数据建模方法可以简化光谱数据的预处理要求，也是保证光谱预测准确性的关键。随着回归预测的发展，越来越多的线性回归方法被应用于土壤养分预测，如主成分回归（pcr）和偏最小二乘回归（plsr）方法。之后，随机森林、遗传算法、最小二乘支持向量机（ls-svm）和机器学习中的立体主义方法也被用来提高模型预测能力。但是，与传统的数学建模和机器学习方法相比，神经网络模型具有更高的计算效率和更强的建模能力，可以独立地从复杂的光谱数据中提取有效的特征结构进行学习。


技术实现要素：

4.本发明的目的是针对现有技术的不足，而提供一种基于lstm的土壤有机质含量高光谱建模方法。这种方法能够实时、快速、准确预测，具有很好的实际应用价值。
5.实现本发明目的的技术方案是：一种基于lstm的土壤有机质含量高光谱建模方法， 包括如下步骤：1）土壤样品的采集与处理：采集若干样本，样本自然风干、研磨，将样本均匀分为两部分；2）测定步骤1）中土壤样品的有机质含量和土壤样品的光谱反射率数据：将样本通过0.2nm的土壤筛子过筛，再采用重铬酸钾氧化加热，测定som含量，将样本通过0.149nm的土壤筛子，采用asd fieldspec1 4 hi-res地面物体光谱仪获取高光谱数据，波谱范围包括可见光和近红外区域即波长为350-2500nm范围区域；3）对步骤2）中土壤光谱反射率数据进行预处理：即去除光谱反射率数据中噪声较
大的边缘波段及对光谱反射率数据平滑处理，其中，噪声较大的边缘波段为350-399nm和2401-2500nm波段，所述平滑处理为对光谱反射率数据进行savitzky-golay平滑处理；4）光谱反射率数据变换：将光谱反射率进行一阶微分、二阶微分、标准正态变量和多元散射校正的变换处理；5）采用机器学习算法和深度学习算法建立土壤有机质预测模型，其中，机器学习算法为偏最小二乘回归和支持向量机，深度学习算法为长短期记忆网络，样本总数4/5作为训练集，1/5为验证集，lstm模型建立是采用pycharm软件中keras库采用python3.8语言进行搭建，plsr和svm模型调用sklearn接口中对应的机器学习模块实现，建立r、1dr、2dr、svn和msc五种光谱反射率数据与土壤有机质含量之间的反演模型，初始模型检验为采用origin 2021进行数据模型拟合；6）高光谱预测模型建立：在步骤5）中选出最优模型；7）模型精度评价：采用决定系数、均方根误差，对步骤5）中建立的土壤有机质预测模型进行评价，确定土壤有机质预测模型的精度、稳定性和预测性能。
6.与现有技术相比，本技术方案的优点及有益效果为：本技术方案相比于采用机器学习方法建模，能简化建模过程，解决各波段间多重共线等问题，具有工作量小、成本低、精度高、可靠性高等优点，模型的泛化性高，适用于不同地区的不同土壤；本技术方案填补了深度学习算法在土壤有机质光谱反演模型上的研究空白，提供了一种模型简单、运算效率、分析能力、精确度高、预测性能好上都强于机器学习方法。
7.通过土壤样品采集与处理、土壤有机质测定和光谱反射率数据测定、光谱反射率数据变换、机器学习算法和深度学习算法模型建立、高光谱预测模型建立和评价指标，使得本技术方案相较于机器学习方法，能够实时、快速、准确预测，具有很好的实际应用价值。
8.这种方法付能够广泛应用于工程实际，为后续土地资源的治理和利用提供依据。
附图说明
9.图1为实施例的方法流程示意图；图2为实施例中的研究区采样点示意图；图3为实施例中的不同有机质含量的土壤反射率的平均光谱曲线图示意图；图4为实施例中的测试集上土壤有机质真实值与预测值的对比图。
具体实施方式
10.下面结合附图和实施例对本发明的内容做进一步的阐述，但不是对本发明的限定。
11.实施例：本例中，土壤样品来自于中国广西国有黄冕林场（109
°
43
′
46
″
e, 24
°
37
′
25
″
n）和国有雅长林场（106
°
16
′
30
″
e, 24
°
49
′
30
″
n），都属于亚热带气候，年均降雨量分别为1750和1057mm，年平均温度19℃和16.8℃，本区土壤类型为红壤，主要种植桉树、杉树和松树为主，由于缺乏有效土壤养分检测，加上人为不合理种植，导致林地土壤退化加剧，研究区内树木生长均匀，采用s形取样法采集了0-20厘米土层样品，共采集了206个样本，研究区内采样点
如图2所示；参照图1，一种基于lstm的土壤有机质含量高光谱建模方法， 包括如下步骤：1）土壤样品的采集与处理：采集若干样本，样本自然风干、研磨，将样本均匀分为两部分，本例中，实地采样时选取长势均匀、人为活动较少的林地，以w型多点随机取样,每个采样点确保5个以上的取样点,采集距离地面表层0-20cm土层深度的土壤,将采集的土样混合均匀后,用四分法取1kg土壤样品，将土壤样品在实验室经自然风干、去除杂物，研磨后过0.149mm孔筛，成待测土壤样品；2）测定步骤1）中土壤样品的有机质含量和土壤样品的光谱反射率数据：将样本通过0.2nm的土壤筛子过筛，再采用重铬酸钾氧化加热，测定som含量，将样本通过0.149nm的土壤筛子，采用asd fieldspec1 4 hi-res地面物体光谱仪获取高光谱数据，波谱范围包括可见光和近红外区域即波长为350-2500nm范围区域，本例中，采用灼烧法测定待测土壤样品中的有机碳含量,灼烧温度为550℃，光谱反射率数据测定采用asd f4地物反射光谱仪测定土壤样品的光谱反射率，光谱分辨率为1nm，光谱测定范围为350-2500nm，探头视场角为12-15
°
，光源入射角为30-45
°
，将灼烧后的土壤样品置于深度1.5cm、直径为6cm的托盘中，并将土壤表面压平,探头距土壤表面5cm，为消除外部光线不一致的影响，测定之前用白色参考版校准仪器,并扣除空气背景值，为增加仪器的信噪比，每次测定的重复扫描次数设置为30次，将每次测定的光谱反射率数据的平均值作为每个土壤样品的光谱反射率数据，不同有机质含量的土壤反射率的平均光谱曲线如图3所示；3）对步骤2）中土壤光谱反射率数据进行预处理：即去除光谱反射率数据中噪声较大的边缘波段及对光谱反射率数据平滑处理，其中，噪声较大的边缘波段为350-399nm和2401-2500nm波段，所述平滑处理为对光谱反射率数据进行savitzky-golay平滑处理；4）光谱反射率数据变换：将光谱反射率进行一阶微分、二阶微分、标准正态变量和多元散射校正的变换处理；5）采用机器学习算法和深度学习算法建立土壤有机质预测模型，其中，机器学习算法为偏最小二乘回归和支持向量机，深度学习算法为长短期记忆网络，样本总数4/5作为训练集，1/5为验证集，lstm模型建立是采用pycharm软件中keras库采用python3.8语言进行搭建，plsr和svm模型调用sklearn接口中对应的机器学习模块实现，建立r、1dr、2dr、svn和msc五种光谱反射率数据与土壤有机质含量之间的反演模型，初始模型检验为采用origin 2021进行数据模型拟合，本例中，初始模型的拟合效果用决定系数r2的大小检验，初始模型的稳定性用均方根误差rmse进行检验，r2越接近于1，模型拟合效果越好，rmse越小，模型的稳定性越好，土壤有机质含量统计学特征如表1所示：表1：土壤有机质含量统计学特征；
6）采用lstm、plsr、svm三种模型以r与两种变换形式1dr、2dr、snv、msc全波段建立的模型，从r2和rmse三个评价指标来看，satcn建立的反演模型优于tcn模型，全波段r-lstm、r-plsr和r-svm模型精度r2分别为0.771、0.461和0.633，明显低于其他光谱指标建立的模型，说明一阶微分、二阶微分、标准正态变量和多元散射校正变换均能明显消除土壤中的冗余信息，增强了高光谱对土壤有机质的敏感性，remse分别为5.477 g
·
kg-1
、8.393 g
·
kg-1
和6.922 g
·
kg-1
，明显高于其他光谱指标建立的模型，说明原始光谱建模稳定性差，1dr-lstm、1dr-plsr和1dr-svm模型精度r2分别为0.909、0.736和0.869，remse分别为3.862 g
·
kg-1
、6.601 g
·
kg-1
和4.646 g
·
kg-1
，均优于2dr、snv、msc建立的土壤有机质反演模型，1dr-lstm、1dr-plsr和1dr-svm模型精度r2都在0.7以上，说明模型能够很好的预测土壤有机质含量，1dr
‑ꢀ
lstm模型r2为0.909，rmse为3.862g
·
kg-1
为最优模型；不同模型土壤有机质估算模型精度如表2所示：表2：不同模型土壤有机质估算模型精度；7）高光谱预测模型建立：在步骤5）中选出最优模型，本例中，根据机器学习算法和深度学习算法建立模型，选出最优模型，采用origin 2020对土壤有机质真实值与预测值的对比：从全波段建立的土壤有机质含量光谱反演模型中，选出精度最高的1dr-satcn模型，对其进行验证，基于fdr-opls全波段模型预测结果如图4所示，r2＝0.909，rpd＝3.862，精度高，稳定性好，具有很好的实际应用价值；8）模型精度评价：采用决定系数、均方根误差，对步骤5）中建立的土壤有机质预测模型进行评价，确定土壤有机质预测模型的精度、稳定性和预测性能。