专利名称：一种基于大样本土壤可见-近红外光谱分类的土壤有机质快速检测方法
技术领域：
本发明属于光谱分析技术领域，尤其涉及一种基于大样本土壤可见-近红外光谱分类的土壤有机质快速检测方法。
背景技术：
土壤有机质是土壤的重要组成部分，是农田土壤肥力和土壤质量的重要指标，是当前土壤碳库计算中的重要参 数，对指导实施农田精准管理、农田土壤肥力评价等工作具有十分重要的意义。传统测定土壤有机质含量的化学分析方法通常时间久，花费大，易污染环境，并且很难在田间直接实施，不能满足快速有效监测土壤有机质空间分布和制图的需要。可见-近红外反射光谱技术监测土壤属性信息具有快速、简便、非接触、不破坏等优点，而且利用反射光谱技术可进行多种土壤属性的预测。申请公开号为CN102798601A的发明专利申请文件公开了一种土壤有机质检测装置，包括:采样车；安装在所述采样车底部的取样模板；用于向取样模块中的土壤样品发射检测光的光照探头模块；用于接收土壤样品反射光的光谱采样模块；用于接收并处理来自所述光谱采集模块的信号的光谱处理模块。该发明专利申请文件还公开了一种利用所述土壤有机质检测装置检测土壤有机质的方法，包括如下步骤:(1)利用所述取样模块采集土壤样品，利用所述光照探头模块向土壤样品发射波长为420mm、450mm、486mm、583mm、650mm、740mm、920mm和1130mm的检测光；(2)利用所述光谱采集模块接收土壤样品的反射光,利用光谱处理模块提取土壤样品在不同波长处的反射率；(3)利用光谱处理模块将所得反射率通过相应的计算方程计算得到土壤有机质的含量。授权公告号为CN101387605B的中国专利公开了一种光纤式农田土壤有机质含量快速检测仪，包括光路模块和与该光路模块相连的控制模块，其中，所述光路模块为包括光电探测器、光纤、探头、近红外发光二极管和驱动电路，所述光纤包括光输入端、反射光测量端和土壤探测端，光输入端为与光电探测器相连，反射光测量端则连接于光电探测器，土壤探测端则与探头连接；所述控制模块为包含信号放大单元、A/D转换单元、控制单元、显示单元及存储单元，信号方法单元分别连接光电二极管和A/D转换单元，控制单元亦分别连接A/D转换单元、显示单元和存储单元。以上现有技术存在以下不足:由于土壤类型多样，土壤反射光谱特性在不同土壤类型之间存在显著的差异，土壤质地、氧化铁、土壤黏土等理化特性在可见光和近红外不同波段对有机质光谱产生交互影响。以上现有技术在用可见-近红外反射光谱技术检测不同类型土壤有机质含量时，其预测模型稳定性和普适性较差。
发明内容
本发明针对现有技术在用可见-近红外反射光谱技术检测不同类型土壤有机质含量时，其预测模型稳定性和普适性较差的问题，提出了一种基于大样本土壤可见-近红外光谱分类的土壤有机质快速检测方法，该方法与以往单纯采用区域全部土壤样本光谱预测建模方法相比，其模型稳定性和预测精度均大大提高，检测精度高、普适性强。一种基于大样本土壤可见-近红外光谱分类的土壤有机质快速检测方法，包括以下步骤:(I)测量采集全国土壤样本的可见-近红外光谱数据和有机质含量数据，构建大样本全国土壤光谱-有机质数据库；(2)采用模糊k均值聚类将所述大样本全国土壤光谱-有机质数据库最优聚类成k组，k为自然数，然后对每组光谱数据用偏最小二乘回归方法建立各自的预测模型，从而构建大样本全国土壤光谱-有机质数据库的分类预测模型，用交叉验证法对所述分类预测模型进行精度评价；(3)采集待检测土壤样本的可见-近红外光谱数据，将该光谱数据汇入所述的大样本全国土壤光谱-有机质数据库中，判断该光谱数据的所属组别，根据该组的预测模型得到待检测土壤样本的有机质含量。步骤(I)中，所述的测量采集全国土壤样本的可见-近红外光谱数据和有机质含量数据，构建大样本全国土壤光谱-有机质数据库的具体过程如下:(1.1)采集全国的土壤样本，采集所述土壤样本的光谱数据；采集全国不同省市不同土壤类型的样本，对采集的土壤样本进行风干、研磨并通过2mm孔筛。采用美国ASD公司的FieldSpec Pro FR型光谱仪获取土壤样本可见-近红外光谱数据，其波长范围是350 2500nm，采样间隔为1.4nm (350 IOOOnm区间)和2nm(1000 2500nm区间)，重采样间隔为lnm，输出波段数为2150。为保证光谱数据质量，去除边缘误差较大光谱数据，最终光谱库数据选取400-2450nm波段。
``
(1.2)用化学方法分析所述土壤样本的有机质含量，优选方法为采用重铬酸钾容量法-外加热法分析；(1.3)对所述光谱数据进行预处理，构建大样本全国土壤光谱-有机质数据库；(1.3.1)用基于最小二乘的Savitzky-Golay经典平滑滤波去除光谱噪声；该方法能保持光谱的大部分细节特征；假设光谱曲线为t次多项式，其中t为自然数，其公式为:1=0,^+0,^+0,^+0,^+...+BtIt( I)其中Y表示光谱数据值，a0, B1^a2, B3^ai为多项式系数，i表示光谱波长，t为自然数。基于最小二乘的Savitzky-Golay经典平滑滤波的推导过程中，最后简化的一般最小二乘卷积方程为:
权利要求
1.一种基于大样本土壤可见-近红外光谱分类的土壤有机质快速检测方法，其特征在于，包括以下步骤: (1)测量采集全国土壤样本的可见-近红外光谱数据和有机质含量数据，构建大样本全国土壤光谱-有机质数据库； (2)采用模糊k均值聚类将所述大样本全国土壤光谱-有机质数据库最优聚类成k组，k为自然数，然后对每组光谱数据用偏最小二乘回归方法建立各自的预测模型，从而构建大样本全国土壤光谱-有机质数据库的分类预测模型，用交叉验证法对所述分类预测模型进行精度评价； (3)采集待检测土壤样本的可见-近红外光谱数据，将该光谱数据汇入所述的大样本全国土壤光谱-有机质数据库中，判断该光谱数据的所属组别，根据该组的预测模型得到待检测土壤样本的有机质含量。
2.根据权利要求1所述的基于大样本土壤可见-近红外光谱分类的土壤有机质快速检测方法，其特征在于，步骤(I)中，所述的测量采集全国土壤样本的可见-近红外光谱数据和有机质含量数据，构建大样本全国土壤光谱-有机质数据库的具体过程如下: (1.1)采集全国的土壤样本，采集所述土壤样本的光谱数据； (1.2)用化学方法分析所述土壤样本的有机质含量； (1.3)对所述光谱数据进行预处理，构建大样本全国土壤光谱-有机质数据库。
3.根据权利要求2所述的基于大样本土壤可见-近红外光谱分类的土壤有机质快速检测方法，其特征在于，步骤(1.2)中，所述的用化学方法分析所述土壤样本的有机质含量是用重铬酸钾容量法-外加热法分 析。
4.根据权利要求2所述的基于大样本土壤可见-近红外光谱分类的土壤有机质快速检测方法，其特征在于，步骤(1.3)中，所述的对所述光谱数据进行预处理的方法为基于最小二乘的Savitzky-Golay经典平滑滤波与一阶微分变换相结合的方法。
5.根据权利要求1所述的基于大样本土壤可见-近红外光谱分类的土壤有机质快速检测方法，其特征在于，步骤(2)中，所述的采用模糊k均值聚类将所述大样本全国土壤光谱-有机质数据库最优聚类成k组的具体过程如下: 聚类时，引入模糊性能指数FP1、改进分类熵MPE和聚类独立性指标S，选取以上是三个指标都较小的聚类数作为最佳光谱分类数，即k的值； 采用主成份分析方法将全国土壤样本光谱-有机质数据库中的反射光谱数据进行压缩，将简化后的主成份数据作为模糊k均值分类方法的输入数据； 采用模糊k均值方法进行分类，k为自然数，模糊k均值方法的目标函数为: i=l 户I(4)其中η是属性数据的个数，此处为选取的主成分个数；k是类别个数；j^k)表示土壤光谱数据库中第i个土壤样本Xi属于聚类中心矩阵C中第j个聚类中心向量Cj的隶属度；M为隶属度矩阵；(Clij)2等于Xi与Cj在特征向量上距离的平方；d为11与4在特征向量上的距离，n、k、1、j为自然数，Φ为模糊加权指数，控制不同类别间共用数据的数目，Φ > I。
6.根据权利要求1所述的基于大样本土壤可见-近红外光谱分类的土壤有机质快速检测方法，其特征在于，步骤(2)中，所述的对每组光谱数据用偏最小二乘回归方法建立各自的预测模型的具体过程如下: 在每个聚类组别中，以经过预处理的该组别的土壤样本的光谱数据为建模集输入，以该组别的土壤样本对应的有机质含量为建模集输出，建立偏最小二乘回归预测模型。
7.根据权利要求1所述的基于大样本土壤可见-近红外光谱分类的土壤有机质快速检测方法，其特征在于，步骤(2)中，所述的用交叉验证法对所述分类预测模型进行精度评价是采用Leave-one-out交叉验证方法,其具体过程如下: 预测模型精度统一选用决定系数R2、均方根误差RMSE以及测定值标准偏差与标准预测误差的比值RPD作为评价参数，其具体公式如下:
全文摘要
本发明公开了一种基于大样本土壤可见-近红外光谱分类的土壤有机质快速检测方法，包括以下步骤(1)测量采集全国土壤样本的可见-近红外光谱数据和有机质含量数据，构建大样本全国土壤光谱-有机质数据库；(2)采用模糊k均值聚类和偏最小二乘回归相结合的方法，构建大样本全国土壤光谱-有机质数据库的分类预测模型；(3)采集待检测土壤样本的可见-近红外光谱数据，将该光谱数据汇入所述的大样本全国土壤光谱-有机质数据库中，判断所属组别，根据该组的预测模型得到待检测土壤样本的有机质含量。本发明的方法与以往单纯采用区域全部土壤样本光谱预测建模方法相比，其模型稳定性和预测精度均大大提高，检测精度高、普适性强。
文档编号G01N21/31GK103234922SQ20131011083
公开日2013年8月7日 申请日期2013年3月29日 优先权日2013年3月29日
发明者史舟, 王乾龙, 滕洪芬, 纪文君, 周炼清 申请人:浙江大学