一种基于太赫兹光谱的定性检测茶叶中农药残留的方法与流程

本发明涉及农作物中农药的检测方法，更具体地说，涉及一种基于太赫兹光谱的定性检测茶叶中农药残留的方法。

背景技术：

农药是用于防治危害农作物病虫害、杂草以及其他有害生物的药物总称。在二战之前，用于农业生产的农药分为两大类：一类是含砷或是含硫、铅、铜等的无机物，另一类是除虫菊酯、尼古丁等从植物中得到的有机物。二战期间，人工合成有机农药得到了快速的发展，并迅速普及使用。截止至目前，人工合成有机农药多达1000多种，它们被用在杀虫、杀菌和除草等方面。随着现代农业技术的发展，农药在农业生产中发挥着非常重要的作用。以谷物作物为例，据统计，全球每年因病虫害而造成的谷物生产损失高达20％-30％。此外，与不进行病虫害防治相比，使用农药对病虫害进行防治的农作物产量普遍提高。在对农作物进行优质品种培育和栽培方法改良等实践时，也离不开农药的辅助。然而，由于农药的大规模使用，农药残留的问题也随之出现。

早在2004年9月，联合国粮食及农业组织曾发出警告，发展中国家在农业生产中普遍存在过量使用农药的现象，由此产生的农药残留问题对人类和环境造成巨大的威胁。特别是在亚洲、拉丁美洲、中东、非洲和东欧，这些地区农药残留情况尤为突出。目前，我国是全球第一农药消费国，平均每亩用药约1公斤，远高于发达国家的农药施用量。为了防止农药残留对公众的健康造成危害，世界贸易组织各成员国通过秘书处发出涉及农药管理措施和限量标准的通报超过950余项。与此同时，我国也相继出台了一系列的法律法规，如《中华人民共和国食品安全法》、《中华人民共和国农产品质量安全法》、《中华人民共和国农药管理条例》等。2014年农业部与卫生部联合发布了食品安全国家标准gb2763-2014。这一国家标准在2016年被废除，取而代之的是更为严格的食品安全国家标准gb2763-2016。《中华人民共和国食品安全法》也于2015年经过修订后，重新颁布实施。

色谱分析法是常用的农药残留检测方法，它可以达到很低的检测下限和获得很高的检测精度。但是，这类方法对待检测样品的预处理工作复杂，需要操作人员具有熟练的操作技能，无法进行快速检测。太赫兹辐射是一种在自然界广泛存在的电磁辐射。通常所说的太赫兹辐射频率在0.1thz-10thz，其在电磁波谱中位于红外和微波之间。研究发现，很多的分子，特别是有机分子，它们的转动和振动的光谱都落在在太赫兹波段，这一波段却包含有大量的光谱特征。因此，使用太赫兹辐射可以实现对物质成分检测，进而应用在物质鉴别和食品安全等场合。

中国专利文献cn103969212a公布了一种利用太赫兹频段ftir技术定量检测粮食中农药残留的方法。该方法首先确定了测试样品的吸收系数特征频段范围在1.8thz-6.3thz，在确定特征频段后，将样品分为训练集和验证集，随后使用偏最小二乘回归方法实现定量检测。中国专利文献cn103969214a公布了一种利用太赫兹频段红外光谱技术检测农药残留的方法。该方法选择的样品系数系数特征频率范围为2thz-6thz，在确定特征频段后，将样品分为训练集和验证集，随后使用支持向量回归方法实现定量检测。中国专利文献cn104297202a公布了一种利用thz-tds频率谱定量检测粮食中农药残留的方法，该方法以样品的太赫兹频率谱为研究对象，将样品分为训练集和验证集，随后使用偏最小二乘回归方法实现定量检测。上述方法虽能够对农药残留进行定量检测，但是也存在缺点：(1)需要将检测样品划分为训练集和验证集两部分，在日常检测中，检测的样品数量有限，特别是在样品数量稀少的情况下，难以满足将样品划分为训练集和验证集的要求；(2)偏最小二乘回归和支持向量回归均需要人工对训练集中的每个样品进行标注，当训练集中的样品数量庞大时，人工标注的工作量会大大增加，且不利于实现自动检测。此外，当前的利用太赫兹技术对农药残留检测的专利文献大多是关注定量检测，缺少对定性检测的相关报道。

技术实现要素：

本发明的目的是解决现有技术中需要对检测样品进行数据集划分和对训练集样品进行人工标注以及缺少定性检测方法的技术问题，提供一种基于太赫兹光谱的定性检测茶叶中农药残留的方法，该方法无需将检测样品划分为训练集和验证集，也无需对检测样品进行人工标注，大大减少了人工干预，有利于实现自动检测。

本发明的目的通过以下技术方案来实现：一种基于太赫兹光谱的定性检测茶叶中农药残留的方法，包括以下步骤：

(1)样品的制备：取干燥的茶叶样品粉碎成粉末后制成薄片。

(2)光谱测量：通过太赫兹时域光谱仪测量所述步骤(1)制备的样品的时域光谱，并对时域光谱做傅里叶变换计算，得到样品的吸收系数光谱，然后对吸收系数光谱进行小波去噪和基线校正。

(3)定性检测：将主成分分析和密度峰聚类算法结合，对经过小波去噪和基线校正后的样品太赫兹光谱进行分析，获得茶叶中农药残留的定性检测结果。

由于样品的太赫兹吸收光谱是高维数据，每条谱线含有几十甚至上百维变量。对高维数据直接使用密度峰聚类算法时，会面临三个问题：

1)随着光谱数据量的增大，计算相对距离dij过程需要消耗大量的时间。

2)对于高维数据而言，由于受到许多无关属性的影响，难以保证在所有维度中存在簇。

3)利用高维数据计算得到的相对距离dij十分近似，不利于聚类。

为了解决这三个问题，本发明在进行密度峰聚类算法聚类分析之前，应先对高维的太赫兹吸收光谱数据进行降维处理。即，步骤(3)中，首先使用主成分分析进行降维，再将经过主成分分析处理后的数据作为密度峰聚类算法的输入，进行聚类分析。由此，将主成分分析和密度峰聚类算法结合，实现对农作物中的农药残留进行定性检测。

进一步地，所述步骤(2)中太赫兹时域光谱仪的测量条件为23℃，湿度小于1％。

进一步地，所述步骤(1)样品制备的具体步骤为：对干燥的茶叶依次进行粉碎、干燥、研磨和过筛得到粉末，将粉末装入压片模具中，压片得到薄片。

进一步地，步骤(1)中所述干燥的温度为40～60℃。

进一步地，步骤(1)中所述干燥的温度为50℃。

进一步地，步骤(1)中所述薄片为圆形，其直径为13mm，厚度为1mm。

进一步地，所述步骤(2)中，样品的太赫兹时域光谱重复采集3次，并取平均值作为光谱数据。

进一步地，所述步骤(2)中，吸收系数光谱的特征系数区间为0.4thz～1.4thz。

进一步地，所述步骤(3)中，主成分分析进行降维的步骤为：

原始数据集为x，通过奇异值分解得到三个矩阵：x＝uλv^t，

其中，λ是由x的奇异值构成的对角阵，u和v分别是由特征向量按照列和行构成的正交矩阵；

在主成分分析中，u和λ的乘积构成了得分矩t，得分矩阵t包含了所有主成分，矩阵v是载荷矩阵p，因此，主成分分析表示为：x＝tp^t。

与现有技术相比，本发明具有的有益效果为：

1.本发明的检测方法无需将检测样品划分为训练集和验证集，解决了需要对样品进行数据集划分的问题，同时适用于小样本检测。

2.本发明的检测方法解决了对训练集样品进行人工标注的问题，减少人工干预，利于实现自动检测。

3.本发明的检测方法通过对时域光谱做傅里叶变换计算，得到样品的吸收系数光谱，然后对吸收系数光谱进行小波去噪和基线校正，使样品的吸收峰更容易辨认，提高检测精度。

4.本发明的检测方法在进行密度峰聚类算法分析之前，先对高维的太赫兹吸收光谱数据进行降维处理，解决了对高维数据直接使用密度峰聚类算法时，随着光谱数据量的增大，计算相对距离dij过程需要消耗大量的时间、难以保证在所有维度中存在簇以及得到的相对距离dij十分近似，不利于聚类的问题。将密度峰聚类算法与主成分分析相结合，实现了对茶叶中的农药残留进行定性检测。

附图说明

下面结合附图中的具体实施例对本发明的技术方案做进一步的详细说明，但不构成对本发明的任何限制。

图1为使用本发明的方法测量吡虫啉质量比为50％w/w的茶叶样品的太赫兹吸收系数谱图；

图2为使用本发明方法得到的决策图；

图3为主成分分析前两个主成分数据的二维分布图；

图4为本发明方法得到定性检测结果；

图5为使用本发明方法所得检测结果的混淆矩阵。

具体实施方式

本发明所使用的太赫兹时域光谱仪是由zomega公司生产的z-3太赫兹时域光谱仪。

测量在室温23℃的条件下进行，箱内相对的湿度<1％；需选择透射测量模式，对样品测量，所得的光谱作为样品的时域光谱，并在测量每个样品光谱之前，先测量未放置样品时的空气光谱作为参考时域光谱。

实施例1

将茶叶放入粉碎机粉碎，将粉碎后的茶叶粉末放入真空干燥箱，在50℃下干燥1小时。将干燥好的粉末置于玛瑙研钵中充分研磨，以减小粉末颗粒的直径，从而减小散射影响。为了进一步避免由于粉末颗粒直径过大引起的散射影响，研磨后的粉末倒入150目不锈钢筛中过筛。将经过上面步骤的粉末装入压片模具中，用压片机加压至8mpa压强保持3分钟，可以得到直径13mm，厚度1mm的圆形薄片。合格的固体样品应是表面光滑且相互平行。

通过太赫兹时域光谱仪测量茶叶样品的圆形薄片的时域光谱，对样品和参考的时域光谱做快速傅里叶变换，按照公式(1)和公式(2)计算得到样品的吸收系数，并选择0.4thz～1.4thz作为农药的特征系数区间并对时域光谱做傅里叶变换计算，得到样品的吸收系数光谱，然后对吸收系数光谱进行小波去噪和基线校正，在进行上述测量时，对每个参考时域光谱和样品时域光谱都在相同环境下重复测量3次，然后取3次的平均值作为后续处理所用的吸收系数光谱数据。

将主成分分析和密度峰聚类算法结合，对经过小波去噪和基线校正后的样品太赫兹光谱进行分析，即首先使用主成分分析进行降维，再将经过主成分分析处理后的数据作为密度峰聚类算法的输入，进行聚类分析。主成分分析进行降维的步骤为：

原始数据集为x，通过奇异值分解得到三个矩阵：x＝uλv^t，

其中，λ是由x的奇异值构成的对角阵，u和v分别是由特征向量按照列和行构成的正交矩阵；

在主成分分析中，u和λ的乘积构成了得分矩t，得分矩阵t包含了所有主成分，矩阵v是载荷矩阵p，因此，主成分分析表示为：x＝tp^t。

实施例2

与实施例1的不同在于，将粉碎后的茶叶粉末放入真空干燥箱，在60℃下干燥0.5小时。

实施例3

与实施例1的不同在于，将粉碎后的茶叶粉末放入真空干燥箱，在40℃下干燥1.5小时。

试验例1

试验例中所述的茶叶样品采用本身不含任何农药残留的茶叶(购买自天福茗茶)添加已知量的吡虫啉(购买自上海源叶生物科技有限公司)后制备得到，并将所述“茶叶样品”作为盲样采用本发明方法进行检测，具体步骤如下：

(1)将茶叶放入粉碎机粉碎；将粉碎后的茶叶粉末和吡虫啉粉末分别放入真空干燥箱，在50℃下干燥1小时。将干燥好的粉末分别置于玛瑙研钵中充分研磨，以减小粉末颗粒的直径，从而减小散射影响。为了进一步避免由于粉末颗粒直径过大引起的散射影响，研磨后的粉末倒入150目不锈钢筛中过筛。使用精密天平进行称取相应质量的茶叶粉末和吡虫啉粉末，将它们按照不同的质量比混合，用于压片，其中，所述“茶叶样品”中吡虫啉质量比依此为0％、2％、4％、50％。将经过上面步骤的粉末装入压片模具中，用压片机加压至8mpa压强保持3分钟，可以得到直径13mm，厚度1mm的圆形薄片。合格的固体样品应是表面光滑且相互平行。对于不合格的样品，需要打碎重新压片。

(2)使用zomega公司生产的z-3太赫兹时域光谱仪，选择透射测量模式，对茶叶样品进行逐一测量，所得的光谱作为样品时域光谱，并在测量每个样品光谱之前，先测量没放置样品时的空气光谱作为参考时域光谱；对样品和参考的时域光谱做快速傅里叶变换，按照公式(1)和公式(2)计算得到样品的吸收系数，并选择0.4thz～1.4thz作为目标农药的特征系数区间；

在进行上述测量时，对每个参考时域光谱和样品时域光谱都在相同环境下重复测量3次，然后取3次的平均值作为后续处理所用的吸收系数光谱数据，测量条件是：室温为23℃，湿度<1％；对计算得到的样品吸收系数光谱进行小波去噪和基线校正，其中，质量比为50％的茶叶样品所得结果如图1所示，其中虚线为经过小波去噪和基线校正后的吸收系数谱。从图1可以看到，经过小波去噪和基线校正后，茶叶样品的特征吸收峰更明显，尤其是在0.887thz处的吸收峰。

(3)将主成分分析和密度峰聚类算法结合，对经过小波去噪和基线校正后的样品系数光谱进行分析，实现定性检测，以混淆矩阵作为检测性能判断的依据。

针对样品吸收光谱是高维数据的特点，首先使用主成分分析方法进行降维，主成分分析的原理如下：

原始数据集为x，通过奇异值分解得到三个矩阵：x＝uλv^t，

其中，λ是由x的奇异值构成的对角阵，u和v分别是由特征向量按照列和行构成的正交矩阵。

在主成分分析中，u和λ的乘积构成了得分矩t，得分矩阵t包含了所有主成分，矩阵v是载荷矩阵p，因此，主成分分析表示为：x＝tp^t。

主成分是按照方差贡献率的大小进行降序排序的，方差贡献率最大的主成分称为第1主成分，依次类推。将多个主成分的方差贡献率相加，可得到方差累积贡献率。在本方法中，主成分个数的选取依据方差累计贡献率准则，当方差累积贡献率达到85％以上时，认为相应的主成分包含了原始数据的绝大多数信息。

将经过主成分分析处理后的数据作为密度峰聚类算法的输入，进行聚类分析。密度峰聚类算法的具体原理如下：

首先，密度峰聚类算法要选择出类簇中心，其选择是依据两个基本假设：

每一个类簇中心均被该类的数据点包围着。与这些数据点的局部密度相比，类簇中心的局部密度最大；

类簇中心与其他局部密度更大的数据点之间的“距离”相对更大。

由此引入两个变量：局部密度ρi和距离δi，这两个变量的数学描述如下：

假设数据集为x＝{x1，x2，...xn}，数据xi和xj之间的相对距离为dij＝dist(xi，xj)，dc是一个指定的距离，则dc半径距离内的局部密度定义为：

当局部密度值ρi不是最大值时，距离δi定义为：

依据上述的两个假设可以得出以下结论：类簇中心具有大的局部密度ρi和距离δi。为了更综合的考虑局部密度和距离，令γ＝ρ×δ，即类簇中心具有更大的γ值。至此，对于数据集x中的每一个数据点xi，可计算出与其对应的局部密度ρi和距离δi。类簇中心确定后，剩余的点采用“跟随”策略进行划分，即剩余的点被划分到比它具有更高局部密度的最近邻所在的类簇。

图2所示为由样品数据得到的决策图，从图2中看出茶叶样品可以分为4类，与实际分类吻合。主成分分析前两个主成分数据的二维分布图和使用本方法定性分析结果分别如图3和图4所示。从图4看到，使用本方法除了有一个质量比为2％的样品分误认为是4％的样品外，其余样品均能正确识别出来。此外，混淆矩阵如图5所示，数据基本集中在对角线上，说明提出的方法可信可靠，可用于对茶叶中吡虫啉的定性检测。

采用上面描述的方法，不仅可以对茶叶中的吡虫啉进行定性检测，也可以推广到其它农作物样品和其他农药的检测。在其他种类农作物的样品检测中，也需要将样品制备成粉末压片，所检测的农药应当在太赫兹频段内具有特征吸收。

以上实施例为本发明的部分实施方式，并不限制于本发明。对本领域技术人员来说，在不脱离本发明原理的前提下做出的若干改进和变型，也应视为本发明的保护范围。