一种土壤重金属污染高光谱迁移的定性分类方法与流程

本发明属于环境监测领域，特别是指一种土壤重金属污染高光谱迁移的定性分类方法。
背景技术：
：随着我国现代工业化进程速度的加快和人类活动的影响，土壤环境污染问题愈发严重，由于土壤重金属逐渐成为影响土质安全的关键因素，快速探测土壤重金属含量并探究其污染分布成为当务之急。然而，传统的化学方法成本高，效率低，难以对大面积区域土壤重金属含量进行实时监测，高光谱遥感技术的应用为土壤重金属污染监测提供了新的契机。近年来，国内外研究人员已相继利用高光谱数据对土壤重金属含量进行了研究。如：涂宇龙等利用经过不同预处理方法后的土壤高光谱数据和土壤cu含量，建立起全要素主成分逐步回归反演模型(参考文献：涂宇龙,邹滨,姜晓璐,等.矿区土壤cu含量高光谱反演建模[j].光谱学与光谱分析,2018,38(2):575-581.)；陶超等通过高光谱土壤重金属定量反演模型和定性分类模型在不同地域的可迁移能力实验，证明在快速检测土壤重金属污染状况的问题上，定性分类是一种更加切实可行的方式(陶超,王亚晋,邹滨,等.土壤重金属铅、锌高光谱反演模型可迁移能力分析研究[j].光谱学与光谱分析,2018,38(6):1850-1855.)。但是，由于野外测得的光谱数据会受到太阳辐射、周围环境等因素的干扰，导致采集到的光谱数据与实际重金属的光谱数据相差较大，影响对土壤重金属浓度的分类精度。而且，研究所用光谱数据大多来源于实验室测得的数据，但室内样本光谱测定需要复杂的处理过程，无法快速获得目标区域空间上连续的光谱信息，并且，由于季节性影响、地区成分的干扰、光谱噪声的增加，将建立的回归模型直接迁移到其他地区是有困难的，这进一步加大了大面积土壤重金属浓度监测的成本和代价。技术实现要素：针对上述存在的技术问题，本发明提供一种土壤重金属污染高光谱迁移的定性分类方法，基于联合分布适配的迁移学习方法缩小不同环境测定光谱分布差异，实现大面积高效率的土壤重金属是否污染的定性监测。为实现上述技术目的，本发明采用如下技术方案：一种土壤重金属污染高光谱迁移的定性分类方法，包括以下步骤：步骤1，构建室内光谱数据集；从室外采集p个土壤样本，并已知土壤样本是否污染的标签；对土壤样本进行预操作处理，接着在室内进行高光谱数据测定，并进行预处理，得到室内高光谱数据样本xs，p个室内高光谱数据样本xs组成室内光谱数据集ks；步骤2，构建室外光谱数据集；针对室外q个待测土壤样本，在室外进行高光谱数据测定，并进行预处理，得到室外高光谱数据样本xt，q个室外高光谱数据样本xt组成室外光谱数据集kt；步骤3，根据变换矩阵e对室内高光谱数据样本xs和室外高光谱数据样本xt进行jda变换，得到变换后的室内高光谱数据样本etxs和变换后的室外高光谱数据样本etxt；其中，变换矩阵e满足：etxhxte＝i其中，x为输入矩阵，λ为正则参数，h为中心矩阵，i为单位矩阵，c表示对室内高光谱数据样本是否受污染两个类别的标签ys和室外高光谱数据样本是否受污染两个类别的虚拟标签yt的标签总称；ks(c)表示标签为c类的室内高光谱数据样本xs所构成的集合，pc表示集合ks(c)中的样本个数，kt(c)表示虚拟标签为c类的室外高光谱数据样本xt所构成的集合，其中虚拟标签是指采用简易预判法根据室外高光谱数据样本xt所得到的表示待测土壤样本是否受污染的标签，qc表示集合kt(c)中的样本个数，且h＝i-1/q*o，q＝p+q，o为q*q的所有元素均为1的矩阵；步骤4，将由所有的变换后的室内高光谱数据样本etxs所组成的集合作为训练样本集，以变换后的室内高光谱数据样本etxs为输入，对应的样本标签ys为输出，训练svm分类模型，得到训练后的定性分类器；步骤5，将变换后的室外高光谱数据样本etxt输入到训练后的定性分类器，训练后的定性分类器输出室外高光谱数据样本的标签，得到室外待测土壤样本是否被污染。本方案选用jda的迁移学习方法，通过适配室内(即源域)和室外(即目标域)的边缘分布和条件分布，即通过寻找jda变换矩阵e，使变换后的室内高光谱数据样本etxs与变换后的室外高光谱数据样本etxt的边缘概率距离和条件概率距离均足够小，以降低室内与室外数据分布差异，从而可以根据变换后的室内数据所建立的分类模型来测试变换后的室外数据，得到室外数据所对应的土壤是否被污染。本发明方法可以缩小室内外光谱数据的分布差异，模型的迁移能力得到有效提高，进而提高根据室外测定的土壤样本的高光谱数据来判断土壤样本是否受污染的分类精度。进一步地，所述室内高光谱数据样本xs所对应的土壤样本与室外高光谱数据样本xt所对应的待测土壤样本，两者来自同一地区。进一步地，所述室内高光谱数据样本xs所对应的土壤样本与室外高光谱数据样本xt所对应的待测土壤样本，两者来自不同地区。进一步地，土壤样本是否污染是指土壤样本中的重金属元素含量是否超标。进一步地，所述重金属元素为as、pb或者zn。进一步地，步骤1获取室内高光谱数据样本时对土壤样本进行预操作处理是指对土壤样本研磨、过筛、烘干。进一步地，对室内和室外测定的高光谱数据进行预处理的方法是重采样。进一步地，采用简易预判法根据室外高光谱数据样本xt所得到的表示待测土壤样本是否受污染的虚拟标签的方法为：以室内高光谱数据样本xs为输入、对应的样本标签ys为输出，训练svm分类模型，得到简易预判分类器；再将室外高光谱数据样本xt输入到简易预判分类器，得到室外高光谱数据样本xt所对应的待测土壤样本是否受污染的虚拟标签。有益效果本发明提供的土壤重金属污染高光谱迁移的定性分类方法，选用jda的迁移学习方法，通过适配室内(即源域)和室外(即目标域)的联合分布，即边缘分布和条件分布，以降低室内与室外数据分布差异，从而可以根据变换后的室内数据所建立的分类模型来测试变换后的室外数据，得到室外数据所对应的土壤是否被污染。本发明方法可以缩小室内外光谱数据的分布差异，模型的迁移能力得到有效提高，进而提高根据室外测定的土壤样本的高光谱数据来判断土壤样本是否受污染的分类精度。附图说明图1是本发明的流程图；图2是svm分类器的训练和测试过程图；图3是本发明研究区的地理位置图；图4本发明的采样点分布图，(a)对应于郴州矿区采样点分布图，(b)对应于衡阳矿区；图5是重采样前后的光谱曲线图，其中(a)对应于郴州室内高光谱数据样本，(b)对应于衡阳室内高光谱数据样本，(c)对应于衡阳室外高光谱数据样本；图6是jda变换前后受污染样本的光谱图像，其中(a)对应于郴州室内高光谱数据样本，(b)对应于衡阳室内高光谱数据样本，(c)对应于衡阳室外高光谱数据样本；图7是jda变换前后未受污染样本的光谱图像，其中(a)对应于郴州室内高光谱数据样本，(b)对应于衡阳室内高光谱数据样本，(c)对应于衡阳室外高光谱数据样本。具体实施方式下面结合具体实施方式与附图对本发明作进一步解释说明。本发明提供的土壤重金属污染高光谱迁移的定性分类方法，选用jda的迁移学习方法，通过适配室内(即源域)和室外(即目标域)的联合分布，即边缘分布和条件分布，以降低室内与室外数据分布差异，从而可以根据变换后的室内数据所建立的分类模型来测试变换后的室外数据，得到室外数据所对应的土壤是否被污染。本发明方法具体如下所述。在本发明中，涉及到室内高光谱数据样本和室外高光谱数据样本。其中，每个室内高光谱数据样本xs的来源为：从室外采集土壤样本，对土壤样本进行研磨、过筛、烘干等操作处理；然后在室内测定操作处理后的土壤样本的高光谱数据，最后进行重采样处理，从而得到室内高光谱数据样本xs。每个室外高光谱数据样本xt的来源为：直接在室外实地测定某待测土壤样本的高光谱数据，并进行重采样处理，从而得到室外高光谱数据样本xt。在本发明中，测定得到的高光谱数据共有1024个波段，波段范围为350-2500nm，较大的数据量和相邻波段之间较高的相关性，造成了数据信息的冗余，而重采样方法能够消除这种数据的冗余，使数据在后期计算中简洁，准确。具体地，利用matlab编程实现对高光谱数据的重采样预处理，采样间隔选定为10nm，利用算术平均的计算方法，处理完成后得到208个波段的高光谱数据。在郴州样本数据和衡阳样本数据中随机选择了9个样本进行重采样前后对比实验，对比结果如图5所示，其中图5a对应于郴州室内样本，图5b对应于衡阳室内样本，图5c对应于衡阳室外样本。本发明方法，如图1、2所示，包括以下步骤：步骤1，从室外采集p个土壤样本，并已知土壤样本是否污染的标签；然后根据上述室内高光谱数据样本的获取方法，以获取每个土壤样本的高光谱数据xs，共p个室内高光谱数据样本xs组成室内光谱数据集ks。步骤2，针对室外q个待测土壤样本，根据上述室外高光谱数据样本的获取方法，以获取每个待测土壤样本的室外高光谱数据样本xt，共q个室外高光谱数据样本xt组成室外光谱数据集kt。步骤3，选用jda的迁移学习方法，通过适配室内高光谱数据(即源域)和室外高光谱数据(即目标域)的联合分布，即同时适配室内高光谱数据和室外高光谱数据的边缘分布和条件分布，以降低室内和室外所测定的高光谱数据之间的分布差异。其主要原理为通过寻找一个变换矩阵e，使得变换后的室内高光谱数据和变换后的室外高光谱数据的边缘分布和条件分布距离足够小。该方法所用的符号和描述如表1所示：表1本文所使用的符号和描述符号描述符号描述ks、kt室内/室外光谱数据集mcmmd矩阵，c＝0…cp、q室内/室外样本个数e变换矩阵dmmd距离c样本标签x输入的数据矩阵h中心矩阵λ正则参数i单位矩阵ys室内样本标签yt室外样本标签该步骤包括以下子步骤：步骤3.1，适配边缘分布(使边缘概率p(etxs)和p(etxt)的距离最小)：室内光谱数据集ks与室外光谱数据集kt的最大均值差异可用公式(1)所示的最大均值差异mmd距离表示：步骤3.2，适配条件分布(使条件概率p(ys|etxs)和p(yt|etxt)距离最小)：室内光谱数据集ks与室外光谱数据集kt的最大均值差异可用公式(2)所示的最大均值差异mmd距离表示：步骤3.3，最后将边缘分布与条件分布两种适配方式统一起来，λ||e||2作为正则项，并避免出现e＝0的情况，得到总的优化目标为：其中，x为输入矩阵，λ为正则参数，h为中心矩阵，i为单位矩阵，对室内高光谱数据样本是否受污染两个类别的标签ys和室外高光谱数据样本是否受污染两个类别的虚拟标签yt的标签总称；ks(c)表示标签为c类的室内高光谱数据样本xs所构成的集合，pc表示集合ks(c)中的样本个数，kt(c)表示虚拟标签为c类的室外高光谱数据样本xt所构成的集合，其中虚拟标签是指采用简易预判法根据室外高光谱数据样本xt所得到的表示待测土壤样本是否受污染的标签，qc表示集合kt(c)中的样本个数，且h＝i-1/q*o，q＝pc+qc，o为q*q的所有元素均为1的矩阵；其中，由于此处进行条件分布适配的时候，需要使用室外高光谱数据样本所对应的是否受污染标签值，而此时还未得到jda变换矩阵e，无法使用变换后的室内高光谱数据样本来训练定性分类器，从而无法得到室外高光谱数据样本的实际标签，因此先通过采用简易预判法来得到一个初始标签，以变换前的室内高光谱数据训练一个简易预判分类器，从而获得条件分布适配所需的室外高光谱数据的初始标签。具体地，采用简易预判法根据室外高光谱数据样本xt所得到的表示待测土壤样本是否受污染的虚拟标签的方法为：以室内高光谱数据样本xs为输入、对应的样本标签ys为输出，训练svm分类模型，得到简易预判分类器；再将室外高光谱数据样本xt输入到简易预判分类器，得到室外高光谱数据样本xt所对应的待测土壤样本是否受污染的虚拟标签。步骤3.4，以公式(3)为总的优化目标，寻找用于jda变换的变换矩阵e，然后根据变换矩阵e对室内高光谱数据样本xs和室外高光谱数据样本xt进行jda变换，得到变换后的室内高光谱数据样本etxs和变换后的室外高光谱数据样本etxt。步骤4，本发明选用支持向量机svm作为分类模型，以变换后的室内高光谱数据样本etxs为输入、对应的样本标签ys为输出，训练svm分类模型，得到训练后的定性分类器。步骤5，将变换后的室外高光谱数据样本etxt输入到训练后的定性分类器，训练后的定性分类器输出室外高光谱数据样本的标签，得到室外待测土壤样本是否被污染。其中，室内高光谱数据样本xs所对应的土壤样本，与室外高光谱数据样本xt所对应的待测土壤样本，两者可以来自同一地区或者不同地区。土壤样本是否污染是指土壤样本中的重金属元素含量是否超标，重金属元素具体可以是指as、pb或者zn。实施例一(室内与室外数据均来自衡阳地区，在衡阳室内实验区对衡阳室外的重金属as进行污染定性分类)：在衡阳实验区内对衡阳野外某矿区的46个土壤样本进行研磨、过筛、烘干等操作处理，并在实验室内测定操作处理后的土壤样本的高光谱数据，然后进行重采样，最终得到46个室内高光谱数据样本。其中，衡阳野外某矿区的位置如图3所示，采样点如图4(b)所示。在衡阳野外某矿区的46个采样点，分别测定室外待测土壤样本的高光谱数据，然后进行重采样，最终得到46个室外高光谱数据样本。将衡阳实验区内的46个室内高光谱数据样本构成的室内光谱数据集，与衡阳地区野外的46个室外高光谱数据样本构成的室外光谱数据集，按公式(3)确定jda变换矩阵e。然后根据变换矩阵e对46个室内高光谱数据样本和46个室外高光谱数据样本进行jda变换，得到46个变换后的室内高光谱数据样本etxs和46个变换后的室外高光谱数据样本etxt。以46个室内高光谱数据样本etxs作为训练样本，且已知这些训练样本标签，即已知这些训练样本中有36个样本受重金属as污染，10个样本未受重金属as污染，样本分布如表2所示。以训练样本数据为输入、训练样本标签为输出，训练关于重金属as的svm分类模型，得到衡阳同地区野外重金属as污染定性分类器。再将衡阳地区野外的各个变换后的室外高光谱数据样本etxt输入到衡阳同地区野外重金属as污染定性分类器中，重金属as污染定性分类器输出标签，该标签表示该室外高光谱数据样本所对应的衡阳野外的46个土壤样本是否受到重金属as的污染。表2郴州(as)郴州(pb)郴州(zn)衡阳(as)衡阳(pb)衡阳(zn)受污染样本数544350363638未受污染样本数29403210108实施例二(室内与室外数据均来自衡阳地区，在衡阳室内实验区对衡阳室外的重金属pb进行污染定性分类)：与实施例一对衡阳同地区重金属元素as是否受污染的定性分类方法相同，采用与实施例一相同的衡阳试验区室内高光谱数据样本训练svm模型，得到衡阳同地区野外重金属pb污染定性分类器，然后用来测试衡阳地区野外的待测土壤是否受重金属pb污染。在本实施例二的衡阳试验区室内高光谱数据样本中，有36个样本受重金属pb污染，10个样本未受重金属pb污染，样本分布如表2所示。实施例三(室内与室外数据均来自衡阳地区，在衡阳室内实验区对衡阳室外的重金属zn进行污染定性分类)：与实施例一对衡阳同地区重金属元素as是否受污染的定性分类方法相同，采用与实施例一相同的衡阳试验区室内高光谱数据样本训练svm模型，得到衡阳同地区重金属zn污染定性分类器；然后用来测试衡阳地区野外的待测土壤是否受重金属zn污染。在本实施例三的衡阳试验区室内高光谱数据样本中，有38个样本受重金属zn污染，8个样本未受重金属zn污染，样本分布如表2所示。以上实施例一至三的来自衡阳野外地区的待测土壤，通过其他方法对其中的重金属元素as、pb以及zn的含量进行测量，以得知其是否受各重金属元素污染，用来比较本发明实施例的定性分类精度，得知衡阳同地区重金属as污染定性分类器的分类精度为84.78％、重金属pb污染定性分类器的分类精度为86.96％、重金属zn污染定性分类器的分类精度为89.14％。本发明的分类精度均高于其他方法的分类精度，如表3所示，其中svm直接分类精度是指：直接以未参与jda变换的室内高光谱数据样本xs为输入、样本标签为输出所训练的svm模型，对未参与jda变换的室外高光谱数据样本xt进行分类的精度。其中，对采集到的高光谱数据在jda变换前与变换后的对比如图6、7所示，图6的高光谱数据来自于受重金属污染的土壤样本，图7的高光谱数据来自于未受重金属污染的土壤样本。表3实施例四(室内数据来自郴州地区，室外数据来自衡阳地区，在郴州室内实验区对衡阳室外的重金属as进行污染定性分类)：本实施例四与实施例一的不同点在于，室内高光谱数据样本与室外高光谱数据样本来自不同地区。其中，共83个室内高光谱数据样本取自郴州某矿区的土壤样本，经过对土壤样本进行研磨、过筛、烘干等操作处理，并在实验室内测定操作处理后的土壤样本的高光谱数据，再进行重采样而得到；在本实施例四的郴州试验区室内高光谱数据样本中，有54个样本受重金属as污染，29个样本未受重金属as污染，样本分布如表2所示。共46个室外高光谱数据样本仍采用实施例一相同的衡阳地区野外的46个室外高光谱数据样本。其中，郴州某矿区的位置如图3所示，采样点如图4(a)所示。与实施例一对重金属as是否受污染的定性分类方法相同，本实施例四采用郴州地区83个室内高光谱数据样本对来训练svm模型，得到郴州-衡阳异地野外重金属as污染定性分类器，然后用来测试异地衡阳野外的待测土壤是否受重金属as污染。实施例五(室内数据来自郴州地区，室外数据来自衡阳地区，在郴州室内实验区对衡阳室外的重金属pb进行污染定性分类)：与实施例四对异地衡阳重金属as是否受污染的定性分类方法相同，并采用与实施例四相同的郴州试验区室内高光谱数据样本来训练svm模型，得到郴州-衡阳异地野外重金属pb污染定性分类器，然后用来测试衡阳地区野外的待测土壤是否受重金属pb污染。其中在本实施例五的郴州试验区室内高光谱数据样本中，有43个样本受重金属pb污染，40个样本未受重金属pb污染，样本分布如表2所示。实施例六(室内数据来自郴州地区，室外数据来自衡阳地区，在郴州室内实验区对衡阳室外的重金属zn进行污染定性分类)：与实施例四对异地衡阳重金属as是否受污染的定性分类方法相同，并采用与实施例四相同的郴州试验区室内高光谱数据样本来训练svm模型，得到郴州-衡阳异地野外重金属zn污染定性分类器，然后用来测试衡阳地区野外的待测土壤是否受重金属zn污染。其中在本实施例五的郴州试验区室内高光谱数据样本中，有50个样本受重金属zn污染，32个样本未受重金属zn污染，样本分布如表2所示。以上实施例四至六的来自衡阳野外地区的待测土壤，通过其他方法对其中的重金属元素as、pb以及zn的含量进行测量，以得知其是否受各重金属元素污染，用来比较本发明实施例的定性分类精度，得知郴州-衡阳地区重金属as污染定性分类器的分类精度为84.78％、重金属pb污染定性分类器的分类精度为80.43％、重金属zn污染定性分类器的分类精度为86.96％。本发明的分类精度均高于其他方法的分类精度，如表4所示，其中svm直接分类精度是指：直接以未参与jda变换的室内高光谱数据样本xs为输入、样本标签为输出所训练的svm模型，对未参与jda变换的室外高光谱数据样本xt进行分类的精度。表4至此，本领域技术人员应认识到，虽然本文已详尽示出和描述了本发明的示例性实施例，但是，在不脱离本发明精神和范围的情况下，仍可根据本发明公开的内容直接确定或推导出符合本发明原理的许多其他变形或修改。因此，本发明的范围应该被理解和认定为覆盖了所有这些其他变形或修改。当前第1页12