一种高锰酸盐指数的水质软测量预测方法与流程

本发明涉及环境监测领域，特别涉及高锰酸盐指数的水质软测量预测技术。

背景技术：

众所周知，我国水资源十分稀缺，人均占有量仅占世界平均水平的1/4，同时严重的水环境的污染问题,如水污染、水体富营养化、城市黑臭水体、地下水污染等。使水资源问题愈加突出。在农村，我国将近96％的、约80～90亿t/a的农村污水没有治理，严重农村环境污染和河海流域污染，在城市，黑臭水体已然成为一种城市病，所有城市几乎无一幸免。国内大部分河流均受到不同程度的污染。缓解水资源紧张、加大污水净化、减轻水环境污染刻不容缓。

随着水环境保护及污染治理的紧迫，水质监测提供的水质信息尤为重要，水质监测是水环境保护及污染治理的重要基础，其重要性关乎掌握水资源质量状况、以及对用水、污水处理、排污等有效监控。一方面，受污染水体的水质情况都需要通过高锰酸盐指数、氨氮、总氮(tn)、总磷(tp)等关键水质指标的监测提供准确及时的水质动态信息，另一方面，及时有效的污水处理参数监测，对污水处理系统有重大意义，污水的排放必须符合国家污水排放标准中的相关规定，这就要求我们必须检测处理出水中tn、tp、高锰酸盐指数、氨氮等关键参数。因此加强水环境保护及污染治理需要水质监测工作超前发展。

高锰酸盐指数、氨氮、tn、tp等关键水质指标的监测，对于水质处理的控制、过程的优化及诊断起着重要的作用，然而这类水质指标难以测量或不易在线测量，目前主要有人工实验室检测及检测水质的自动分析仪表(水质在线检测仪)。

水质在线自动分析仪，如高锰酸盐指数在线监测仪、tn在线检测仪、高锰酸盐在线检测仪等，在我国发展比较晚，国内产品的测量精确度和可靠性与国外存在一定的差距，存在品种单一、测量精准度低，测量周期长等缺陷，没有完全达到满足测量需求，污水生物处理过程的水质参数无法准确地进行测量。但使用国外的产品存在检修维护困难、价格昂贵等问题，限制了其在水环境保护及污染治理领域的应用。

目前监测解决思路有以下两种：

(1)改进直接测量仪表：按照传统的检测技术发展思路，以硬件形式研制新型的过程测量仪表。但由于污水处理系统是一个复杂的生物化学处理系统，是典型的非线性、多变量、不稳定、大时滞系统，干扰因素众多且不确定，直接研发、改进在线监测仪表，难度大，且监测成本(一次性投入及试剂费用)较高，难以降低。

(2)间接测量：采用间接测量的思路，利用容易获取并且与被测变量相关的测量信息，通过计算估计被测变量。软测量即是这一思想的集中体现，将软测量应用于水环境保护及污染治理中，可实现投资少、实时监测的目的。

技术实现要素：

本发明实施方式的目的在于提供一种高锰酸盐指数的水质软测量预测方法，在保证高锰酸盐指数的水质软测量预测准确度的同时，降低高锰酸盐指数的水质软测量预测成本。

为解决上述技术问题，本发明的实施方式提供了一种高锰酸盐指数的水质软测量预测方法，包括：

数据的获取及分析：获取待测水环境中多个水质监测指标的数据值，每个水处理监测指标被获取到的数据值有多个，多个所述水质监测指标中至少有一个为高锰酸盐指数；

模型的建立：从除所述高锰酸盐指数之外的各水质监测指标中选取若干个水质监测指标，将所选的水质监测指标的数据值形成数据样本集，将所述数据样本集划分为训练集及测试集，利用支持向量机算法对所述训练集进行训练，获得高锰酸盐指数软测量模型；

模型测试：利用所述测试集，通过多次仿真实验的测试，对所述高锰酸盐指数软测量模型进行测试，获得测试结果；

重复执行所述模型的建立和所述模型测试，直至获得的测试结果符合预设条件，将符合所述预设条件的高锰酸盐指数软测量模型作为最终的软测量模型。

本发明实施方式相对于现有技术而言，主要区别及其效果在于：在高锰酸盐指数的软测量预测中，运用多次建模并测试的方法，从众多水质监测指标中，选取到与待测水环境更为合适的指标，使得最终获得的模型可以更为准确稳定地预测出待测水环境中高锰酸盐指数的值。解决了现有技术中，利用同一组水处理监测指标建模，所获得的模型不能准确符合待测水环境的高锰酸盐指数预测，拓展本发明实施方式的应用场景。另外，进一步限定获取到的数据被分为训练集和测试集，两者的数据值可以为不同的数据值，使得测试时，可以利用集外测试，使高锰酸盐指数软测量模型的效果说服力大大提高。

作为进一步改进，所述建模步骤之前，还包括：相关性分析：利用各个水质监测指标的数据值，进行相关性分析，获得除所述高锰酸盐指数之外的各个水质监测指标和所述高锰酸盐指数之间的相关性；相应的，所述选取若干个水质监测指标中，利用所述相关性的高低，选取若干个水质监测指标。

利用相关性分析，使得选取指标时可以根据分析结果选取，使得选取具有了较佳的依据，提高获得符合要求的软测量模型的效率。

作为进一步改进，所述模型测试后，和所述模型测试前，还包括：通过十折交叉验证对所获得的高锰酸盐指数软测量模型进行优化；所述对高锰酸盐指数软测量模型进行测试中，对优化后的高锰酸盐指数软测量模型进行测试。

利用十折交叉验证进行模型优化，使得模型的误差得到大幅度降低，大大提高模型精确度，通过上述支持向量机算法和十折交叉验证，使获得的最终模型更为精确稳定。

作为进一步改进，所述根据各测试结果选定最终的软测量模型中，所述模型测试中获得的所述测试结果包括：所述高锰酸盐指数软测量模型的时间复杂度、准确率和稳定性。进一步限定测试结果的内容，提高选定的最终的软测量模型的有效性。

作为进一步改进，所述获取步骤中，如果获取到的数据值属于：高锰酸指数、总氮、总磷或氨氮，则舍弃。由于高锰酸盐指数、总氮、总磷或氨氮这四个指标的直接测试成本过高，不采用这四个指标作为输入，进一步降低高锰酸盐指数的水质软测量预测成本。

附图说明

图1是根据本发明第一实施方式中的高锰酸盐指数的软测量预测方法流程图；

图2是根据本发明第一实施方式中的实际出水中高锰酸盐指数值与软测量所得高锰酸盐指数值的对比及相对误差的示意图；

图3是根据本发明第二实施方式中的高锰酸盐指数的软测量预测方法流程图。

具体实施方式

为使本发明实施方式的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。

本发明的第一实施方式涉及一种高锰酸盐指数的水质软测量预测方法。其流程如图1所示，具体如下：

步骤101，获取待测水环境中多个水质监测指标的数据值。

具体的说，本实施方式中的水质监测指标可以是以下指标：高锰酸盐指数、水温、ph、溶解氧、电导率、浊度、流速等。当然，在实际应用中，还可以选取其他水质监测指标，不限于上述指标。更具体的说，获取的水质监测指标中至少一个为高锰酸盐指数。

更具体的说，上述水质监测指标将划分为两类，分别是输入指标及输出指标，输出指标指水质监测指标高锰酸盐指数，高锰酸盐指数的数据值作为输出数据样本；输入指标包括除高锰酸盐指数外的其他水质监测指标，这些指标的数据值作为输入数据样本。

需要说明的是，每个水质监测指标被获取到的数据值有多个。一般会选择近阶段的历史数据作为各指标的数据值。

值得一提的是，本步骤中还可以进一步筛选数据，比如：如果获取到的数据值属于：总氮、总磷或氨氮，则舍弃。这样就可以不采用总氮、总磷或氨氮这三个指标，由于总氮、总磷或氨氮这三个指标的直接测试成本过高，不采用这三个指标作为输入，进一步降低高锰酸盐指数的水质软测量预测成本。

步骤102，利用各个水质监测指标的数据值，进行相关性分析，获得除高锰酸盐指数之外的各个水质监测指标和高锰酸盐指数之间的相关性。

具体的说，相关性分析公式为下式(1)：

其中，相关系数r表示两个变量x和y之间的关系密切程度。

值得一提的是，在实际应用中，也可以不进行相关分析，直接利用经验选取，但本实施方式还是增加了相关性分析的步骤，可以使得选取指标时可以根据分析结果选取，使得选取具有了较佳的依据，加快获得符合要求的软测量模型的速度。

步骤103，从除高锰酸盐指数之外的各水质监测指标中选取若干个水质监测指标组合，形成数据样本集。

具体的说，本实施方式中的选取依据可以是步骤102的相关性分析结果，如选取的是相关性超过30％的若干个指标，并将所选的水质监测指标的数据值形成数据样本集。在实际应用中，还可以根据经验，设定一些相关性较大的必选参数，和没有相关性的不选参数。

具体的说，相关性结果以相关系数r表示，r的值介于–1与+1之间，即–1≤r≤+1。其性质如下：

当r>0时，表示两变量正相关，r<0时，两变量为负相关；

当|r|＝1时，表示两变量为完全线性相关，即为函数关系；

当r＝0时，表示两变量间无线性相关关系；

当0<|r|<1时，表示两变量存在一定程度的线性相关。且|r|越接近1，两变量间线性关系越密切；|r|越接近于0，表示两变量的线性相关越弱。一般可按三级划分：|r|<0.4为低度线性相关；0.4≤|r|<0.7为显著性相关；0.7≤|r|<1为高度线性相关。

更具体的说，选取的指标数量也不做限定，可以选取任意数量的指标。

步骤104，将数据样本集划分为两类：一类作为训练集，一类作为测试集。

具体的说，本实施方式划分后的训练集中包含的数据值可以多于测试集中包含的数据值。其中，划分时可以采用各种原则。

值得一提的是，后续建模步骤中使用的数据样本集为训练集；测试步骤中所使用的数据样本集为测试集。进一步限定训练集和测试集的数据值为不同的数据值，使得测试时，可以利用集外测试，使高锰酸盐指数软测量模型的效果说服力大大提高。

步骤105，利用支持向量机算法对训练集进行训练，获得高锰酸盐指数的软测量模型。

具体的说，支持向量机(supportvectormachine，svm)是vapni和他的研究小组在1995年根据统计学理论提出的一种新的针对二类别分类问题的分类方法。svm通过构造函数(非线性函数)将输入数据空间映射到具有高维的特征空间，然后在这个高维特征空间中基于结构风险最小化原则构造最优分类超平面，从而使分类的期望误差最小。

更具体的说，本实施方式中支持向量机分以下步骤：

①输入训练样本向量(即样本集)：(xi,yi)(i＝1,2,…,n,x∈rⁿ,y∈rⁿ)；

②指定核函数的类型；

③利用二次规划方法求解目标函数式(13)的最优解，得到最优lagrange乘子；

④利用样本库中的一个支持向量，代入公式(14)中，左值f(x)为其预测值，可得到偏差值b^*。

具体地说对于两类线性可分的问题，设线性可分样本集{(xi,yi),i＝1,2,…n}，xi∈r^d，yi∈{1,-1}是样本的类别标号，yi为样本类别，如果yi＝1，那么xi∈x⁺；如果yi＝-1，那么xi∈x^-。该两类子集线性可分的条件为，存在一个向量w^*和常量b^*，且它们满足下面式(1)的约束条件：

yi(<xi·w^*>+b^*)≥1,i＝1,...,n(1)

且向量w^*具有最小范数

此时的判别函数为：

f(x)＝w^*·x+b^*(3)

在线性约束式(1)条件下，最小化二次型，参见式(2)。求解方法用lagrange(即：拉格朗日)乘子法，lagrange方程为：

其中ai≥0为lagrange乘子。对w和b求偏微分，得到如下条件：

从而得到关系式(6)和(7)：

代入式(4)中得到

其中h(a)为l(w,a,b)的改写。求解此式得到ai^*≥0,i＝1,2,…,n，代入式(6)得到：

最优解的ai^*须满足：

ai^*|yi(<w^*·xi>+b^*)-1|＝0,i＝1,2,…,n(10)

由二次规划算法可求得最优解ai^*和w^*。然后选取一个支持向量xi，求b^*：

b^*＝yi-<xi·w^*>(11)

最优判别函数具有如下形式：

当为非线性映射时，目标函数变为：

预测函数为：

其中，k为核函数，如式(15)。核函数为径向基核函数(radialbasisfunction,rbf)，最通用的径向基核函数为高斯径向基函数。

k(x,y)＝exp{-γ*|x-y|²}(15)

步骤106，利用十折验证法对获得高锰酸盐指数软测量模型进行优化，获得优化后的高锰酸盐指数水质软测量模型。

具体的说，本步骤中将样本集随机分成十份，轮流将其中9份做训练1份做测试，10次的结果均值作为对算法精度的估计，然后进行20次的10倍交叉验证求均值。

步骤107，利用测试集对所获得优化后的高锰酸盐指数的软测量模型进行测试，获得测试结果。

具体的说，在输入测试集后，利用训练好的拉格朗日乘子a^*、偏差值b^*和核函数，根据式(14)求解预测函数f(x)，根据获得的各个预测值和测试集的比较获得测试结果。

本实施方式中测试结果包括：软测量模型的时间复杂度、准确率和稳定性。为了获得更佳的预测模型，所以在这些方面都需要进行考量，才能获得运行时间短、准确率高、稳定性好的预测模型。当然，在实际应用中，测试结果还可能包含更多项目，比如：模型中涉及的指标数量。

步骤108，判断获得的测试结果是否符合预设条件；若是，则执行步骤109；若否，则返回步骤103。

具体的说，可以本实施方式中的判断依据是步骤107的测试结果是否符合预设的条件。比如，准确率是否高于90％，由于准确率高于90％时，预测模型可以被认为是比较准确的，当然准确率能高于95％，对应的预测模型就相当成功了。又比如，涉及的指标数量是否合适，由于实际预测时，如果所涉及的指标数量越少，影响模型的稳定性，反之，则影响该模型的时间复杂度。

当然，如果判定测试结果还不能符合预设条件，可能所获得的模型还不够准确，那么就重复执行建模步骤，不断改进所涉及指标的组合。具体的说，每次执行步骤103至106后，对应获得一个高锰酸盐指数的软测量模型。

比如，实际应用中，预定需要找到准确度在95％以上的高锰酸盐指数软测量模型。第一次建模，选取了14个水质指标，在对第一次获得的高锰酸盐指数软测量模型测试后，获得的准确度是90％；进行第二次建模，重新选取了7个水质指标，在对第二次获得的高锰酸盐指数软测量模型测试后，获得的准确度是93％；再进行第三次建模，重新选取了3个水质指标，在对第三次获得的高锰酸盐指数软测量模型测试后，获得的准确度是97％达到了准确度在95％以上的要求。

还需要说明的是，在多次执行建模步骤中，任意两次训练中所选取的水质监测指标组合不重复。

步骤109，将测试结果符合预设条件的高锰酸盐指数的软测量模型作为最终的软测量模型。

具体的说，本发明人对最终的软测量模型的测试如图2所示，其中需要说明的是，图中线1表示高锰酸盐指数的实际测量值，线2表示利用最终的软测量模型进行的高锰酸盐指数预测值，线3表示两者间的相对误差。

本实施方式相对于现有技术而言，在高锰酸盐指数的软测量预测中，运用多次建模并测试的方法，从众多水质监测指标中，选取到与待测水环境更为合适的指标，使得最终获得的模型可以更为准确稳定地预测出待测水环境中高锰酸盐指数的值。解决了现有技术中，利用同一组水处理监测指标建模，所获得的模型不能准确符合各种不同条件的待测水环境，拓展本发明实施方式的应用场景。另外，由于采用十折交叉验证，减少获得较佳预测模型的时间。

上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包含相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。

本发明的第二实施方式涉及一种高锰酸盐指数的水质软测量预测方法。其流程如图3所示，具体如下：

步骤201，数据的获取及分析。

具体的说，获取待测水环境中多个水质监测指标的数据值，每个水质监测指标被获取到的数据值有多个，多个水质监测指标中至少有一个为高锰酸盐指数。

步骤202，指标选取。

具体的说，从除高锰酸盐指数之外的各水质监测指标中选取若干个水质监测指标。

步骤203，数据样本集的准备。

具体的说，将所选的水质监测指标的数据值形成数据样本集，同时，将数据样本集划分为训练集及测试集。

步骤204，模型的建立。

具体的说，利用支持向量机算法对训练集进行训练，获得高锰酸盐指数软测量模型。

步骤205，模型测试。

具体的说，利用测试集，对高锰酸盐指数软测量模型进行测试，获得测试结果。

步骤206，判断获得的测试结果是否符合预设条件；若是，则执行步骤207；若否，则返回步骤202。

步骤207，将符合预设条件的高锰酸盐指数软测量模型作为最终的软测量模型。

本实施方式相对于现有技术而言，主要区别及其效果在于：在高锰酸盐指数的软测量预测中，运用多次建模并测试的方法，从众多水质监测指标中，选取到与待测水环境更为合适的指标，使得最终获得的模型可以更为准确稳定地预测出待测水环境中高锰酸盐指数的值。解决了现有技术中，利用同一组水处理监测指标建模，所获得的模型不能准确符合待测水环境的高锰酸盐指数预测，拓展本发明实施方式的应用场景。另外，进一步限定获取到的数据被分为训练集和测试集，两者的数据值可以为不同的数据值，使得测试时，可以利用集外测试，使高锰酸盐指数软测量模型的效果说服力大大提高。

本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。