基于多属性高斯核函数快速相关向量机的污水在线软测量方法
【专利摘要】本发明公开了一种基于多属性高斯核函数快速相关向量机的污水在线软测量方法，包括：使用多属性高斯核函数来构造快速相关向量机的贝叶斯矩阵；建立基于贝叶斯框架下的多属性高斯核函数快速相关向量机模型；采用滑动窗口技术建立滚动时间窗将模型数据和参数随着滚动时间窗的滚动进行在线更新；实时预测出水水质BOD、COD浓度的输出。该方法在快速相关向量机的基础上引入多属性高斯核函数，增强了核函数的局部性能以及全局性，提出滑动窗口技术将模型数据和参数随着滚动时间窗的滚动进行在线更新，增强了在线校正的有效性，有效提高了出水水质预测的实时性和精度。
【专利说明】
基于多属性高斯核函数快速相关向量机的污水在线软测量 方法
技术领域
[0001] 本发明设及污水处理软测量的技术领域，尤其是指一种基于多属性高斯核函数快 速相关向量机的污水在线软测量方法。
【背景技术】
[0002] 传统污水处理方法种类多样，主要有物理法、化学法、生物法等。我国现阶段的城 市污水处理主要W生物法为主。但是，污水处理过程中，控制对象具有高度的非线性、时变、 大滞后等特点。控制过程要考虑多项质量指标，且一直处于外部环境的动态扰动之中。另 夕h在线检测手段匿乏，许多过程变量缺乏稳定可靠的实时监测仪表。污水处理的复杂性和 测量仪表的缺陷，致使生化过程无法得到有效控制和处理，存在一大类难W测量或不易在 线测量的参数。为了提高出水合格率，节能降耗，降低运行成本，提高系统可靠性，需要对污 水处理厂密切相关的过程变量进行实施监测和控制。软测量技术W建模简单、方法多样，预 测效果可观等优势，为运个难题提供了一个很好的解决方案。
【发明内容】
[0003] 本发明的目的在于克服现有技术的不足，提出了一种基于多属性高斯核函数快速 相关向量机的污水在线软测量方法。首先，通过多属性高斯核函数(MAG)来构造贝叶斯矩 阵。再在相关向量机(RV^O的基础上引入快速边际似然算法来学习模型的超参数，建立基于 贝叶斯框架下的多属性高斯核函数快速相关向量机模型(MAG-FASTRVM)。最后采用滑动窗 口技术建立滚动时间窗，用若干组污水历史数据建立初始模型，剩下若干组污水数据用于 新数据，建立MAG-FASTRVM的污水在线软测量模型，实时预测出水水质BOD、COD浓度的输出。
[0004] 本发明的目的通过下述技术方案实现：
[0005] -种基于多属性高斯核函数快速相关向量机的污水在线软测量方法，包括下列步 骤：
[0006] S1、通过多属性高斯核函数(MAG)来构造贝叶斯矩阵，增强了核函数的局部性能W 及全局性能，所需的核参数个数对比于多样本核相对较少；
[0007] S2、在相关向量机(RVM)的基础上引入快速边际似然算法来学习模型的超参数，建 立基于贝叶斯框架下的多属性高斯核函数快速相关向量机模型(MAG-FASTRVM)。快速相关 向量机中引入快速边际似然算法，其中基函数的选择是采用自下而上的方法，即令基函数 个数从1开始不断增加直至获取相关向量，超参数更新时设及的矩阵计算复杂度只与当前 模型中存在的基函数个数有关，可W对训练样本的超参进行快速估计，去除训练样本的大 量非相关向量，保证了模型的稀疏性，减少训练时间；
[000引S3、采用滑动窗口技术建立滚动时间窗，利用滚动时间窗内的数据优化建模，将模 型数据和参数随着滚动时间窗的滚动进行在线更新；
[0009] S4、设置滚动窗口长度L，移动长度R，用若干组污水历史数据建立初始模型，剩下 若干组污水数据用于新数据，建立MAG-FASTRVM的污水在线软测量模型，实时预测出水水质 BOD、COD浓度的输出。
[0010] 进一步的，所述步骤Sl具体为：
[00川 MAG核的形式如下：
[0012]
[OOU]其中Xm表示第m个样本，Xn表示第n个样本，其中m，nE(l，2,. . .，N)。样本的每个属 性均有对应的核参数，％表示第k个核参数。定义d是输入样本的属性个数，多属性高斯核参 数可表示为:n=(m，ri2,...，nd)。
[0014] 令 4 (Xn) = [I，k(Xn，xi) ,k(Xn，X2)，. . .，k(Xn，XN)]T，它为(N+l) X I维矩阵，则 MAG 核 构成的贝叶斯矩阵可表示为：巫=[4 (Xl)，(Hx2)，. . .，(I) (Xn)]T，其是NX (N+1)维的矩阵。
[0015] 进一步的，所述步骤S2为：
[0016] S21、初始化核参数，并建立MAG核贝叶斯矩阵O，设定初始噪声方差S2;
[0017] S22、通过探索式方法获得初始基向量4 i= 4 (Xi)，并设置其他的超参数:令am(m 声i)为无穷大(例如令口 m=109)，4
[0018] S23、初始化所有基函数(K的稀疏因子Sm和质量因子qm，计算协方差矩阵X、权值 矩阵y;
[0019] S24、计算每个候选基向量d)对应的白,二A3-A值，并与零作比较；
[0020] S25、如果基向量d)i在模型中，且有目i>0，ai<cx^，则重新计算超参数Qi;
[00別]S26、如果基向量d)i不在模型中，且目i>0，ai = cx^，添加基向量d)翊模型中并重新 计算超参数Qi;
[0022] S27、若目i《0且Qi<cx^，删除基向量d) i并设置超参数Qi= CX^;
[0023] S28、计算噪声方差
其中N为样本个数，M为基函 数个数；
[0024] S29、更新稀疏因子Sm和质量因子qm，并且迭代估计协方差矩阵X，权重矩阵ii;
[0025] S210、若收敛或者达到最大迭代次数，则程序终止，并且输出权值、噪声方差、相关 向量机个数，否则转到S24。
[00%]进一步的，所述步骤S4具体为：
[0027] 假设最新的污水数据输入属性为Xnew,实际的C0D、B0D出水参数值为ynew，则出水参 数的在线更新算法如下步骤：
[0028] S41、设置滚动窗口长度L = 200,将最早的200组数据作为初始数据窗，并用初始数 据窗内的数据作为初始训练样本，根据步骤S2中快速相关向量机建模步骤建立初始模型；
[0029] S42、对新来的数据Xnew进行预测并计算偏差；
[0030] S43、使数据窗进行滚动R=I,将新来的数据(Xnew，ynew)加进训练样本中，并丢弃最 早的一组数据，更新训练样本；
[0031] S44、利用数据窗内的数据重新建立模型，进行预测；
[0032] S45、返回步骤S42,直到所有新数据测试完为止。
[0033] 本发明相对于现有技术具有如下的优点及效果：
[0034] 1)本发明方法采用多属性高斯核函数构造相关向量机的贝叶斯矩阵，增强了核函 数的局部性能W及测试点相距较远的点对核函数的影响，所需的核参数个数对比于多样本 核，也相对较少，适合污水历史数据庞多，特征属性迴异的特点。
[0035] 2)本发明采用滑动窗口技术建立滚动时间窗，将模型数据和参数随着滚动时间窗 的滚动进行在线更新，基于此建立了MAG-FASTRVM的污水在线软测量模型，增强了出水水质 BOD、COD输出浓度预测的实时性和精度。
【附图说明】
[0036] 图1是本发明中依据基于多属性高斯核函数快速相关向量机的污水在线软测量方 法的流程图；
[0037] 图2(a)是本实施例步骤S4中MAG-FASTRVM模型关于BOD的在线预测图；
[003引图2(b)是本实施例步骤S4中MAG-FASTRVM模型关于COD的在线预测图；
[0039] 图3 (a)是本实施例步骤S4中RVM的稀疏性对比曲线；
[0040] 图3(b)是本实施例步骤S4中MAG-FASTRVM的稀疏性对比曲线。
【具体实施方式】
[0041] 为使本发明的目的、技术方案及优点更加清楚、明确，W下参照附图并举实施例对 本发明做进一步详细说明。应当理解，此处所描述的具体实施例仅仅用W解释本发明，并不 用于限定本发明。
[0042] 实施例
[0043] 污水排放标准中，参数指标生化需氧量BOD和化学需氧量COD反映了水体被有机污 染的程度，B0D/C0D的比率反映出了污水的生物降解能力。运两个参数的测量对控制污水处 理具有非常重要的价值。
[0044] 本实施例针对污水处理厂出水水质的软测量预测问题，重点研究了一种基于多属 性高斯核函数快速相关向量机的在线软测量方法，该方法在线预测精度较高、稀疏性好、更 新速度快，在污水处理出水参数BOD、COD的在线预测过程中表现出色。
[0045] 请参见附图1，附图1是本实施例中依据基于多属性高斯核函数快速相关向量机的 污水在线软测量方法的流程图。本发明采用UCI数据库的污水数据集，污水数据共400组，39 维，对污水数据进行降维得到400组，18维数据。利用降维后的数据对污水参数B0D、C0D进行 预测。具体过程如下：
[0046] 步骤S1、通过多属性高斯核函数(MAG)来构造贝叶斯矩阵，增强了核函数的局部性 能W及全局性能，使所需的核参数个数对比于多样本核相对较少；
[0047] MAG核的形式如下：
[004引
[0049]其中Xm表示第m个样本，Xn表示第n个样本，其中m，nG(l，2,. . .，N)。样本的每个属 性均有对应的核参数，％表示第k个核参数。定义d是输入样本的属性个数，多属性高斯核参 数可表示为:n=(m，ri2,...，nd)。
[0050] 令 4 (Xn) = [I，k(Xn，xi) ,k(Xn，X2)，. . .，k(Xn，XN)]T，它为(N+l) X I维矩阵，则 MAG 核 构成的贝叶斯矩阵可表示为：巫=[4 (Xl)，(Hx2)，. . .，(I) (Xn)]T，其是NX (N+1)维的矩阵。
[0051] 步骤S2、在相关向量机(RVM)的基础上引入快速边际似然算法来学习模型的超参 数，建立基于贝叶斯框架下的多属性高斯核函数快速相关向量机模型(MAG-FASTRVM);
[0052] (步骤S21)、初始化核参数，并建立MAG核贝叶斯矩阵O，设定初始噪声方差S2;
[0053] (步骤S22)、通过探索式方法获得初始基向量(61=(1) (XI)，并设置其他的超参数： 令am(m声i)为无穷大(例如令Qm=IO9)，令
[0054] (步骤S23)、初始化所有基函数(1)。的稀疏因子Sm和质量因子qm，计算协方差矩阵 X、权值矩阵ii;
[0055] (步骤S24)、计算每个候选基向量对应的6,. 值，并与零作比较；
[0化6](步骤S25)、如果基向量d)进模型中，且有目i>0，Qi< CX^，则重新计算超参数Qi; [0化7](步骤S26)、如果基向量d)i不在模型中，且目i>0，ai = cx^，添加基向量d)翊模型中 并重新计算超参数口 1;
[0化引（步骤S27)、若目i《0且Qi<cx^，删除基向量d) i并设置超参数Qi= CX^ ;
[0059] (步骤S28)、计算噪声方差
其中N为样本个数，M 为基函数个数；
[0060] (步骤S29)、更新稀疏因子Sm和质量因子qm，并且迭代估计协方差矩阵X，权重矩阵 y;
[0061] (步骤S210)、若收敛或者达到最大迭代次数，则程序终止，并且输出权值、噪声方 差、相关向量机个数，否则转到步骤S24。
[0062] 步骤S3、采用滑动窗口技术建立滚动时间窗，利用滚动时间窗内的数据优化建模， 将模型数据和参数随着滚动时间窗的滚动进行在线更新；
[0063] 污水数据采集的间隔是平均一天一个数据，且采集数量不多，故根据数据的采集 频率利用短期学习方法对模型进行更新。由于污水数据是时序序列，在在线模型中用前200 组数据作为训练模型，后200组作为测试数据。现在对模型校正，设置滚动时间窗的长度为 200,即选200组连续数据作为训练数据，将剩下的200组数据作为新数据依时序加入到模型 中。在学习过程中，每当来一个新数据，便令滚动窗口向前移动一个数据，使模型来一组新 数据便加入到200组训练数据中，同时删除最早的数据，从而保证每次的训练数据包含新的 信息，避免历史所含数据淹没新数据包含的信息，提高模型对不同工况点的适应性。
[0064] 步骤S4、建立MAG-FASTRVM的污水在线软测量模型，实时预测出水水质BODXOD浓 度的输出，具体过程为：
[0065] 假设最新的污水数据输入属性为Xnew,实际的C0D、B0D出水参数值为ynew，则出水参 数的在线更新算法如下步骤：
[0066] (步骤S41)、设置滚动窗口长度L = 200,将最早的200组数据作为初始数据窗，并用 初始数据窗内的数据作为初始训练样本，根据步骤S2中快速相关向量机建模步骤建立初始 模型；
[0067] (步骤S42)、对新来的数据Xnew进行预测并计算偏差；
[0068] (步骤S43 )、使数据窗进行滚动R= 1，将新来的数据(Xnew，ynew)加进训练样本中，并 丢弃最早的一组数据，更新训练样本；
[0069] (步骤S44)、利用数据窗内的数据重新建立模型，进行预测；
[0070] (步骤S45)、返回步骤S42,直到所有新数据测试完为止。
[0071] 根据步骤S4,仿真实验先用200组历史数据建立初始模型，剩下200组数据用于新 数据。当模型有最新输入时，预测出水水质BOD、COD浓度的最新输出，然后将运一新输入和 输出数据加入到训练样本中，对训练样本进行更新，为了保持训练样本的容量，将训练样本 中最早的样本丢弃，附图2是MAG-FASTRVM模型的在线预测图，可直观的反映出MAG-FASTRVM 在线模型对污水参数BOD、COD具有良好的实时跟踪能力。
[0072] 表1和表2给出了B0D、C0D的MAG-FASTRVM的在线实验结果，并同时列出了对比模型 相关向量机(RVM )、高斯核函数快速相关向量机(FASTRVM )、多项式核函数快速相关向量机 (MU化-FASTRVM)、组合核函数快速相关向量机(C-FASTRVM)的在线实验结果。从表1和表2中 可W发现RVM的预测精度最好，与RVM相比，MAG-FASTRVM的输出精度相对偏低，但从平均相 关向量机个数，模型在线运行时间（Run time)来看，MAG-FASTRVM模型的稀疏性更好，且模 型更新运行时间缩短了一半。附图3是RVM与MAG-FASTRVM的稀疏性对比曲线，其分别表示 BOD和COD参数在200次在线建模中200个更新模型的相关向量机个数。一般而言，稀疏性越 好，模型计算时间更少，学习效率更高。
[0073] 表1 MAG-FASTRVM及其对比模型的BOD在线预测结果
[0074]
LUU//J 结百'衣W因丹t/r ,MAb寸AMKVM候坐化巧顶测稍设載同、怖側/吐化、义新化设'I犬。出 于实时预测考虑，软测量模型对快速性要求更高，在满足预测精度的前提下，能快速校正的 模型更适合出水参数B0D、C0D的在线预测，因此MAG-FASTRVM的在线模型比起其它在线模型 更能满足实时预测的要求。
[0078]上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的 限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化， 均应为等效的置换方式，都包含在本发明的保护范围之内。
【主权项】
1. 一种基于多属性高斯核函数快速相关向量机的污水在线软测量方法，其特征在于， 包括以下步骤： 51、 通过多属性高斯核函数构造快速相关向量机的贝叶斯矩阵Φ; 52、 在相关向量机的基础上引入快速边际似然算法来学习模型的超参数，建立基于贝 叶斯矩阵Φ的多属性高斯核函数快速相关向量机模型； 53、 采用滑动窗口技术建立滚动时间窗，利用滚动时间窗内的数据优化建模，将模型数 据和参数随着滚动时间窗的滚动进行在线更新； 54、 设置滚动窗口长度L，移动长度R，用若干组污水历史数据建立初始模型，剩下若干 组污水数据用于新数据，建立基于贝叶斯矩阵Φ的多属性高斯核函数快速相关向量机的污 水在线软测量模型，实时预测出水水质生物需氧量BOD以及化学需氧量COD的浓度输出。2. 根据权利要求1所述的基于多属性高斯核函数快速相关向量机的污水在线软测量方 法，其特征在于，所述多属性高斯核函数的形式如下：其中Xm表示第m个样本，Xn表示第η个样本，其中m，ne (1,2, ...，N)，样本的每个属性均 有对应的核参数，％表示第k个核参数，定义d是输入样本的属性个数，多属性高斯核参数可 表示为:η=(ηι，η2, · · ·，nd); 令 Φ (Xn) = [l，k(xn，xi)，k(xn，X2)，· · ·，k(xn，XN)]T，它为(N+l) X 1维矩阵，则多属性高 斯核构成的贝叶斯矩阵可表示为： φ = [ Φ (Xl)，Φ (X2)，· · ·，Φ (Xn)]T，其是NX (N+1)维的矩阵。3. 根据权利要求1所述的基于多属性高斯核函数快速相关向量机的污水在线软测量方 法，其特征在于，所述步骤S2具体为： 521、 初始化核参数，并建立多属性高斯核的贝叶斯矩阵Φ，设定初始噪声方差δ2; 522、 通过探索式方法获得初始基向量Φ i= Φ (Xi)，并设置其他的超参数:$am(m辛i) 为无穷大(例如令~=IO9) 4523、 初始化所有基函数Φ?的稀疏因子sm和质量因子qm，计算协方差矩阵Σ、权值矩阵 μ； 524、 计算每个候选基向量(^对应的兵=?2-?值，并与零作比较； 525、 如果基向量Φ?在模型中，且有0i>〇，ai<〇〇，则重新计算超参数ai; 526、 如果基向量Φ i不在模型中，且0i>〇，ai=〇〇，添加基向量(^到模型中并重新计算 超参数ai; 527、 若Qi彡〇且CiiCoo，删除基向量φ i并设置超参数Cii = 〇〇 ; 528、 计算噪声方iy其中N为样本个数，M为基函数个 数；529、 更新稀疏因子sm和质量因子qm，并且迭代估计协方差矩阵Σ，权重矩阵μ; S210、若收敛或者达到最大迭代次数，则终止，并且输出权值、噪声方差、相关向量机个 数，否则转到S24。4.根据权利要求1所述的基于多属性高斯核函数快速相关向量机的污水在线软测量方 法，其特征在于，所述步骤S4具体为： 假设最新的污水数据输入属性为Xn?，实际的COD、BOD出水参数值为yne3W， 541、 设置滚动窗口长度L，将最早的L组数据作为初始数据窗，并用初始数据窗内的数 据作为初始训练样本，根据所述步骤S2中快速相关向量机建模过程建立初始模型； 542、 对新来的数据Xne3W?行预测并计算偏差； 543、 使数据窗进行滚动R=I，将新来的数据(x_，y_)加进训练样本中，并丢弃最早的 一组数据，更新训练样本； 544、 利用数据窗内的数据重新建立模型，进行预测； 545、 返回步骤S42，直到所有新数据测试完为止。
【文档编号】G06F19/00GK106021924SQ201610338733
【公开日】2016年10月12日
【申请日】2016年5月19日
【发明人】许玉格, 孙称立, 刘莉, 邓晓燕, 罗飞
【申请人】华南理工大学