一种基于软投影加权核递归最小二乘的核自适应滤波方法与流程

本发明涉及自适应滤波，特别是涉及一种基于软投影加权核递归最小二乘的核自适应滤波方法。

背景技术：

核方法可以提供功能强大及结构统一的框架用以模式识别与发现。从而使得基于核方法的各类算法可以处理诸如：字符串、向量及文本等数据类型的问题。进而发现这些问题中诸如：排列、分类、回归及聚类等模式间的一般关系。核方法的应用领域囊括：神经网络、模式识别、机器学习以及数据挖掘等。然而，在大多数情况下核学习方法由于其本身复杂度很高，导致其不适用于大规模数据的实时处理；具备实时处理能力的核学习方法在近年来受到极大的关注与探索。

核自适应滤波器(kerneladaptivefilters,kafs)是目前最为有效的在线核处理方法。kafs是一类发展于重构核希尔伯特空间(reproducingkernelhilbertspace,rkhs)的非线性滤波器或算法，它们能有效处理输入/输出数据对间的非线性模式关系。目前，有效的kafs诸如：核最小均方算法(kernelleast-mean-squarealgorithm,klms)、核仿射算法(kernelaffineprojectionalgorithm,kapa)、核递归最小二乘算法(kernelrecursiveleastsquaresalgorithm,krls)以及核递归最大相关熵算法(kernelmaximumcorrentropyalgorithm,krmc)等等。

然而，核自适应滤波算法面临的主要瓶颈问题是：其网络结构随着训练样本的增加而增长，从而在处理持续到来的信号时会导致存储空间不足以及计算量不断增加的困难。故，为有效地克制网络结构增长问题，进而实现有效的在线处理方法，研究者们提出了各类稀疏化方法或准则，例如：近似线性依赖准则(approximatelineardependency,ald)、新颖性准则(noveltycriterion,nc)、惊讶准则(surprisecriterion,sc)、相关准则(coherencecriterion,cc)等等。基于这些稀释化方法或准则，只有那些满足预设条件的输入样本作用有效的新成员被包含在字典集中，从而极大地缓解网络尺度增长的问题。

近年来，一类简单的向量量化(vectorquantization,vq)技术在缓解网络尺度增长问题中得以提出与发展。相关的算法有：量化的核最小均方算法(quantizedkernelleast-mean-squarealgorithm,qklms)、量化的核递归最小二乘算法(quantizedkernelrecursiveleastsquaresalgorithm,qkrls)、量化的核最大相关熵算法(quantizedkernelmaximumcorrentropy,qkmc)等等。vq技术基于输入样本与字典集元素间的最小欧式距离为差异度量标准，从而将满足条件的输入样本直接量化为字典集中某一元素，抛弃该输入样本中的信息。值得关注的是，尽管所测最小欧式距离小于某一量化阈值，但是，输入样本的信息在算法更新中应该有所考虑。

技术实现要素：

本发明的目的在于克服现有技术的不足，提供一种基于软投影加权核递归最小二乘的核自适应滤波方法，极大地缓解网络尺度增长，并提升了自适应滤波方法的性能。

本发明的目的是通过以下技术方案来实现的：一种基于软投影加权核递归最小二乘的核自适应滤波方法，包括以下步骤：

s1.给定核自适应滤波的输入信号序列和理想输出信号序列作为训练数据；

输入信号序列为u1,u2,...,um，理想输出信号序列为d1,d2,...,dm；其中，ui表示核自适应滤波器的第i个时刻的输入信号，di表示ui输入时核适应滤波器的理想输出信号，i＝1,2,3,...,m；

s2.构建基于软投影加权核递归最小二乘的核自适应滤波模型，并利用训练数据对模型参数进行迭代更新，以实现核自适应滤波模型的训练；

s3.利用训练好的核自适应滤波模型对新输入的信号进行滤波。

其中，所述步骤s2包括以下子步骤：

s201.构建核自适应滤波模型，该模型的参数包含中间矩阵权重系数遗忘对角矩阵元素字典和相关性阈值εc；

s202.当i＝1时，根据第1个时刻的输入信号u1和对应的理想输出信号di，对模型参数进行初始化：

式中，

κ(x1，x2)为高斯核函数，x1，x2为高斯核函数的输入变量，h表示核宽度；β为遗忘因子，γ仍为正则化参数；

s202.当i>1时，判断是否满足以下条件：若满足，则进入步骤s203，若不满足，则进入步骤s204；其中，表示输入信号ui与元素字典的相关程度：

s203.对模型参数进行更新：

元素字典保持：

更新遗忘对角矩阵：

更新中间矩阵；

更新权重系数

式中，是一个相容维数的指示列向量，其第j^*个分量为1，其他分量为0；参数更新完成后，进入步骤s205；

s204.计算元素字典与输入信号ui之间的关系向量

其中，为元素字典中包含的元素；

更新元素字典：

计算中间参数：

更新遗忘对角矩阵：

更新中间矩阵：

计算预测误差：

更新权重系数：

参数更新完成后，进入步骤s205；

s205.对i进行更新，更新后的i保存为更新前的i加1，即i＝i+1；

s206.判断更新后的i是否大于m，若是，迭代更新训练完成；若否，返回步骤s202，进行下一次迭代更新训练。

其中，所述步骤s3包括以下子步骤：

s301.对于新输入的信号u0，首先计算其与元素字典的关系向量：

s302.计算其对应的滤波输出d0：

其中，表示i＝m时，更新得到的权重系数，即步骤s2中最后一次迭代更新得到的权重系数。

本发明的有益效果是：本发明有效解决了核自适应滤波算法中，网络结构随着训练样本的增加而增长，从而在处理持续到来的信号时会导致存储空间不足以及计算量不断增加的问题，有效了自适应滤波方法的性能。

附图说明

图1为本发明的方法流程图；

图2为在线向量投影的运作方式以及投影的表示形式示意图；

图3为实施例中krls、ew-krls、n-ew-krls三种算法测试mse方差的学习曲线示意图；

图4为实施例中五种算法距离变化的ssmse性能比较示意图；

图5为实施例中五种算法距离变化的网络尺度比较示意图；

图6为实施例中五种算法距离变化耗时比较示意图；

图7实施例中不同距离参数下sp-n-ew-krls，hp-n-ew-krls与n-ew-krls的比较示意图。

具体实施方式

下面结合附图进一步详细描述本发明的技术方案，但本发明的保护范围不局限于以下所述。

如图1所示，一种基于软投影加权核递归最小二乘的核自适应滤波方法，包括以下步骤：

s1.给定核自适应滤波的输入信号序列和理想输出信号序列作为训练数据；

输入信号序列为u1,u2,...,um，理想输出信号序列为d1,d2,...,dm；其中，ui表示核自适应滤波器的第i个时刻的输入信号，di表示ui输入时核适应滤波器的理想输出信号，i＝1,2,3,...,m；

s2.构建基于软投影加权核递归最小二乘的核自适应滤波模型，并利用训练数据对模型参数进行迭代更新，以实现核自适应滤波模型的训练；

具体地，其中，所述步骤s2包括以下子步骤：

s201.构建核自适应滤波模型，该模型的参数包含中间矩阵权重系数遗忘对角矩阵元素字典和相关性阈值εc；

s202.当i＝1时，根据第1个时刻的输入信号u1和对应的理想输出信号di，对模型参数进行初始化：

式中，

κ(x1，x2)为高斯核函数，x1，x2为高斯核函数的输入变量，h表示核宽度；β为遗忘因子，γ仍为正则化参数；

s202.当i>1时，判断是否满足以下条件：若满足，则进入步骤s203，若不满足，则进入步骤s204；其中，表示输入信号ui与元素字典的相关程度：

s203.对模型参数进行更新：

元素字典保持：

更新遗忘对角矩阵：

更新中间矩阵；

更新权重系数

式中，是一个相容维数的指示列向量，其第j^*个分量为1，其他分量为0；参数更新完成后，进入步骤s205；

s204.计算元素字典与输入信号ui之间的关系向量

其中，为元素字典中包含的元素；

更新元素字典：

计算中间参数：

更新遗忘对角矩阵：

更新中间矩阵：

计算预测误差：

更新权重系数：

参数更新完成后，进入步骤s205；

s205.对i进行更新，更新后的i保存为更新前的i加1，即i＝i+1；

s206.判断更新后的i是否大于m，若是，迭代更新训练完成；若否，返回步骤s202，进行下一次迭代更新训练。

s3.利用训练好的核自适应滤波模型对新输入的信号进行滤波。具体地，所述步骤s3包括以下子步骤：

s301.对于新输入的信号u0，首先计算其与元素字典的关系向量：

s302.计算其对应的滤波输出d0：

其中，表示i＝m时，更新得到的权重系数，即步骤s2中最后一次迭代更新得到的权重系数。

在本申请的实施例中，基于软投影加权核递归最小二乘的核自适应滤波模型的具体推导过程如下：

1、核递归最小二乘算法(krls)：

设是离散时刻i处的l维输入列向量，是ui的理想响应，而且di是ui的非线性函数。核学习算法的目标就是基于某一训练样本集并在由某一核函数导出的重构核希尔伯特空间中构建连续的输入-输出模式值得说明的是，该核函数κ(·，·)需满足有限半正定性质。此外，这类κ(·，·)隐含地对应某类非线性映射其中表示相应的高维(或无限维)特征空间。在核方法相关应用中，存在多种有效的核函数，但是，高斯核函数是最常用的：

其中h表示核宽度。

为寻找这样的函数f，通常最小化如下正则化经验函数：

其中，γ是正则化参数用以平衡匹配误差与解的可行性，表示中的范数。基于表示理论，公式(2)具有如下形式的解：

其中，α＝[α1，…,αi]^t表示系数向量。故有

此处，表示中的内积，进而公式(2)可以重写为：

其中，d＝[d1,…,di]^t表示输出向量，表示gram矩阵，其元素为kjs＝κ(uj,us)。优化问题(4)的最有解可以表示为：

α^o＝(k+γi)^-1d,(5)

其中，i表示相容维数的单位矩阵。

此外，基于mercer理论，优化问题(4)可以在特征空间中进行等价优化。换句话说，可以寻找某一高维权重向量并最小化如下代价函数：

这里，表示中的范数，为变换输入。类似地可以求解公式(6)的最优解为：

ω^o＝φ(k+γi)^-1d，(7)

此刻，k＝φ^tφ，其相应元素为表示中的内积。虽然，维数很高，且通常情况下的分量未知，但是，该内积可以由核技巧进行高效地计算：

从公式(7)中，可以发现高维权重向量ω^o可以表示为已变换输入数据的线性组合。

2、指数加权核递归最小二乘算法(ew-krls)：

基于优化问题(6)，可以引入指数加权机制以更多的关注最新数据信息，减弱过去信息的比重，即有如下优化问题：

其中，0＜＜β≤1为遗忘因子，γ仍为正则化参数。公式(9)的最优解为：

ω^o＝[γβⁱi+φbφ^t]^-1φbd,(10)

其中，b＝diag[β^i-1,β^i-2,…,1]表示遗忘对角矩阵。由于实际处理中，数据是持续到来的，因而将公式(10)进行时刻标记，并重新记为：

ω(i)＝[γβⁱi(i)+φ(i)b(i)φ(i)^t]^-1φ(i)b(i)d(i),(11)

通过矩阵求逆引理，将公式(11)重新表示为：

ω(i)＝φ(i)[γβⁱb(i)^-1+k(i)]^-1d(i),(12)

其中k(i)＝φ^t(i)φ(i)，观察公式(12)可以发现高维权重向量ω(i)仍然是已变换输入数据的线性组合，即：

3、新的指数加权核递归最小二乘算法(n-ew-krls)：

值得注意的是，原始ew-krls算法直接由公式(11)结合矩阵求逆引理得到公式(12)。但是，观察公式(11)可以发现若将b(i)d(i)先进行结合，即可得到指数加权输入信号：

将公式(14)带入公式(11)可以得到：

此刻对公式(15)重新改写为：

从公式(16)中可以发现高维权重向量ω(i)依然是已变换输入数据的线性组合。此外，对公式(16)中的α(i)进行简单的计算，可以有：

将公式(17)带入公式(16)可以得

公式(18)中的参数记号除外，其余记号与公式(13)保持一致。

为有效地实现公式(18)中所涉及参数的计算，可以发现：

其中，h(i)＝[κ(u1,ui),κ(u2,ui),…,κ(ui-1,ui)]^t，0表示相容维数的列零向量。故：

将公式(20)带入公式(18)中的q(i)，可以得到：

对公式(21)应用矩阵块求逆公式，可以等到递归形式的q(i)为：

其中

再将公式(19)中的与公式(22)一起带入公式(18)中的α(i)，则有：

其中，e(i)＝di-h(i)^tα(i-1)表示时刻i处的预测误差。

4、一种简单的在线向量投影：

kafs得以充分应用的最大瓶颈在于：网络模型阶数以及算法的计算复杂度随着处理数据的数量呈线性增长。本申请为有效地弥补这一缺点，通过在特征空间中引入一种简单的在线向量投影(vectorprojection,vp)方法以控制网络模型阶数的线性增加。

为简单起见，设网络字典含有l个元素，为转换的输入数据。图2阐述了vp的运作方式以及投影的表示形式。在图2(a)中，首先被判别器judger判别，即：

其中表示字典的第j个成员。接着，若则进入字典保持阶段(remainstage)，此刻：

否则，转入字典变化阶段(changestage)，此时：

其中，0<εc<1是预先给定的相关性阈值，图2(b)显示了投影的表示形式。这里p(·)表示pr(·)或者pc(·)，它由判别公式(25)决定。

5、稀疏化的n-ew-krls

基于向量投影方法，可设在时刻i时网络字典为共有l<i个中心样本，即则本申请提出具有稀疏化形式n-ew-krls算法以解决如下优化问题：

其中id＝{1,2,…,l}表示指标集；mj≥1表示与中心样本相关的样本数量，且∑j∈idmj＝i；dsj表示与中心样本相关的样本集中第s个样本对应的输出；tsj表示与中心样本相关的相关的样本集中第s个样本对应的出现时刻；bsj表示与中心样本相关的样本集中第s个样本与的相关程度，即：

基于前面参数的定义与说明，优化问题(28)的最优解为：

其中，为相关指数加权对角矩阵，为相关指数加权输出向量。基于公式(15)到公式(18)的推导启发，可以得到如下结果：

其中，在处理持续到来的输入-输出数据对时，需要考虑两类情况：字典保持与字典变化。

字典保持情况下，可以发现及换句话说，在公式(25)的判别中，数据被投影为中的第j^*个元素。此外矩阵与向量变为：

其中，是一个相容维数的指示列向量，其第j^*个分量为1，其他分量为0。因而

对公式(33)应用矩阵求逆引理，可以得到的递归形式为：

其中,与分别表示与的第j^*列。进而有：

到此完成系数向量的更新形式。

字典变化情况下，可以发现且此外

其中，可以发现公式(36)与公式(19)具有类似的结构，按照类似的方式可以得到：

其中

则有：

其中，表示时刻i处的预测误差。值得注意的是，虽然公式(37)、(38)与(39)在形式上与公式(22)、(23)与(24)类似，但是，前三者是基于特征空间向量投影技术的，其维数l远小于后三者的维数i，后期的实验仿真也将验证这一情况。由于在公式(26)中充分考虑了输入向量与字典元素间的投影关系，故该类稀疏化方法称为：软投影指数加权核递归最小二乘算法(softprojectdn-ew-krls,sp-n-ew-krls)；

如前所述，在公式(26)中充分考虑了输入向量与字典元素间的投影关系。但是，在保留投影判别不变的情况下，如果将该投影关系忽略，而采用如下形式：

换句话说，将近似因子直接用1代替，那么变得到另一种稀疏化算法，称为：硬投影指数加权核递归最小二乘算法(hardprojectedn-ew-krls,hp-n-ew-krls)，该算法只需将n-ew-krls算法中的置为1即可实现。

在本申请的实施例中，以mackey-glass时间序列预测为例，说明算法的效果：

mackey-glass时间序列可以通过采样如下mackey-glass时滞微分动力系统得到：

公式(41)的相关参数与采样周期为：

b＝0.1，a＝0.2，p＝10，τ＝30，时间序列x(i)以6秒的采样周期，

故所得到的时间序列为x(i)，该序列的长度可以无限大。

实验过程为：

①向时间序列为x(i)中加入噪声v(i)，其中v(i)为均值为0，方差为0.01的加性白高斯噪声，则，此刻的含噪时间序列为x(i)+v(i)，为方便起见，x(i)+v(i)任然表示为x(i)；

②配置输入向量：ui＝[x(i-7)，x(i-6)，…，x(i-1)]^t，理想输出为di＝x(i)

③算法执行过程中，训练数据对为500组，测试数据对为100组

④按照n-ew-krls算法执行算法，最终得到一次蒙特卡洛仿真输出

⑤重复执行步骤①-④共计100次，最终得到平均测试结果，如图3所示，可以明显的发现n-ew-krls与ew-krls比krls有着更快收敛速度及更好的收敛误差。同时，n-ew-krls算法与ew-krls算法具有几乎一致的演化性能

固定β＝0.996以验证sp-n-ew-krls与hp-n-ew-krls这两类稀疏化法的有效性。作为比较对象，本申请考虑qkrls，以及将cc标准、nc标准分别应用于ew-krls进行稀释化：

为比较上述五种稀疏化算法随相似性阈值的影响，先以qkrls中的距离参数为变量比较各算法间的ssmse、网络尺度以及运行时间；此外，由于sp-n-ew-krls、hp-n-ew-krls以及ew-krls-cc这三种算法依赖于数据间的相关性εc，故εc按照如下方式计算：

以求各算法有类似的网络尺度。对于ew-krls-nc其中第一参数为第二参数设置为0.025。

如图4所示，随着距离参数有小到大的变化，直接使用cc标准或nc标准得到的ew-krls-cc或ew-krls-nc它们的稳态误差的变化程度非常大，故这两种稀释化标准尽管能缓解网络的尺度增长问题，但是并不能很好的控制网络的收敛误差，其原因在于cc标准或nc标准在解决网络尺度增长过程中，直接抛弃训练数据的信息。此外，qkrls，sp-n-ew-krls以及hp-n-ew-krls这三种算法导致的ssmse变化相对缓慢，其原因在于这三类算法在丢弃冗余数据的同时，还考虑利用这些数据来更新算法参数。图4还反映出hp-n-ew-krls比qkrls总是存在较好的ssmse。此外，sp-n-ew-krls与hp-n-ew-krls相比各有优缺点，例如：当距离参数处于某一较小值区域时，sp-n-ew-krls与hp-n-ew-krls有着类似的稳态误差；当距离参数处于某一较大值区域时，sp-n-ew-krls的稳态误差优于hp-n-ew-krls的稳态误差；当距离参数处于某一中间值区域时，sp-n-ew-krls的稳态误差劣于hp-n-ew-krls的稳态误差。

图5反映出上述五种稀疏化算法所导致的网络尺度变化，由于与εc通过公式(42)的等价转化，故除了ew-krls-nc外，其余四类算法有着一样的网络尺度，从而变化曲线重合。从图5中可以明显的看出，当距离参数为0.5时，网络尺寸已经减少到100以下，进而极大的缓解网络结构增长的问题。同时可以从图6中可以发现，当距离参数超过0.5时，每一种算法的运行时间几乎是一致的，但是，与0.5之前的运行时间相比，0.5之后的运行时间有着显著的改善。

以mackey-glass时间序列预测为例，可以验证sp-n-ew-krls与hp-n-ew-krls算法拥有各自的独特优势，相关仿真结果如图7所示，图7(a)对应的距离参数为0.2，图7(b)对应的距离参数为1，图7(c)对应的距离参数为1.8；从图7(a)可以见，三种算法有着几乎一样的收敛性能；从图7(b)可见，hp-n-ew-krls性能可比拟n-ew-krls性能，相对来说sp-n-ew-krls最差；从图7(c)见，sp-n-ew-krls与hp-n-ew-krls的滤波性能都比n-ew-krls差，但是sp-n-ew-krls较好于hp-n-ew-krls。然而，值得注意的是，sp-n-ew-krls与hp-n-ew-krls的滤波性能随着距离参数数值的增加，它们可以有效的降低算法空间与时间复杂度。

综上，本发明有效解决了核自适应滤波算法中，网络结构随着训练样本的增加而增长，从而在处理持续到来的信号时会导致存储空间不足以及计算量不断增加的问题，有效了自适应滤波方法的性能。最后需要说明的是，以上所述是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应该看作是对其他实施例的排除，而可用于其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。