一种基于归一化最小均方自适应滤波的自适应学习率小波神经网络控制方法
【专利摘要】本发明涉及小波神经网络优化【技术领域】，特别涉及一种基于归一化最小均方自适应滤波的自适应学习率小波神经网络控制方法。本发明包括:建立控制系统模型；将小波网络的所有权值按层进行单位化；小波神经元权值优化；求解误差信号和训练代价；采用阶梯函数对活化函数的导函数分段处理；制定拟合导函数的模糊规则；确定隶属函数；确定每个模糊规则在导函数值中所占的比重；输出模糊系统、线性化显示活化函数；确定各神经元的诱导局部域及神经元输出；求解各个局部梯度函数；输出层自适应调整学习率；确定输出层学习率的范围；隐层的学习率调节；训练神经元突触权值；输出跟踪控制信号；完成闭环反馈控制。本发明能够加快收敛速度，减小计算复杂度。
【专利说明】一种基于归一化最小均方自适应滤波的自适应学习率小波神经网络控制方法
【技术领域】
[0001]本发明涉及小波神经网络优化【技术领域】，特别涉及一种基于归一化最小均方自适应滤波的自适应学习率小波神经网络控制方法。
【背景技术】
[0002]复杂系统多具有不确定性，其系统内部的非线性函数是难以建立的，因此无法采用基于系统结构的方法实现对复杂系统的跟踪控制。而人工神经网络是由人工神经元互联而成的网络系统，它从微观结构和功能上对人脑进行了抽象和简化，可以看作是一个由简单处理单元构成的规模宏大的高度并行处理器，天然具有存储经验知识和使之可用的特性。神经网络与人脑的相似处在于，神经网络所获取的知识是从外界环境学习而来，同时相互连接的神经元间的连接权值用于存储获得的知识。在处理计算上，虽然每个处理单元的功能看似简单，但大量简单处理单元的并行活动使网络在保证较快速度的前提下呈现出丰富的功能，加之神经网络的自适应能力为解决复杂的非线性、不确定、不确知系统的问题开辟了新途径，所以目前人工神经网络已受到非线性系统辨识与分析、控制系统和计算机等许多领域的青睐，并得到广泛应用。在神经网络的研究中，作为前向多层神经网络训练方法的BP算法应用最为广泛，但其还存在一些缺陷，例如学习算法所得到的误差是高维权向量的复杂非线性函数，易陷入局部极小值。小波神经网络(简称小波网络)是建立在小波分析理论基础上的新型神经网络，在隐含层中采用小波函数代替传统神经网络函数作为激励函数，并通过仿射变换建立起小波变换与网络系数之间的连接，结合了小波分析和神经网络的优点，具有很强的学习和泛化能力，在控制中具有静态非线性映射以及动态处理的优势，使其在许多具有非线性、强耦合的复杂系统中也逐步被采纳。然而目前小波网络在复杂系统或大规模网络中还存在跟踪速度慢等问题。实际上这种问题是使用随机梯度的算法在进行权值迭代更新时普遍存在的，其研究成果主要体现在自适应滤波中的最小均方自适应滤波(LMS)及归一化最小均方自适应滤波(NLMS)，但在神经网络领域鲜有这类的研究成果。根据Simon Haykin的理论，LMS和NLMS都可视为建立一个简单线性神经元来设计未知动态系统的一个多输入——单输出模型。由此可知小波网络是具有更复杂拓扑结构的自适应滤波器，若对小波网络施以改进，则可使NLMS或LMS具有应用在小波网络中的可能。
[0003]LMS与NLMS在权值推导过程中的局限性主要表现在它们只适用于线性结构，小波网络的非线性活化函数会使这一过程变得十分复杂。而这一问题早已引起研究神经网络硬件实现的学者们的关注，其中学者Emilio Soria-Olivas在《A Low-Complexity FuzzyActivation Function for Artificial Neural Networks))中米用模糊理论对神经网络的活化函数进行了局部线性回归计算。而相比与传统模糊算法，Takagi和Sugeno于1985年提出的T-S模糊模型的规则后件通常是输入变量的线性函数，这样每条规则就可以包含许多的信息，所以采用较少的规则便可达到控制效果，这就意味着可以使用相对简单的方法来对非线性函数进行回归拟合。因此本发明采用T-S模糊模型对小波网络的活化函数进行局部线性回归拟合，这种方法的结果与原函数具有很高的拟合精度，也从而克服了小波网络复杂的非线性活化函数所带来的计算困难。此外，小波网络还存在多输入多输出以及多层拓扑结构的问题，这些问题使自适应学习率不再像NLMS滤波器那样可以独立的调节，为此本发明提出一种基于NLMS的自适应学习率小波网络控制方法，从而在控制的初始阶段降低了系统误差，提高了控制过程的收敛速度和稳定性。
【发明内容】
[0004]本发明的目的在于提供一种降低系统误差，提高控制过程的收敛性和稳定性，并减小计算复杂度，摆脱了原有固定学习率带来的冗余困扰，避免了发散的问题，提高小波网络在复杂系统控制中的跟踪效率的一种基于归一化最小均方自适应滤波的自适应学习率小波神经网络控制方法。
[0005]本发明的目的是这样实现的:
[0006](I)建立控制系统模型:采用小波网络对增强型PID控制器进行参数整定，令小波网络为MMO的多层反馈网结构，各神经元函数为活化函数，神经网络的状态空间为:
r ? =^1-,+?_7] [Zi=^(WlMi)r
[0008]其中Wk为权值空间，Uk为网络输入，Zk为网络输出，Φ,为权值更新函数，Ψ (ffk, Uk)为参数化的非线性函数，小波网络的权值空间为wk，将权值空间中的每个权值生成[-1，I]区间上均匀分布的随机数；
[0009](2)取[-1，I ]区间上均匀分布的随机数为权值初始值，并将小波网络的所有权值按层进行单位化；
[0010](3)小波神经元权值优化:以小波函数为激励函数的神经元为中心，将前后两个网络层中的权值分别与小波函数类型、神经元个数进行关联，设第J层中的激励函数为小波函数，1、K分别为J层前后的两层，ffLM, Wmn为单位化后三层间的两个权值矩阵，则将小波函数类型和神经元个数与其关联的表达式为:
[0011]Wu=Kj-Wu^i
[0012]Wjk=Kj-Wjk^ ^
[0013]其中Kj为常值；
[0014](4)引入训练样本集{x (n), norm (η)}:依次输入向量χ (I), χ (2)......χ(η),记录网
络输出ζ (I)，ζ (2)……ζ (η)，求解误差信号e (η)和训练代价ε (η):
[0015]e (η) = norm (η) -ζ (η)
/ , I ,,,
[0016]6-(/?) = -C- (/?)
[0017](5)采用阶梯函数对活化函数的导函数分段处理:将函数分为M段，对活化函数进行拟合，活化函数的每段的斜率对应导数的函数值；
[0018](6)制定拟合导函数的模糊规则:T-S模型的输入变量:
[X1 =X(W)
_9] X = [Xl^]^lx:=x(W)-r[0020]输出量为导函数值k (η)，其模糊规则形式为:
[0021]R'.-1f Jc1 is Al andx, is Al1, then ^ = ptx{ + + η (/ = 1,2,...,c)
[0022]其中4和4表示第i条规则中的模糊集合，bm代表第m段(m= 1，2，...，M)的左边界，Pi, Qi和A是模糊集合的常数；
[0023](7)确定隶属函数:釆用高斯型函数作为隶属函数，各输入变量Xj的隶属度为:
【权利要求】
1.一种基于归一化最小均方自适应滤波的自适应学习率小波神经网络控制方法，其特征在于，包括如下步骤: (1)建立控制系统模型:采用小波网络对增强型PID控制器进行参数整定，令小波网络为MMO的多层反馈网结构，各神经元函数为活化函数，神经网络的状态空间为:
Wk-wk_x^φ? 其中Wk为权值空间，Uk为网络输入，Zk为网络输出，Φ,为权值更新函数，V(wk，uk)为参数化的非线性函数，小波网络的权值空间为wk，将权值空间中的每个权值生成[-1，I]区间上均匀分布的随机数； (2)取[-1，I]区间上均匀分布的随机数为权值初始值，并将小波网络的所有权值按层进行单位化； (3)小波神经元权值优化:以小波函数为激励函数的神经元为中心，将前后两个网络层中的权值分别与小波函数类型、神经元个数进行关联，设第J层中的激励函数为小波函数，1、K分别为J层前后的两层，ffLM, Wmn为单位化后三层间的两个权值矩阵，则将小波函数类型和神经元个数与其关联的表达式为:
Wij=Kj-Wi/^! Wjk=K,Wjk0， 其中Kj为常值； (4)引入训练样本集{x(n), norm (η)}:依次输入向量x (I), x (2)......χ (η),记录网络输出ζ (I)，ζ (2)……ζ (η)，求解误差信号e (η)和训练代价ε (η):
e (η) = norm (η) -ζ (η) (5)采用阶梯函数对活化函数的导函数分段处理:将函数分为M段，对活化函数进行拟合，活化函数的每段的斜率对应导数的函数值； (6)制定拟合导函数的模糊规则:T-S模型的输入变量:
1 1 2J [χ, =x(n)-bm 输出量为导函数值k(n)，其模糊规则形式为:
R1I if Jc1 is A; andx, is Al, then Jci = ptx{ + +rf {i = 1,2, ?.,c) 其中4和a表示第i条规则中的模糊集合，bm代表第m段(m = 1，2，...，M)的左边界，Ppqi和A是模糊集合的常数； (7)确定隶属函数:采用高斯型函数作为隶属函数，各输入变量\的隶属度为: ,、f
μ(X7 J = exp - -:^j = I, 2,3； i = I, 2,… ' I ^ 式中分别为隶属度函数的中心和宽度；(8)确定每个模糊规则在导函数值中所占的比重:每条模糊规则对于输入量χ=[X1, X2]的适用度μ i及其激活度A为:
【文档编号】G06N3/08GK103971163SQ201410195894
【公开日】2014年8月6日 申请日期:2014年5月9日 优先权日:2014年5月9日
【发明者】袁赣南, 杜雪, 张瑶, 夏庚磊, 吴迪, 李旺, 贾韧锋, 常帅 申请人:哈尔滨工程大学