专利名称：一种函数链神经网络的自校正方法
一种函数链神经网络的自校正方法
技术领域：
本发明涉及一种函数链神经网络自校正方法，是一种对复杂的非线性函 数链神经网络进行自^^交正的方法。背景技术：
现代信息技术的三大基础是信息的采集、传输和处理技术。传感器技术 是信息技术系统的"感官"，是信息采集系统最前端的首要部件。对比电子 计算机技术的飞跃发展，向电脑传送信息的传感器技术却相对落后了。因此， 传感器技术已成为各国竟相发展的技术，而现代的控制系统通常采用多传感 器技术利用函数链神经网络来实现对系统的多方面、多层次的、多方位的监 控。现代控制系统对函数链神经网络的精度、稳定性和工作条件提出了很高 的要求，希望其输出信息与输入信息之间呈线性关系。
为此，人们不得不采取一些中间补偿和^f奮正措施即自校正技术，如用热
敏电阻等设计电路进行温度补偿；用差动电^^氐消非线性；用折线拟合或反 函数变换技术，通过硬件非线性反馈实现线性化；利用ROM存贮非线性特 性,再用查表方法校正；用非线性编码解码方法实现非线性补偿等。这些方法 往往精度不够，在应用上灵活性欠佳，同时存在非线性、温度影响及其它干 扰影响时难以处理，当元件老化或使用环境变化时需重新调整。
发明内容
本发明的要解决的技术问题在于提供一种方法精度高、使用灵活而算法 简明、易于硬件实现的函数链神经网络的自校正方法。 本发明为解决上述技术问题釆用以下技术方案 一种函数链神经网络的自校正方法，包括以下步骤 步骤一才艮据系统的结构与组成特点，将原系统按类分成若干个子系统; 步骤二使用函数链神经元来建立子系统，把与子系统相关的结构参数、输入量、输出量存储构建一个动态数据库即存贮非线性特性，运用学习算法 分别对各个子系统的神经元模型进行训练，使之逼近各个子系统的输入/输出
关系，得到各子系统的神经元模型；
步骤三将所得到的各个子系统的神经元模型按一种相关的关系连接组 合起来，得到原系统的基于结构的神经网络模型；
步骤四在各神经元中与结构参数相对应的输入变量之前，增加一个输 入值为1的新输入层，得到与系统结构参数想对应的新输入层权值，重新训 练，求出高精度模型，构成新模型；
步骤五将新的模型按照先前构建的动态数据库即存贮非线性特性，重 新生成新的子系统，并将其与其他的子系统构建相关的关系网；
步骤六将动态数据库即存贮非线性特性进行实时更新。
本发明提出采用自校正技术的函数链神经网络方法，利用神经网络的非 线性逼近能力和自适应特性，发挥其训练、学习能力，实现传感器建模。釆 用函数链人工神经网络进行非线性函数变换，逼近传感器的非线性特性曲线， 采用自校正技术保持各个子系统间的相关，解决老化问题或运行条件改变时 各个子系统间关系的紊乱。其突出的优点是可以同时考虑环境温度状况、各 种干扰输入的影响、传感器本身的非线性及其交互作用。这种方法比现有方 法精度提高、z使用灵活而算法简明、易于硬件实现。为进一步提高线性化精 度，可以重新训练，求出高精度模型。解决老化问题或运行条件改变时，也 可以重新训练，确定新的网络权值，构成新才莫型。
图l是本发明函凄t链神经网络结构示意图。
具体实施方式
本发明提出 一种采用自校正技术的函数链神经网络，借助凸优化思想提 出了一个更为快速、容量更高的函数链神经网络学习算法，通过一组稳态方 程来构造一个凸集优化问题，从而获得了更高的学习速度及更高的存储容量， 而所存模式的吸引盆可由一组松驰参量加以控制，使网络更具有灵活性。
一个比较复杂庞大的非线性现代系统通常都将其分割成若千个子系统，各个子系统根据一定的相关算法进行关联来构成一个复杂的函数链神经网 络。因此要研究复杂非线性的函数链神经网络要将对分解成若干各相对简单 的子系统，在分别对各个子系统进行研究，得出其相应的参数、输入量、输 出量，建立起子模型，然后根据神经网络算法将各个子系统关联起来，如图 1所示。
基于自校正的函数链神经网络是这种思想的具体体现。具体讲，就是原 本比较复杂的非线性系统根据系统的结构与组成特点，将原系统按类分成若 干个子系统。使用函数链神经元来建立子系统，把与子系统相关的结构参数、 输入量、输出量存储构建一个动态数据库即存贮非线性特性，充分运用学习 算法分别对各个子系统的神经元模型进行训练，使之逼近各个子系统的输入/ 输出关系，得到各子系统的神经元模型。将所得到的各个子系统的神经元模 型按一种相关的关系连接组合起来，得到原系统的基于结构的神经网络模 型。在各神经元中与结构参数相对应的输入变量之前，增加一个输入值为1 的新输入层，得到与系统结构参数想对应的新输入层权值，为进一步提高线 性化精度，可以重新训练，求出高精度模型。解决老化问题或运行条件改变 时，也可以重新训练，确定新的网络权值，构成新模型。将新的模型按照先 前构建的动态数据库即存贮非线性特性，重新生成新的子系统，并将其与其 他的子系统构建相关的关系网。将动态数据库即存贮非线性特性进行实时更
新，对a学习规则进行改进，借助凸集优化思想，利用最陡梯度下降技术获得
了更高的存储容量和更快速的学习速度，使得各个子系统之间的相关性能得 到更准确的校正。
本发明的建模与自校正方法按如下步骤进行 1、子系统的划分和各个子系统的关系构建
在建立具有自校正技术的函数链神经网络，首先需要对原本复杂的系统 按类进行正确划分。即据系统的结构与组成特点，将原系统按类分成若干个 子系统，子系统越简单越有优势，通常尽可能将复杂的系统分解成简单的单 输出子系统。
一般的非线性系统或全局问题可以描述成这样设第i个样本输入为Xi、 ti，通过函数型连接F后，获得函数型输入fll, 口:
fm,同时引入一个+ 1作为传感器可能的零点迁移，因而有
凡'二 ！E
其中fi(^l，上式可写成 乂.二叫=尸/『 式中
『=[w0,n]r,
《=， 乂1 ，./in ]
令传感器的期望输出为di,误差为
5
2
(4)
￡0,) 二丄￡(《2)_《~, +丄《^￡(^《7)『
2
2
会^x,+会『
『
(5)
式中Rfd和Rff为Fi与di的互相关及Fi的自相阵.用梯度法调节权系数W使 误差最小，令
v「v刷[，,…，r<formula>formula see original document page 10</formula>
即可求得W.但Rfd和Rff无法预先知道，故采用LM S算法进行自适应 训练，因巧)
对给定的W ,》(Ei)的数学期望为
(7)
(8)
比较式(8)与式(6)知，f (Ei )作为梯度估计是无偏的.于是根据自适应最 小摄动的基本思想，权系数矢量迭代公式为
哮)二昨—1)+ (9)
(10)
其中G为步长，通常(KG〈1.0,为减小过调量，引入惯性项:
，r，
W(A)=『(k — 1) + —巧+ a[昨—1)一, —2)]
式中0< A< 1为动量因子.为进一步加快收敛速度采用变步长算法，引入 G(k)，令
五二4[tw一兀)2]
(12)
式中i为总样本数，考虑较全面反映误差变化趋势的量
<formula>formula see original document page 11</formula>
式中0<b<1为常量.运算过程中可以试舍去绝对值最小的权系数对应的 函数项，多次循环后，求出最简单的函数型连接F。 算法具体步骤如下
(1)确定初始函数型连接F及函数链网络结构；(2) 网络权值初始化，随积/没wj,通常fiwjfi< 1;
(3) 输入训练数据样本xi, ti,计算fil, □， fin ，i= 1, 2, □， I;
(4) 求yi,计算E (k),如误差满足要求，则转；
(8)如迭代限定次数后仍不满足误差要求则转(9),否则继续；
(5) 由式(9)求G(k)，并加判断，如G(k) < 0，则G(k) = Gmin ， (Gmin为选定 的G最小值)；
(6) 计算wj (k)，修正所有连接；
(7) 返回，重复(4)~ (7);
(8) 找出wj绝对值最小者，舍去对应的函数项，转(2)重新计算；
(9) 如前面曾舍去函数项则取最后一次误差满足要求的结果输出；否贝'J, 增加后一函数项，转(2)重新计算；如原设计最后函数项也已利用，则输出建沖莫 不成功信息或修改误差指标再运行。
最后，得到子系统的模型
2、各个子系统通过训练、学习来构建动态数据库即非线性特征 FLN是一个仅含输入层和输出层的单层神经网络不计输入层，输入层的 输入是原输入向量的扩展，扩展一般取作函数式扩展，即通过一組预先取定 的线性无关的函数正交更好，将原输入向量展开，所得的模式作为输入向量。 如下所示，原输入向量x是n维的，扩展函数组为fl，f2，G....fn。
_y = /(x， 0 二 w0 + J],.力(x, 0扩展的本意是通过一组线性无关函数将维向量空间映射到更高的维向量
空间，以期提高原输人向量间的正交性程度，最终改善网络的非线性映射能
力。尽管扩展不会带来新的信息，但扩展向量中包含了原输入向量的结构信 自
FLN网络采用cr学习规则，收敛速度快，学习过程不会陷于局部最小，网 络的逼近能力取决于扩展形式项，已被广泛地应用于模式识别、控制等应用领 域。
FLN的a学习规则实质上是最陡梯度下降法，目的是使网络的连接权值 通过有限步迭趋向稳定，/人而完整的学习过。
网络的学习目的是使学习过的输入模式尽可能多地被记忆。设有M对模 式(X(l)，Y(l) ) , ( X(2),Y(2)),…，(X(M)，Y(M) ) , X(i) G {-1,1 }n， Y(i) G {-l，l}m,i=l,2,...,M。要使网络让每对输入输出成为稳态点，则必须满足<formula>formula see original document page 13</formula>
它等价于
<formula>formula see original document page 13</formula>
其中，i=l,2，...,M,k=l,2"..,m。 Tjk是连接权值，定义
<formula>formula see original document page 13</formula>
上式中，(Ji(i-l,2，…，m)为小正数，它们可看成是+》弛变量。为了求得满 足(8)式的Tjk,定义费用函数为
<formula>formula see original document page 13</formula>其<formula>formula see original document page 14</formula>
上式中的每一项G(i,k)表示一项惩罚。若(8)式中以cri取代零且约束成 立，则有
G(i,k)=0;若(8)式的约束被破坏，则G(i,k)为负且等于g(i，k),故①(t) 为下有界。若方程(8)(或约束(8))存在一个解，则①(T)的最小值为零。 另外，由于(G(i,k))2是T的凸函数，故①(T)关于T也是凸的，从而意味着① (T)存在一个唯一的最小点TV萄足V^d^且为①(T)的全局最小夂由此可 知，通过最陵梯度下降法，能保证关于T的迭代在有限步内趋于"，因此有<formula>formula see original document page 14</formula>
上式中，ri仍表示收敛因子，h(x)为<formula>formula see original document page 14</formula>
h(x)的作用是使(Tjk)有界，(。i)为自由参数，它可调节被存模式的吸引 盆的大小，从而影响着网络的联想性能，cji越小、吸引盆越大，ai越大， 会导致存储量的下降。
3、自校正函数《连神经网络生成
经过步骤l、 2，会生成相应的各个子系统相关关系的动态数据库即非线 性特征，利用神经网络的非线性逼近能力和自适应特性，发挥其训练、学习 能力，实现传感器建模。采用函数链人工神经网络进行非线性函数变换，逼 近传感器的非线性特性曲线，采用自校正技术保持各个子系统间的相关，解 决老化问题或运行条件改变时各个子系统间关系的紊乱。为进一步提高线性 化精度，可以重新训练，求出高精度模型。解决老化问题或运行条件改变时，也可以重新训练，确定新的网络权值，构成新模型。这样就能完成非线性特 征的实时更新，各个子系统按照这个动态数据库就可以同周围的子系统建立 其新的关系。
本发明提供的具有自校正的函数链神经网络比现有的函数链神经网络相 比，具有系统建冲莫和自^^吏正的双重功能，其优点如下
基于自校正的函数链神经网络在本质上是结构化的，这体现在各个子系 统结构又系统的各个结构是相对应的。
基于自校正的函数链神经网络中的神经元数量是确定的，这主要取决与 划分系统时所划分的子系统数量。
基于自校正的函数链神经网络中的神经元即各个子系统不是随便相连 的，是根据函数链神经网络的具体算法来指导各个子系统相连的。
借助凸优化思想提出了一个更为快速、容量更高的函数链神经网络学习 算法，通过一组稳态方程来构造一个凸集优化问题，从而获得了更高的学习速 度及更高的存储容量，而所存模式的吸引盆可由一组松驰参量加以控制，使网 络更具有灵活'f么基于自校正的函数链神经网络具有极强的非线性映射能力。
又有利于新系统的开发，如果利用本发明建立一个新的子系统模型，那 么当设计一个系统时，只要从动态的数据库中选出最优的相关算法来构建一 个新的子系统，如果子系统连接方式不同，还能通过训练将新的相关算法加 入到动态数据库中，这对开发新的系统也是十分有益的。
总之本发明借助凸优化思想提出了 一个更为快速、容量更高的函数链神 经网络学习算法，通过一组稳态方程来构造一个凸集优化问题，从而获得了更 高的学习速度及更高的存储容量,这样大大丰富了动态数据库中的各个子系 统间的相关关系算法，而所存模式的吸引盆可由一组松驰参量加以控制，使网 络更具有灵活性。
权利要求
1、一种函数链神经网络的自校正方法，其特征在于包括以下步骤步骤一根据系统的结构与组成特点，将原系统按类分成若干个子系统；步骤二使用函数链神经元来建立子系统，把与子系统相关的结构参数、输入量、输出量存储构建一个动态数据库即存贮非线性特性，运用学习算法分别对各个子系统的神经元模型进行训练，使之逼近各个子系统的输入/输出关系，得到各子系统的神经元模型；步骤三将所得到的各个子系统的神经元模型按一种相关的关系连接组合起来，得到原系统的基于结构的神经网络模型；步骤四在各神经元中与结构参数相对应的输入变量之前，增加一个输入值为1的新输入层，得到与系统结构参数想对应的新输入层权值，重新训练，求出高精度模型，构成新模型；步骤五将新的模型按照先前构建的动态数据库即存贮非线性特性，重新生成新的子系统，并将其与其他的子系统构建相关的关系网；步骤六将动态数据库即存贮非线性特性进行实时更新。
2、 如权利要求1所述的一种函数链神经网络的自校正方法，其特征在 于所述步骤一具体为一般的非线性系统或全局问题按以下方式描述设第i个样本输入为xi、 ti,通过函数型连接F后，获得函数型输入fil，口, fm，同时引入一个+ 1作为传感器可能的零点迁移，因而有<formula>formula see original document page 2</formula>其中fiO二l,上式可写成 X =『、=《,式中<formula>formula see original document page 3</formula>令传感器的期望输出为di，误差为<formula>formula see original document page 3</formula>式中Rfd和Rff为Fi与di的互相关及Fi的自相阵.用梯度法调节权系数 W使误差最小，令5v0 3，即可求得W.但Rfd和Rff无法预先知道，故采用LM S算法进行自适应 训练，因<formula>formula see original document page 3</formula>对给定的W,》(Ei)的数学期望为五[v(《)]二五[一^(《—if『)]比较式(8)与式(6)知，^ (Ei )作为梯度估计是无偏的.于是根据自适应最 小摄动的基本思想，权系数矢量迭代公式为1) + A,), (9)A『=-77v(《)=—(io)其中G为步长，通常0<G< 1.0,为减小过调量，引入惯性项 =『(k -1) + 77(《-《V)i^ + a[『(A:-1)—『(A-2)]式中0< A< 1为动量因子.为进一步加快收敛速度采用变步长算法，引入 G(k),令(2 i=i式中I为总样本数,考虑较全面反映误差变化趋势的量 柳— ^卿式中0<B<1为常量.运算过程中可以试舍去绝对值最小的权系数对应的 函数项，多次循环后，求出最筒单的函数型连接F。 算法具体步骤如下(1) 确定初始函数型连接F及函数链网络结构；(2) 网络权值初始化，随枳』设wj,通常fiwjfi< 1;(3) 输入训练数据样本xi, ti,计算fil, □ ， fin ，i= 1, 2， □, I;(4) 求yi,计算E (k ),如误差满足要求，则转；(8)如迭代限定次数后仍不满足误差要求则转(9),否则继续；(5) 由式(9)求G(k)，并加判断，如G(k) < 0,则G(k) = Gmin, (Gmin为选定 的G最小值)；(6) 计算wj (k) ， 正所有连接；(7) 返回，重复(4)- (7);(8) 找出wj绝对值最小者，舍去对应的函数项，转(2)重新计算；(9)如前面曾舍去函数项则取最后一次误差满足要求的结果输出；否则， 增加后一函数项，转(2)重新计算；如原设计最后函数项也已利用，则输出建才莫 不成功信息或修改误差指标再运行；最后，得到子系统的模型<formula>formula see original document page 5</formula>所述步骤二具体为FLN是一个仅含输入层和输出层的单层神经网络不计输入层，输入层的 输入是原输入向量的扩展，扩展一般取作函数式扩展，即通过一组预先取定 的线性无关的函数正交更好，将原输入向量展开，所得的模式作为输入向量。 如下所示，原输入向量x是n维的，扩展函数组为fl，f2,f3....fn。<formula>formula see original document page 5</formula>设有M对模式(X(l),Y(l)), (X(2),Y(2)),…，(X(M)，Y(M) )，X(i) 6 {-l,l}n, Y(i)e {-l,l}m，i=l，2,...,M要使网络让每对输入输出成为稳态点，则必须满足<formula>formula see original document page 5</formula>它等价于:<formula>formula see original document page 5</formula>其中，i=l,2,...,M,k=l,2,...,m。 Tjk是连接权值，定义:上式中，CTi(i二l，2，…，m)为小正数，它们可看成是松弛变量。为了求得满 足(8)式的Tjk，定义费用函数为<formula>formula see original document page 6</formula>上式中的每一项G(i,k)表示一项惩罚。若(8)式中以cji取代零且约束成 立，则有G(i,k)=0;若(8)式的约束净皮石皮坏，则G(i,k)为负且等于g(i,k),故①(t) 为下有界。若方程(8)(或约束(8))存在一个解，则O(T)的最小值为零。 另外，由于(G(i，k))2是T的凸函数，故①(T)关于T也是凸的，从而意味着① (T)存在一个唯一的最小点TV满足V—^卜G且为①(T)的全局最小^由此可 知，通过最陡梯度下降法，能保证关于T的迭代在有限步内趋于T气因此有<formula>formula see original document page 6</formula>上式中，ri仍表示收敛因子，h(x)为<formula>formula see original document page 6</formula>h(x)的作用是使(Tjk)有界，((ji》为自由参数，它可调节被存模式的吸引盆的 大小。
全文摘要
本发明涉及一种函数链神经网络的自校正方法，根据其系统结构和组成特点，可以将原本比价复杂的非线性系统分解成若干个相对简单的子系统，用单个的人工函数链神经网络来建立子系统模型，根据子系统的参数、输入量、输出量得到各个子系统的神经元模型后，按照各个子系统间的相关关系来构建一个相对复杂的一个函数链神经网络系统，系统记忆并存储一些子系统的历史的参数、输入量/输出量，当某个子系统函数链神经网络发生异常时，系统能根据以前的各个子系统间的关系，重新恢复该子系统同其他子系统间的关系。本发明借助凸优化思想提出了一个更为快速、容量更高的函数链神经网络学习算法。
文档编号H04L12/56GK101567838SQ20081007248
公开日2009年10月28日 申请日期2008年12月27日 优先权日2008年12月27日
发明者林小泉 申请人:福建三元达通讯股份有限公司