专利名称：分式线性神经网络模型的制作方法
技术领域：
本发明涉及人工智能技术领域，提出分式线性神经网络模型。
背景技术：
人工神经网络从拓扑上可以看成是以处理单元，也叫神经元，为结点，用加权有向弧连结而成的有向图。其中处理单元是对生理神经元的模拟，而有向弧则是“轴突一树突”对的模拟；有向弧的权值标志着两处理单元间相互影响的强弱。综合全部有向弧形成的互联强度矩阵对应于人脑中信息的长期记忆。处理单元用非线性函数实现单元输入与输出间的非线性映射，其即时活跃值对应于人脑中信息的短期记忆。处理单元集合、单元集合的活跃状态、单元间的连接方式、激活模式在网络中的传递规则、把单元输入与当前状态结合起来产生新激活值、各单元所用的输出函数、学习规则、运动环境是刻划一个神经网络模型的8项特征，不同的模型在某些方面可以有很大差异，但在某些方面则大致相同。如图1中圆圈内是处理单元，每一时刻各单元ui有它的活跃值ai(t)。将若干单元的输出和联接矩阵w结合起来以得到某单元净输入的规则叫传递规则。
几十年来，人们提出了许多种神经网络模型。这些模型在模式识别、自动控制、信号处理、人工生命、辅助决策等领域得到不断应用发展。其中，反向传播模型(BP(Back propagation))是一类多层结构的前向网络，它是目前应用最广泛的一种前向神经网络模型。BP神经网络被誉为有限区域上非线性问题的最佳建模工具。BP网络之所以有如此地位是因为它有其它人工神经网络无法比美的非线性逼近能力和分类能力。参见以下定理A、定理B(注两定理是神经网络研究领域的重大成果，它为BP网络的广泛深入应用，特别是用BP网络建立有界闭子集上连续映射f的模型和建立区分Rn上有界子集的分类器奠定了理论基础)。
定理A设Φ为有界单调递增连续函数，D为Rn的有界闭子集，f(x1，x2，…，xn)为D上的实值连续函数，则对任意ε＞0存在整数N和实常数cj，θj(j＝1，2，…，N)和wij，(1≤i≤n，1≤j≤N)使f^(x1,x2,···xn)=Σj=1NcjΦ(Σi=1nwijxj-θj)]]>满足max|f^(x1,x2,···xn)-f(x1,x2,···xn)|<ϵ]]>其中 为三层前向网络的总输入输出关系。
定理B设Φ是有界单调递增连续函数，D为Rn的有界闭子集，固定层数K≥3，则对任意连续映射f:D→Rm，存在K层(k-2个隐层)前向网络一致逼近f:D→Rm。此网络的隐层神经元输出为Φ(t)与线性函数的复合，输入与输出层神经元的输出函数是线性的。
然而已有的神经网络模型(包括以上前向神经网络)的公共特征是模型的传递规则满足一个单元的总输入neti和对它提供输入的各单元的活跃值oi(t)成正比，即有neti=Σig(wij,oj(t))-θi]]>(也称为神经元数学模型的基函数)，其中当oi(t)→∞时，Σjg(wij,oj(t))-θi→∞.]]>实际上目前只见有neti=Σjwijoj(t)-θi]]>和neti=Σj(wij-oj(t))2-θi2]]>等几种形式。
这种传递规则决定了相应网络不能区别无穷远邻域中的模式，相应网络视为映射时不能无限逼近一无界区域上的有界连续映射。也就是说现有神经网络模型有以下限制和不足1.传递规则满足一个单元的总输入neti和对它提供输入的各单元的活跃值oi(t)成正比，当oi(t)→∞时，neti→∞；2.不能作为无穷远邻域中的模式分类器；3.现有人工神经网络不能无限逼近无界区域上的非线性有界连续映射，不能为工程技术问题提供在无限域上的建模工具。
然而，在许多实际工程领域中，如航空航天等，人们常常遇到无界闭子集上连续映射f的建模问题、无界区域上的分类、决策问题。
基于对以前的人工神经网络的上述认识，本发明提出一类新的结构简单的人工神经网络模型---分式线性神经网络。该人工神经网络模型不仅有定理A，B指出的在有限域上的非线性逼近能力，而且在无界区域上也有很好的非线性逼近能力和分类能力，为工程技术问题提供在无限域上的良好的建模工具。
发明内容
本发明提出一类新的结构简单的人工神经网络模型---分式线性神经网络，该类分式线性神经网络彻底否定以往神经网络传递规则(基函数)建立限制一个单元的总输入neti和对它提供输入的各单元的活跃值oi(t)成正比，当oi(t)→∞时，neti→∞。从而解决了无界区域上的非线性连续映射没有建模工具和无界区域上没有决策工具的难题。而且分式线性神经网络在有界区域上与已有前向神经网络(BP神经网络)有相同的非线性逼近能力和分类能力。
本发明是一类分式线性神经网络，其特征在于它是如图2形式的m层前向神经网络神经网络有m层，输入层有1(x)个神经元，第i层有i(x)个神经元，输出层有m(x)个神经元。各层次的神经元之间形成前向全互连连接，各层次内的神经元之间没有连接。
将第k层第i神经元的输入和记为Iik(神经元基函数)，输出记为oik，k-1隐含层第i神经元向k层第j神经元的连接权值记为wi，jk-1，k，k层第j神经元的输出函数记为fjk，那么k-1隐含层第i神经元和k层第j神经元的操作特性为ojk=fjk(Ijk-θjk)]]>Ijk=Σiwi,jk-1,koik-1-ai||(o1k-1,···,onk-1)-(a1,···,an)||2,]]>(a1，a2，…an) 定义域其中Ijk=Σiwi,jk-1,koik-1-ai||(o1k-1,···,onk-1)-(a1,···,an)||2]]>是变量o1k-1，o2k-1，…，onk-1的分式线性函数。定义域不包含固定点(a1，a2，…，an)。
||(o1k-1,o2k-1,···,onk-1)-(a1,a2,···,an)||2=(o1k-1-a)2+···+(onk-1-an)2.]]>易见当(o1k-1，o2k-1，…，onk-1)→∞时，Ijk-θjk→θjk(有限数)。
当i神经元所在层只有两个神经元时，j神经元的输入函数为Ijk=wijo1k-1-a1(o1k-1-a1)2+(o2k-1-a2)2+w2jo2k-1-a2(o1k-1-a1)2+(o2k-1-a2)2.]]>它是变量o1k-1，o2k-1的分式线性函数。这里o1k-1-a1(o1k-1-a1)2+(o2k-1-a2)]]>和-(o2k-1-a2)(o1k-1-a1)2+(o2k-1-a2)2]]>是关于复变量z=o1k-1+o2k-1]]>的分式线性函数1z+a1+ia2]]>的复部和虚部。
本发明的分式线性神经网络模型，是一类特殊的前向神经网络，其神经元基函数与众不同。
分式线性神经网络模型与以前的神经网络(包括BP前向网络)本质不同在于输入函数(基函数)，也就是说传递规则完全不同。分式线性神经网络输入函数Ijk=Σiwi,jk-1,koik-1-ai||(o1k-1,···,onk-1)-(a1,···,an)||2]]>为o1k-1，o2k-1，…，onk-1的分式线性函数，当(o1k-1，o2k-1，…，onk-1)→∞时，Ijk→0(有限数)。以前的神经网络则限制为一个单元的总输入neti和对它提供输入的各单元的活跃值oi(t)成正比，当oi(t)→∞时，neti→∞。如传统前向网络的输入函数Ijk=Σiwi,jk-1,koik-1]]>是关于o1k-1，o2k-1，…，onk-1的线性函数。
我们已经证明分式线性神经网络模型有比已有前向神经网络更强的非线性逼近能力和分类能力，特别有如下定理定理1设Φ(t)为有界单调递增连续函数，D为Rn的紧致子集，(a1，a2，…，an)不在D内，f(x1，x2，…，xn)为D上的实值连续函数，则对任给ε＞0，存在整数N和实常数cj，θj(j＝1，2，…，N)和wij，(1≤i≤n，1≤j≤N)，使f^(x1,x2,···,xn)=Σj=1NcjΦ(Σi=1nwijxi-ai||xi-ai||-θj)]]>满足max|f^(x1,x2,···,xn)-f(x1,x2,···,xn)|<ϵ]]>即是说任何ε＞0，存在一个三层分式线性神经网络，其输出层只有一个神经元，隐层神经元输出都是分式线性函数与Φ(t)的复合，输出层神经元的输出函数是线性函数，它满足max|f^(x1,x2,···,xn)-f(x1,x2,···,xn)|<ϵ]]>其中f^(x1,x2,···,xn)]]>为三层分式线性网络的总输入输出关系。(注此处为了与定理A对应，有关符号没有用分式线性神经网络的标准形式，实际上这里可写成xi=oi2-1,]]>i＝1，...，n，wij=wi,j2-1,2,]]>i＝1，...，n，j＝1，...，N，cj=wi,j3-1,3,]]>i＝1，j＝1，...，N，Φ(t)=fj2,]]>j＝1，...，N。)定理2设Φ为有界单调递增连续函数，D为Rn的无界紧致子集(除∞之外，所有聚点在其内)，(a1，a2，…，an)不在D内，f(x1，x2，…，xn)为D上的实值连续函数，且lim(x1,x2···xn)→∞(x,x2,···xn)∈Df(x1,···,xn)=b,]]>则对任意ε＞0，存在整数N和实常数cj，θj(j＝1，2，…，N)和wij，(1≤i≤n，1≤j≤N)，使f^(x1,x2,···xn)=Σj=1NcjΦ(Σi=1nwijxi-ai(x1-a1)2+···(xn-a1)2-θj)]]>满足max|f(x1，x2，…xn)-f(x1，x2，…xn)|＜ε。即是说对任何ε＞0，存在一个三层分式线性神经网络模型，其隐层单元输出是分式线性函数与Φ(t)的复合，输出单元的输出是线性的，此网络满足max|f^(x1,x2,···xn)-f(x1,x2,···xn)|<ϵ.]]>
神经元的基函数是最简单的分式函数(一次分式)Ijk=Σiwi,jk-1,koik-1-ai||(o1k-1,···,onk-1)-(a1,···,an)||2,]]>其中分子是一次多项式，分母是二次多项式。
图1是神经元示意图。
图2是m层分式线性神经网络模型图。
图3是3层分式线性神经网络模型图。
具体实施例方式
参见图3所示的分式线性神经网络模型图。
实施例1 取m＝3，输入层设n1个神经元，第2层设有n2个神经元，第3层设有n3个神经元。取fjk(z)=11+e-z=,]]>k＝1，j＝1，...，n1；k＝2，j＝1，...，n2；k＝3，j＝1，...，n3；则可建立如图3的3层感知(分类)分式线性神经网络。其中各层次的神经元之间形成前向全互连连接，各层次内的神经元之间没有连接。若第k层第i神经元的输入和记为Iik(神经元基函数)，输出记为oik，k-1隐含层第i神经元向k层第j神经元的连接权值记为wi，jk-1，k，k层第j神经元的输出函数记为fjk，那么k-1隐含层第i神经元和k层第j神经元的操作特性为Ijk=Σi=1nk-1wi,jk-1,koik-1-ai||(o1k-1,···,onk-1)-(a1,···,an)||2,]]>(a1，a2，…an) 定义域ojk=fjk(Ijk-θjk)=11+e-(Ijk-θjk),]]>k＝1，j＝1，...，n1；k＝2，j＝1，...，n2；k＝3，j＝1，...，n3；此模型可作为无穷区域上非线性有界连续映射的建模工具。
实施例2 取m＝3，输入层有n1个神经元，第2层有，n2个神经元，第3层有n3个神经元。各层次的神经元之间形成前向全互连连接，各层次内的神经元之间没有连接。
fjk(z)=sgn(z)=0,z<01,z≥0,k=1,j=1,···,n1;k=2,j=1,···,n2;]]>k＝3，j＝1，...，n3；则可建立3层感知(分类)分式线性神经网络。其中第k层第i神经元的输入和记为Iik(神经元基函数)，输出记为oik，k-1隐含层第i神经元向k层第j神经元的连接权值记为wi，jk-1，k，k层第j神经元的输出函数记为fjk，那么k-1隐含层第i神经元和k层第j神经元的操作特性为Ijk=Σi=1nk-1wi,jk-1,koik-1-ai||(o1k-1,···,onk-1)-(a1,···,an)||2,]]>(a1，a2，…an) 定义域ojk=fjk(Ijk-θjk)=sgn(Ijk-θjk),]]>k＝1，j＝1，...，n1；k＝2，j＝1，...，n2；k＝3，j＝1，...，n3；此模型可作为n1维无穷区域上多种模式分类工具。
权利要求
1.分式线性神经网络模型，其特征在于，它包括m层神经元，输入层有1(x)个神经元，第i层有i(x)个神经元，输出层有m(x)个神经元；各层次的神经元之间形成前向全互连连接，各层次内的神经元之间没有连接，将第k层第i神经元的输入和记为Iik，输出记为oik，k-1隐含层第i神经元向k层第j神经元的连接权值记为wi，jk-1，k，k层第j神经元的输出函数记为fjk，那么k-1隐含层第i神经元和k层第j神经元的操作特性为ojk=fjk(Ijk-θjk)]]>Ijk=Σiwi,jk-1,koik-1-ai||(o1k-1,...,onk-1)-(a1,...,an)||2,]]>(a1,a2,···an)∉]]>定义域。
2.根据权利要求1所述的分式线性神经网络模型，其特征在于，其是一类特殊的前向神经网络，其神经元基函数与众不同。
3.根据权利要求1所述的分式线性神经网络模型，其特征在于，它的神经元的基函数是分式线性函数Ijk=Σiwi,jk-1,koik-1-ai||(o1k-1,...,onk-1)-(a1,...,an)||2,]]>(a1,a2,···an)∉]]>定义域，其中Ijk=Σiwi,jk-1,koik-1-ai||(o1k-1,...,onk-1)-(a1,...,an)||2]]>是变量o1k-1，o2k-1，…，onk-1的分式线性函数。
4.根据权利要求1所述的分式线性神经网络模型，其特征在于，它的神经元的传递规则(基函数)满足当(o1k-1，o2k-1，…，onk-1)→∞时，Ijk→0(≠∞)。
5.根据权利要求1所述的分式线性神经网络模型，其特征在于，它的神经元的基函数是最简单的分式函数(一次分式)Ijk=Σiwi,jk-1,koik-1-ai||(o1k-1,...,onk-1)-(a1,...,an)||2,]]>其中分子是一次多项式，分母是二次多项式。
全文摘要
本发明涉及人工智能技术领域，提出分式线性神经网络模型.该模型包括m层神经元，输入层有1(x)个神经元，第i层有i(x)个神经元，输出层有m(x)个神经元；各层次的神经元之间形成前向全互连连接，各层次内的神经元之间没有连接，将第k层第i神经元的输入和记为I
文档编号G06N3/02GK1797442SQ20041009899
公开日2006年7月5日 申请日期2004年12月23日 优先权日2004年12月23日
发明者杨国为, 王守觉 申请人:中国科学院半导体研究所