专利名称：用于神经网络中的信号处理的动态突触的制作方法
技术领域：
本发明涉及由处理连接相连的信号处理器进行的信息处理，特别涉及模拟和扩展生物神经网络的神经网络模型。
背景技术：
生物神经系统包括一个接收和处理外部刺激以产生、交换和存储信息的复杂的神经元网络。神经元以其最简形式作为神经网络的基本单位，可以被描述成一个被称为soma的细胞体，具有一个或多个作为用于接收信号的输入端的树突(dendrite)以及一个或多个作为用于输出信号的输出端的轴突(axons)。一个神经元的soma细胞体处理从树突接收的信号，以产生至少一个动作信号，通过轴突向其他神经元传输。一些神经元只具有一个轴突，该轴突重复地分叉，从而允许一个神经元与多个其他神经元进行通信。
一个神经元的一个树突(或轴突)与另一个神经元的轴突(或树突)通过一个被称为突触(Synapse)的生物结构相连。因此，神经网络包括由突触互连的多个神经元。信号在这样一个网络内进行交换和处理。
神经元还通过另一种类型的被称为神经效应连接的生物连接与各种效应细胞、例如肌肉、腺或感觉细胞进行组织和功能连接。神经元可以响应于一个作用信号而发射一特定神经递质，以控制所连接的效应细胞，使得该效应细胞因此以所希望的方式作出反应，例如收缩肌肉组织。
生物神经网络的结构和操作是极其复杂的。涉及许多物理、生物和化学过程。已经根据生物神经系统的某些方面开发出各种简化的神经模型。参见Bose和Liang的“神经网络基础图形、算法和应用”McGraw-Hill(1996)。例如，大脑是一个复杂的系统，可以被模拟为一个以神经元活动的空间和时间模式处理信息的神经网络。
下面描述一般的神经网络的操作。由一个突触前神经元引起的动作电位在突触后神经元中产生突触电位。突触后神经元的soma细胞体膜将这些突触电位集中起来，产生一个总和电位。如果总和电位超过一个阈值电位，则突触后神经元的soma细胞体产生另一个动作电位。这个动作电位然后作为突触前电位通过一个或多个轴突传播到相连的其他神经元。上述过程形成了许多神经网络模型中的信息处理、存储和交换的基础。
动作电位和突触电位可以将某些时间模式或序列形成为冲动列。在神经网络中，在电位冲动之间的时间间隔携带了相当大的信息的一部分。
神经网络中的信息的另一个相当大的部分是神经元激活的空间模式。这是由网络中的神经元激活的空间分布确定的。希望既刺激神经网络模型中的时间模式，又刺激空间模式。例如，参看Deadwyler等的“Hippocampal ensemble activity during spatialdelayed-nonmatch-to-sample performance in rats，”Journal ofNeuroscience，Vol.16，pp.354-372(1996)以及Thiels等的“Excitatory stimulation during postsynaptic inhibitioninduces long-term depression in hippocampus in-vivo，”Journalof Neuroscience，Vol.72，pp.3009-3016(1994)以及“NMDAreceptor-dependent LTD in different subfields of hippocampusin vivo and in vitro，”Hippocampus，Vol.6，pp.43-51(1996)。
许多神经网络模型是基于下面两个假设的。首先，假设突触强度、即突触产生突触电位的功效在一个典型的用于在神经元内产生动作电位的时标期间是不变的。一个突触的功效实质上在一个信号列期间是一个常数。某些模型修改了这个假设，允许在处理许多信号列的时期内有缓慢的变化。在第二个假设中，每个发送神经元向其以突触相连的所有其他神经元提供同一信号。
本发明的一个方面提供了一种改进的神经网络模型，去除了上述两个假设。
发明概述本发明包含于被构造为扩展生物神经网络的某些方面的信息处理系统和方法中。信号处理器的功能和连接信号处理器的处理连接分别对应于生物神经元和突触。每个信号处理器和处理连接可以包括光学元件、电子器件、生物单元或化学材料中的任何一个或其组合。处理系统和方法还可以用一个或多个计算机程序来模拟。
每个处理连接被构造为根据输入的冲动信号列的时间模式动态地调节其响应强度。因此，这样一个处理连接改变其对输入信号的响应，从而模拟一个“动态突触”。
一般地，不同的处理连接对同一输入信号作出不同的响应。这产生不同的输出连接信号。这提供了将一个冲动信号列的时间模式变换成连接事件的时间-空间模式的一种特定方式。另外，可以对信号处理器和处理连接的网络进行训练，以学习在输入信号中所包含的某些特性。
信息处理系统的一个实施例包括多个信号处理器和多个处理连接，该多个信号处理器被连接为彼此相互通信，并且被构造为响应至少一个输入信号而产生至少一个输出信号，该多个处理连接使信号处理器互连。每个处理连接根据至少一个内部连接过程从网络中的一第一信号处理器接收并处理一个连接前信号，以产生一个连接信号，使得一个连接后信号传送给网络中的一第二信号处理器。每个处理连接被构造为使得连接信号动态依赖于连接前信号。
至少一个处理连接可以具有另一个内部连接过程，该另一个内部连接过程对连接信号作出与该内部连接过程不同的贡献。
每个处理连接可以被连接为从第二信号处理器接收一个输出信号，并被构造为根据该输出信号调节内部连接过程。
通过下面的详细说明、附图以及附带的权利要求书，本发明的这些和其他方面和优点将变得更加明显。
附图简要说明
图1是由神经元和动态突触形成的神经网络的原理图。
图2A是显示从一个突触后神经元到一个动态突触的反馈连接的示意图。
图2B是显示具有多个内部突触过程的动态突触的信号处理的方框图。
图3A是显示由一个神经元产生的到一个动态突触的时间模式的示意图。
图3B是显示在一个突触中的不同时标的两个促进过程的图。
图3C是显示在一个突触中的作为时间的函数的两个抑制动态过程的响应的图。
图3D是显示由于不同时标的突触过程的相互作用而产生的作为一个冲动列的时间模式的函数的释放概率的示意图。
图3E是显示与一个突触前神经元相连的三个动态突触的示意图，该三个动态突触用于将一个冲动列的时间模式变换成三个不同的冲动列。
图4A是基于图1的神经网络的具有两个神经元和四个动态突触的简化的神经网络。
图4B-4D显示了在图4A的简化网络中在突触的不同响应下作为时间的函数的四个动态突触的模拟输出轨迹。
图5A和5B分别是显示由两个不同说话者所说的字“hot”的样本波形的图。
图5C显示了在图5A和5B的字“hot”的波形之间的交叉相关的波形。
图6A是显示具有两层神经元以供模拟的神经网络模型的原理图。
图6B、6C、6D、6E和6F分别是显示在训练之后对于图6A的神经网络中的字“hot”从输出神经元输出的信号的交叉相关函数的图。
图7A-7L是显示通过采用图6A的神经网络从其他测试字提取出不变特征的示意图。
图8A和8B分别显示了在训练每个神经元以便择优地响应于由不同说话者所说的特定字之前和之后来自四个输出神经元的输出信号。
图9A是显示采用基于动态突触的神经网络进行的时间信号处理的一个实施方式的示意图。
图9B是显示采用基于动态突触的神经网络进行的空间信号处理的一个实施方式的示意图。
图10是显示基于动态突触的神经网络的一个用于处理时间-空间信息的实施方式的示意图。
最佳实施例的详细说明Liaw和Berger在“动态突触神经表示和计算的新概念”，Hippocampus，Vol.6，pp.591-600(1996)；1997年6月的“以动态突触进行的计算语音识别的情况研究，”，Proceedings ofInternational Conference on Neural Network，Houston，Texas；以及1998年5月的“以动态突触进行的Robust语音识别”Proceedings of the International Joint Conference on NerualNetwork，Anchorage，Alaska中已经公开了本发明的一些方面。上述公开文本在这里作为参考。
下面的说明中以大致相同的意义使用了术语“神经元”和“信号处理器”、“突触”和“处理连接”、“神经网络”和“信号处理器网络”。生物术语“树突”和“轴突”也分别用来代表一个信号处理器(即“神经元”)的输入端和输出端。
图1在原理上显示了基于动态突触的神经网络100。大圆圈(例如，110、120，等等)代表神经元，小椭圆(例如，114、124，等等)代表互连不同神经元的动态突触。为了简单起见，这里未显示效应细胞和各个神经效应连接。每个动态突触具有根据所接收的信号的时间模式和幅度变化而连续地改变对所接收信号的响应值的能力。这与许多常规的神经网络模型是不同的，在常规的神经网络模型中，突触是静态的，每个突触提供一个实质上为恒定的加权因子来改变所接收信号的幅度。
神经元110和120分别由动态突触114和124通过轴突112和122连接到神经元130。例如由110发出的信号由突触114接收并处理，以产生一个突触信号，该突触信号引起一个通过树突130a到神经元的突触后信号。神经元130处理接收到的突触后信号，产生一个动作电位，然后通过诸如131a、131b的轴突分支和诸如132、134的动态突触将该动作电位向下游发送给诸如140、150的其他神经元。网络100中任何两个相连的神经元都可以交换信息。于是，神经元130可以通过例如动态突触154连接到轴突152，以便从神经元150接收信号。
信息由网络100中的神经元和动态突触在多个层次(level)进行处理，该多个层次包括突触层、神经元层和网络层，但不仅限于这些。
在突触层，连接在两个神经元(即，相对于突触的突触前神经元和突触后神经元)之间的每个动态突触也根据来自突触前神经元的接收信号、来自突触后神经元的反馈信号、以及突触内的一个或多个内部突触过程来处理信息。每个突触的内部突触过程响应突触前信号的时间模式和/或幅度的变化，产生具有动态地变化的时间模式和突触强度的突触信号。例如，一个动态突触的突触强度可以由一个输入的冲动信号列的时间模式连续地改变。另外，不同的突触一般其内部突触过程不同，对同一突触前信号作出不同的响应，从而产生不同的突触信号。这为将一个冲动信号列的时间模式变换成突触事件的时间-空间模式提供了一种特定方式。这种在突触层的模式变换能力随即导致在神经元层的指数计算能力。
动态突触的另一个特征是它们的动态学习的能力。每个突触被连接为从其各自的突触后神经元接收一个反馈信号，以便能根据突触后神经元的输出信号动态地调节突触强度，以适应在接收的突触前信号中包含的特定特征。这为不同的动态突触产生合适的变换函数，以便可以学习特征来执行所需任务，例如识别由带有不同口音的不同人所说的特定字。
图2A是显示这个动态学习的示意图，其中，动态突触210从一个突触后神经元220接收反馈信号230，以学习一个突触前信号202的特征。动态学习一般是采用一组神经元和动态突触或图1的整个网络100来实施的。
图1的网络100中的神经元也被构造为处理信号。一个神经元可以被连接为从两个或更多动态突触接收信号和/或向两个或更多动态突触发出动作电位。参看图1，神经元130就是这样一个神经元的例子。神经元110只从突触111接收信号，并将信号发送给突触114。神经元150从两个动态突触134和156接收信号，并将信号发送给轴突152。无论如何连接到其他神经元，都可以使用各种神经元模型。例如，参看Bose和Liang、supra.和Anderson的“神经网络概论”第二章，MIT(1997)，在这里也作为参考。
神经元的一个广泛使用的模拟模型是积分器模型。一个神经元以两个阶段进行操作。首先，将来自神经元的树突的突触后信号加在一起，单个突触的贡献独立地合并并且在代数上相加，以产生一个合成的活动级。在第二阶段，将该活动级用作为一个关于活动级(细胞膜电位)比输出值(平均输出点火率)的非线性函数的输入，从而产生一个最终的输出活动。然后因此产生一个动作电位。可以将积分器模型简化为一个如同McCulloch-Pitts“积分-与-点火”模型的双态神经元，其中，当合成的活动级高于一个临界阈值时，产生表示“高”的电位，反之，则产生表示“低”的电位。
真正的生物突触通常包括对一个突触前信号作出不同响应的不同类型的分子。因此，一特定突触的动态特性是来自所有不同分子的响应的组合。动态突触然后被构造为反映对应于不同类型分子的响应的所有动态过程的贡献。动态突触的一个特定实施方式可以由下列等式来模拟Pi(t)=ΣmKi,m(t)*Fi,m(t),---(1)]]>其中，Pi(t)是响应于一个突触前信号从第i个动态突触释放的电位(即，突触电位)，Ki，m(t)是第i个突触中第m个动态过程的幅度，Fi，m(t)是第m个动态过程的响应函数。
响应Fi，m(t)是突触前信号AP(t)的函数，其中突触前信号AP(t)是从该动态突触所连接的一个突触前神经元发出的一个动作电位。Fi，m(t)的幅度随AP(t)的时间模式连续变化。在特定应用中，AP(t)可以是一个冲动列，第m个过程可以将响应Fi，m(t)从一个冲动变为另一个冲动。AP(t)还可以是由一些其他神经元产生的动作电位，后面将给出这样的一个例子。此外，Fi，m(t)还可以具有来自其他信号的贡献，例如由动态突触i本身产生的突触信号，或者具有来自由其他突触产生的突触信号的贡献。
由于动态过程可能彼此不同，所以Fi，m(t)对于不同的过程可以具有不同的波形和/或响应时间常数，并且相应的幅度Ki，m(t)也可以不同。对于Ki，m(t)＞0的动态过程m，将该过程说成是激发的，因为它提高了突触后信号的电位。相反，将Ki，m(t)＜0的动态过程m说成是抑制的。
一般地，一个动态突触的行为并不限于生物突触的特性。例如，动态突触可以具有各种内部过程。这些内部过程的动态特性可以采取不同的形式，例如上升速度、延迟或波形的其他方面。通过使用例如高速VLSI技术，动态突触还可以具有比生物突触更快的响应时间。此外，神经网络中的或者连接到一共同神经元上的不同动态突触可以具有不同数目的内部突触过程。
与一个神经元相联系的动态突触的数目由网络连通性决定。在图1中，例如，所示的神经元130被连接为从三个动态突触114、154和124接收信号。
上述动态突触的突触信号Ri(t)的释放可以以各种形式模拟。例如，神经元的积分器模型可以直接或修改后用在动态突触上。动态突触的一个简单模型是与由McCulloch和Pitts提出的神经元模型类似的双态模型
其中，当Ri(t)为非零值f[Pi(t)]时，Ri(t)的值代表发生一个突触事件(即，神经递质的释放)，当Ri(t)＝0时，代表未发生突触事件，θi是第i个动态突触的阈值电位。突触信号Ri(t)使得动态突触在一个相应的突触后神经元中产生一个突触后信号Si(t)。为了方便起见，可以将f[Pi(t)]设置为1，使得突触信号Ri(t)是0和1之间的一个二进制冲动列。这提供了一种对突触信号中的信息编码的方式。
图2B是显示具有多个内部突触过程的动态突触的信号处理的方框图。动态突触从一个突触前神经元(未显示)接收动作电位240。所示的不同的内部突触过程250、260和270分别具有不同的时变幅度250a、260a和270a。该突触合并突触过程250a、260a和270a，以产生一个对应于等式(1)的操作的合成突触电位280。突触的阈值机构290执行等式(2)的操作，以产生一个二进制脉冲的突触信号292。
释放突触信号Ri(t)的概率由一个或多个内部突触过程的动态相互作用和突触前信号的冲动列的时间模式确定。图3A显示了一个向动态突触320a发出时间模式310(即，一个动作电位冲动列)的突触前神经元300。冲动间隔影响各种突触过程的相互作用。
图3B是显示在一个突触中的不同时标的两个促进过程的图。图3C显示了两个抑制动态过程(即，快GABAA和慢GABAB)。图3D显示出由于不同时标的突触过程的相互作用、释放概率是一个冲动列的时间模式的函数。
图3E进一步显示出，与突触前神经元350相连的三个动态突触360、362、364将一个时间冲动列模式352变换成三个不同的冲动列360a、362a和364a，以形成神经递质释放的离散突触事件的时间-空间模式。
作为神经元活动的时间模式的函数动态地调整突触强度的能力在突触层产生相当大的代表性的处理能力。考虑一个能够在100ms的时间窗期间以最大速率100Hz点火的神经元。可以在这个10-比特冲动列中编码的时间模式的范围为从
到[11…1]，总共为210个模式。假设对于每个动作电位在一个动态突触至多可以发生一个释放事件，这取决于突触机构的动态特性，在一个动态突触的释放事件编码的时间模式的数目为210。对于一个具有100个动态突触的神经元，可以产生的时间模式的总数为(210)100＝21,000。如果对于每个动作电位允许不止一个释放事件，则该数目还会更高。上述数目代表具有动态突触的神经元的编码容量的理论上的最大值，会由于诸如噪声或低释放概率等因素的影响而减少。
图4A显示了一个基于图1的系统和等式(1)和(2)的动态突触的具有激发神经元410和抑制神经元430的简单神经网络400的例子。将四个动态突触420a、420b、420c和420d全部用于连接神经元410和430。抑制神经元430向所有四个动态突触发送一个反馈调制信号432。
可以假设第i个动态突触的电位释放Pi(t)是四个过程的函数突触对来自神经元410的动作电位AP的快速响应F0，每个动态突触内的促进(facilitation)F1和F2的第一和第二分量，以及被假设为抑制的反馈调制Mod。例如，将这些因素的参数值选择为与在采用非线性分析方法的学习中管理海马体(hippocampal)突触传输的动态特性的促进和抑制过程的时间常数一致。参看在Moore和Gabriel等编辑的“神经计算和学习适应性网络基础”第283-352页，Berger等的“海马体格式的网络特性的非线性系统分析”，MIT Press，Cambridge(1991)以及“海马体的函数特性的基于生物的模型”，神经网络，Vol.7，pp.1031-1064(1994)。
图4B-4D显示了在突触的不同响应下四个动态突触的作为时间的函数的模拟输出轨迹。在每个图中，上面的轨迹是由神经元410产生的冲动列412。右手边的条线图表示每个动态突触的四个突触过程的相对强度，即等式(1)中的Ki，m。条线上面的数表示相对于用于动态突触420a的不同过程的幅度的相对幅度。例如，在图4B中，对于突触420c中的F1的响应(即，第三行，第二列)的条线图中的数1.25表示突触420c的促进的第一分量的贡献的幅度比突触420a的大25％。上面没有数字的条线表明幅度与动态突触420a的相同。在图4B和4C中围住释放事件的方框用于表明将在使用了突触的不同响应强度的下一个图中消失的冲动。例如，在图4B中突触420a的响应中的最右边一个冲动在图4C的相应轨迹中则消失。另一方面，在图4D中的方框表明在图4C中不存在的冲动。
在模拟中用于四个突触过程的特定函数如下所示。对动作电位AP的快速响应F0表示如下τF0dF0dt=-F0+KF0AP,---(3)]]>其中，τF0＝0.5ms是对于所有动态突触的F0的时间常数，kF0＝10.0是用于突触420a的，对于其他突触可根据图4B-4D中的条线图按比例换算。
F1的时间关系是τf1dF1dt=-F1(t)+Kf1·AP,---(4)]]>其中，τf1＝66.7ms是所有动态突触的促进的第一分量的延迟时间常数，kf1＝0.16是用于突触420a的。
F2的时间关系是τf2dF2dt=-F2(t)+Kf2·AP,---(5)]]>其中，τf2＝300ms是所有动态突触的促进的第二分量的延迟时间常数，kf2＝80.0是用于突触420a的。
抑制反馈调制为τModdModdt=-Mod+KMod·AInh,---(6)]]>其中，AInh是由神经元430产生的动作电位，τMod＝10ms是所有动态突触的促进的反馈调制的延迟时间常数，kMod＝-20.0是用于突触420a的。
等式(3)-(6)是等式(1)中的Fi，m(t)的特定例子。因此，根据等式(1)，在每个突触释放的电位是所有四个贡献的总和P＝F0+F1+F2+Mod. (7)如果P大于一个阈值θR(＝1.0)，并且在每个突触中有至少一个神经递质量子可用于释放(即，神经递质的总值Ntotal大于一个用于释放的量子)，则释放神经递质的量子Q(＝1.0)。在突触裂缝(cleft)的神经递质的值NR是等式(2)中的Ri(t)的一个例子。在释放了神经递质的一个量子之后，NR随时间从初始值Q按指数减小NR=Qexp[-tτ0],---(8)]]>其中，τ0是一个时间常数，将其取为1.0ms，以用于模拟。在释放之后，神经递质的总值减小Q。
在每个突触内补充神经递质有一个连续的过程。这个过程可以被模拟如下dNTotaldt=τrp(Nmax-NTotal),---(9)]]>其中，Nmax是可用神经递质的最大值，τrp是补充神经递质的速率，在模拟中分别为3.2和0.3ms-1。
突触信号NR使得在一个相应的突触后神经元中产生一个突触后信号S。突触后信号S的幅度响应于神经递质释放事件的变化率正比于NRτSdSdt=-S+KS·NR,---(10)]]>其中，τS是突触后信号的时间常数，将其取为0.5ms，以用于模拟，kS是一个时间常数，将其取为0.5，以用于模拟。一般地，突触后信号可以是激发的(kS＞0)或抑制的(kS＜0)。
将两个神经元410和430用模型表示为具有膜电位V的“积分-和-点火”单元，其中膜电位V是所有突触电位和来自突触前神经元的动作电位AP的总和τVdVdt=-V+ΣiSi,---(11)]]>其中，τV是V的时间常数，将其取为1.5ms，以用于模拟。求和在所有内部突触过程上进行。
在模拟中，如果V＞θR，则AP＝1，其中θR对于突触前神经元410为0.1，对于突触后神经元430为0.02。还假设神经元未处于耐热期(Tref＝2.0ms)，即，该神经元在最后2ms的Tref内还未点火。
再参考图4B-4D，突触420a的参数值在所有模拟中保持恒定，被当作与其他动态突触进行比较的基准。在图4B的第一个模拟中，每个终端只有一个参数由各个条线图所表示的值所改变。例如，对于突触420b，当前动作电位对释放电位的贡献(F0)增大25％，而其他三个参数则保持与突触420a相同。结果如预期的那样，即，F0、F1或F2的增大导致更多的释放事件，而增大反馈抑制的幅度则减少释放事件的个数。
当如图4C所示不止一个突触机构改变时，变换函数变得更加复杂。首先，虽然在突触420a中参数保持恒定，但由于来自其他三个突触420b、420c、420d的输出的总的增大导致突触后神经元的活动增强，所以出现更少的释放事件。这随即对动态突触产生更大的抑制。这用例子说明了突触动态特性是如何被网络动态特性影响的。其次，在来自动态突触的输出中的差别不仅仅在于释放事件的个数，还在于它们的时间模式。例如，第二个动态突触(420b)对头半个冲动的响应比较强烈，对次半个冲动的响应弱一些，而第三个终端(420c)对次半个冲动的响应更强烈一些。换句话说，这两个动态突触对冲动列的变换在性质上是不同的。
接着，还研究了动态突触对不同时间模式的动作电位的响应。通过将冲动列中的第九个动作电位移动到第三个动作电位之后大约20ms的一点(在图4C和4D中由箭头标示)，已经测试了这个方面。如图4D所示，所有动态突触的输出模式与以前的不同。有一些变化对于所有终端都是相同的，而有一些只是特定终端所特有的。此外，由于在突触层和网络层的动态特性的相互作用，去除一个动作电位(图4C中的第九个)导致释放事件立即减少，而在随后的时间内释放事件则增加。
上述对于具有动态突触的神经系统的计算能力的讨论仅仅是基于理论基础来考虑的，一给定神经系统的实际计算能力必定将受到某些实际生物约束的限制。例如，21,000的代表性能力是基于动态突触对冲动列中的单个动作电位(即，每个“比特”)的出现或未出现敏感这个假设的。在许多实际情况中，噪声将破坏一个输入冲动列，从而可能不利地影响一个神经网络的响应。确定动态突触是否能够从有噪声的冲动列统计地提取出明显特征是很重要的。这个问题在生物学上尤其严重，假定为了生存，一个动物必须从否则恒定变化的环境提取出规律来。例如，一只老鼠必须能够从多个可能的路径中进行选择，以找到它的窝或食物储存地。这些可能的路径包括一些新路径和一个或多个特定的给定路径，而不管诸如光照、一天中的不同时间、飘过的云、摇摆的树、风、气味、声音等等各种条件的变化。于是，海马体中的神经元必须从变化的输入信号提取出不变量。
本发明的一个方面是基于动态突触的神经网络的动态学习能力。参看图1中的系统100，根据一个动态学习算法构造每个动态突触，以修改每个突触过程的系数，即等式(1)中的Ki，m(t)，通过将突触动态特性与相应突触后神经元的活动进行相关，为一个突触找到合适的变换函数。这使得每个动态突触能从对识别一类模式有贡献的输入信号中学习和提取特定特征。
另外，图1的系统100在一个学习和提取过程期间产生一个用于识别一类信号的特征集，为每类信号设置一个特定特征。
对第i个动态突触的第m个过程的动态学习算法的一个实施例可以如下式所示Ki，m(t+Δt)＝Ki，m(t)+αm·Fi，m(t)·Apj(t)-βm·[Fi，m(t)-F0i，m]，(12)其中，Δt是在学习反馈期间的时间历程，αm是第m个过程的学习速率，Apj(＝1或0)表示与第i个动态突触相连的突触后神经元j的动作电位的出现(Apj＝1)或未出现(Apj＝0)，βm是第m个过程的衰减常数，F0i，m是第i个动态突触的第m个过程的一个常数。等式(12)提供了从突触后神经元到动态突触的反馈，并允许突触根据其间的相关性作出响应。在图2中，这个反馈由从突触后神经元220到动态突触210的虚线230所表示。
上述学习算法通过根据突触机构和突触后神经元的活动级的相关性而改变突触动态特性，增强了动态突触对持久出现的模式的响应。对于一给定的有噪声的输入信号，只有在学习过程中一贯出现的子模式可以继续存在，并由突触突触检测到。
这提供了神经网络中的信息处理的高度动态图象。在信息处理链中的任何状态，一个神经元的动态突触从一个输入冲动列提取出多个在统计上显著的时间特征，并将这些时间特征分配给一组突触后神经元，在这里将时间特征进行合并，以产生一组冲动列，供进一步的处理。从模式识别的观点看，每个动态突触学习生成一个用于表示输入信号的一特定分量的“特征集”。由于对于特征特性没有作出假设，所以每个特征集是以类别专用的形式在线生成的，即，每类输入信号由它自己的最优特征集来描述。
这个动态学习算法可广泛地和普遍地应用于时间-空间信号的模式识别。修改突触动态特性的标准可以根据一个特定信号处理任务的目标而变化。例如，在语音识别中，可能希望提高在介于学习过程中由不同的说话者说出的相同字的变化波形的神经网络的输出模式之间的相关性。这减少了语音信号的可变性。于是，在出现相同字时，激发突触过程的幅度增大，抑制突触过程的幅度减小。相反，在出现不同字时，激发突触过程的幅度减小，抑制突触过程的幅度增大。
语音波形作为时间模式的一个例子已经用于检查一个具有动态突触的神经网络可以提取出不变量的好处。语音波形的两个公知的特性是噪声和可变性。由两个不同的说话者说出的字“hot”的样本波形分别如图5A和5B所示。图5C显示了在图5A和5B的波形之间的交叉相关的波形。该相关表明在两个说话者说出的字“hot”的波形中的高度变化。任务包括提取出在波形中包含的不变特征，该不变特征引起对字“hot”和标准“HVD”测试(H-元音-D，例如，had，heard，hid)的几个其他字的恒定感觉。测试字是由两个说话者在一个没有专门控制环境噪声(即，没有超过降低收音机音量之外的行为)的典型的研究室中说出的care、hair、key、heat、kit、hit、kite、height、cot、hot、cut、hut。说话者的语音首先被记录并数字化，然后送进一个计算机，该计算机被设计为模拟一个具有动态突触的神经网络。
测试的目的是由具有动态突触的神经网络模型识别由多个说话者说出的字。为了测试动态突触的编码能力，在模式中采用了两个约束条件。第一，假设神经网络是小而简单的。第二，不允许语音波形的预处理。图6A是显示具有用于模拟的两层神经元的神经网络模型600的示意图。第一层神经元610具有5个输入神经元610a、610b、610c、610d和610e，用于从两个不同的说话者接收未处理的有噪声的语音波形602a和602b。第二层620神经元620a、620b、620c、620d、620e和622形成一个输出层，用于根据输入信号产生输出信号。第一层610中的每个输入神经元由6个动态突触连接到第二层620中的所有神经元上，所以总共有30个动态突触630。第二层620中的神经元622是一个抑制中间神经元，被连接为产生一个到每个动态突触的抑制信号，如反馈线624所示。这个抑制信号用作为等式(6)中的项“Ainh”。每个动态突触630还被连接为接收来自第二层620中的各个输出神经元的输出的反馈(未显示)。
如上所述，模拟动态突触和神经元，并将等式(2)的动态学习算法运用到每个动态突触上。语音波形以8KHz进行采样。将数字化的振幅送到所有输入神经元，并作为激发突触后电位处理。
训练网络600，以提高对于相同字的输出模式的交叉相关性，同时减小对于不同字的输出模式的交叉相关性。在学习期间，将语音波形的展示分成几个块，其中，将由不同说话者说出的相同字的波形展示给网络600，一共是四次。根据下面的Hebbian和反-Hebbian规则来训练网络600。在一个展示块内，运用Hebbian规则如果第二层620中的一个突触后神经元在一个动作电位到达之后点火，则激发突触机构的贡献增大，而抑制机构的贡献减小。如果该突触后神经元未点火，则激发机构减小，而抑制机构增大。变化的幅度是预先定义的学习率与一特定突触机构的当前活动级的乘积。以这种方式，将增强对波形中公共的时间特征的响应，而阻碍对特殊特征的响应。当该展示首先切换到下一块新字的波形时，通过改变等式(12)中的学习率αm和βm的符号，运用反-Hebbian规则。这提高了在对当前字的响应与对前一个不同字的响应之间的差别。
训练神经网络600的结果如图6B、6C、6D、6E和6F所示，这些图分别对应于来自神经元620a、620b、620c、620d和620e的对于字“hot”的输出信号的交叉相关函数。例如，图6B显示了神经元620a响应于由两个不同的说话者说出的“hot”的两个波形的两个输出模式的交叉相关。在图5C中几乎未显示出任何相关性，与图5C中的字“hot”的原始波形的相关性相比，每个输出神经元620a-620e为表示由不同说话者说出的相同字的不同的输入波形产生高度相关的时间模式。也就是说，给定两个根本不同、但包括同一个字的表示形式的波形，网络600产生大致相同的时间模式。
图7A-7L显示了采用神经网络600从其他测试字提取出不变特征来。在所有测试情况都获得了对输出模式的交叉相关的显著提高。
上述采用等式(12)的动态学习算法的神经网络训练还可以使一个被训练的网络能区分出不同字的波形。例如，图6A的神经网络在训练之后仅仅产生出不同字的相关输出信号。
基于动态突触的神经网络还可以以所希望的特定方式进行训练。例如，可以通过训练网络中的不同神经元以便只对不同特征进行响应来实施一个“监督式”学习。参看图6A的简单神经网络600，可以将来自神经元602a(“N1”)、602b(“N2”)、602c(“N3”)和602d(“N4”)的输出信号分别分配给不同的“目标”字，例如，“hit”、“height”、“hot”、“hut”。在学习期间，将Hebbian规则运用到那些其目标字出现在输入信号中的动态突触630上，而将反-Hebbian规则运用到其目标字未出现在输入信号中的所有其他动态突触630上。
图8A和8B显示了在训练每个神经元以便最优地响应于由不同说话者说出的一特定字之前和之后从神经元602a(“N1”)、602b(“N2”)、602c(“N3”)和602d(“N4”)输出的输出信号。在训练之前，神经元对同一字作出相同的响应。例如，如图8A所示，响应于字“hit”，每个神经元总共产生20个冲动，而响应于字“height”，则产生37个冲动，等等。在训练了神经元602a、602b、602c和602d以使其分别最优地响应于字“hit”、“height”、“hat”和“hut”之后，每个训练过的神经元学会对于其目标字比其他字发出更多的冲动。这如图8B中的对角线元素所示。例如，将第二个神经元602b训练为响应于字“height”，在出现字“height”时产生34个冲动，而对于其他字则产生不到30个冲动。
上述语音识别模拟是在更普遍的时间信号处理中的时间模式识别的例子，其中，输入可以是连续的，例如语音波形，或者是离散的，例如时间序列数据。图9A显示了采用基于动态突触的神经网络的时间信号处理的一种实施方式。所有输入神经元接收相同的时间信号。作为响应，每个输入神经元产生一个与输入信号具有类似的时间特性的动作电位序列(即，一个冲动列)。对于一给定的突触前冲动列，由于在神经元的动态突触上的突触动态特性的变化，这些动态突触产生一个时间-空间模式阵列。根据内部产生的时间-空间信号，实现了时间模式识别。
一个基于动态突触的神经网络还可以被构造为处理空间信号。图9B显示了采用基于动态突触的神经网络进行空间信号处理的一种实施方式。在不同位置的不同输入神经元一般接收不同幅度的输入信号。每个输入神经元产生一个动作电位序列，其频率正比于各个所接收的输入信号的幅度。与一个输入神经元相连的动态突触响应于一突触前冲动列，产生一个由该突触中所包含的特定动态过程确定的独特的时间信号。因此，输入神经元的动态突触的组合为后续的模式识别过程提供了一个时间-空间信号。
还期望可以将图9A和9B中的技术和构造合并起来，以便执行对同时具有空间和时间变化特征的一个或多个输入信号的模式识别。
上述基于动态突触的神经网络模型可以由具有电子元件、光学元件和生物化学元件的设备实现。这些元件可以产生与生物神经系统中的突触和神经元过程不同的动态过程。例如，动态突触或神经元可以用RC电路实现。这由定义了RC电路的典型响应的等式(3)-(11)所表示。这种RC电路的时间常数可以设置在与生物神经系统中的典型时间常数不同的值上。另外，电子传感器、光学传感器以及生物化学传感器可以单独或组合使用，来接收和处理时间和/或空间输入刺激。
虽然已经参考最佳实施例详细说明了本发明，但在不偏离本发明的精神和范围的情况下，可以进行各种修改和改进。例如，在例子中使用的等式(3)-(11)具有RC电路的响应。其他类型的响应也可以被使用，例如α函数形式的响应G(t)＝α2te-αt，其中α是一个常数，对于不同的突触过程可以不同。又例如，还可以使用除了图9A所示的例子之外的各种不同的连接结构来用于处理时间-空间信息。图10显示了基于动态突触的神经网络的另一个实施例。在又一个例子中，可以将等式(2)中的动态突触的输出信号的双态模型修改为根据要释放的电位的值产生不同幅度的冲动。这些和其他变化都由附带的权利要求书所包含。
权利要求
1.一种用于信息处理的系统，包括多个信号处理器元件，被连接为相互进行通信，并且被构造为响应于至少一个输入信号而产生至少一个输出信号；以及多个处理连接，被安排为互连所述多个信号处理元件，以形成一个网络，其中，每个所述处理连接根据至少一个内部连接过程从所述网络中的第一信号处理元件接收并处理一个连接前信号，以产生一个连接信号，所述连接信号随所述连接前信号的至少一个参数而不断变化。
2.如权利要求1所述的系统，其中，所述连接信号的振幅和时间频率中的至少一个随所述连接前信号的所述至少一个参数而变化。
3.如权利要求1所述的系统，其中，所述连接前信号的所述至少一个参数至少包括所述连接前信号的幅度或频率。
4.如权利要求1所述的系统，其中，被连接为从所述网络中的一个公共信号处理元件接收信号的所述多个处理连接中的至少两个产生不同的连接信号。
5.如权利要求1所述的系统，其中，所述多个处理连接中的至少一个具有与所述至少一个内部连接过程相比对所述连接信号作出不同贡献的另一个内部连接过程。
6.如权利要求1所述的系统，其中，所述多个处理连接中的每一个被连接为从所述第二信号处理元件接收一个输出信号，并被构造为根据所述输出信号调节所述至少一个内部连接过程。
7.如权利要求6所述的系统，其中，所述多个信号处理元件和所述多个处理连接的所述网络可操作地响应于来自所述至少一个输入信号的一特定特征。
8.如权利要求6所述的系统，其中，所述多个信号处理元件和所述多个处理连接的所述网络被以这样一种方式构造，使得第一信号处理元件可操作地产生一个表明所述至少一个输入信号中的第一特征的第一输出信号，第二信号处理元件可操作地产生一个表明所述至少一个输入信号中的第二特征的第二输出信号。
9.如权利要求1所述的系统，其中，所述多个信号处理元件和所述多个处理连接的所述网络被构造为表明在所述至少一个输入信号中包含的、在所述至少一个输出信号中的空间特征。
10.如权利要求1所述的系统，其中，所述多个信号处理元件和所述多个处理连接的所述网络被构造为表明在所述至少一个输入信号中包含的、在所述至少一个输出信号中的时间特征。
11.一种用于信号处理的系统，包括连接来相互进行通信的一个信号处理器和一个处理连接，以处理由所述处理连接接收的输入信号，其中，所述处理连接具有至少一个内部连接过程，所述内部连接过程响应于所述输入信号产生一个根据所述输入信号中的时间变化而连续变化的连接信号，所述信号处理器可操作地响应于所述连接信号产生一个输出信号。
12.如权利要求11所述的系统，其中，所述处理连接可操作地根据所述输入信号中的幅度变化调节所述连接信号。
13.如权利要求11所述的系统，其中，所述处理连接可操作地根据所述输入信号中的时间变化调节所述连接信号。
14.如权利要求11所述的系统，其中，所述处理连接被构造为具有响应所述输入信号产生另一个连接信号的另一个内部连接过程，所述另一个连接信号也具有对所述输入信号的所述特性的依赖性，所述处理连接进行操作用于合并所述连接信号和所述另一个连接信号，以产生一个总的连接信号。
15.如权利要求11所述的系统，其中，所述处理连接被构造为只有当所述连接信号的幅度大于一预定连接阈值时才释放所述连接信号。
16.如权利要求11所述的系统，其中，所述处理连接可操作地使所述连接信号对于所述信号处理器或者为激发的或者为抑制的。
17.如权利要求11所述的系统，其中，所述信号处理器被构造为只有当所述连接信号的幅度大于一预定处理器阈值时才释放所述输出信号。
18.如权利要求11所述的系统，还包括一个被安排为将所述处理连接连到所述信号处理器的反馈环，以使得所述输出信号的至少一部分被反馈回所述处理连接，其中，所述处理连接可操作地根据所述输出信号调节所述连接信号。
19.如权利要求18所述的系统，其中，所述处理连接可操作地从所述输入信号提取出一个特定特征。
20.如权利要求19所述的系统，其中，所述处理连接被构造为，当所述特定特征出现在所述输入信号中时，增大所述连接信号的一个参数，而当所述特定特征未出现在所述输入信号中时，减小所述连接信号的所述参数。
21.如权利要求11所述的系统，其中，所述信号处理器和所述处理连接中的至少一个包括从电子设备、光学设备、生物元件或化学材料中选择的至少一个元件。
全文摘要
这里公开了一种模拟并扩展生物神经网络的具有信号处理器的信息处理系统,其中信号处理器由处理连接互连。如图所示,每个处理连接从一个信号处理器接收信号,并向另一个信号处理器产生一个新信号。每个处理连接的响应由内部连接过程确定,随所接收的信号中的时间变化而连续地改变。从一个信号处理器接收一个公共信号的不同处理连接的响应不同,向下游的信号处理器产生不同的信号。这将一个冲动信号列的时间模式变换成连接事件的一个时间－空间模式,并向信号处理器提供一个指数计算能力。每个信号处理连接可以从一个下游信号处理器接收一个反馈信号,以便可以调节内部连接过程,学习在所接收的信号中包含的特定特性。
文档编号G06N3/04GK1265751SQ98807949
公开日2000年9月6日 申请日期1998年6月11日 优先权日1997年6月11日
发明者J·S·廖, T·W·伯格 申请人:南加州大学