人工神经及其使用方法

专利名称：人工神经及其使用方法
技术领域：
本发明与转让给本发明的相同受让人的下述发明有关“神经网络及其使用方法”，与本发明同时申请的，美国专利申请序号08/076601。
因此，上述的有关发明的主题被并入到本发明的公开中作为参考。
本发明涉及人工神经，具体涉及能采取下列形式(1)神经电路或(2)计算机程序的人工神经，神经电路能用作神经网络的基本组成部件，它能以VLSI(超大规模集成)芯片实现，而且人工神经利用一种不需要重复训练的训练算法，并且对于每个给定的输入矢量组产生一个全局最小值。
人工神经网络已在各种各样的计算机环境例如话音识别、过程控制、光学字符识别、信号处理和图像处理中得到应用。用于上述的许多计算机环境的处理机器(processing engine)可通过神经网络来实现，该神经网络包括多个称为“神经电路”的基本逻辑单元。
神经电路(或处理单元)是神经网络的基本组成部件。一个神经电路有多个输入端和一个输出端。常规的神经电路的结构经常包括一个乘法器电路、一个求和电路、一个用于执行非线性函数(例如二进制阈值或S形函数)的电路，和起着突触(synapses)或加权输入连接功能的电路。参见

图1，其中输入X1-Xn由各个突触W1-W2加权并由求和电路2累加在一起。求和电路2的输出被馈送到非线性电路4，以便产生神经电路输出5。
图2表示一种S形函数形式的非线性转移函数，该函数由图1所示的先有技术的神经电路所使用。在所示的例子中，S形曲线6用下述公式表示输出＝1/(1+e-NET) 公式1图3表示另一个先有技术的神经电路，称为感知器(perceptron)神经，该神经利用二进制阈值函数。在这个例子中，感知器神经使用二进制阈值14作为非线性函数。
综上所述，典型的常规神经电路要求有用于加权输入连接的电路、一个求和电路、一个乘法器电路和用于执行非线性函数的复杂电路。这使得能在半导体芯片上生产的常规神经电路的数目受到严格地限制。
为此，现在非常需要一种具有最小数量元件、可简单和廉价实施的神经电路。
由先有技术的神经电路构成的常规神经网络需要很长的训练周期，对于输入值的每一种可能的组合，甚至它们常常不能集中在正确的结果上。在本技术领域中这被称为仅仅获得“局部最小值”，而不是“全局解决”。
例如，1993年2月18日发行的“Electronic Design”第51页阐述了需要约3万亿(3×1012)训练操作利用先有技术神经电路来训练典型的神经网络。这种训练典型地需要几周或甚至几个月的计算时间，经常使用超型计算机。
据此，现在还非常需要一种能构成神经网络的基础且不需要长的训练周期并在一个训练周期内集中在全局解决上的人工神经。
在本发明的一个实施例中，提供一种人工神经，它仅需要一个乘法器作为其主要处理单元。这种人工神经可用硬件或者用软件来实现。
在本发明的另一个实施例中，提供一种神经电路，该神经电路仅需要一个乘法器电路作为其主要处理单元。与传统的神经电路不同，包括本发明概念的神经电路不需要利用任何非线性函数或求和电路。因此，更多的神经电路能被集成在VLSI芯片中，这样就大大地增加了使用一个或多个这种芯片的神经网络的计算能力。
与常规的神经网络相反，根据本发明，由多个人工神经构成的一个神经网络，不论是以硬件或软件实现，如像在上面的相关发明中公开的那样，在一个训练周期(也称为一个信号出现时间或迭代[iteration]内该神经网络集中在全局解决上，通常在个人计算机上可在不多于几分钟内计算该训练周期。
鉴此，可以理解，本发明的包括多个人工神经的神经网络以非常精确的结果、明显改善的在计算时间上的减少和在造价上的明显降低及其实施的复杂性来执行，而不管它是在半导体芯片上还是以计算机程序里。
据此，本发明的一个优点是提供一种神经电路，该神经电路包括最小数量的电路单元，以便一个神经网络可被构成，包括非常大量的这种神经电路，由于其高级的功能性和生产的低成本产生商业上竞争的产品。
本发明的另一个优点是提供一种人工神经，该人工神经仅包括一个乘法器作为其主处理单元。
本发明的又一个优点是提供一种人工神经，该人工神经可被利用作为神经网络的基本组成部件(在上述确认的相关发明中公开)，它不需要重复训练，并且对于每个输入矢量的给定集产生全局的最小数量。
本发明的再一个优点是提供使用本发明的人工神经的各种方法。
根据本发明的一个方面，这里提供一种人工神经电路，该人工神经电路以响应于多个选通输入并产生一个输出的乘法器电路表征，该乘法器电路的特征在于用于将多个选通输入一起相乘产生一个产物的装置;和用于以预定加权乘该产物产生输出的装置。
根据本发明的另一个方面，这里提供一种具有多个输入Xi的神经，其中i是正整数，产生一种输出的方法，其特征在于，(a)加一个选通函数(gi)到每个输入Xi以产生相应于多个选通输入的产物;(b)选通输入一起相乘产生一个积;和(c)用一个预定加权W乘该积。
在所附的权利要求书中具体地指明了本发明。然而，结合以下附图阅读下面详细描述将会对本发明的上述的和其它特点更加明了而且对本发明将会有最好的理解。
图1示出先有技术的神经电路。
图2示出图1所示的先有技术神经电路所使用的以S形函数形式的非线性转移函数。
图3示出另一个先有技术神经电路(称为“感知器神经”)，该神经利用一个二进制阈值函数。
图4示出本发明的优选实施例的人工神经的概括性方框图。
图5示出本发明优选实施例的一个神经电路的逻辑电路的实现。
图6示出在本发明优选实施例中神经电路使用方法的流程图。
图7示出本发明优选实施例中人工神经的另一种使用方法的流程图。
图8示出选通函数的流程图，该选通函数可构成在图6和7所示人工神经使用方法的一部分。
本领域的普通技术人员明白，本发明的人工神经可以用硬件、软件或它们的组合来实现，而且使用的术语“神经电路”和“神经”在本说明书中可互换，正如术语“乘法器电路”或“乘法器”以及术语“求和电路”或“加法器”一样，取决于实现的类型。
再者，本领域的普通技术的人员明白，乘法运算可用相反的除法运算来实现，因此这里规定的术语“乘法器电路”包括了除法器电路，和这里规定的术语“乘法器”包括了除法器。
现参见图4，该图示出本发明优选实施例的人工神经的概括性方框图。用各个选通函数g1，g2…，gn选通输入X1，X2，…，Xn，以便产生具有指数幂的选通输入。例如，如果gi＝0，那么相应于输入Xi的选通输入是Xi0或1;如果gi＝1，那么相应于输入Xi的选通输入是Xi;如果gi＝2，那么相应于输入Xi1的选通输入是Xi2，等等。
选通输入Xg11，Xg22，…，Xgnx在乘法器22内相乘，它们的产物用加权Wi相乘，Wi概念性地表示为经导线24输入的加权W。产生的产物表示经导线25从乘法器22的输出(ouT)。
正如在上面确认的相关发明中详细说明的那样，用多项展开式或正交函数的单独项确定gi和Wi的合适的值，该函数被用作神经网络工作的基础，该神经网络包括多个在这里描述的人工神经。
本领域的普通技术人员明白，在图4中所示的人工神经可能以许多不同方式来实现，其中之一示于图5。
现参见图5，该图示出本发明的优选实施例的神经电路的逻辑电路的实现。图5是概念性地示出图4中本发明的神经电路的数字实现。在该实施例中，多个输入Xi顺序地加到神经电路。
该神经电路包括5个基本单元计数器/锁存器20、乘法器22、复用器(MUX)26、锁存器28、以及输出锁存器38。输入锁存器18也表示为这个电路实现的一部分;然而，在包括多个神经电路的一个神经网络中，如所公开的那样，例如，在上述的相关发明中，单个输入锁存器18可由多个神经电路共用。乘法器22仅表示神经电路的主要处理单元。
正如前面所描述的，应当明白，内含除法器电路的其它装置可以归结在乘法器电路之中，以实现乘/除功能。
输入锁存器18例如经8比特数据总线16接收输入Xi，虽然本领域的普通技术人员明白，该数据总线的宽度可以为16比特、浮点，或任何其它希望的值。输入锁存器18由输入时钟控制。
当计数器/锁存器20中计数达到0时，输入时钟被递增。本领域的普通技术人员明白，一个神经网络包括许多神经电路，每个神经电路可包括一个计数器/锁存器电路，而输入时钟将不递增直到所有这样的计数器/锁存器计数达到0为止。
输入锁存器18的输出经8比特数据总线19馈送到计数器/锁存器20。
计数器/锁存器20和锁存器28都响应内时钟信号(CLK)。CLK以常数速率增加。计数器/锁存器20和锁存器28分别经导线30和32接收CLK。
为了产生希望的选通函数，计数器/锁存器20用于在一个希望数量的CLK周期内保持该输入数据。计数器/锁存器20响应于一个选通输入导线34，经该输入导线提供相应于输入值Xi的指数值gi。
正如上面关于图4所说明的，输入X1，X2…，Xn由各自的选通函数g1，g2，…，gn选通以产生具有指数幂的选通输入。例如，如果gi＝2，那么相应于输入Xi的选通输入是X2i。
计数器/锁存器20的输出经8比特数据总线21提供给乘法器22。乘法器22的输出经8比特数据总线段23和36以及往复用器26耦合到锁存器28的输入。复用器26复用经总线段36接收的乘法器22的输出值和经导线24接收的加权W到锁存器28的输入。
乘法器22的输出还经8比特数据总线段35耦合到输出锁存器38的输入。加权W还经8比特总线段37耦合到输出锁存器38的输入。经一定的计算将明白，W可旁路乘法器22直接地发送到输出锁存器38。
在计算周期的开始，MUX26转换到导线24以接收加权W。在乘法器电路22产生第一个产物之后，MUX26转换耦合线36到锁存器28。
锁存器28临时地保持乘法器22的输出，用于与计数器/锁存器20的输出相乘。
计数器/锁存器20起着递减计数电路的功能，即用gi值开始加载和递减计数到gi＝0。正如下面将更详细说明的，对于每个内部时钟周期、经导线34加到计数器/锁存器20并在其内存储的gi值被减1，而且只要gi不等于0，该输入值Xi继续乘以前面相乘周期的产物，它经总线段23和36通过MUX26加到锁存器28。当gi＝0时，乘法器22停止相乘，并且在输出锁存器38上出现的乘法器22的输出代表该神经电路的输出(ouT)。
图6表示根据本发明优选实施例使用神经电路的方法的流程图。在图6中说明的那些步骤的方法涉及图5所示的神经电路。
如在方框40中所表示的，由神经电路、例如，由锁存器18(图5)接收第一个输入。
接着，如在方框42所表示的，每一个选通函数被加至第一个输入以产生一个第一选通输入。在下面还要讨论的图8中更详细地表示了选通函数。
接着，如在方框43所表示的，第一个选通输入与预定的加权W相乘以产生一个积。
接着，关于判决方框44，进行检查确定是否已经接收到所有的输入。如果都收到了，过程以本批的输入结束，并经线45退出。如果没有接收到所有输入，过程前进到方框46。
如在方框46所表示的，由神经电路接收另一个输入。
接着，关于方框47，另一个选通函数被加到该输入以产生另一个选通输入。
然后，在方框48，在方框47中产生的选控输入用在方框43产生的(或前面在方框48中产生的，如果这不是第一次通过方框48)产物相乘，以便产生积。
然后过程经线49返回到判决方框44。
在过程已处理了所有输入之后，它经线45退出判决方框44进入方框50，在方框50最后的产物代表神经电路的输出。
图7表示使用根据本发明的人工神经的可替代的方法的流程图。图7中说明的那些步骤的方法涉及图4所示的人工神经。
正如方框52所表示的，由人工神经接收多个输入并分配到乘法器电路。
正如方框54所表示的，由于多个输入Xi被分配到该乘法器，一个选通函数被加到它们的每一个，产生相应的多个选通输入。该选通函数更详细地表示在下面讨论的图8中。
正如方框56所表示的，这些选通输入一起相乘以产生积。然后，正如方框58所示的，该积用一个预定加权W相乘，产生一个代表人工神经输出的积。
图8表示选通函数的流程图，该选通函数可构成使用图6和7说明的人工神经的方法的一部分。
参见图4和8，加到该神经电路的输入Xi的选通函数可表示如下(a)如果选通函数g1是0，传送1到乘法器电路22(参见图8的方框60);(b)如果选通函数g1是1，传送输入Xi到乘法器电路22(参见方框62);和如果该选通函数大于1，传送自乘到gi次幂的该输入Xi到乘法器电路22(参见方框64)。
因此，图4所示实施例的神经电路产生形式为Xg11，Xg22…Xgnn的输出。
现在参见图5描述本发明优选实施例的工作。在下面给出的例子中，目的是对任何输入变量X1和X2产生一个6×13X22的神经电路输出。
这一点，参见下面表Ⅰ进一步说明。
开始用值g1＝3值对计数器/锁存器20加载。因为gi计数不等于0，数值X1将传送到乘法器22(根据上面有关图8描述的选通函数)与在线24上通过MUX26的W相乘。
然后计数器/锁存器20开始递减计数，而且，只要gi计数不等于0，X1将继续用乘法器22的产物相乘。当gi计数达到0时，那么乘法器22将停止相乘(或将简单的连续用1乘该产物，这取决于包括神经电路的神经网络的实现)并等待下一个输入X2。这时神经电路的中间输出是6X31。
当输入时钟＝2，且X2被锁存到锁存器18和g2＝2被加载到计数器/锁存器20时，如上所描述的，该工作基本上继续，直到计数器/锁存器20递减计数到0。这时神经电路的最后输出是6X31X22。
下面用表Ⅰ描述其详细工作。
表Ⅰ输入时钟顺序 时钟顺序 计数器/锁存器 输出
1 1 3 6×11 2 2 6×121 3 1 6×131 4 0 6×132 5 2 6×13X22 6 1 6×13X22 7 0 6×13X222 8 - 6×13X22在这个例子中，在计算周期的开始神经电路的加权是相乘的，应当明白，在任何适当的时间它可以相乘。
因此，在这里已经描述了一种概念，以及包括人工神经的优选实施例的一些实施例，和产生人工神经输出的方法，人工神经仅需要一个乘法器作为它们的主要处理单元。
为此，更多的神经能被集成在VLSI芯片中或在计算机程序中，因而大大地增加了利用多个这样的神经的神经网络的计算能力。
这就使得神经网络的产物在处理能力和速度。生产的成本，应用的多用性和市场接受方面比先有技术的神经网络产物有重要的商业优点。
在上述相关发明中，公开了神经网络的各种实施例，那些神经网络使用在这里公开的人工神经作为基本的组成部件。这是因为这样的人工神经的唯一函数，即能够将多个选通输入相乘并用加权值乘产生的产物。由于这些特性，在上面确认的相关发明中公开的神经网络的各种实施例可使用在这里公开的人工神经，以便在实现多项展开式或正交函数方面有大的优点，它们构成这种神经网络工作的基础。
因此，在这里已经描述了一个人工神经，它可构成神经网络的基础，这种网络不需要长的训练周期，而且在单个训练周期内集中在全局解决。
而且，本领域的技术人员明白，可以以各种方式对公开的发明进行修改，而且可以假设许多实施例，而不同于上面描述和具体提出的优选实施例形式。
例如，本发明的神经电路7可用模拟技术实现或用模拟和数字技术的组合实现。
而且，由适应的电路是可实现的，其中多个输入Xi可能是并行而不是顺序地处理的。
此外，输出锁存器可用一个复用器替换。
鉴此，所附权利要求的意图是，包括本发明的所有修改，所有这些修改都将不脱离本发明的真正精神和范围。
权利要求
1.一种人工神经电路，其特征在于一个乘法器电路(22)，响应于多处于选通输入并产生一个输出，所述乘法器电路其特征在于用于相乘所述选通输入产生一个积的装置；和用于用一个预定加权乘以所述积产生所述输出的装置。
2.根据权利要求1的神经电路，其特征在于用于通过顺序地执行选通函数(gi)在到所述神经电路的多个输入的每一个输入产生所述选通输入的装置，从而产生所述选通输入如下(a)如果所述选通函数是0，传送1到所述乘法器电路;(b)如果所述选通函数是1，传送所述输入到所述乘法器电路;和(c)如果所述选通函数大于1，传送自乘到gi幂的所述输入到所述乘法器电路。
3.根据权利要求1的神经电路，其特征在于所述神经电路是制造在集成电路上的。
4.一种神经电路，其特征在于第一锁存器装置(图5的18)，响应多个输入Xi用于顺序地存储每个所述输入Xi和顺序地提供每一个所述存储的输入Xi作为其输出，其中i是正整数;计数器/锁存器装置(20)，响应于所述第一锁存器装置的输出并提供所述存储输入作为其输出;第二锁存器装置(28)，用于提供一个输出;乘法器电路(22)，具有响应所述计数器/锁存器装置的输出的第一输入和响应所述第二锁存器装置输出的第二输入，并产生一个产物;一个复用器(26)，用于将所述产物或加权值W耦合到所述第二锁存器装置的一个输入;其中所述计数器/锁存器装置还响应多个值gi，这里是一个值gi相应于每个值Xi，所述计数器/锁存器装置用于在所述乘法器电路的gi相乘周期存储给定的输入Xi，在每个所述相乘周期期间，所述输入Xi以所述产物相乘，在所述相乘周期的一个周期期间，所述产物用所述加权值相乘;从而所述神经电路产生一个形式为WXg11Xg22…Xgnn的输出。
5.根据权利要求4所述的神经电路，其特征在于一个输出锁存器(38)，它具有响应于所述产物的第一输入和响应于所述加权值W的第二输入，并产生代表所述神经电路输出的一个输出，从而所述加权值W能旁路所述乘法器电路。
6.根据权利要求4所述的神经电路，其特征在于，每个所述输入Xi包括多个比特。
7.在具有多个输入Xi的神经电路中(其中i是正整数)一种产生输出的方法，其特征在于包括如下步骤(a)接收所述多个输入的第一个输入;(b)将第一选通函数加到所述输入以产生一个第一选通输入;(c)用一个预定加权乘以所述第一选通输入，以及产生一个产物;(d)确定是否已经接收到所有的所述多个输入;(ⅰ)如果是，指定所述产物作为所述神经电路的输出;(ⅱ)假如不是，进到步骤(e);(c)接收所述多个输入的另一个输入;(f)将另一个选通函数加到所述输入以产生一个选通输入;(g)用所述产物乘以所述选通输入以产生另一个产物;和(h)返回到步骤(d)，直到所有的所述多个输入已经接收到为止。
8.根据权利要求7所述的神经电路，其特征在于，在步骤(b)和(f)中产生所述相应的选通输入如下(ⅰ)如果所述选通函数(gi)是0，那么所述选通输入Xi的值是1;(ⅱ)如果所述选通函数是1，那么所述选通输入Xi的值是Xi;和(ⅲ)如果所述选通函数是1，那么所述选通输入Xi的值是自乘以到gi次幂的Xi。
9.在一个具有多个输入Xi的神经中(其中i是一个正整数)一种产生输出的方法，其特征在于包括如下步骤(a)将一个选通函数(gi)加到每个所述输入Xi以产生相应的多个选通输入;(b)相乘所述选通输入，产生一个产物;和(c)用预定的加权W乘以所述产物。
10.根据权利要求9所述的神经，其特征在于，在步骤(a)中，产生所述相应的多个选通输入的步骤如下(ⅰ)如果所述选通函数(gi)是0，那么所述选通输入Xi的值是1;(ⅱ)如果所述选通函数是1，那么所述选通输入Xi的值是Xi，和(ⅲ)如果所述选通函数大于1，那么所述选通输入Xi的值是自乘到gi次幂的Xi。
全文摘要
一种人工神经，它可用硬件或软件来实现，它仅具有一个以乘法器(22)形式的主要处理单元。这些输入首先通过选通函数馈送以产生选通输入。然后这些选通输入一起相乘以产生一个产物，该产物用加权相乘，以便产生神经的输出。
文档编号G06F7/552GK1107598SQ9410656
公开日1995年8月30日 申请日期1994年6月10日 优先权日1993年6月14日
发明者谢伊－平·托马斯·王 申请人:莫托罗拉公司