用于导致稀疏连通性的局部竞争性学习规则的方法和装置制造方法
【专利摘要】本公开的某些方面支持在计算网络中应用的局部竞争性学习规则，该局部竞争性学习规则导致该网络的各处理单元之间稀疏的连通性。本公开提供了对Oja学习规则的修改，从而修改了Oja规则中对经平方权重的总和的约束。与显式且需要处理单元的所有输入权重的知识才能个体地更新其中每一个输入权重的常用的乘性和减性归一化相反，此约束可以是内在的和局部的。所给出的规则提供了向比通过原始Oja规则学习到的权重向量更稀疏（即，具有更多零元素）的权重向量的收敛。此类稀疏连通性可导致处理单元对特定特征的更高选择性，并且可以需要较少的存储器来存储网络配置以及较少的能量来操作该网络配置。
【专利说明】用于导致稀疏连通性的局部竞争性学习规则的方法和装置
[0001]背景
[0002]领域
[0003]本公开的某些方面一般涉及神经系统工程，尤其涉及用于使用创建稀疏连通性的局部训练规则来训练计算网络的方法和装置。
[0004]背景
[0005]人类和动物的发展中的大脑经历童年早期的突触生长陡增，继以大量的突触修剪，这会在迄止成年期移除大约一半的突触。突触重新布线(结构可塑性)在成熟的大脑中继续进行，但进行速度较慢。突触修剪被发现取决于活动并且移除较弱的突触。因此，这可以通过突触可塑性来解释，其中突触为有限资源(诸如神经营养因子)而竞争。突触修剪帮助提高大脑效率，其一般可被定义为以较少突触实现的相同功能性。由于通过突触来传送信号需要能量，因而较高的效率也意味着较低的能量。
[0006]现有的无监督学习规则要么通过乘性或减性归一化显式地要么隐式地来建模突触对有限资源的竞争。然而，显式归一化可能是非局部的，即，它们需要关于神经元的所有输入权重的知识才能个体地更新其中每一个输入权重。然而，这可能不是生物学似真的。另一方面，Oja规则仅使用对一突触可用的局部信息来计算该突触的权重更新,但是Oja规则渐近地约束经平方权重的总和，而这不具有生物合理性。
[0007]概述
[0008]本公开的某些方面提供一种训练计算网络的方法。该方法一般包括至少部分地基于至少一个现有的权重来计算该计算网络中的一处理单元的输出，以及使用局部训练规则来改变该处理单元的该至少一个权重，其中该局部训练规则创建计算网络的各处理单元之间的稀疏连通性。
[0009]本公开的某些方面提供一种计算网络的装置。该装置一般包括配置成至少部分地基于至少一个现有的权重来计算该计算网络中的该装置的输出的第一电路，以及配置成使用局部训练规则来改变该装置的该至少一个权重的第二电路，其中该局部训练规则创建该计算网络的各装置之间的稀疏连通性。
[0010]本公开的某些方面提供一种计算网络的设备。该设备一般包括用于至少部分地基于至少一个现有的权重来计算该计算网络中的该设备的输出的装置，以及用于使用局部训练规则来改变该处理单元的该至少一个权重的装置，其中该局部训练规则创建该计算网络的各设备之间的稀疏连通性。
[0011]本公开的某些方面提供一种用于训练计算网络的计算机程序产品。该计算机程序产品一般包括计算机可读介质，该计算机可读介质包括用于至少部分地基于至少一个现有的权重来计算该计算网络中的一处理单元的输出、以及使用局部训练规则来改变该处理单元的该至少一个权重的代码，其中该局部训练规则创建该计算网络的各处理单元之间的稀疏连通性。
[0012]附图简要说明
[0013]为了能详细地理解本公开的上述特征所用的方式，可以参照各方面来对以上简要概述的内容进行更具体的描述，其中一些方面在附图中解说。然而应该注意，附图仅解说了本公开的某些典型方面，故不应被认为限定其范围，因为本描述可以允许有其他等同有效的方面。
[0014]图1解说根据本公开的某些方面的神经系统的示例处理单元。
[0015]图2A-2D解说根据本公开的某些方面的对渐近解的示例几何分析。
[0016]图3解说根据本公开的某些方面的用于使用局部训练规则来更新神经系统的突触权重的操作。
[0017]图3A解说能够执行图3中解说的操作的示例组件。
[0018]图4A-4D解说根据本公开的某些方面的通过四个不同的规则来训练的简单细胞的传入感受域。
[0019]图5A4D解说根据本公开的某些方面的视网膜神经节细胞至简单细胞(RGC至SI)权重的分布。
[0020]图6A-6D解说根据本公开的某些方面的具有从简单细胞池至相同的复杂细胞的连接的简单细胞取向地图。
[0021]图7A-7D解说根据本公开的某些方面的通过四个不同的规则来训练的简单细胞至复杂细胞(SI至Cl)权重的分布。
[0022]图8解说根据本公开的某些方面的使用通用处理器对局部训练规则的示例软件实现。
[0023]图9解说根据本公开的某些方面的局部训练规则的示例实现，其中权重存储器与各个体的分布式处理单元对接。
[0024]图10解说根据本公开的某些方面的基于分布式权重存储器和分布式处理单元对局部训练规则的示例实现。
[0025]详细描述
[0026]以下参照附图更全面地描述本公开的各个方面。然而，本公开可用许多不同的形式实施并且不应解释为被限定于本公开通篇所给出的任何特定结构或功能。确切而言，提供这些方面是为了使得本公开将是透彻和完整的，并且其将向本领域技术人员完全传达本公开的范围。基于本文中的教导，本领域技术人员应领会，本公开的范围旨在覆盖本文中所披露的本公开的任何方面，不论其是与本公开的任何其他方面相独立地还是组合地实现的。例如，可以使用本文所阐述的任何数目的方面来实现装置或实践方法。另外，本公开的范围旨在覆盖使用作为本文中所阐述的本公开的各种方面的补充或者与之不同的其他结构、功能性、或者结构及功能性来实践的此类装置或方法。应当理解，本文中所披露的本公开的任何方面可以由权利要求的一个或更多个元素来实施。
[0027]措辞“示例性”在本文中用于表示“用作示例、实例或解说”。本文中描述为“示例性”的任何方面不必被解释为优于或胜过其他方面。
[0028]尽管本文中描述了特定方面，但这些方面的众多变体和置换落在本公开的范围之内。虽然提到了优选方面的一些益处和优点，但本公开的范围并非旨在被限定于特定益处、用途或目标。相反，本公开的各方面旨在能宽泛地应用于不同的技术、系统配置、网络和协议，其中一些作为示例在附图以及以下对优选方面的详细描述中解说。详细描述和附图仅仅解说本公开而非限定本公开，本公开的范围由所附权利要求及其等效技术方案来定义。[0029]示例神经系统
[0030]图1解说根据本公开的某些方面的计算网络(例如，神经系统)的处理单元(例如，神经元)102的示例100。神经元102可以接收多个输入信号KM1-KMn(X1-Xn)，这些输入信号可以是该神经系统外部的信号、或是由同一神经系统的其他神经元所生成的信号、或这两者。输入信号可以是实数值或复数值的电流或电压。输入信号可以包括具有定点或浮点表示的数值。可以通过突触连接将这些输入信号传递到神经元102，这些突触连接根据可调整的突触权重1e1-1oe1^(W1-Wn)对这些信号进行比例缩放，其中N可以是神经元102的输入连接总数。
[0031]神经元102可以将这些按比例缩放的输入信号组合，并且使用经组合的按比例缩放的输入来生成输出信号108 (B卩，信号y)。输出信号108可以是实数值或复数值的电流或电压。输出信号可以包括具有定点或浮点表示的数值。随后可以将传送输出信号108作为对同一神经系统的其他神经元的输入信号，或作为对同一神经元102的输入信号，或作为该神经系统的输出。
[0032]处理单元(神经元)102可以通过电路来仿真，并且其输入和输出连接可以通过导线用突触电路来仿真。处理单元102、其输入和输出连接也可以通过软件代码来仿真。处理单元102还可以通过电路来仿真，而其输入和输出连接可以通过软件代码来仿真。在本公开的一方面，计算网络中的处理单元102可以包括模拟电路。在另一方面，处理单元102可以包括数字电路。在又一方面，处理单元102可以包括具有模拟和数字组件两者的混合信号电路。计算网络可以包括以上述形式中的任何形式的处理单元。使用此类处理单元的计算网络(神经系统)可以用在很大范围的应用中，诸如图像和模式识别、机器学习、电机控制及类似应用等等。
[0033]具有LI约束的局部竞争性学习规则
[0034]本公开的某些方面支 持用于更新与计算网络(神经系统)的一个或多个处理单元(神经元)相关联的权重(诸如图1中所解说的权重1e1-1oe1^)的局部竞争性学习规则。所应用的局部竞争性学习规则可导致各处理单元之间的稀疏连通性，即，一旦该学习过程结束，其中一些权重就可能等于0，或者低于某个阈值。
[0035]在一方面,一般的Hebb突触权重学习规则可被表达为:
[0036]Δ Wi= η XiY,(I)
[0037]其中Awi是第i个突触权重Wi的变化，Π是学习速率，Xi是第i个输入(突触前响应)，并且y是神经元输出(突触后响应)。由式(I)定义的规则可能导致无界的权重增长，由此没能考虑到大脑用于突触增强的资源有限以及结果所导致的在突触之间对于这些资
源的竞争。
[0038]对Hebb规则的若干修改可帮助克服其缺点。例如，可向式(I)添加被动权重衰减项以限制权重增长:
[0039]Δ Wi= η Xj-Y Wi, O < Y < 1.(2)
[0040]此规则可修剪掉具有低活动性的连接，并且若Y未被仔细选取则可能修剪掉全部连接。此外，所谓的“内星(instar)规则”(其中可用突触后活动性y来选通衰减项)可如下式给出的那样规避此问题:
[0041]Δ Wi= η (X1-Wi) y.(3)[0042]与式⑶定义的规则类似的规则可在自组织的映射中使用。应当注意，此规则可收敛至
【权利要求】
1.一种训练计算网络的方法，包括: 至少部分地基于至少一个现有的权重来计算所述计算网络中的处理单元的输出；以及 使用局部训练规则来改变所述处理单元的所述至少一个权重，其中所述局部训练规则创建所述计算网络的各处理单元之间的稀疏连通性。
2.如权利要求1所述的方法，其特征在于，使用所述局部训练规则来改变所述至少一个权重包括: 基于以下至少一者来更新所述至少一个权重:所述处理单元中的一个或多个输入，所述输出，或者所述改变之前的所述至少一个现有的权重。
3.如权利要求2所述的方法，其特征在于，所述稀疏连通性是在对所述至少一个权重的多次更新之后创建的。
4.如权利要求1所述的方法，其特征在于， 所述计算网络包括神经网络，并且 所述处理单元包括神经元电路。
5.如权利要求1所述的方法，其特征在于，所述局部训练规则对所述权重的绝对值的总和施加约束。
6.如权利要求5所述的方法，其特征在于，经约束的权重与至所述处理单元的输入连接相关联。
7.如权利要求1所述的方法，其特征在于，所述局部训练规则将与至所述处理单元的输入连接相关联的输入权重向量约`束在平衡点处。
8.如权利要求1所述的方法，其特征在于，所述局部训练规则约束非零权重的数目。
9.如权利要求8所述的方法，其特征在于，经约束的权重与至所述处理单元的输入连接相关联。
10.如权利要求1所述的方法，其特征在于，所述处理单元利用一个或多个非线性运笪
O
11.如权利要求1所述的方法，其特征在于，所述局部训练规则对与至所述处理单元的输入连接相关联的个体权重施加界限。
12.如权利要求11所述的方法，其特征在于，所述个体权重的最大值由上界来限界。
13.如权利要求11所述的方法，其特征在于，所述个体权重的最小值由下界来限界。
14.如权利要求11所述的方法，其特征在于，所述个体权重的最大值和最小值两者都是有界的。
15.如权利要求11所述的方法，其特征在于，所述界限针对所述个体权重而变动。
16.一种计算网络的装置，包括: 第一电路，其配置成至少部分地基于至少一个现有的权重来计算所述计算网络中的所述装置的输出；以及 第二电路，其配置成使用局部训练规则来改变所述装置的所述至少一个权重，其中所述局部训练规则创建所述计算网络的各装置之间的稀疏连通性。
17.如权利要求16所述的装置，其特征在于，所述第二电路还被配置成基于以下至少一者来更新所述至少一个权重:所述装置中的一个或多个输入，所述输出，或者所述改变之前的所述至少一个现有的权重。
18.如权利要求17所述的装置，其特征在于，所述稀疏连通性是在对所述至少一个权重的多次更新之后创建的。
19.如权利要求16所述的装置，其特征在于， 所述计算网络包括神经网络，并且 所述装置包括神经元电路。
20.如权利要求16所述的装置，其特征在于，所述局部训练规则对所述权重的绝对值的总和施加约束。
21.如权利要求20所述的装置，其特征在于，经约束的权重与至所述装置的输入连接相关联。
22.如权利要求16所述的装置，其特征在于，所述局部训练规则将与至所述装置的输入连接相关联的输入权重向量约束在平衡点处。
23.如权利要求16所述的装置，其特征在于，所述局部训练规则约束非零权重的数目。
24.如权利要求23所述的装置，其特征在于，经约束的权重与至所述装置的输入连接相关联。
25.如权利要求16所述的装置，其特征在于，所述装置利用一个或多个非线性运算。
26.如权利要求16所述的装置，其特征在于，所述局部训练规则对与至所述装置的输入连接相关联的个体权重施加界限。
27.如权利要求26所述的装置，其特征在于，所述个体权重的最大值由上界来限界。
28.如权利要求26所述的装置，其特征在于，所述个体权重的最小值由下界来限界。
29.如权利要求26所述的装置，其特征在于，所述个体权重的最大值和最小值两者都是有界的。
30.如权利要求26所述的装置，其特征在于，所述界限针对所述个体权重而变动。
31.一种计算网络的设备，包括: 用于至少部分地基于至少一个现有的权重来计算所述计算网络中的所述设备的输出的装置；以及 用于使用局部训练规则来改变所述处理单元的所述至少一个权重的装置，其中所述局部训练规则创建所述计算网络的各设备之间的稀疏连通性。
32.如权利要求31所述的设备，其特征在于，所述用于使用所述局部训练规则来改变所述至少一个权重的装置包括: 用于基于以下至少一者来更新所述至少一个权重的装置:所述设备中的一个或多个输入，所述输出，或者所述改变之前的所述至少一个现有的权重。
33.如权利要求32所述的设备，其特征在于，所述稀疏连通性是在对所述至少一个权重的多次更新之后创建的。
34.如权利要求31所述的设备，其特征在于， 所述计算网络包括神经网络，并且 所述设备包括神经元电路。
35.如权利要求31所述的设备，其特征在于，所述局部训练规则对所述权重的绝对值的总和施加约束。
36. 如权利要求35所述的设备，其特征在于，经约束的权重与至所述设备的输入连接相关联。
37.如权利要求31所述的设备，其特征在于，所述局部训练规则将与至所述设备的输入连接相关联的输入权重向量约束在平衡点处。
38.如权利要求31所述的设备，其特征在于，所述局部训练规则约束非零权重的数目。
39.如权利要求38所述的设备，其特征在于，经约束的权重与至所述设备的输入连接相关联。
40.如权利要求31所述的设备，其特征在于，所述设备利用一个或多个非线性运算。
41.如权利要求31所述的设备，其特征在于，所述局部训练规则对与至所述设备的输入连接相关联的个体权重施加界限。
42.如权利要求41所述的设备，其特征在于，所述个体权重的最大值由上界来限界。
43.如权利要求41所述的设备，其特征在于，所述个体权重的最小值由下界来限界。
44.如权利要求41所述的设备，其特征在于，所述个体权重的最大值和最小值两者都是有界的。
45.如权利要求41所述的设备，其特征在于，所述界限针对所述个体权重而变动。
46.一种用于训练计算网络的计算机程序产品，其包括计算机可读介质，所述计算机可读介质包括用于执行以下动作的代码: 至少部分地基于至少一个现有的权重来计算所述计算网络中的处理单元的输出；以及 使用局部训练规则来改变所述处理单元的所述至少一个权重，其中所述局部训练规则创建所述计算网络的各处理单元之间的稀疏连通性。
47.如权利要求46所述的计算机程序产品，其特征在于，所述计算机可读介质进一步包括用于执行以下动作的代码: 基于以下至少一者来更新所述至少一个权重:所述处理单元中的一个或多个输入，所述输出，或者所述改变之前的所述至少一个现有的权重。
48.如权利要求47所述的计算机程序产品，其特征在于，所述稀疏连通性是在对所述至少一个权重的多次更新之后创建的。
49.如权利要求46所述的计算机程序产品，其特征在于， 所述计算网络包括神经网络，并且 所述处理单元包括神经元电路。
50.如权利要求46所述的计算机程序产品，其特征在于，所述局部训练规则对所述权重的绝对值的总和施加约束。
51.如权利要求50所述的计算机程序产品，其特征在于，经约束的权重与至所述处理单元的输入连接相关联。
52.如权利要求46所述的计算机程序产品，其特征在于，所述局部训练规则将与至所述处理单元的输入连接相关联的输入权重向量约束在平衡点处。
53.如权利要求46所述的计算机程序产品，其特征在于，所述局部训练规则约束非零权重的数目。
54.如权利要求53所述的计算机程序产品，其特征在于，经约束的权重与至所述处理单元的输入连接相关联。
55.如权利要求46所述的 计算机程序产品，其特征在于，所述处理单元利用一个或多个非线性运算。
56.如权利要求46所述的计算机程序产品，其特征在于，所述局部训练规则对与至所述处理单元的输入连接相关联的个体权重施加界限。
57.如权利要求56所述的计算机程序产品，其特征在于，所述个体权重的最大值由上界来限界。
58.如权利要求56所述的计算机程序产品，其特征在于，所述个体权重的最小值由下界来限界。
59.如权利要求56所述的计算机程序产品，其特征在于，所述个体权重的最大值和最小值两者都是有界的。
60.如权利要求56所述的计算机程序产品，其特征在于，所述界限针对所述个体权重而变 动。
【文档编号】G06N3/08GK103620624SQ201280030520
【公开日】2014年3月5日 申请日期:2012年6月21日 优先权日:2011年6月22日
【发明者】V·阿帕林 申请人:高通股份有限公司