神经网络及编程方法
【专利说明】
[0001] 关于联邦资助研究的声明
[0002] 本发明在美国政府的支持下基于美国国防高级研究计划局（DARPA)所授予的合 同号HR0011-09-C-0001(SyNAPSE)进行。美国政府拥有本发明的特定权利。
[0003] 相关申请的交叉引用
[0004] 本申请要求于2013年3月15日提交的美国临时申请No. 61/799,883以及于2013 年8月30日提交的美国正式申请No. 14/015,001的优先权，所述申请中的每一个以全文引 用的方式并入本文中。
技术领域
[0005] 本公开涉及例如计算机实现的神经网络，还涉及对此类网络进行编程的方法。具 体地，本公开涉及能够对任意多种变换进行学习的容错性神经网络，以及对所述神经网络 进行编程的方法。
【背景技术】
[0006] 感官知觉与行为相互依存。对于人类和其他物种，行为可由当前情境触发，并且反 映了其所处的即时环境条件。这类行为通常被称作刺激反应性反射。刺激与反应之间的相 互依存性建立了行动感知循环（action perception cycle)，在该循环中，未出现过的刺激 会触发出导致其自身的更好知觉或其所处的更好的即时环境条件的行动，然后该循环继续 进行。
[0007] 与利用刺激反应循环的独有控制相比，人类行为要灵活得多。基于智能的系统的 一种属性即为在行动感知循环中对环境条件与适当的行为之间的新关系进行学习的能力。 大脑中各神经元之间的通信的主要模式为：按照脉冲、动作电位或尖峰脉冲（spike)的形 式进行编码。大脑由数十亿的神经元细胞构成，这些神经元细胞是嘈杂的、不精准且不可靠 的模拟器件。神经元是经由突触在彼此之间建立连接的复杂的适应性结构。突触具有前突 触部分和后突触部分，所述前突触部分包括神经元的轴突，其向所述突触输入尖峰脉冲，所 述后突触部分包括神经元的树突，其对所述突触中进行接收的尖峰脉冲较为敏感。各突触 可根据在所述突触任意一侧的神经元的尖峰脉冲行为而显著改变其功能。突触包括适应机 制，其根据尖峰脉冲时序依赖可塑性（STDP)学习规则而对所述突触的权重或增益进行调 整。
[0008] 在STDP规则之下，如果神经元的输入尖峰脉冲在平均上倾向于在该神经元的输 出尖峰脉冲之前即刻发生，则稍微加强这一特定输入。另一方面，如果输入尖峰在平均上倾 向于在输入尖峰之后即刻发生，则稍微减弱这一特定输入，从而有"尖峰脉冲时序依赖可塑 性"。因此，可使得有可能成为后突触神经元激励的起因的输入在未来更有可能做出贡献， 而使得不是后突触神经元激励的起因的输入在未来更不可能做出贡献。持续所述过程，直 到保留了各连接的初始集合的一个子集，同时其他所有连接的影响减至零。由于当神经元 的许多输入在短时间内发生时所述神经元产生输出尖峰脉冲，因此所述保留的各输入的子 集为倾向于在时间上相关的那些输入。另外，由于加强了在输出之前发生的输入，因此提供 了相关性的最早指示的输入在最后成为神经元的最终输入。
[0009] 由通过STDP使神经元和突触相互作用的组件构成的大脑结构可以实时地解决复 杂任务和展示复杂行为，并且具有较高的精准度而具有非常低的功率。然而，在物理网络中 对这种行为进行建模较为复杂。
[0010] 已对利用模拟电路和数字电路以及计算机实现方法的神经网络进行了讨论，以实 现STDP学习规则。然而，当前的模型不具备对在学习过程初期或在已进行部分初始学习之 后引入的错误（即，感知输入信号或动作输入信号的部分缺失）的容忍能力。因此，已知的 实现STDP学习规则的系统不能以容错的方式学习例如任意多种变换。
[0011] 已体验过上述通信问题的通信系统的一些示例包括：T.P. Vogels、K. Rajan和 L. F. Abbott 的 "Neural Network Dynamics''，Annual Review Neuroscience, vol. 28, pp. 357-376,2005 ;W. Gerstner 和 W. Kistler 的"Spiking Neuron Models-Single Ne urons"，Populations，Plasticity，Cambridge University Press，2002 Markram、 J. Lubke、M. Frotscher 和 B.Sakmann 的"Regulation of synaptic efficacy by coincidence of postsynaptic APs and EPSPs"，Science，vol. 275,pp. 213-215, 1997 ; Bi、G.Q.和 M. Poo 的 "Activity-induced synaptic modifications inhippocampal culture: dependence on spike timing, synaptic strength and cell type"，J. Neuroscience.vol. 18, pp. 10464-10472，1998 ;J.C.Magee 和 D.Johnston 的 "A synapticalIy controlled, associative signal for Hebbian plasticity in hippocampal neurons"，Science vol. 275, pp. 209-213, 1997 ;S. Song、K. D. Miller 和 L.F.Abbott 的"Competitive Hebbian Learning Through Spike-Timing Dependent Synaptic Plasticity"，Nature Neuroscience，vol. 3pp. 919-926, 2000 ;Α·P.Davison 和 Y. Fregnac 的"Learning Cross-Modal Spatial Transformations through Spike-Timing Dependent Plasticity"，Journal of Neuroscience, vol. 26, no. 2, pp. 5604-5615, 2006 ； Q. X. Wu、T. M. McGinnity、L. P. Maguire、A. Belatreche 和 B. Glackin 的 "2D co-ordinate transformation based on a spike-timing dependent plasticity learning mechanism"，Neural Networks，vol. 21，pp. 1318-1327, 2008 ;Q. X. Wu、T. M. McGinnity、 L.P. Maguire、A. Belatreche 和 B.Glackin 的"Processing visual stimuli using hierarchical spiking neural networks"，International Journal of Neurocomputing ，vol. 71，no. 10, pp. 2055-2068, 2008。上述参考文献的每一篇以引用方式全文并入本文中。
[0012] 图 1 亦出 了题为 "Learning Cross-Modal Spatial Transformations through Spike-Timing Dependent Plasticity"的上述参考文献中描述的网络模型D图I示出了这 样的神经网络，其对具有1个自由度（df)的手臂的连接处的角度Θ和该手臂末端的位置 X的输入进行接收，所述角度和位置处于以视觉为中心的参考系中。在学习阶段之后，所述 神经网络变为能够基于连接处的角度Θ输出X。神经网络10包括输入神经元14的第一一 维阵列12,每个输入神经元14产生尖峰脉冲，其激发率（firing rate)以与指定给所述神 经元的角度更接近的角度Θ的函数而增长。图1示出了关于角度Θ给定值的阵列12的 所有神经元14的激发率FL神经网络10还包括输入神经元18的第二一维阵列16,每个 输入神经元18产生尖峰脉冲，其激发率以更接近于指定给所述神经元的预定值的位置X的 函数而增长。图1示出了关于位置X给定值的阵列16的所有神经元18的激发率FR。神经 网络10包括神经元22的第三一维阵列20。
[0013] 对从神经元14到神经元22的多对多连接（全连接）进行初始化，并且利用STDP 对所述连接的强度进行修改。从神经元18到神经元22的连接是一对一的。这些非STH)(或 非可塑性）的连接的强度固定。
[0014] 在将对应于随机角度Θ及其等价位置X的刺激发送至阵列20的学习阶段之后， 阵列16停止向阵列20提供输入，并且阵列20响应于连接处的角度Θ而输出位置X。图1 示出了由阵列20的神经元22输出的激发率FR，其响应于学习阶段之后的角度Θ的给定 值。
[0015] 图2以示意图的形式示出了图1的神经网络10,并且示出了完全连接至输出阵列 /层20的输入阵列/层12以及一对一地连接至输出阵列/层20的训练阵列/层16。
[0016] 图3示意了如上述参考文献中Wu等人的参考文献所公开的神经网络30。神经网 络30包括一对一地连接至输出层20的训练层16,如图1详细示出的那样。此外，神经网络 30包括两个输入层12,其在拓扑结构上与网络层32的输入连接，网络层32完全连接至输 出层20的输入。如上所述，图1至图3的神经网络无法容忍在学习过程初期或在已发生一 些初始学习之后引入的错误，例如传感输入信号或动作输入信号的部分缺失。
[0017] 因此，存在对能够容错的神经网络的需求。
【发明内容】
[0018] 严格来说，本文示出了一种对自实现网络的任意多种变换进行学习的尖峰脉冲模 型。
[0019] 本公开的一个实施例包括一种神经网络，其中所述神经网络的一部分包括：具有 第一数量的神经元的第一阵列，其中所述第一阵列的每个神经元的树突被设置为对用于表 示测量到的参数更接近指定给所述神经元的预定值的输入信号进行接收；具有第二数量的 神经元的第二阵列，所述第二阵列的每个神经元的树突与所述第一阵列的多个神经元的轴 突一起形成兴奋的STDP突触；所述第二阵列的每个神经元的树突与所述第二阵列的相邻 神经元的轴突一起形成兴奋的STDP突触。
[0020] 根据本公开的一个实施例，第二数量小于第一数量。
[0021] 根据本公开的一个实施例，所述第二阵列还包括在所述第二阵列的各神经元之间 分布的第三数量的中间神经元，其中所述第三数量小于所述第二数量，其中：所述第二阵列 的每个神经元的轴突与所述第二阵列的相邻的中间神经元的树突一起形成兴奋的STDP突 触；并且所述第二阵列的每个中间神经元的轴突与所述第二阵列的相邻的神经元和中间神 经元的树突一起形成抑制的STDP突触。
[0022] 根据本公开的一个实施例，所述第一阵列的每个神经元的树突被设置为接收输入 信号，所述输入信号具有在测量到的参数更接近指定给所述神经元的预定值时增长的速 率。
[0023] 本公开的一个实施例包括一种神经网络，其具有如上所述的第一神经网络部分和 第二神经网络部分以及第三阵列，所述第三阵列具有第四数量的神经元以及在所述第三阵 列的各神经元之间分布的第五数量的中间神经元，其中第五数量小于第四数量，其中：所述 第三阵列的每个神经元的轴突与所述第三阵列的相邻的中间神经元的树突一起形成兴奋 的STDP突触；并且所述第三阵列的每个中间神经元的轴突与所述第三阵列的相邻的神经 元和中间神经元的树突一起形成抑制的STDP突触；其中所述第一神经网络部分的第二阵 列的每个神经元的轴突与所述第三阵列的多个神经元的树突一起形成兴奋的STDP突触； 其中所述第二神经网络部分的第二阵列的每个神经元的轴突与所述第三阵列的多个神经 元的树突一起形成兴奋的STDP突触。
[0024] 根据本公开的一个实施例，所述第三阵列包括多行多列的神经元，其中所述第一 神经网络部分的第二阵列的每个神经元的轴突与所述第三阵列的一行的多个神经元的树 突一起形成兴奋的STDP突触；并且其中所述第二神经网络部分的第二阵列的每个神经元 的轴突与所述第三阵列的一列的多个神经元的树突一起形成兴奋的STDP突触。
[0025] 根据本公开的一个实施例，所述神经网络包括如上所述的第三神经网络部分以及 第四阵列，所述第四阵列具有第二数量的神经元以及在所述第四阵列的各神经元之间分布 的第三数量的中间神经元，其中：所述第四阵列的每个神经元的轴突与所述第四阵列的相 邻的中间神经元的树突一起形成兴奋的STDP突触；并且所述第四阵列的每个中间神经元 的轴突与所述第四阵列的相邻的神经元和中间神经元的树突一起形成抑制的STDP突触； 其中所述第四阵列的每个神经元的树突与所述第三阵列的多个神经元的轴突一起形成兴 奋的STDP突触；并且其中所述第四阵列的每个神经元的树突与所述第三神经网络的第二 阵列的对应神经元的轴突一起形成兴奋的非STDP突触。
[0026] 根据本公开的一个实施例，所述第一神经网络部分和所述第二神经网络部分的输 入信号与可变参数有关，所述可变参数与所述第三神经网络的输入信号相关。
[0027] 根据本公开的一个实施例，所述神经元第一阵列包括神经元的第一子阵列和第二 子阵列，其分别被设置为接收与第一测量参数和第二测量参数相关的输入信号。
[0028] 根据本公开的一个实施例，所述第二阵列包括多行多列的神经元；其中所述神经 元第一子阵列的每个神经元的轴突与所述第二阵列的一行的多个神经元的树突一起形成 兴奋的STDP突触；并且其中所述神经元第二子阵列的每个神经元的轴突与所述第二阵列 的一列的多个神经元的树突一起形成兴奋的STDP突触。
[0029] 根据本公开的一个实施例，所述第二阵列还包括在所述第二阵列的各神经元之间 分布的第三数量的中间神经元，其中第三数量小于第二数量，其中：所述第二阵列的每个神 经元的轴突与所述第二阵列的相邻的中间神经元的树突一起形成兴奋的STDP突触；并且 所述第二阵列的每个中间神经元的轴突与所述第二阵列的相邻的神经元和中间神经元的 树突一起形成抑制的STDP突触。
[0030] 根据本公开的一个实施例，所述神经网络还包括：第三阵列，其具有第四数量的 神经元以及在所述第三阵列的各神经元之间分布的第五数量的中间神经元，其中第五数量 小于第四数量，其中：所述第三阵列的每个神经元的轴突与所述第三阵列的相邻的中间神 经元的树突一起形成兴奋的STDP突触；并且所述第三阵列的每个中间神经元的轴突与所 述第三阵列的相邻的神经元和中间神经元的树突一起形成抑制的STDP突触；其中所述第 三阵列的每个神经元的树突与所述第二阵列的每个神经元的轴突一起形成兴奋的STDP突 触。
[0031] 根据本公开的一个实施例，所述神经网络包括与所述第三阵列的神经元数量相同 的神经元，其中所述第四阵列的每个神经元的树突被设置为对用于表示测量到的参数更接 近指定给所述神经元的预定值的输入信号进行接收；其中所述第四阵列的每个神经元的轴 突与所述第三阵列的对应神经