元的树突一起形成兴奋的非STDP突触。
[0032] 根据本公开的一个实施例，所述神经元第一子阵列和所述神经元第二子阵列的输 入信号与可变参数有关，所述可变参数与所述第四阵列的输入信号相关。
[0033] 根据本公开的一个实施例，所述神经元的第四阵列为如上所述的另一神经网络的 神经元子阵列。
[0034] 本公开的另一实施例包括一种对神经网络进行编程的方法，所述方法包括步骤： 提供第一神经网络部分，其包括具有第一数量的神经元的第一阵列以及具有第二数量的神 经元的第二阵列，其中所述第二数量小于所述第一数量，所述第二阵列的每个神经元的树 突与所述第一阵列的多个神经元的轴突一起形成兴奋的STDP突触；所述第二阵列的每个 神经元的树突与所述第二阵列的相邻的神经元的轴突一起形成兴奋的STDP突触；以及向 所述第一阵列的每个神经元的树突提供输入信号，该输入信号用于表示测量到的参数更接 近指定给所述神经元的预定值。
[0035] 根据本公开的一个实施例，所述方法还包括向所述第二阵列提供在所述第二阵列 的各神经元之间分布的第三数量的中间神经元的步骤，其中所述第三数量小于所述第二数 量，其中：所述第二阵列的每个神经元的轴突与所述第二阵列的相邻的中间神经元的树突 一起形成兴奋的STDP突触；并且所述第二阵列的每个中间神经元的轴突与所述第二阵列 的相邻的神经元和中间神经元的树突一起形成抑制的STDP突触。
[0036] 根据本公开的一个实施例，所述方法包括向所述第一阵列的每个神经元的树突提 供输入信号的步骤，所述输入信号具有在测量到的参数更接近指定给所述神经元的预定值 时增长的速率。
[0037] 根据本公开的一个实施例，所述方法包括步骤：提供第二神经网络部分，其具有与 所述第一神经网络部分的结构相同的结构；以及提供第三阵列，其具有第四数量的神经元 以及在所述第三阵列的各神经元之间分布的第五数量的中间神经元，其中第五数量小于第 四数量，其中：所述第三阵列的每个神经元的轴突与所述第三阵列的相邻的中间神经元的 树突一起形成兴奋的STDP突触；并且所述第三阵列的每个中间神经元的轴突与所述第三 阵列的相邻的神经元和中间神经元的树突一起形成抑制的STDP突触；其中所述第一神经 网络部分的第二阵列的每个神经元的轴突与所述第三阵列的多个神经元的树突一起形成 兴奋的STDP突触；并且其中所述第二神经网络部分的第二阵列的每个神经元的轴突与所 述第三阵列的多个神经元的树突一起形成兴奋的STDP突触；以及向所述第二神经网络部 分的第一阵列的每个神经元的树突提供输入信号，该输入信号用于表示测量到的参数更接 近指定给所述神经元的预定值。
[0038] 根据本公开的一个实施例，所述方法包括步骤：提供第三神经网络部分，其具有与 所述第一神经网络部分的结构相同的结构；提供第四阵列，其具有第二数量的神经元以及 在所述第四阵列的神经元之间分布的第三数量的中间神经元，其中：所述第四阵列的每个 神经元的轴突与所述第四阵列的相邻的中间神经元的树突一起形成兴奋的STDP突触；并 且所述第四阵列的每个中间神经元的轴突与所述第四阵列的相邻的神经元和中间神经元 的树突一起形成抑制的STDP突触；其中所述第四阵列的每个神经元的树突与所述第三阵 列的多个神经元的轴突一起形成兴奋的STDP突触；并且其中所述第四阵列的每个神经元 的树突与所述第三神经网络部分的第二阵列的对应神经元的轴突一起形成兴奋的非STDP 突触；以及向所述第三神经网络部分的第一阵列的每个神经元的树突提供输入信号，该输 入信号用于表示测量到的参数更接近指定给所述神经元的预定值。
[0039] 根据本公开的一个实施例，所述第一神经网络部分和第二神经网络部分的输入信 号与可变参数有关，所述可变参数与所述第三神经网络部分的输入信号相关。
[0040] 根据本公开的一个实施例，向所述第一阵列的每个神经元的树突提供用于表示测 量的参数更接近指定给所述神经元的预定值的输入信号的步骤包括：向所述第一阵列的神 经元第一子集的每个神经元的树突提供输入信号，该输入信号用于表示第一测量参数更接 近指定给所述神经元的预定值；向所述第一阵列的神经元第二子集的每个神经元的树突提 供输入信号，该输入信号用于表示第二测量参数更接近指定给所述神经元的预定值。
[0041] 根据本公开的一个实施例，提供具有第二数量的神经元的第二阵列的步骤包括提 供具有多行多列的神经元的第二阵列，其中所述第一阵列的神经元第一子集的每个神经元 的轴突与所述第二阵列的一行的多个神经元的树突一起形成兴奋的STDP突触；并且其中 所述第一阵列的神经元第二子集的每个神经元的轴突与所述第二阵列的一列的多个神经 元的树突一起形成兴奋的STDP突触。
[0042] 根据本公开的一个实施例，所述方法还包括向所述第二阵列提供在所述第二阵列 的各神经元之间分布的第三数量的中间神经元的步骤，其中所述第三数量小于所述第二数 量，其中所述第二阵列的每个神经元的轴突与所述第二阵列的相邻的中间神经元的树突一 起形成兴奋的STDP突触；并且所述第二阵列的每个中间神经元的轴突与所述第二阵列的 相邻的神经元和中间神经元的树突一起形成抑制的STDP突触。
[0043] 根据本公开的一个实施例，所述方法包括：提供第三阵列，其具有第四数量的神经 元以及在所述第三阵列的各神经元之间分布的第五数量的中间神经元，其中第五数量小于 第四数量，其中所述第三阵列的每个神经元的轴突与所述第三阵列的相邻的中间神经元的 树突一起形成兴奋的STDP突触；并且所述第三阵列的每个中间神经元的轴突与所述第三 阵列的相邻的神经元和中间神经元的树突一起形成抑制的STDP突触；其中所述第三阵列 的每个神经元的树突与所述第二阵列的每个神经元的轴突一起形成兴奋的STDP突触；以 及提供第四阵列，其包括与所述第三阵列的神经元数量相同的神经元，其中所述第四阵列 的每个神经元的树突被设置为对用于表示测量到的参数更接近指定给所述神经元的预定 值的输入信号进行接收；并且其中所述第四阵列的每个神经元的轴突与所述第三阵列的对 应神经元的树突一起形成兴奋的非STDP突触；所述方法还包括向所述第四阵列的每个神 经元的树突提供输入信号的步骤，所述输入信号用于表示测量到的参数更接近指定给所述 神经元的预定值；其中神经元第一子集和神经元第第二子集的输入信号与可变参数有关， 所述可变参数与所述第四阵列的输入信号相关。
[0044] 本公开的另一实施例包括一种对如上所述的具有第一神经网络部分和第二神经 网络部分的神经网络的输出进行解码的方法，所述方法包括步骤：向第一神经网络部分的 第一阵列和第二神经网络部分的第一阵列提供第一输入信号和第二输入信号，该第一输入 信号和该第二输入信号具有在测量到的参数更接近指定给各所述第一阵列的神经元的预 定值时增加的速率；向所述神经元的第四阵列的每个神经元指定在1至N的范围内的增量 位置值，N为所述第四阵列的神经元的数量；在任何给定的时间，对所述第四阵列的每个神 经元的激发率进行测量；以及在所述任何给定的时间，将所述神经网络的输出估计为对应 于所述第四阵列的一个神经元，该神经元的位置值等于：所述第四阵列的每个神经元的由 其在所述任何给定时间的激发率进行加权的位置值之和除以所述第四阵列的每个神经元 在所述任何给定时间的激发率的和得到的商。
[0045] 根据本公开的一个实施例，所述方法包括步骤：如果所述第四阵列中部的神经元 具有无效的激发率，则向更小的位置值的各神经元指定增加了值N的位置值。
[0046] 本公开的另一实施例包括一种对如上所述的具有神经元第一子阵列和神经元第 二子阵列的神经网络的输出进行解码的方法，所述方法包括步骤：向神经元第一子阵列和 神经元第二子阵列提供第一输入信号和第二输入信号，该第一输入信号和该第二输入信号 具有在测量到的参数更接近指定给所述神经元第一子阵列和神经元第二子阵列的神经元 的预定值时增加的速率；向所述神经元的第三阵列的每个神经元指定在1至N的范围内的 增量位置值，N为所述第三阵列的神经元的数量；在任何给定的时间，对所述第三阵列的每 个神经元的激发率进行测量；以及在所述任何给定的时间，将所述神经网络的输出估计为 对应于所述第三阵列的一个神经元，该神经元的位置值等于：所述第三阵列的每个神经元 的由其在所述任何给定时间的激发率进行加权的位置值之和除以所述第三阵列的每个神 经元在所述任何给定时间的激发率的和得到的商。
[0047] 根据本公开的一个实施例，所述方法包括以下步骤：如果所述第三阵列中部的神 经元具有无效的激发率，则向更小的位置值的各神经元指定增加了值N的位置值。
[0048] 本公开的一个实施例包括一种神经网络，其包括：多个输入通道；神经元的中间 层，其包括多个神经元之间的多个复发性连接；多个抑制的中间神经元，其连接至所述中间 层的神经元；多个第一连接，其被配置为将所述中间层的神经元连接至预测层；以及多个 第二连接，其被配置为将所述预测层连接至输出层。
[0049] 根据本公开的一个实施例，所述输出层被配置为连接至另一层神经元，并且所述 另一层神经元可通过一个或多个连接而连接至一个或多个附加预测层。所述一个或多个附 加预测层可被配置为连接至一个或多个附加电路。所述中间层的神经元可通过多个电突触 连接至所述多个抑制的中间神经元。所述输入通道可向所述神经元的第一层提供尖峰脉冲 序列。
[0050] 本公开的一个实施例包括一种永久的计算机可读存储介质，其用于在包括多个电 路的系统中进行信号传递，所述介质含有计算机可读程序，其中在计算机上进行处理的所 述程序使得所述计算机实现以下步骤：在神经元的第一层接收尖峰脉冲序列；将多个抑制 的中间神经元传输至所述第一层的神经元；通过多个第一连接将所述第一层的神经元传递 给预测层；以及通过多个第二连接将所述预测层耦接至输出电路。
[0051 ] 本公开的一个实施例包括一种在包括有多个输入通道的系统中传递信号的方法， 所述方法包括以下步骤：在神经元的第一层接收尖峰脉冲序列；将多个抑制的中间神经元 传输至所述第一层的神经元；通过多个第一连接将所述第一层的神经元传递给预测层；以 及通过多个第二连接将所述预测层耦接至输出电路。
【附图说明】
[0052] 通过参照附图可以更好地理解本公开。附图中的元件无需符合比例，而是重点示 出了本公开的原理。在附图中，相同的附图标记在不同视图中始终用于指代对应的部分。
[0053] 图1示出了一种已知的神经网络模型。
[0054] 图2是图1的模型的示意图。
[0055] 图3是另一种已知的神经网络模型的示意图。
[0056] 图4示出了根据本公开的一个实施例的神经网络模型的一部分。
[0057] 图5示出了根据本公开的一个实施例的神经网络模型的一部分。
[0058] 图6示出了根据本公开的一个实施例的神经网络模型的一部分。
[0059] 图7示出了根据本公开的一个实施例的神经网络模型的示意图。
[0060] 图8示出了将根据本公开的一个实施例的神经网络模型应用至2DL机器人手臂。
[0061] 图9示出了在学习期间神经网络模型的各层之间的突触电导，其展示出图8的神 经网络模型中各电导的拓扑结构的涌现。
[0062] 图IOA至图IOB示出了层L/的输出，其响应于图8的神经网络模型的层L1 01和层 L/2的输入。
[0063] 图IlA至图IlC示出了图8的神经网络模型的渐进收敛作为学习函数。
[0064] 图12A至图12D示出了关于Gaussian稀疏连接和随机稀疏连接的图8的神经网 络模型的渐进收敛。
[0065] 图13A至图13D示出了在损坏的神经元的程度发生变化时图8的神经网络模型的 性能。
[0066] 图14是根据本公开的实施例的神经网络模型的示意图。
[0067] 图15是图14的神经网络模型的另一实施例的示意图。
[0068] 图16是图14的神经网络模型的另一实施例的示意图。
【具体实施方式】
[0069] 下文公开的每个附加特征和指教可以独立使用，或与其他特征和指教结合使用， 以提供关于神经网络模型的对关于自实现网络的任意多种变换进行学习的计算机实现的 装置、系统和/或方法。现在将参照附图更详细地描述本公开各实施例的典型示例，这些典 型示例示出了以单独使用和结合使用这两种方式对多个所述附加特征和指教的使用。该具 体描述仅旨在对本领域技术人员进行指教以实现本公开所指教的各个优选方面，并非旨在 限制本公开的范围。因此，在以下具体描述中所公开的特征和步骤的结合可以不是必需的， 以在最大范围内实现本公开的实施例，而进行这些公开只是为了对本公开所指教的典型示 例进行特定描述。
[0070] 以引用方式明确并入以下文献的全文："Self-Organizing Spiking Neural Model for Learning Fault-Tolerant Spatio-Motor Transformations'，，IEEE Transactions on Neural Networks and Learning Systems, Vol. 23, No. 10, October 2012;于 2012 年 11 月 16 日提交的题为"Spike Domain Neuron Circuit with Programmable Kinetic Dynamics, Homeostatic Plasticity and Axonal Delays" 的美 国专利申请No. 13/679,727;于2012年3月8日提交的题为"Spike Timing Dependent Plasticity Apparatus，System and Method"的美国专利申请No. 13/415,812 ;以及于2012 年 12 月 7 日提交的题为"Cortical Neuromorphic Network System and Method" 的美国 专利申请 No. 13/708,823。
[0071] 本文对关于神经网络模型的装置、方法以及系统进行描述；具体而言，是能够对用 于自实现网络（SRN)的任意多种变换进行学习的尖峰脉冲模型。所描述的系统和方法可用 于研发自组织机器人平台（SORB)，其在现实世界互动期间或者从现实世界互动中自主发现 并提取关键模式。在一些配置中，可在没有人类介入的情况下发生互动。所描述的SRN可 被配置用于智能应用、监视应用以及勘察（ISR)应用的无人地面交通工具和无人空中交通 工具。
[0072] 图4示出了根据本公开的一个实施例的神经网络或神经网络模型40的一部分。根 据本公开的一个实施例，输入阵列/层12包括第一数量的神经元14。输入阵列12的每个 神经元14的树突被设置为接收对测量到的参数更接近指定给所述神经元的预定值进行表 不的输入信号。
[0073] 根据本公开的一个实施例，与测量到的参数有关的发送至每个神经元14的输入 信号具有在所述测量参数更接近指定给所述神经元的预定值时增加的速率。图4示出了关 于神经元14的位置值PV的各输入信号在给定时间的激发率FR。根据本公开的一个实施 例，所述神经元是合成和激发的神经元（integrate and fire neur