3] 在一方面，电容器作为神经元电路的电流积分器件可被除去，并且可使用较小的 忆阻器元件来替代它。这种办法可应用于神经元电路中，以及其中大容量电容器被用作电 流积分器的各种其他应用中。另外，每个突触104可基于忆阻器元件来实现，其中突触权重 改变可与忆阻器电阻的变化有关。使用纳米特征尺寸的忆阻器，可显著地减小神经元电路 和突触的面积，这可使得实现超大规模神经系统硬件实现变得可行。
[0044] 对神经系统100进行仿真的神经处理器的功能性可取决于突触连接的权重，这些 权重可控制神经元之间的连接的强度。突触权重可存储在非易失性存储器中以在掉电之后 保留该处理器的功能性。在一方面，突触权重存储器可实现在与主神经处理器芯片分开的 外部芯片上。突触权重存储器可与神经处理器芯片分开地封装成可更换的存储卡。这可向 神经处理器提供多种多样的功能性，其中特定功能性可基于当前附连至神经处理器的存储 卡中所存储的突触权重。
[0045] 图2解说根据本公开的某些方面的计算网络（例如，神经系统或神经网络）的处理 单元(例如，人工神经元202)的示例200。例如，神经元202可对应于来自图1的级102和106的 任一个神经元。神经元202可接收多个输入信号这些输入信号可以是该 神经系统外部的信号、或是由同一神经系统的其他神经元所生成的信号、或这两者。输入信 号可以是实数值或复数值的电流或电压。输入信号可包括具有定点或浮点表示的数值。可 通过突触连接将这些输入信号递送到神经元202,这些突触连接根据可调节的突触权重 206^206^^0对这些信号进行缩放，其中N可以是神经元202的输入连接的总数。
[0046] 神经元202可组合这些经缩放的输入信号，并且使用组合的经缩放输入来生成输 出信号208(即，信号y)。输出信号208可以是实数值或复数值的电流或电压。输出信号可包 括具有定点或浮点表示的数值。随后该输出信号208可作为输入信号传递至同一神经系统 的其他神经元、或作为输入信号传递至同一神经元202、或作为该神经系统的输出来传递。 [0047]处理单元(神经元202)可由电路来仿真，并且其输入和输出连接可由具有突触电 路的导线来仿真。处理单元、其输入和输出连接也可由软件代码来仿真。处理单元也可由电 路来仿真，而其输入和输出连接可由软件代码来仿真。在一方面，计算网络中的处理单元可 包括模拟电路。在另一方面，处理单元可包括数字电路。在又一方面，处理单元可包括具有 模拟和数字组件两者的混合信号电路。计算网络可包括任何前述形式的处理单元。使用这 样的处理单元的计算网络(神经系统或神经网络)可用在大范围的应用中，诸如图像和模式 识别、机器学习、电机控制、及类似应用等。
[0048] 在神经网络的训练过程期间，突触权重(例如，来自图1的权重 和/或来自图2的权重206^206〃)可用随机值来初始化并根据学习规则而增大或减小。学习 规则的某些示例是尖峰定时依赖型可塑性（STDP)学习规则、Hebb规则、Oja规则、 Bienenstock-Copper-Munro(BCM)规则等。很多时候，这些权重可稳定至两个值（即，权重的 双峰分布)之一。该效应可被用于减少每突触权重的位数、提高从/向存储突触权重的存储 器读取和写入的速度、以及降低突触存储器的功耗。
[0049] 突触类型
[0050] 在神经网络的硬件和软件模型中，突触相关功能的处理可基于突触类型。突触类 型可包括非可塑突触(对权重和延迟没有改变）、可塑突触(权重可改变）、结构化延迟可塑 突触（权重和延迟可改变）、全可塑突触（权重、延迟和连通性可改变）、以及基于此的变型 (例如，延迟可改变，但在权重或连通性方面没有改变）。此举的优点在于处理可以被细分。 例如，非可塑突触不会要求执行可塑性功能(或等待此类功能完成）。类似地，延迟和权重可 塑性可被细分成可一起或分开地、顺序地或并行地运作的操作。不同类型的突触对于适用 的每一种不同的可塑性类型可具有不同的查找表或公式以及参数。因此，这些方法将针对 该突触的类型来访问相关的表。
[0051] 还进一步牵涉到以下事实:尖峰定时依赖型结构化可塑性可独立于突触可塑性地 来执行。结构化可塑性即使在权重幅值没有改变的情况下(例如，如果权重已达最小或最大 值、或者其由于某种其他原因而不改变)也可执行，因为结构化可塑性（即，延迟改变的量） 可以是pre-post(突触前-突触后)尖峰时间差的直接函数。替换地，结构化可塑性可被设为 权重改变量的函数或者可基于与权重或权重改变的界限有关的条件来设置。例如，突触延 迟可仅在发生权重改变时或者在权重到达〇的情况下才改变，但在权重达到最大极限时不 改变。然而，具有独立函数以使得这些过程能被并行化从而减少存储器访问的次数和交叠 可能是有利的。
[0052]突触可塑性的确定
[0053]神经元可塑性(或简称"可塑性"）是大脑中的神经元和神经网络响应于新的信息、 感官刺激、发展、损坏、或机能障碍而改变其突触连接和行为的能力。可塑性对于生物学中 的学习和记忆、以及对于计算神经元科学和神经网络是重要的。已经研究了各种形式的可 塑性，诸如突触可塑性(例如，根据赫布理论）、尖峰定时依赖可塑性(STDP)、非突触可塑性、 活动性依赖可塑性、结构化可塑性和自身稳态可塑性。
[0054] STDP是调节神经元(诸如大脑中的那些神经元)之间的突触连接的强度的学习过 程。连接强度是基于特定神经元的输出与收到输入尖峰（即，动作电位）的相对定时来调节 的。在STDP过程下，如果至某个神经元的输入尖峰平均而言倾向于紧挨在该神经元的输出 尖峰之前发生，则可发生长期增强(LTP)。于是使得该特定输入在一定程度上更强。相反，如 果输入尖峰平均而言倾向于紧接在输出尖峰之后发生，则可发生长期抑压(LTD)。于是使得 该特定输入在一定程度上更弱，由此得名为"尖峰定时依赖可塑性"。因此，使得可能是突触 后神经元兴奋原因的输入甚至更有可能在将来作出贡献，而使得不是突触后尖峰的原因的 输入较不可能在将来作出贡献。该过程继续，直至初始连接集的子集保留，而所有其他连接 的影响减轻至0或接近0。
[0055] 由于神经元一般在其许多输入都在一短时段内发生（即，足以累积到引起输出）时 产生输出尖峰，因此通常保留下来的输入子集包括倾向于在时间上相关的那些输入。另外， 由于在输出尖峰之前发生的输入被加强，因此提供对相关性的最早充分累积指示的输入将 最终变成至该神经元的最后输入。
[0056] STDP学习规则可因变于突触前神经元的尖峰时间tpre与突触后神经元的尖峰时间 tpcist之间的时间差（即，t = tpcist-tpre)来有效地适配将该突触前神经元连接到该突触后神经 元的突触的突触权重。STDP的典型公式是若该时间差为正（突触前神经元在突触后神经元 之前激发)则增大突触权重（即，增强该突触），以及若该时间差为负（突触后神经元在突触 前神经元之前激发)则减小突触权重(即，抑压该突触）。
[0057]在STDP过程中，突触权重随时间推移的改变可通常使用指数衰退来达成，如由下 式给出的：
[0058] ' Ο)
[0059 ]其中k4Pk_分别是针对正和负时间差的时间常数，a，a_是对应的缩放幅值，以及 μ是可应用于正时间差和/或负时间差的偏移。
[0060]图3解说根据STDP，突触权重因变于突触前尖峰(pre)和突触后尖峰(post)的相对 定时而改变的示例曲线图300。如果突触前神经元在突触后神经元之前激发，则可使对应的 突触权重增大，如曲线图300的部分302中所解说的。该权重增大可被称为该突触的LTP。从 曲线图部分302可观察到，LTP的量可因变于突触前和突触后尖峰时间之差而大致呈指数地 下降。相反的激发次序可减小突触权重，如曲线图300的部分304中所解说的，从而导致该突 触的LTD。
[0061 ]如图3中的曲线图300中所解说的，可向STDP曲线图的LTP(因果性)部分302应用负 偏移轴的交越点306(y = 0)可被配置成与最大时间滞后重合以考虑到来自层i-Ι (突触 前层）的各因果性输入的相关性。在基于帧的输入（即，输入是按包括尖峰或脉冲的特定历 时的帧的形式）的情形中，可计算偏移值μ以反映帧边界。该帧中的第一输入尖峰(脉冲）可 被视为随时间衰退，要么如直接由突触后电位所建模地、要么以对神经状态的影响的形式 而随时间衰退。如果该帧中的第二输入尖峰(脉冲)被视为与特定时间帧关联或相关，则可 通过偏移STDP曲线的一个或多个部分以使得相关时间中的值可以不同（例如，对于大于一 个帧为负，而对于小于一个帧为正)来使该帧之前和之后的相关时间在该时间帧边界处被 分开并在可塑性方面被不同地对待。例如，负偏移μ可被设为偏移LTP以使得曲线实际上在 大于帧时间的pre-post时间处变得低于零并且它由此为LTD而非LTP的一部分。
[0062]神经元模型及操作
[0063]存在一些用于设计有用的尖峰发放神经元模型的一般原理。良好的神经元模型在 以下两个计算态相(regime)方面可具有丰富的潜在行为:重合性检测和功能性计算。此外， 良好的神经元模型应当具有允许时间编码的两个要素:输入的抵达时间影响输出时间，以 及重合性检测能具有窄时间窗。最后，为了在计算上是有吸引力的，良好的神经元模型在连 续时间上可具有闭合形式解，并且具有稳定的行为，包括在靠近吸引子和鞍点之处。换言 之，有用的神经元模型是可实践且可被用于建模丰富的、现实的且生物学一致的行为并且 可被用于对神经电路进行工程设计和反向工程两者的神经元模型。
[0064] 神经元模型可取决于事件，诸如输入抵达、输出尖峰或其他事件，无论这些事件是 内部的还是外部的。为了达成丰富的行为库，能展现复杂行为的状态机可能是期望的。如果 事件本身的发生在撇开输入贡献(若有）的情况下能影响状态机并约束在该事件之后的动 态，则该系统的将来状态并非仅是状态和输入的函数，而是状态、事件和输入的函数。
[0065] 在一方面，神经元η可被建模为尖峰带漏泄积分激发(LIF)神经元，其膜电压vn(t) 由以下动态来管控：
[0066] (2)
[0067] 其中α和β是参数，Wm,n是将突触前神经元m连接至突触后神经元 n的突触的突触权 重，以及ym(t)是神经元m的尖峰输出，其可根据Δ ","被延迟达树突或轴突延迟才抵达神经 元η的胞体。
[0068] 应注意，从建立了对突触后神经元的充分输入的时间直至突触后神经元实际上激 发的时间之间存在延迟。在动态尖峰神经元模型(诸如Izhikevich简单模型）中，如果在去 极化阈值vt与峰值尖峰电压v罐之间有差量，则可引发时间延迟。例如，在该简单模型中，神 经元胞体动态可由关于电压和恢复的微分方程对来管控，即：
[0069] ， ?
[