神经形态电路的制作方法

专利名称：神经形态电路的制作方法
技术领域：
本发明涉及电子装置和计算机硬件，并且特别地涉及用于通过神经形态电路中的 突触样结点(junctions)的物理性质变化进行机器学习的方法、以及执行该机器学习的系统。
背景技术：
在计算历史的早期，计算机科学家变得对包括人脑在内的生物计算结构感兴趣。 虽然连续指令处理引擎在过去的50年中已在技术上以极快的速度演进，在处理器速度和 组件密度方面有巨大的增加，虽然这些进步已伴随着大容量存储设备和随机存取存储器的 容量和访问速度的甚至更大的增加，并且虽然基于连续指令处理引擎的现代计算机系统提 供巨大的实用性，并已产生在数字计算机的开发之前未想象到的整个新行业，但即使是最 大且速度最高的分布式计算机系统和网络也仍不能有效地解决许多看起来简单的问题。一 个普通的示例是照片和视频图像的解释。人类能够常常在几分之一秒内看一眼照片并准确 地解释对象、对象之间的相互关系、以及二维照片所表示的对象的空间组织，而摄影图像的 等效解释超出了运行最聪明地设计的算法的最大计算机系统的能力。另外，表征计算机演 进的被称为“摩尔定律”的处理能力和部件密度方面每两年的急剧的两倍的增加已开始变 平，部件尺寸的进一步减小现在遭遇物理限制和实践约束，包括随着信号线在尺寸方面的 减小而增大的电阻率、在从由于部件的电容随着部件尺寸的减小而增大从而产生增加的热 量的处理器散热方面的增加的困难、由于在制造越来越小的部件过程中遇到的困难而引起 的处理器和存储器组件中的较高缺陷和故障率、以及在设计制造设施和方法以进一步减小 部件尺寸方面的困难。由于集成电路内的部件尺寸的进一步减小经证明越来越困难，所以已开始采用多 种替换方法来增加基于集成电路的电子设备的计算能力。作为一个示例，处理器供应商正 在制造多核处理器，其通过在并行地执行各种任务的多个核上分布计算来增加计算能力。 其它努力包括在纳米尺度级制造电路，使用各种分子电子学技术，并通过以与使用纠错码 类似的方式基于信息科学来应用理论方法从而解决缺陷和可靠性问题，以改善通过电子通 信介质进行的有缺陷的数据信号传输。除通过改善并增强传统的计算方法来提高性能的努力之外，正在研究各种非传统 方法，包括生物计算。在研究人脑的结构和功能方面已耗费了大量的研究努力。已经以微 尺度尺寸以及以分子级识别并在生理学方面表征此类生物系统中的许多基础计算实体。例 如，虽然仍有许多东西有待学习，但是已相对透彻地理解并很好地表征了神经元，该神经元 是负责人脑内的信号处理和信号传输的一种细胞。对神经元功能的此理解已启示了计算机 科学中的许多领域，包括人工智能的神经网络和感知网络子领域。已开发了神经网络的许多成功的软件实现以解决多种不同的应用，包括模式识别、复杂现象的原因的诊断、各种类 型的信号处理和信号去噪声、及其它应用。然而，从结构的观点出发，人脑是大规模地并行 的，并且虽然可以通过软件实现和神经网络来模拟这样的并行性，但模拟通常束缚于处理 器周期，因为模拟必须在一个或相对小数目的连续指令处理引擎上运行，更确切地说是利 用计算系统内的物理并行性。因此，神经网络可以提供对噪声的容忍、学习能力及其它期望 特性，但目前未提供大规模并行生物计算结构的极快且高带宽的计算能力。为了实现在物理、制造的设备中的生物计算结构的极快且高带宽的计算能力，需 要在计算节点的大规模并行且互连的网络上执行计算任务。已经提出了用于实现物理神经 网络的许多不同方法，但到目前为止实现还没有达到甚至相对简单的生物结构的速度、并 行性和计算能力。另外，大规模并行硬件的设计和制造充满许多不同的实际问题，包括大量 动态连接的可靠制造、尺寸和功率约束、散热、可靠性、灵活性，包括可编程性、及许多其它 此类考虑因素。然而，不同于不清楚是否能够为其找到解决方案的许多理论问题，包括人脑 在内的计算生物结构存在并定期地执行计算的惊人本领这一事实将使人想到设计并构造 具有类似计算能力和效率的计算设备的目标是相当可能的。
当前的努力意在开发称为“神经形态电路”的纳米尺度电路，其用异常高效的低 功率并行计算机器来模拟提供生物有机体的生物神经电路。然而，许多目前的方法采用 以互补型金属氧化物半导体(“CMOS”)技术实现的传统逻辑来实现等效于突触的神经形 态电路，严重地限制可以制造等效于神经元的神经形态电路的密度，通常局限于半导体芯 片表面面积的每平方厘米几千神经元。已经提出用于使用忆阻突触样结点(memristive， synapse-like junction)来实现神经形态电路的各种方法，所述忆阻突触样结点将在基于 平版印刷的逻辑电路中实现的神经元计算单元互连。在许多此类提出的实施方式中，总体 电路受到忆阻结点的物理性质的约束而告终，并且不期望的功率消耗水平是常常遇到且难 以改善的问题。因此，神经形态电路的研究人员和开发者、包括神经形态电路的设备的制造 商和供应商、以及最终的包括神经形态电路的设备的用户继续开发神经形态电路实施方式 和相关方法，该实施方式和相关方法通过神经形态电路内的突触样结点的物理性质的受控 和确定性变化来提供灵活、实用且低功率的突触样学习。

发明内容
本发明的实施例意在包含两个或更多内部神经元计算单元的神经形态电路。每个 内部神经元计算单元包括用于接收同步信号的同步信号输入端、用于接收输入信号的至少 一个输入端和用于发送输出信号的至少一个输出端。忆阻突触将从第一组的一个或多个内 部神经元载送输出信号的输出信号线连接到向第二组的一个或多个内部神经元载送信号 的输入信号线。


图1示出神经元的一般化的和风格化的图示。图2示出神经元的更抽象表示。图3是神经元细胞的抽象表示，其示出控制并响应用来触发神经元输出信号激发 的电化学梯度和信号的神经元的外部膜中的不同类型的电化学梯度和通道。
图4 5举例说明神经元激发。图6举例说明动态突触强度现象的模型。
图7示出典型的神经网络节点。图8 9举例说明激活函数的两个不同示例。图10示出简单的三级神经网络。图IlA B举例说明可以用目前能得到的技术制造的纳米线结点的忆阻特性。图12A E举例说明关于施加于由忆阻纳米线结点连接的两个信号线的电压信号 的、随时间推移的忆阻纳米线结点电导。图13示出混合微尺度_纳米尺度神经形态集成电路的基本计算单元。图14举例说明对突触行为进行建模的两个纳米线之间的忆阻结点。图15A B举例说明用来对突触建模的忆阻结点的本质电子性质。图16示出充当混合微尺度_纳米尺度神经形态集成电路的各种实施例中的基本 计算单元的神经细胞。图17A B举例说明混合微尺度_纳米尺度神经形态集成电路内的计算单元的互 连。图18举例说明混合微尺度_纳米尺度神经形态集成电路内的计算单元的分级互 连。图19A C举例说明在随后的图中使用的多个图示惯例。图20举例说明示例性神经形态电路的一小部分。图21A 22B举例说明指数式衰减函数的基于脉宽调制的表示。图23示出表示本发明实施例的神经形态电路内神经元的符号表示，该神经元可 以与其它神经元的信号传输同步地通过忆阻突触发送信号。图24举例说明根据本发明的实施例的基本信号同步模型。图25A B举例说明两个不同指数式衰减函数的脉宽调制表示。图26示出根据本发明的实施例的神经形态电路内的两个神经元和其输出端和输 入端的字母数字标记。图27A F举例说明根据本发明的实施例的由神经形态电路中的神经元生成并发 送的恒定电压脉冲信号。图28A 29E举例说明根据本发明的实施例的生成图27A F中所示同步信号的 神经形态电路神经元信号处理逻辑的一种实施方式。图30示出根据本发明的实施例的、可以用来将输入信号连接到神经元的虚拟接 地电路的一种可能的实施方式。
具体实施例方式本发明意在由神经形态电路执行或在神经形态电路中实现以通过突触样结点的 物理状态的受控且确定性变化来提供机器学习的神经形态电路和方法，神经形态电路的神 经元通过所述突触样结点被互连。下面，在第一小节中，提供神经形态电路和突触样结点的 概述。在第二小节中，讨论本发明的方法和系统实施例。神经形态电路和神经形态电路内的突触样结点
牛物神经元神经元是在动物的脑中找到的一种细胞。神经元被视为基本生物计算实体(如果 不是的话)之一。据估计，人脑包含约1000亿(1011)个神经元和约100万亿(1014)个神经 元之间的互连。人脑中的神经元之间的巨大数目的互连被认为与生物计算的大规模并行性 质直接相关。每个神经元是单个细胞。图1示出神经元的广义的和风格化的图示。神经元102 包括包含细胞核106和各种细胞器的细胞体104，所述各种细胞器包括线粒体、多个分叉的 树突(诸如源自细胞体104的树突108)、以及在许多分叉的延伸部分112中终止的一般的 一个非常长的轴突110。通常，树突提供用于从其它神经元接收信号的扩大的神经元表面面 积，而轴突用于从该神经元向其它神经元发送信号。轴突112的终末分支与其它神经元的 树突对接，并且不经常地与细胞体对接。单个神经元可以接收多达100，000个不同的信号 输入。同样地，神经元可以向几十个、几百个、或者乃至几千个下游神经元发送信号。在给 定的单独树突和终末轴突延伸部分内，就其数目和支化度而言以及就体积和长度而言，神 经元变化极大。例如，轴突的长度在显著小于一毫米到超过一米的范围内。轴突长度和连 接性的此灵活性允许信号通道的分级级联和大脑内的信号通道和级联的基于极复杂连接 的组织。图2示出神经元的更抽象的表示。通常可以将神经元视为节点202，其从诸如输 入端204之类的多个输入端接收输入信号，并根据输入的时间和空间特性通过激发输出信 号206来对大于阈值强度的输入刺激进行响应。换言之，可以将神经元视为与阈值及信号 生成和信号输出机制组合的非常复杂的输入信号整合器。当信号整合器在有限的时间段内 并且在节点表面的足够小的区域内累积了足够数目的输入信号时，神经元通过激发输出信 号来进行响应。如上所述，给定神经元接收到的输入信号是由通过其它神经元的终末轴突分支与 给定神经元的树突之间的突触结点连接到给定神经元的其它神经元的输出信号生成。多个 神经元之间的这些突触或连接具有被动态调整的连接强度或权值。对连接强度或权值的调 整被认为明显有助于学习和记忆两者，并且表示大脑内的相当一部分的并行计算。神经元功能源自于并取决于复杂的电化学梯度和离子通道。图3是神经元单元的 抽象表示，示出控制并响应用来触发神经元输出信号激发的电化学梯度和信号的神经元的 外部膜中的不同类型的电化学梯度和通道。在图3中，将神经元表示为球状、膜封闭细胞 302，其内容304通过包括诸如通道310之类的各种类型的通道的双壁疏水性膜308与外界 环境306分离。所述各种类型的通道提供神经元的内部与外界环境之间的受控化学沟通。主要负责神经元特性的通道是高度选择性的离子通道，其允许特定无机离子从外 界环境传送到神经元中和/或从神经元内部传送到外界环境。特别重要的无机离子包括 钠、Na+、钾、K+、钙、Ca2+、和氯Cl—离子。离子通道通常不是连续打开的，而是响应于各种类 型的刺激被选择性地打开和关闭的。电压门控通道根据跨越神经元膜的电压或电场打开和 关闭。其它通道通过机械应力被选择性地打开和关闭，并且仍有其它类型的通道响应于配 位体的结合和释放来打开和关闭，所述配位体一般为小分子有机化合物，包括神经递质。可 以另外通过向离子通道蛋白质添加和从离子通道蛋白质删除某些官能团来控制并修改离 子通道行为和响应，所述添加和删除由各种酶来执行，包括激酶和磷酸酶，其随后又被各种
8类型的化学信号级联控制。通常，在静止或非激发状态下，神经元内部具有相对低浓度的钠离子312、相应地 低浓度的氯离子314、以及相对于外界环境318中的这些离子的浓度而言相对高浓度的钾 离子316。在静止状态下，在神经元膜两端存在显著的40 50mV电化学梯度，其中膜的内 部相对于外界环境而言带负电。该电化学梯度主要由有源Na+-K+抽吸通道320生成，所述 Na+-K+抽吸通道320使用化学能，采取腺苷三磷酸的形式，以连续地针对从外界环境进入神 经元内部的每两个钾离子交换从神经元的内部排出到外界环境的三个钠离子。神经元还包 含无源K+泄漏通道310，其允许钾离子从神经元的内部漏回到外界环境。这允许钾离子在 离子浓度梯度和电位梯度(electrical gradient)方面达到平衡。 由神经元膜的局部去极化来触发神经元激发或发放(spiking)。换言之，跨越膜 的通常为负的电化学梯度的崩溃导致触发输出信号。由电压门控钠通道324来促进表示神 经元激发的神经元膜的波状全局去极化，所述电压门控钠通道324允许钠离子沿着先前由 Na+-K+抽吸通道320建立的电化学梯度进入神经元的内部。神经元激发表示活动的短脉冲， 在此之后，神经元返回到类似于激发前的状态，在该状态下，重建跨越神经元膜的正常的负 电化学梯度。电压门控钾通道326响应于膜去极化而打开，以允许钾离子沿着化学钾离子 梯度流出，以便促进在激发之后的跨越神经元膜的电化学梯度的重建。通过神经元膜的局 部去极化打开的电压门控钾通道324在打开状态下是不稳定的，并且相对快速地移动到失 活状态，以允许通过电压门控钾通道326和Na+-K+通道/抽吸320的操作来重建负膜电位。神经元膜去极化在神经元细胞膜的小的局部区域处开始，并以波状形式扫过神经 元细胞，包括沿着轴突至轴突终末分支。轴突终末分支处的去极化触发由胞外分泌328进 行的电压门控神经递质释放。由轴突终末分支进行的神经递质到称为“突触前神经元”的 激发神经元的轴突终末分支与每个称为“突触后神经元”的信号接收神经元的树突之间的 突触区中的释放导致释放的神经递质通过突触后细胞的树突上的受体进行结合，这导致信 号从突触前神经元到突触后神经元的传输。在突触后神经元中，递质到神经递质门控离子 通道330和332的结合分别导致兴奋性输入信号和抑制性输入信号。将钠离子导入神经元 330中的神经递质门控离子通道有助于邻近于突触区的神经元膜的局部去极化，并因此提 供兴奋性信号。相反，神经递质激活的氯离子通道332导致带负电的氯离子到神经元细胞 中的导入，引起对跨越膜的正常、静止负电压梯度进行恢复或加强，并由此抑制局部化膜去 极化且提供抑制性信号。还通过允许钙流入神经元的电压门控钙离子通道329来促进神经 递质释放。Ca2+激活钾通道334用于在高频的膜去极化和导致在神经元内构建钙离子的信号 激发之后降低膜的可去极化性。因此，已被连续刺激达到很长时间段的神经元对该刺激的 响应变得较少。最初，钾离子通道用于降低接近于神经元激发所需的阈值刺激的刺激水平 下的神经元激发水平。这防止关于阈值刺激区的全或无类型的神经元响应，反而提供对应 于一定范围的神经元刺激的一定频率范围的神经元激发。神经元激发的振幅通常是恒定 的，其中输出信号强度反映在神经元激发的频率上。神经元的另一有趣特征是长期增强。当突触前细胞在突触后膜被强有力地去极化 时的时刻激发时，突触后细胞会变得更易对来自突触前神经元的后续信号进行响应。换言 之，当在很近的时间发生突触前和突触后神经元激发时，互连的强度或加权可以增加。
图4 5举例说明了神经元激发。在图4中，静止状态神经元402在膜404两端表 现出负电压梯度。当静止神经元接收到神经递质介导信号输入406时，神经元膜的小区域 408可以通过抑制性信号输入接收刺激信号输入的充分进入(access)，以对神经元膜的小 区域408进行去极化。此局部去极化激活电压门控钠通道，以产生跨越神经元膜散布并沿 着轴突的波状全局去极化，随着钠离子沿着钠离子浓度梯度进入神经元而暂时使神经元膜 两端的电压梯度反转。电压梯度的反转将神经元置于激发或发放状态，如上文所讨论的，在 该状态下，轴突的终末分支将释放神经递质信号到突触中以用信号通知突触后神经元。电 压门控钠通道快速地变得去激活，电压门控钾通道打开，并且快速地恢复412静止状态负 电压梯度。图5示出发放或激发期间的神经元膜上的点处的电压梯度反转。通常，电压梯 度是负的520，但在表示神经元激发或发放的波状膜去极化和输出信号沿着轴突到轴突的 终末分支的传播期间暂时反转522。 图6举例说明动态突触强度现象的模型。图6是相对于纵轴602绘制的突触强化 F对比沿着横轴604绘制为At的突触前与突触后发放之间的时间差的图。当突触前神经 元在距离突触后神经元的激发很近但在其之前的时间激发时，突触强化的量是相对高的， 其由到纵轴左侧的绘制曲线606的急剧增加部分来表示。F的图的此部分对应于赫比学习， 其中，突触后和突触前神经元的激发中的相关性导致突触强化。相反，当突触前神经元刚好 在突触后神经元的激发之后激发时，则突触强度被弱化，如在纵轴右侧的所绘制曲线的急 剧向上曲线部分608所表示的那样。当突触前和突触后神经元的激发在时间上不相关时， 或者换言之，At的幅值很大时，突触的强度未受到很大影响，如以从原点起增加的距离接 近横轴的那部分所绘制曲线所表示的那样。由曲线610的右侧部分之上的区域所表示的对 突触前和突触后神经元激发相关性的突触弱化响应可以由于由所绘制曲线612的左侧部 分下面的区域所表示的突触前与突触后神经元激发之间的相关性而不等于突触强化。总而言之，神经元充当与阈值功能和输出信号生成功能组合的微漏输入信号整合 器。神经元以随着神经元的兴奋性刺激的增加而增加的频率激发，虽然随着时间的推移，神 经元对恒定高的刺激的响应减少。多个神经元之间的突触或结点可以被突触前与突触后神 经元激发中的相关性强化或弱化。另外，在没有增强刺激的情况下，突触强度和神经元刺激 两者随着时间的推移而衰减。神经元由于由高度枝化的树突和轴突终末分支以及由轴突的 长度支持的神经元之间的极高的连接密度而提供用于生物有机体内的大规模并行神经网 络的基本计算单元。神经网络和感知网络最初由模拟并利用生物信号处理和计算的尝试促成的被视为人工智能领域的神 经网络已经证明足够有效且有用，研究人员和开发者目前正在试图直接用硬件构建神经网 络以及开发用于促进神经网络的软件实现的专用硬件平台。神经网络本质上是计算互连节 点的网络。图7示出典型的神经网络节点。不令人惊讶的是神经网络节点使人想起图2中 所示的神经元的模型。神经网络节点702从η个有向链路705 708以及特殊链路jQ接 收输入，并在输出链路710上产生输出信号，所述输出链路710可以进行分枝(正如轴突分 支一样)以向多个不同的下游节点发送信号。有向输入链路705 708是神经网络中的上 游节点的输出信号，或来自输出信号的分支，或者在第一级节点的情况下，是从到神经网络 的某种类型的输入导出的。上游节点中的每个与在某些实施方式中在0 1范围内的激活相关。每个输入链路与权值相关。因此，图7中所示的神经网络节点i从具有激活ajl， aJ2，. . .，aJn的η个上游神经网络节点接收η个输入丄，j2，. . . jn，其中每个输入丄，j2，. . . jn 与相应的当前权值、.,_，wL ι，· ，相关联。换言之，激活是节点的性质，并且权值是节 点之间的链路的性质。神经网络节点i计算来自接收到的加权输入信号的活动(activity) ai 并在输出信号线710上输出对应于所计算的活动％的信号。如图7中所示，可以将神经 元的非常简单的模型表示为其中，g()是非线性激活函数。图8 9举例说明了激活函数的两个不同示例。特 殊输入信号线jo表示具有 …=-1固定激活的内偏移。使用与此内偏移相关的权值^0。，/ 来设置用于节点的阈值当来自实际输入信号线丄，j2，· · · jn的加权激活输入的和超过wA1，》· 的偏置权值时，则神经元是活动的，并且输出信号 。图8中所示的第一激活函数g()表示 硬阈值，而图9中所示的第二激活函数g()提供软阈值。在神经元的更一般模式中，神经元 输出激发是到神经元的加权输入的过去历史的函数，神经元输出激发常常是随机的，并因 此并不必需采用阈值。输出信号％可以具有各种不同形式中的任何一种，并且可以通过各 种手段中的任何一种来反映神经元活动的程度，所述通过各种手段中的任何一种包括通过 改变尖峰输出的持续时间、尖峰输出的频率、电压或电流中的每个尖峰的幅值，通过改变线 性信号的电压或电流，或通过对信号中的信息进行编码的任何其它手段。图10示出了简单的三级神经网络。神经网络包括四个输入节点1002 1005、两 个中间节点1008 1009、以及最高级别的输出节点1012。输入节点1002 1005中的每 个接收到神经网络的一个或多个输入，且每个均产生通过内部连接或边指向中间节点1008 和1009中的一个或多个的输出信号。随后，中间节点产生到将中间节点连接到输出节点 1012的边的输出信号。其中信号在沿边的仅一个方向上从输入节点指向输出节点的神经 网络被称为“前馈网络”，而包括允许信号从较高级节点返回向较低级节点传播的诸如图10 中的边1014 1015的反馈边的神经网络被称为“回归网络”。可以使用多层神经网络来表 示任意维数和复杂性的一般非线性函数，假定在神经网络中包括相应的任意数目的节点的 能力。一经训练，神经网络通过生成输出信号(通常实现复杂的非线性函数)来对输入 信号进行响应。还可以间歇性地或连续地对神经网络进行重新训练，以便随着时间的推移， 由神经网络所表示的复杂的非线性函数反映先前的信号处理经验。神经网络、感知网络、及表示本发明的各种实施例的其它并行分布式动态网络节 点的物理节点实现迄今为止，大多数基于神经网络的系统本质上是神经网络行为的软件模拟。节点 被实现为数据结构和随附例程，并且以传统的连续指令执行方式反复地更新节点和边权 值。结果，虽然可以利用神经网络的许多有用特性，但是神经网络不提供在包括人脑在内的 真实并行计算系统中获得的计算速度。此外，包括边加权动态和泄漏积分的类似神经元的 功能的模拟在计算上可能是耗费相当大的，特别是当以连续方式反复地执行时更是如此。由于这个原因，已存在使用多种不同实现策略和材料来构建物理神经网络的许多 Qi =g WjiXlj
ι
11尝试。然而，迄今为止，尚未有物理实现甚至接近于即使简单的生物信号处理结构的密度和 计算效率。问题包括提供大量的动态连接、多种制造和组件约束、散热方面的问题、可靠性 方面的问题、以及许多其它问题。经证明，纳米线结点和包括各种纳米尺度金属氧化物特征在内的许多其它忆阻材 料的忆阻特性(其代表着制造类似于传统逻辑电路的纳米尺度电路的烦恼)是神经网络和 包括互连计算节点的其它并行分布式动态处理网络中的动态边所需的特性。因此，相对简 单地制造的纳米尺度纳米线结点以纳米尺度尺寸提供动态边的功能，而不需要编程或算法 计算。由于多个节点之间的连接的数目大大地超过了包括人脑在内的大部分自然发生的信 号处理和计算结构中的节点的数目，所以期望的是用来实现计算节点的硬件网络的连接较 小、容易制造并具有接近于边或突触所需的那些固有物理特性的固有物理特性，以便不必 将连接的动态性质编程到硬件中或由基于硬件的逻辑电路来模拟。忆阻材料 图IlA B举例说明了可以用目前可得到的技术制造的纳米线结点的忆阻特性。 图IlA举例说明了单个纳米线结点。纳米线结点在第一输入纳米线1104与第二输出纳米 线1106之间的结点处包括一层或多层忆阻材料1102。电流遵循以下电流模型，在某些电流 范围和电压范围内
[
权利要求
一种神经形态电路，包括两个或更多内部神经元计算单元，每个内部神经元计算单元包括用于接收同步信号的同步信号输入端、用于接收输入信号的至少一个输入端和用于发送输出信号的至少一个输出端；以及忆阻突触，每个忆阻突触将载送来自于第一组的一个或多个内部神经元的输出信号的输出信号线互连到向第二组的一个或多个内部神经元载送信号的输入信号线。
1.一种神经形态电路，包括两个或更多内部神经元计算单元，每个内部神经元计算单元包括用于接收同步信号的 同步信号输入端、用于接收输入信号的至少一个输入端和用于发送输出信号的至少一个输 出端；以及忆阻突触，每个忆阻突触将载送来自于第一组的一个或多个内部神经元的输出信号的 输出信号线互连到向第二组的一个或多个内部神经元载送信号的输入信号线。
2.权利要求1的神经形态电路，其中，每个内部神经元采用同步信号将时间划分成多 个帧，每个帧包括两个或更多时隙。
3.权利要求2的神经形态电路，其中，在每个帧的每个时隙期间，每个内部神经元可以 发送和/或接收与该时隙相关的特定类型信号的信号。
4.权利要求3的神经形态电路，其中，由内部神经元在每个帧的每个时隙期间发送的 信号是次阈值信号，其在没有与附加信号组合的情况下、相对于信号通过的任何忆阻突触 而言低于阈值信号强度幅值。
5.权利要求4的神经形态电路，其中，每个帧包括 COMM时隙；LTP+时隙； LTP_时隙； LTD+时隙；以及 LTD—时隙。
6.权利要求5的神经形态电路，其中在COMM时隙期间，内部神经元可以向一个或多个下游神经元发送输出信号； 在LTP+时隙期间，内部神经元可以发送LTP+/LTP_信号对的正LTP+信号； 在LTP_时隙期间，内部神经元发送LTP+/LTP_信号对的负LTP_信号； 在LTD+时隙期间，内部神经元可以发送LTD+/LTD_信号对的正LTD+信号；以及 在LTD_时隙期间，内部神经元发送LTD+/LTD_信号对的负LTD_信号。
7.权利要求6的神经形态电路，其中，发放内部神经元在与发放一致的第一帧期间发送在COMM时隙期间到一个或多个输出端的尖峰信号； 在LTP+时隙期间到一个或多个输出端的最大LTP+信号； 在LTP-时隙期间到一个或多个输出端的最大LTP-信号； 在LTD+时隙期间到一个或多个输出端的最大LTD—信号； 在LTP+时隙期间到一个或多个输入端的最大LTP-信号； 在LTD+时隙期间到一个或多个输入端的最大LTD+信号； 在LTD—时隙期间到一个或多个输入端的最大LTD—信号。
8.权利要求6的神经形态电路，其中，非发放内部神经元在发放之后的每个帧期间发送在具有表示LTP函数的当前值的幅值的LTP+时隙期间到一个或多个输出端的LTP+信 号，其中所述LTP函数在发放时从最大值呈指数式衰减；在具有表示LTP函数的当前值的幅值的LTP—时隙期间到一个或多个输出端的LTP—信号，其中所述LTP函数在发放时从最大值呈指数式衰减；在具有表示LTP函数的当前值的幅值的LTD+时隙期间到一个或多个输入端的LTD+信 号，其中所述LTP函数在发放时从最大值呈指数式衰减；以及在具有表示LTP函数的当前值的幅值的LTD—时隙期间到一个或多个输入端的LTD—信 号，其中所述LTP函数在发放时从最大值呈指数式衰减。
9.权利要求6的神经形态电路，其中，当具有通过忆阻突触连接到第二内部神经元输 入端的输出端的第一内部神经元在第一帧中发放，而第二内部神经元在第一帧之后的第二 帧中发放时，以及当第一内部神经元的LTP函数尚未衰减到0值时，由第一内部神经元在 LTP+时隙期间发送的LTP+信号与由第二内部神经元在LTP+时隙期间发送到第二内部神经 元的一个或多个输入端的最大LTP_信号组合，以产生相对于突触而言在阈值信号强度以上 的正超阈值信号。
10.权利要求6的神经形态电路，其中，当具有通过忆阻突触连接到第二内部神经元输 入端的输出端的第一内部神经元在第二帧中发放，而第二内部神经元在第一帧之前的第一 帧中发放时，以及当第二内部神经元的LDP函数尚未衰减到0值时，由第一内部神经元在 LTD+时隙期间发送到一个或多个输出端的LTD-信号与由第二内部神经元在LTP+时隙期间 发送到第二内部神经元的一个或多个输入端的LTD+信号组合，以产生在阈值信号强度以 下的负超阈值信号，其负向地加强忆阻突触。
11.权利要求1的神经形态电路，其中，所述忆阻突触表现出由于所施加的超阈值正电 压而引起的非线性的正电导变化、由于所施加的超阈值负电压而引起的非线性的负电导变 化、以及由于具有低于阈值电压幅值的幅值的所施加电压而引起的非常小的电导变化。
12.权利要求1的神经形态电路，其中，内部神经元在输入端和输出端处发射电压信 号，并在输入端处接收电流信号，通过虚拟接地电路将接收到的电流信号变换成内部电压 信号。
13.一种用于实现神经形态电路中的学习的方法，该方法包括提供具有两个或更多内部神经元计算单元和忆阻突触的神经形态电路，每个内部神经 元计算单元包括用于接收同步信号的同步信号输入端、用于接收输入信号的至少一个输入 端；以及用于发送输出信号的至少一个输出端，每个忆阻突触将载送来自于第一组的一个 或多个内部神经元的输出信号的输出信号线互连到向第二组的一个或多个内部神经元载 送信号的输入信号线；以及由神经形态内的内部神经元发送信号，其相对于信号通过的任何忆阻突触而言低于阈 值信号强度幅值，但是在通过忆阻突触耦合的内部神经元均在指数式衰减函数的衰减时间 内激发的情况下，其组合以产生信号，该信号的一部分在幅值方面相对于忆阻突触而言大 于阈值信号强度幅值，根据学习模型改变忆阻突触的电导。
14.权利要求13的方法，其中，每个内部神经元采用同步信号将时间划分成多个帧，每个帧包括两个或更多时 隙；以及其中，在每个帧的每个时隙期间，每个内部神经元可以发送和/或接收与该时隙相关 的特定类型信号的信号。
15.权利要求14的方法其中，每个帧包括COMM时隙、LTP+时隙、LTP_时隙、LTD+时隙和LTD_时隙； 其中，在COMM时隙期间，内部神经元可以向一个或多个下游神经元发送输出信号，在 LTP+时隙期间，内部神经元可以发送LTP+/LTP_信号对的正LTP+信号，在LTP_时隙期间， 内部神经元发送LTP+/LTP_信号对的负LTP—信号，在LTD+时隙期间，内部神经元可以发送 LTDVLTD-信号对的正LTD+信号，并且在LTD_时隙期间，内部神经元发送LTD+/LTD_信号对 的负LTD_信号；其中，在与发放一致的第一帧期间，内部神经元发送 在COMM时隙期间到一个或多个输出端的尖峰信号， 在LTP+时隙期间到一个或多个输出端的最大LTP+信号， 在LTP-时隙期间到一个或多个输出端的最大LTP-信号； 在LTD+时隙期间到一个或多个输出端的最大LTD—信号， 在LTP+时隙期间到一个或多个输入端的最大LTP-信号， 在LTD+时隙期间到一个或多个输入端的最大LTD+信号，以及 在LTD—时隙期间到一个或多个输入端的最大LTD—信号，并且 其中，非发放神经元在发放之后的每个帧期间发送在具有表示LTP函数的当前值的幅值的LTP+时隙期间到一个或多个输出端的LTP+信 号，其中所述LTP函数在发放时从最大值呈指数式衰减；在具有表示LTP函数的当前值的幅值的LTP—时隙期间到一个或多个输出端的LTP—信 号，其中所述LTP函数在发放时从最大值呈指数式衰减；在具有表示LTP函数的当前值的幅值的LTD+时隙期间到一个或多个输入端的LTD+信 号，其中所述LTP函数在发放时从最大值呈指数式衰减；以及在具有表示LTP函数的当前值的幅值的LTD—时隙期间到一个或多个输入端的LTD—信 号，其中所述LTP函数在发放时从最大值呈指数式衰减。
全文摘要
本发明的实施例意在包含两个或更多内部神经元计算单元的神经形态电路。每个内部神经元计算单元包括用于接收同步信号的同步信号输入端、用于接收输入信号的至少一个输入端和用于发送输出信号的至少一个输出端。忆阻突触将载送来自于第一组的一个或多个内部神经元的输出信号的输出信号线连接到向第二组的一个或多个内部神经元载送信号的输入信号线。
文档编号G06F15/18GK101971166SQ200880128042
公开日2011年2月9日 申请日期2008年9月29日 优先权日2008年3月14日
发明者G·S·斯奈德 申请人:惠普开发有限公司