因果凸显性时间推断的制作方法
【专利说明】因果凸显性时间推断
[0001 ]根据35U.S.C.§119的优先权要求
[0002]本申请要求于2013年10月29日提交的美国临时专利申请S/N. 61/897,024及于 2014年1月21日提交的美国专利申请S/N. 14/160,128的权益，运两篇申请的全部内容通过 援引纳入于此。
[000；3]背景
[0004] 领域
[0005] 本公开的某些方面一般设及学习系统(例如，人工神经系统），尤其设及使用因果 凸显性来确定事件的逻辑原因。
[0006] 背景
[0007]可包括一群互连的人工神经元（即神经元模型）的人工神经网络是一种计算设备 或者表示将由计算设备执行的方法。人工神经网络可具有生物学神经网络中的对应结构 和/或功能。然而，人工神经网络可为其中传统计算技术是麻烦的、不切实际的、或不胜任的 某些应用提供创新且有用的计算技术。由于人工神经网络能从观察中推断出功能，因此运 样的网络在其中任务或数据的复杂度使得通过常规技术来设计该功能较为麻烦的应用中 是特别有用的。
[000引一种类型的人工神经网络是尖峰（spiking)神经网络，其将时间概念W及神经元 状态和突触状态纳入到其工作模型中，由此提供了丰富的行为集，在神经网络中能从该行 为集涌现出计算功能。尖峰神经网络基于W下概念:神经元基于该神经元的状态在一个或 多个特定时间激发或"发放尖峰"，并且该时间对于神经元功能而言是重要的。当神经元激 发时，它生成一尖峰，该尖峰行进至其他神经元，运些其他神经元继而可基于接收到该尖峰 的时间来调整它们的状态。换言之，信息可被编码在神经网络中的尖峰的相对或绝对定时 中。
[0009] 概述
[0010] 本公开的某些方面一般设及通过使用因果凸显性来确定事件的逻辑原因的推断 学习。
[0011] 本公开的某些方面提供了用于因果学习的方法。该方法一般包括用装置观察一个 或多个事件，其中事件被定义为特定相对时间处的发生;基于一个或多个准则来选择运些 事件的子集;W及基于所选子集来确定运些事件中的至少一个事件的逻辑原因。
[0012] 本公开的某些方面提供了用于因果学习的装置。该装置一般包括处理系统和禪合 至该处理系统的存储器。该处理系统通常被配置成观察一个或多个事件，事件被定义为特 定相对时间处的发生;基于一个或多个准则来选择运些事件的子集；W及基于所选子集来 确定至少一个事件的逻辑原因。
[0013] 本公开的某些方面提供了用于因果学习的设备。该设备一般包括用于观察一个或 多个事件的装置，事件被定义为特定相对时间处的发生；用于基于一个或多个准则来选择 运些事件的子集的装置;W及用于基于所选子集来确定至少一个事件的逻辑原因的装置。
[0014] 本公开的某些方面提供了用于因果学习的计算机程序产品。该计算机程序产品一 般包括具有代码的非瞬态计算机可读介质（例如，存储设备），该代码用于观察一个或多个 事件，事件被定义为特定相对时间处的发生；用于基于一个或多个准则来选择运些事件的 子集;W及用于基于所选子集来确定至少一个事件的逻辑原因。
[0015] 附图简述
[0016] 为了能详细理解本公开的W上陈述的特征所用的方式，可参照各方面来对W上简 要概述的内容进行更具体的描述，其中一些方面在附图中解说。然而应注意，附图仅解说了 本公开的某些典型方面，故不应被认为限定其范围，因为本描述可允许有其他等同有效的 方面。
[0017] 图1解说了根据本公开的某些方面的示例神经元网络。
[0018] 图2解说了根据本公开的某些方面的计算网络(神经系统或神经网络）的示例处理 单元(神经元）。
[0019] 图3解说了根据本公开的某些方面的示例尖峰定时依赖可塑性(STDP)曲线。
[0020] 图4是根据本公开的某些方面的人工神经元的状态的示例图形，其解说了用于定 义神经元的行为的正态相和负态相。
[0021] 图5解说了根据本公开的某些方面的对预测性关系推断的两种不同观点。
[0022] 图6解说了根据本公开的某些方面的相比于其他保留事件在相对时间尺度上相关 的事件。
[0023] 图7解说了根据本公开的某些方面的使用因果凸显性的示例学习方法。
[0024] 图8解说了根据本公开的某些方面的相关和逻辑因果性形式。
[0025] 图9解说了根据本公开的某些方面的通过引导相关时间关系来确定逻辑表达。
[0026] 图10是根据本公开的某些方面的示例因果凸显性因果推断学习模型的框图。
[0027] 图11是根据本公开的某些方面的用于因果学习的示例操作的流程图。
[0028] 图IlA解说了能够执行图11中示出的各操作的示例装置。
[0029] 图12解说了根据本公开的某些方面的使用通用处理器进行因果学习的示例实现。
[0030] 图13解说了根据本公开的某些方面的用于因果学习的示例实现，其中存储器可与 个体分布式处理单元对接。
[0031] 图14解说了根据本公开的某些方面的基于分布式存储器和分布式处理单元进行 因果学习的示例实现。
[0032] 图15解说了根据本公开的某些方面的神经网络的示例实现。
[0033] 详细描述
[0034] W下参照附图更全面地描述本公开的各个方面。然而，本公开可用许多不同形式 来实施并且不应解释为被限定于本公开通篇给出的任何具体结构或功能。确切而言，提供 运些方面是为了使得本公开将是透彻和完整的，并且其将向本领域技术人员完全传达本公 开的范围。基于本文中的教导，本领域技术人员应领会，本公开的范围旨在覆盖本文中所披 露的本公开的任何方面，不论其是与本公开的任何其他方面相独立地还是组合地实现的。 例如，可W使用本文所阐述的任何数目的方面来实现装置或实践方法。另外，本公开的范围 旨在覆盖使用作为本文中所阐述的本公开的各种方面的补充或者另外的其他结构、功能 性、或者结构及功能性来实践的此类装置或方法。应当理解，本文中所披露的本公开的任何 方面可由权利要求的一个或多个元素来实施。
[0035] 措辞"示例性"在本文中用于表示"用作示例、实例或解说"。本文中描述为"示例 性"的任何方面不必被解释为优于或胜过其他方面。
[0036] 尽管本文描述了特定方面，但运些方面的众多变体和置换落在本公开的范围之 内。虽然提到了优选方面的一些益处和优点，但本公开的范围并非旨在被限定于特定益处、 用途或目标。相反，本公开的各方面旨在能宽泛地应用于不同的技术、系统配置、网络和协 议，其中一些作为示例在附图W及W下对优选方面的描述中解说。该详细描述和附图仅仅 解说本公开而非限定本公开，本公开的范围由所附权利要求及其等效技术方案来定义。
[0037] 示例神经系统
[0038] 图1解说根据本公开的某些方面的具有多级神经元的示例神经系统100。神经系统 100可包括神经元级102,该级神经元102通过突触连接网络104(即，前馈连接)来连接到另 一级神经元106。为简单起见，图1中仅解说了两级神经元，但在典型的神经系统中可存在更 少或更多级神经元。应注意，一些神经元可通过侧向连接来连接至同一层中的其他神经元。 此外，一些神经元可通过反馈连接来后向连接至先前层中的神经元。
[0039] 如图1所解说的，级102中的每一神经元可接收输入信号108,输入信号108可W是 由前一级（图1中未示出）的多个神经元所生成的。信号108可表示级102的神经元的输入(例 如，输入电流）。此类输入可在神经元膜上累积W对膜电位进行充电。当膜电位达到其阔值 时，该神经元可激发并生成输出尖峰，该输出尖峰将被传递到下一级神经元(例如，级106)。 此类行为可在硬件和/或软件(包括模拟和数字实现)中进行仿真或模拟。
[0040] 在生物学神经元中，在神经元激发时生成的输出尖峰被称为动作电位。该电信号 是相对迅速、瞬态、全有或全无的神经脉冲，其具有约为IOOmV的振幅和约为Ims的历时。在 具有一系列连通的神经元(例如，尖峰从图1中的一级神经元传递至另一极）的神经系统的 特定方面，每个动作电位都具有基本上相同的振幅和历时，因此该信号中的信息仅由尖峰 的频率和数目（或尖峰的时间）来表示，而不由振幅来表示。由动作电位携带的信息由尖峰、 发放尖峰的神经元、W及该尖峰相对于一个或多个其他尖峰的时间来确定。
[0041] 尖峰从一级神经元向另一级神经元的传递可通过突触连接(或简称"突触"）网络 104来达成，如图1所解说的。突触104可从级102的神经元(相对于突触104而言的突触前神 经元）接收输出信号（即尖峰）。对于某些方面，运些信号可根据可调节突触权重 (其中P是级102和106的神经元之间的突触连接的总数)来按比例缩 > ? ?气 放。对于其它方面，突触104可W不应用任何突触权重。此外，（经比例缩放的)信号可被组合 W作为级106中每个神经元(相对于突触104而言的突触后神经元）的输入信号。级106中的 每个神经元可基于对应的组合输入信号来生成输出尖峰110。随后可使用另一突触连接网 络（图1中未示出)将运些输出尖峰110传递到另一级神经元。
[0042] 生物学突触可被分类为电的或化学的。虽然电突触主要用于发送兴奋性信号，但 化学突触可调停突触后神经元中的兴奋性或抑制性(超极化)动作，并且还可用于放大神经 元信号。兴奋性信号通常使膜电位去极化(即，相对于静息电位增大膜电位）。如果在某个时 段内接收到足够的兴奋性信号W使膜电位去极化到高于阔值，则在突触后神经元中发生动 作电位。相反，抑制性信号一般使膜电位超极化（即，降低膜电位）。抑制性信号如果足够强 则可抵消掉兴奋性信号之和并阻止膜电位到达阔值。除了抵消掉突触兴奋W外，突触抑制 还可对自发活动神经元施加强力的控制。自发活动神经元是指在没有进一步输入的情况下 (例如，由于其动态特性或反馈而)发放尖峰的神经元。通过压制运些神经元中的动作电位 的自发生成，突触抑制可对神经元中的激发模式进行整形，运一般被称为雕刻。取决于期望 的行为，各种突触104可充当兴奋性或抑制性突触的任何组合。
[0043] 神经系统100可通过通用处理器、数字信号处理器化SP)、专用集成电路(ASIC)、现 场可编程口阵列(FPGA)或其他可编程逻辑器件(PLD)、分立的口或晶体管逻辑、分立的硬件 组件、由处理器执行的软件模块、或其任何组合来仿真。神经系统100可用在大范围的应用 中，诸如图像和模式识别、机器学习、电机控制等。神经系统100中的每个神经元(或神经元 模型）都可W被实现为神经元电路。被充电至发起输出尖峰的阔值的神经元膜可被实现为 例如对流经其的电流进行积分的电容器。
[0044] 在一方面，电容器作为神经元电路的电流积分器件可被除去，并且可使用较小的 忆阻器元件来替代它。运种办法可应用于神经元电路中，W及其中大容量电容器被用作电 流积分器的各种其他应用中。另外，每个突触104可基于忆阻器元件来实现，其中突触权重 改变可与忆阻器电阻的变化有关。使用纳米特征尺寸的忆阻器，可显著地减小神经元电路 和突触的面积，运可使得实现超大规模神经系统硬件实现变得可行。
[0045] 对神经系统100进行仿真的神经处理器的功能性可取决于突触连接的权重，运些 权重可控制神经元之间的连接的强度。突触权重可存储在非易失性存储器中W在掉电之后 保留该处理器的功能性。在一方面，突触权重存储器可实现在与主神经处理器忍片分开的 外部忍片上。突触权重存储器可与神经处理器忍片分开地封装成可更换的存储卡。运可向 神经处理器提供多种多样的功能性，其中特定功能性可基于当前附连至神经处理器的存储 卡中所存储的突触权重。
[0046] 图2解说了根据本公开的某些方面的计算网络（例如，神经系统或神经网络）的处 理单元(例如，人工神经元202)的示例200。例如，神经元202可对应于来自图1的级102