在多维范围上对包括可分离子系统的系统的评估的制作方法
【专利说明】在多维范围上对包括可分离子系统的系统的评估
[0001 ] 背景 [0002] 领域
[0003] 本公开的某些方面一般涉及神经系统工程，且更具体地涉及通过改进参数搜索的 执行时间来进行神经网络的发展和测试。
[0004] 背景
[0005] 人工神经网络可为其中传统计算技术是麻烦的、不切实际的、或不胜任的某些应 用提供创新且有用的计算技术。人工神经网络可具有生物学神经网络中的对应的结构和/ 或功能。可以是一群互连的人工神经元（即神经元模型）的人工神经网络是一种计算设备或 者表示将由计算设备执行的方法。由于人工神经网络能从观察中推断出功能，因此这样的 网络在因任务或数据的复杂度使得通过常规技术来设计该功能较为麻烦的应用中是特别 有用的。
[0006] 概述
[0007] 在一个方面，公开了一种无线通信方法。该方法包括通过确定该系统的子系统之 间的单向依赖性来将这些子系统串行化和/或通过确定每个子系统内的独立性来将这些子 系统并行化。该方法进一步包括基于每个输入参数是否影响每个子系统来修剪每个子系统 的输入参数。
[0008] 另一方面公开了一种设备，包括用于通过确定系统的子系统之间的单向依赖性来 将这些子系统串行化的装置和/或用于通过确定每个子系统内的独立性来将这些子系统并 行化的装置。该设备进一步包括用于基于每个输入参数是否影响每个子系统来修剪每个子 系统的输入参数的装置。
[0009] 在另一方面，公开了一种具有非瞬态计算机可读介质的用于无线网络中的无线通 信的计算机程序产品。该计算机可读介质具有记录于其上的非瞬态程序代码，该程序代码 在由（诸)处理器执行时使(诸)处理器执行以下操作:通过确定系统的子系统之间的单向依 赖性来将这些子系统串行化和/或通过确定每个子系统内的独立性来将这些子系统并行 化。该程序代码还使该处理器基于每个输入参数是否影响每个子系统来修剪每个子系统的 输入参数。
[0010] 另一方面公开了具有存储器以及耦合至该存储器的至少一个处理器的无线通信。 该处理器被配置成通过确定系统的子系统之间的单向依赖性来将这些子系统串行化和/或 通过确定每个子系统内的独立性来将这些子系统并行化。该处理器还被配置成基于每个输 入参数是否影响每个子系统来修剪每个子系统的输入参数。
[0011] 本发明的其他特征和优点将在下文描述。本领域技术人员应该领会，本发明可容 易地被用作改动或设计用于实施与本发明相同的目的的其他结构的基础。本领域技术人员 还应认识到，这样的等效构造并不脱离所附权利要求中所阐述的本发明的教导。被认为是 本发明的特性的新颖特征在其组织和操作方法两方面连同进一步的目的和优点在结合附 图来考虑以下描述时将被更好地理解。然而要清楚理解的是，提供每一幅附图均仅用于解 说和描述目的，且无意作为对本发明的限定的定义。
[0012] 附图简述
[0013] 在结合附图理解下面阐述的详细描述时，本发明的特征、本质和优点将变得更加 明显，在附图中，相同附图标记始终作相应标识。
[0014] 图1解说根据本公开的某些方面的示例神经元网络。
[0015]图2解说根据本公开的某些方面的计算网络（神经系统或神经网络）的处理单元 (神经元)的示例。
[0016] 图3解说根据本公开的某些方面的尖峰定时依赖可塑性(STDP)曲线的示例。
[0017] 图4解说根据本公开的某些方面的用于定义神经元模型的行为的正态相和负态相 的示例。
[0018] 图5A-5B解说根据本公开各方面的神经网络的示例。
[0019] 图6A-6D解说根据本公开各方面的神经网络的示例。
[0020] 图7是解说根据本公开的一方面的用于改进神经网络的参数评估的方法的框图。
[0021] 图8是解说根据本公开的一方面的用于改进神经网络的参数评估的函数的框图。 [0022]图9解说根据本公开的某些方面的使用通用处理器来设计神经网络的示例实现。 [0023]图10解说根据本公开的某些方面的设计其中存储器可以与各个分布式处理单元 对接的神经网络的示例实现。
[0024]图11解说根据本公开的某些方面的基于分布式存储器和分布式处理单元来设计 神经网络的示例实现。
[0025] 图12解说根据本公开的某些方面的神经网络的示例实现。
[0026] 图13是解说用于在具有带有单向依赖性的子系统的系统上执行参数扫掠的方法 的框图。
【具体实施方式】
[0027] 以下结合附图阐述的详细描述旨在作为各种配置的描述，而无意表示可实践本文 中所描述的概念的仅有的配置。本详细描述包括具体细节以便提供对各种概念的透彻理 解。然而，对于本领域技术人员将显而易见的是，没有这些具体细节也可实践这些概念。在 一些实例中，以框图形式示出众所周知的结构和组件以避免湮没此类概念。
[0028] 基于教导，本领域技术人员应领会，本公开的范围旨在覆盖本公开的任何方面，不 论其是与本公开的任何其他方面相独立地还是组合地实现的。例如，可以使用所阐述的任 何数目的方面来实现装置或实践方法。另外，本公开的范围旨在覆盖使用作为所阐述的本 公开的各个方面的补充或者与之不同的其他结构、功能性、或者结构及功能性来实践的此 类装置或方法。应当理解，所披露的本公开的任何方面可由权利要求的一个或多个元素来 实施。
[0029]措辞"示例性"在本文中用于表示"用作示例、实例或解说"。本文中描述为"示例 性"的任何方面不必被解释为优于或胜过其他方面。
[0030]尽管本文描述了特定方面，但这些方面的众多变体和置换落在本公开的范围之 内。虽然提到了优选方面的一些益处和优点，但本公开的范围并非旨在被限定于特定益处、 用途或目标。相反，本公开的各方面旨在能宽泛地应用于不同的技术、系统配置、网络和协 议，其中一些作为示例在附图以及以下对优选方面的描述中解说。该详细描述和附图仅仅 解说本公开而非限定本公开，本公开的范围由所附权利要求及其等效技术方案来定义。
[0031] 示例神经系统、训练及操作
[0032] 图1解说根据本公开的某些方面的具有多级神经元的示例人工神经系统100。神经 系统100可具有一级神经元102,该级神经元102通过突触连接网络104(即，前馈连接)来连 接到另一级神经元106。为简单起见，图1中仅解说了两级神经元，尽管神经系统中可存在更 少或更多级神经元。应注意，一些神经元可通过侧向连接来连接至同层中的其他神经元。此 外，一些神经元可通过反馈连接来后向连接至先前层中的神经元。
[0033] 如图1所解说的，级102中的每一个神经元可以接收可由前一级的神经元(未在图1 中示出）生成的输入信号108。信号108可表示级102的神经元的输入电流。该电流可在神经 元膜上累积以对膜电位进行充电。当膜电位达到其阈值时，该神经元可激发并生成输出脉 冲，该输出脉冲将被传递到下一级神经元(例如，级106)。在某些情况下，神经元可以连续地 向下一级神经元传送信号。所传送的信号可以是膜电位的函数。此类行为可在硬件和/或软 件(包括模拟和数字实现，诸如以下所述那些实现）中进行仿真或模拟。
[0034] 在生物学神经元中，在神经元激发时生成的输出尖峰被称为动作电位。该电信号 是相对迅速、瞬态的神经脉冲，其具有约为100mV的振幅和约为lms的历时。在具有一系列连 通的神经元(例如，尖峰从图1中的一级神经元传递至另一级神经元）的神经系统的特定实 施例中，每个动作电位都具有基本上相同的振幅和历时，因此该信号中的信息可仅由尖峰 的频率和数目、或尖峰的时间来表示，而不由振幅来表示。动作电位所携带的信息可由尖 峰、发放尖峰的神经元、以及该尖峰相对于一个或多个其他尖峰的时间来决定。尖峰的重要 性可由向各神经元之间的连接应用的权重来确定，如以下所解释的。
[0035] 尖峰从一级神经元向另一级神经元的传递可通过突触连接(或简称"突触"）网络 104来达成，如图1所解说的。关于突触104,级102的神经元可被视为突触前神经元，而级106 的神经元可被视为突触后神经元。突触104可接收来自级102的神经元的输出信号（即，尖 峰），并根据可调节突触权重
来按比例缩放那些信号，其中P是级102 的神经元与级106的神经元之间的突触连接的总数，并且i是神经元级的指示符。例如，在图 1的示例中，i表示神经元级102并且i+Ι表示神经元级106。此外，经按比例缩放的信号可被 组合以作为级106中每个神经元的输入信号。级106中的每个神经元可基于对应的组合输入 信号来生成输出尖峰110。可使用另一突触连接网络（图1中未示出）将这些输出尖峰110传 递到另一级神经元。
[0036] 生物学突触可以仲裁突触后神经元中的兴奋性或抑制性(超级化)动作，并且还可 用于放大神经元信号。兴奋性信号使膜电位去极化(即，相对于静息电位增大膜电位）。如果 在某个时间段内接收到足够的兴奋性信号以使膜电位去极化到高于阈值，则在突触后神经 元中发生动作电位。相反，抑制性信号一般使膜电位超极化（即，降低膜电位）。抑制性信号 如果足够强则可抵消掉兴奋性信号之和并阻止膜电位到达阈值。除了抵消掉突触兴奋以 外，突触抑制还可对自发活动神经元施加强力的控制。自发活动神经元是指在没有进一步 输入的情况下（例如，由于其动态或反馈而)发放尖峰的神经元。通过压制这些神经元中的 动作电位的自发生成，突触抑制可对神经元中的激发模式进行定形，这一般被称为雕刻。取 决于期望的行为，各种突触104可充当兴奋性或抑制性突触的任何组合。
[0037] 神经系统100可通过通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现 场可编程门阵列(FPGA)或其他可编程逻辑器件(PLD)、分立的门或晶体管逻辑、分立的硬件 组件、由处理器执行的软件模块、或其任何组合来仿真。神经系统100可用在大范围的应用 中，诸如图像和模式识别、机器学习、电机控制、及类似应用等。神经系统100中的每一神经 元可被实现为神经元电路。被充电至发起输出尖峰的阈值的神经元膜可被实现为例如对流 经其的电流进行积分的电容器。
[0038] 在一方面，电容器作为神经元电路的电流积分器件可被除去，并且可使用较小的 忆阻器元件来替代它。这种办法可应用于神经元电路中，以及其中大容量电容器被用作电 流积分器的各种其他应用中。另外，每个突触104可基于忆阻器元件来实现，其中突触权重 改变可与忆阻器电阻的变化有关。使用纳米特征尺寸的忆阻器，可显著地减小神经元电路 和突触的面积，这可使得实现大规模神经系统硬件实现更为切实可行。
[0039]对神经系统100进行仿真的神经处理器的功能性可取决于突触连接的权重，这些 权重可控制神经元之间的连接的强度。突触权重可存储在非易失性存储器中以在掉电之后 保留该处理器的功能性。在一方面，突触权重存储器可实现在与主神经处理器芯片分开的 外部芯片上。突触权重存储器可与神经处理器芯片分开地封装成可更换的存储卡。这可向 神经处理器提供多种多样的功能性，其中特定功能性可基于当前附连至神经处理器的存储 卡中所存储的突触权重。
[0040] 图2解说根据本公开的某些方面的计算网络（例如，神经系统或神经网络）的处理 单元(例如，神经元或神经元电路)202的示例性示图200。例如，神经元202可对应于来自图1 的级102和106的任一个神经元。神经元202可接收多个输入信号这些输入 信号可以是该神经系统外部的信号、或是由同一神经系统的其他神经元所生成的信号、或 这两者。输入信号可以是实数值和/或复数值的电流、电导、电压。输入信号可包