一种利用时间编码控制权重和信息整合的方法

专利名称：一种利用时间编码控制权重和信息整合的方法
技术领域：
本发明涉及神经元电路技术领域，尤其涉及一种利用时间编码控制权重和信息整 合的方法。
背景技术：
生物神经元具有感受细胞体外部刺激信号的功能，能通过突触接收来自其他神经 细胞轴突末梢的神经冲动。神经冲动源自动作电位，而动作电位形成于轴丘，是所有突触共 同作用的结果。突触对于神经冲动的作用是通过生物神经元的整合功能实现的，这种信息 整合功能分为时间整合功能和空间整合功能，分别对于来自不同时间和空间的其他生物神 经元的动作电位或神经冲动进行综合处理。时间整合意味着生物神经元具有对于来自同一 突触不同时间的其他生物神经元的神经冲动进行综合处理的能力。空间整合意味着生物神 经元具有对于来自不同突触同一时间的其它生物神经元的神经冲动进行综合处理的能力。 信息单纯的并行处理缺少等级结构，并将导致“叠加灾难”。神经元脉冲发放编码外部刺激 强调信息的串行处理，具有等级结构特征。生物神经元的神经冲动是一种动作脉冲信号。动作脉冲具有时间上和幅度上的 变化。动作脉冲序列一般都是时间连续信号，其信息传递具有“模拟”信号特征。神经元放 电行为传统上是通过不同时间窗内放电频数(峰电位密度)的改变来描述神经元的活动性 的，g卩“频率编码”。然而，刺激事件和神经元反应的放电序列之间并非存在严格的一一对应 关系，同样的刺激可以在同一个神经元上诱导出不同的反应放电序列。采用概率平均的方 法只是将单个神经元在刺激作用下的活动用单位时间内的放电个数平均值来进行描述，这 只是对被采样的放电序列的放电次数的统计。事实上，同一个神经元中连续产生的动作电 位并不是完全随机的。任何物理结构都有一定的惯性，也就是记忆。的确，对于大多数神经 元，其去极化程度决定了总体的峰电位发放和发放概率，并且膜电位的改变和发放率的变 化都需要时间，不可能立即完成。在这段时间中，相继的锋电位之间或多或少都会表现出相 互依赖性，其依赖程度取决于开放的离子通道数目。神经脉冲的放电时间并非有这么强的 可重复性，时间依赖的放电频率是放电序列总体特征的表征。神经脉冲的发放率的分布服 从指数分布，指数分布传送的信息最多。对于峰电位序列，如果其发生率变化了，单个事件 的持续时间仍然不变，那么它与单位时间内事件发生的个数无关。因此，“频率编码”对放电 进行的描述也隐含着可以通过随机时间而变化的放电频率对神经元活动性进行描述，这就 提出了 “时间编码”的概念。“时间编码”表现的是即时时间内锋电位的时间间隔信息。如 果时间间隔短，即时频率就大；反之，如果时间间隔长，即时频率就小。放电脉冲之间的时间 间隔分布可能性可以通过两个脉冲发生的联合概率进行考察。“频率编码”表现的是放电序 列总体特征，“时间编码”表现的是放电序列即时特征。同步振荡现象表明“时间编码”具有 脉冲相位相干特征。不同位置细胞发放的相位差大致与位置场之间的距离成比例。位置越 靠近，相差越小。这样，空间位置的顺序就可以由神经元的动作电位顺序所编码了。在“时 间编码”中，一个神经元则是借助从众多时间输出模式的大清单中发出一个指令对刺激的单个特点的变化做出精确编码，“时间编码”将会对并行的和分布式的信息处理的整合问题 做出贡献。神经科学中的一个基本问题是怎样将与行为相关的信息同神经元活动对应起来， 也就是对外界事物的理解和反应过程在大脑中是如何被编码、表达和加工的。如何理解神 经系统的编码方式就成为解决问题的关键和走出困境的途径。将神经元仅仅看作是平均放 电积分器的概念，受到越来越多的新的实验事实的挑战，神经编码问题唤起不同领域的科 学家参与探索研究的热情。神经元作为神经系统的基本功能单位，能够感受刺激和传导兴奋。电生理实验已 经表明神经元具有高度的非线性，在不同Ca2+离子浓度或者不同幅度的外界直流电刺激下 能够表现出丰富的放电模式，例如周期的锋放电和簇放电、混沌的锋放电和簇放电。在单个 神经元编码理论中，人们主要考察神经元的放电活动和外界刺激输入之间的关系，很少关 心其它神经元活动带来的影响。目前，越来越多的电生理学证据表明神经元的活动在很大 程度上依赖于回路中或群体中相关神经元的活动性。在整个神经系统中，神经脉冲的传递 往往要至少两个以上的神经元通过耦合的方式来完成。科学家们已经在麻醉的猫的视觉皮 层里观察到了神经元的同步激发模式。视象中知觉的相干性质以同步发放的方式表现出 来，与同一客体特征对应的神经元表现为同步发放，而与不同客体相对应的神经元则以非 相关的方式发放。在神经元回路中的信号传递过程中，信息的各个组成部分并非是单个细 胞独立编码，而是通过细胞群体的活动进行编码的，这个过程称为“群体编码”，它是构成神 经信息传递的一个基本过程。一个神经元不能完成对连续放电脉冲的时间编码，而神经元 集群能以同步的方式反映共同的突触流。所以，神经元对信息的处理加工是神经元集群共 同完成的，神经元集群的运动模式对信息的传递是非常重要的。脉冲耦合的神经元模型有助于揭示和解释试验中所观察到的某些神经同步现象。 神经元间的耦合特性是由本神经元突触前与相邻神经元树突突触后之间输入电导电流传 导作用引起，而这些输入电导本身受神经元脉冲电压的控制，使得本神经元信息借助突触 电导这种压控特性传送到相邻神经元。神经元突触上离子通道的等效电导相互影响，并且 具有神经元电压依赖(压控)特性。神经元为了执行不同的功能，其耦合方式也表现出各 种各样的连接形式，不同连接形式应该对耦合神经元的同步有着不同的作用。耦合系统的 同步过程是非常复杂的，这也正是快慢系统相互作用过程中存在时滞的结果。耦合神经元 系统的同步问题是其信息处理的关键。时滞普遍存在生态系统中，正是时滞的出现增加了 神经元间的同步作用。通过时滞自适应地降低系统速度，两弱耦合的神经元调节初始状态， 达到最优耦合强度并取得同步。不同的连接形式对耦合同步有着不同的作用，链式连接需 要的耦合强度最大，其次是环式连接，而全局耦合需要最小的耦合强度就可实现完全同步。 在Hopfield网络中使用“Hebb规则”来调节神经元之间的连接权重，如果两个单元具有相 同的输出，它们之间的相互连接权重被激励；如果它们具有相反的输出，则权重被削弱。在 不断地调节各个单元的输出之后，网络所揭示的是单元活动的稳定联系。最终它将有效地 从某些仅仅与其存储的“记忆”接近的信息中恢复出该记忆。神经网络的初始连接是由遗 传机制控制的，神经元不可避免在时间延迟和处理过程中不断变化，几乎可以肯定生物的 进化就建立在这些改变和时间延迟上，并从中获益。真实神经元不可避免地存在时间延迟 和处理过程的不断优化。

发明内容
(一)要解决的技术问题有鉴于此，为了能够对神经元并行输入信号提供“等级结构”特征，本发明的主要 目的在于提供一种利用时间编码控制权重和信息整合的方法。( 二 )技术方案为达到上述目的，本发明提供了一种利用时间编码控制权重和信息整合的方法， 该方法包括利用树突电路实现权值的空间分布控制；利用树突电路实现特征参量与权值的对应关系；以及利用树突电路实现权值的时间分布控制。上述方案中，所述利用树突电路实现权值的空间分布控制，是利用树突电路的突 触实现权值的空间分布控制，该树突电路的突触由宽长比具有倍数关系的一组并联的PM0S 晶体管组成。上述方案中，所述利用树突电路实现特征参量与权值的对应关系，是由一组并联 的PM0S晶体管与一 NM0S晶体管串联构成输入级CMOS反相器，由该输入级CMOS反相器来 实现噪声容限与权值的对应关系。上述方案中，所述利用树突电路实现权值的时间分布控制，是通过输入树突电路 的多路时序控制信号对并联的PM0S晶体管进行选通，来改变输入级反相器的噪声容限，进 而实现权值时间分布控制。上述方案中，所述多路时序控制信号是由外部刺激信号和内部反馈信号构成的， 该多路时序控制信号被输入到神经元树突电路的突触端。上述方案中，所述内部反馈信号来自于与脉冲耦合神经元电路输出端相连接的动 态存储延时单元。(三)有益效果从上述技术方案可以看出，本发明具有以下有益效果1、本发明利用输入信号在时间与空间分配的有机组合，实现了权重的动态分布控 制。2、本发明利用CMOS反相器的噪声容限特性来改变神经元电路的输出脉冲频率， 使数字信号增加了模拟变化参量。3、本发明提供的神经元信号的时间编码和整合的方法，有助于理解和模拟生物学 神经元的信息处理的方式。


图1是本发明提供的利用时间编码控制权重和信息整合的方法流程图；图2是包含n个神经元(Cell)和相应存储和延迟单元(M)的Hopfield网络的结 构图；图3是脉冲耦合CMOS神经元(Cell)电路图；图4是动态存储延迟单元(M)电路图5是具有不同宽长比的PM0S三端输入级电路版图。
具体实施例方式为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照 附图，对本发明进一步详细说明。权重控制和信息整合涉及到神经元间的连接、学习和存储过程。人工神经网络认 为神经元可以构成的规模宏大的并行分布处理器，具有存储经验知识和使之可用的特性。 内部神经元之间的连接强度，即突触的权值，用于存储获取的知识。神经网络的学习过程即 是按某种有序的方式改变系统权值的过程。生物神经学研究表明，当神经冲动沿轴膜传至 轴突末端时，即触发突触前膜上的电位门控钙通道开放，细胞外的Ca2+离子进入突触前膜 内侧，触发突触小泡释放神经递质，并与突触后膜相应受体结合，引起与受体偶联的化学门 控通道开放，使相应离子进出，从而改变突触后膜两侧离子的分布情况，出现兴奋或抑制性 变化，进而影响突触后神经元的活动。Ca2+离子的流入起到触发器的作用，激活某些基因长 时间地对神经元进行修饰，这些基因可以增加递质的效率、受体的数目，甚至增加受体打开 离子通道的效率。分子生物学发现了一种遗传信息传递机制，使神经元可能为基因表达所 根本改变。由学习引起的神经活动，可以改变与之有关的那些神经元内部的核糖核酸的细 微的化学结构。根据以上神经元模型和电生理特性，本发明模仿Ca2+离子的触发选通作用，在脉 冲耦合神经元电路输入端利用不同的信号组合选通开放并行的一组具有不同宽长比组合 的P型M0S晶体管，并与互补的具有固定宽长比N型M0S晶体管构成输入级反相器结构。输 入信号组合不同，反相器的噪声容限将发生变化，从而影响脉冲耦合电路的脉冲串输出频 率。输入端P型M0S晶体管的不同宽长比组合，与脉冲耦合神经元电路的权重相关，可以肯 定输入级反相器的噪声容限越大，脉冲耦合神经元电路的偶合权重越大。为了能够实现权重的分布式记忆存储，本发明设计在脉冲耦合神经元电路输出端 连接一单NM0S管和一电容的动态存储单元，模仿突触前膜的释放神经递质的小泡，电容存 储电荷电压将触发两级反相器延迟单元，输出信号反馈到相邻脉冲耦合神经元电路的输入 端。按照Hopfield网络模型，我们可以将这种具有输入输出反馈的神经元电路构成一个多 回路的反馈系统。反馈回路的数量等于神经元数量。每个神经元的输出都被反馈到网络中 另外的每一个神经元，避免了网络中的自反馈。互联神经元间通过脉冲信号耦合可以实现 自适应同步，提高耦合强度，实现神经元集群共同完成信息处理。基于上述实现原理，图1示出了本发明提供的利用时间编码控制权重和信息整合 的方法流程图，该方法具体包括如下步骤步骤1 利用树突电路实现权值的空间分布控制；步骤2 利用树突电路实现特征参量与权值的对应关系；以及步骤3 利用树突电路实现权值的时间分布控制。其中，步骤1中所述利用树突电路实现权值的空间分布控制，是利用树突电路的 突触实现权值的空间分布控制，该树突电路的突触由宽长比具有倍数关系的一组并联的 PM0S晶体管组成。步骤2中所述利用树突电路实现特征参量与权值的对应关系，是由一组并联的PM0S晶体管与一 NM0S晶体管串联构成输入级CMOS反相器，由该输入级CMOS反相器来实现 噪声容限与权值的对应关系。步骤3中所述利用树突电路实现权值的时间分布控制，是通过输入树突电路的多 路时序控制信号对并联的PM0S晶体管进行选通，来改变输入级反相器的噪声容限，进而实 现权值时间分布控制。该多路时序控制信号是由外部刺激信号和内部反馈信号构成的，该 多路时序控制信号被输入到神经元树突电路的突触端。内部反馈信号来自于与脉冲耦合神 经元电路输出端相连接的动态存储延时单元。图2所示的Hopf ield网络包含一组神经元和一组相应的单位存储延迟，构成一个 多回路反馈系统。基本上，每个神经元都是一个计算单元，同时接受外加输入和其他节点的 反馈输入，也都直接向外界输出。反馈回路的数量等于神经元数量，每个神经元Cell的输 出都通过一个存储延迟单元M被反馈到网络中另外的每一个神经元。考虑到反馈网络的收 敛性和稳定性问题，网络中没有自反馈。互联神经元间通过脉冲信号耦合可以实现自适应 同步，提高耦合强度，实现神经元集群共同完成信息处理。图3所示的脉冲耦合CMOS神经元电路，该电路由树突电路、积分求和器和脉冲发 生电路三部分依次连接构成。该脉冲耦合神经元电路的特点是输出和输入均为脉冲序列 串，该电路的器件均为CMOS晶体管。树突电路由一组并联的P型M0S晶体管与一 N型M0S 晶体管通过漏端节点相串联而构成CMOS电路，P型M0S晶体管的源端输入脉冲电压信号； 积分求和器由一电容Cs构成，该电容与树突电路中的P型与N型M0S晶体管的漏端节点相 连接，积累加权电流形成触发电压信号；脉冲发生电路由偶数个串联的CMOS反相器与树突 CMOS电路形成反馈回路，产生脉冲序列串输出，输出脉冲序列串的频率受到输入电压脉冲 信号的调制。图4所示动态存储延时单元M由一单NM0S管和一电容Cw构成，NM0S管的栅极与 脉冲耦合神经元电路输出端相连接，电容Cw积分存储电荷，实现权重的分布式记忆存储，M 输出信号反馈到相邻脉冲耦合神经元电路的输入端。实施例在脉冲耦合神经元电路输入端利用不同的信号组合选通开放并行的一组具有不 同宽长比组合的P型M0S晶体管，并与互补的具有固定宽长比N型M0S晶体管构成输入级 反相器结构。输入信号组合不同，反相器的噪声容限将发生变化，从而影响脉冲耦合电路的 脉冲串输出频率。输入端P型M0S晶体管的不同宽长比组合，与脉冲耦合神经元电路的权 重相关，可以肯定输入级反相器的噪声容限越大，脉冲耦合神经元电路的偶合权重越大。如图5所示，树突电路中一组并联的PM0S晶体管与串联的一 NM0S晶体管的宽长 (W/L)之比为电流加权比例，其中并联的PM0S管的宽长比为二进制关系。通过输入倍频方 波电压波形的时序组合，获得不同的输入电流权重选通组合。随着时间的增大，树突部分开 启的PM0S通道和数量依次变化，并联PM0S管等效栅宽依次由1 y m至7 y m递增，总体效 果为E (ff/L)p/ (W/L)n逐渐接近3但始终小于3，从而使得一级反相器的噪声容限逐渐接近 最大噪声容限，且电流的加权积分求和逐渐增大，对电容(^的充电速度增快，导致输出波 形频率增大。对于多端输入，当第一级反相器的噪声容限最大时，此时输出脉冲频率达到最 高o以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡 在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保 护范围之内。
权利要求
一种利用时间编码控制权重和信息整合的方法，其特征在于，该方法包括利用树突电路实现权值的空间分布控制；利用树突电路实现特征参量与权值的对应关系；以及利用树突电路实现权值的时间分布控制。
2.根据权利要求1所述的利用时间编码控制权重和信息整合的方法，其特征在于，所 述利用树突电路实现权值的空间分布控制，是利用树突电路的突触实现权值的空间分布控 制，该树突电路的突触由宽长比具有倍数关系的一组并联的PM0S晶体管组成。
3.根据权利要求1所述的利用时间编码控制权重和信息整合的方法，其特征在于，所 述利用树突电路实现特征参量与权值的对应关系，是由一组并联的PM0S晶体管与一 NM0S 晶体管串联构成输入级CMOS反相器，由该输入级CMOS反相器来实现噪声容限与权值的对 应关系。
4.根据权利要求1所述的利用时间编码控制权重和信息整合的方法，其特征在于，所 述利用树突电路实现权值的时间分布控制，是通过输入树突电路的多路时序控制信号对并 联的PM0S晶体管进行选通，来改变输入级反相器的噪声容限，进而实现权值时间分布控 制。
5.根据权利要求4所述的利用时间编码控制权重和信息整合的方法，其特征在于，所 述多路时序控制信号是由外部刺激信号和内部反馈信号构成的，该多路时序控制信号被输 入到神经元树突电路的突触端。
6.根据权利要求5所述的利用时间编码控制权重和信息整合的方法，其特征在于，所 述内部反馈信号来自于与脉冲耦合神经元电路输出端相连接的动态存储延时单元。
全文摘要
本发明公开了一种利用时间编码控制权重和信息整合的方法，该方法包括利用树突电路实现权值的空间分布控制；利用树突电路实现特征参量与权值的对应关系；以及利用树突电路实现权值的时间分布控制。本发明利用输入信号在时间与空间分配的有机组合，实现了权重的动态分布控制，利用CMOS反相器的噪声容限特性来改变神经元电路的输出脉冲频率，使数字信号增加了模拟变化参量。利用本发明，有助于理解和模拟生物学神经元的信息处理的方式。
文档编号H03K19/094GK101860357SQ201010201589
公开日2010年10月13日 申请日期2010年6月9日 优先权日2010年6月9日
发明者张严波, 杨富华, 熊莹, 赵凯, 韩伟华 申请人:中国科学院半导体研究所