本发明属于人工神经网络技术领域,具体涉及一种基于柔性材料的脉冲神经网络。
背景技术:
随着人工智能领域的发展,人工神经网络逐渐成为相关领域一个新的研究热点。回顾人工智能的历史发现其与生物神经网络存在密切的联系;例如近年来dnn的成功正是由于它借鉴了人脑的思维机智,从而缩小了人工神经网络与生物神经网络的差距。因此,为了使得人工智能技术取得突破性进展,就需要跳出冯·诺依曼架构及现有机器学习算法的束缚,借鉴生物神经网络的特点,构建新型的人工智能算法。因此,第三代人工神经网络,脉冲神经网络(spikingneuralnetwork,snn)受到越来越广泛的关注。脉冲神经网络是迄今最具生物真实性的人工神经网络,具有和生物神经元类似的电位脉冲触发机制,模拟神经元只有在膜电位到达特定值才被激活,不同于第二代神经网络中大部分神经元在每一次信息传递中均激活,并且脉冲产生时间在其考虑之内,脉冲神经网络是迄今最具生物真实性的人工神经网络,具有和生物神经元类似的电位脉冲触发机制。但由于没有完美的训练脉冲神经网络的方法,脉冲神经网络还没有第二代神经网络发展的成熟。
传统的神经网络实现包括两个方面,一方面为数字集成电路,如中央处理器(cpu)、图像处理单元(gpu),另一方面为软件算法。在软件算法方面,神经网络具有分布式的计算特点,能够突破目前主流的计算机架构,冯·诺伊曼架构的瓶颈,也正因为此,借助现有的计算机系统的软件算法会限制snn的运算速度。因而需要需求新型的硬件化实现,从根本上解决训练脉冲神经网络(snn)的方法。此外,采用中央处理器(cpu)、图像处理单元(gpu)的数字电路均基于金属-氧化物-半导体(metal-oxide-semiconductor,cmos)晶体管。在神经网络系统中,需要处理大量的数据,便要消耗大量的cmos晶体管,也便会消耗大量的芯片面积与功耗。因此,基于新材料的突触电路研发是解决缺乏训练脉冲神经网络硬件设备的方案。
基于新材料的突触电路应具备以下特点:(1)有基本的生物突触特性。作为突触电路必须具备良好的生物突触特性,如长时程增强(long-term-potentition,ltp),脉冲时序依赖可塑性(spiketimingdependentplasticity,stdp)。目前国际上认可度最高的是脉冲时序依赖可塑性算法,stdp是一种经过生物实验证实的突触可塑性算法,其利用突触前神经元与突触后神经元产生脉冲的时序关系来调节权重;(2)新型材料的突触单元在面积、功耗、速度方面较传统晶体管电路有优势。随着摩尔定律的延续,传统的cmos集成电路的上升空间受限,新型材料的突触单元需要有良好的发展潜力;(3)新型材料的突触电路必须有可扩展功能,包括电路功能的扩展、材料的广泛应用、集成度的提高等。
技术实现要素:
本发明的目的在于提出一种基于柔性材料的脉冲神经网络,旨在解决现有技术中脉冲神经网络在硬件训练中存在速度慢,精度低的问题。
本发明提出的基于柔性材料的脉冲神经网络,相比于普通的神经网络,需要的神经元更少,训练速度更快,训练结果更精确。该脉冲神经网络,其结构参见图1所示,由若干个脉冲神经网络单元(snnnthstage)级联而成;每个脉冲神经网络单元包括:输入节点单元,隐藏节点单元,输出节点单元和突触单元;所述输入节点单元通过突触单元和所述隐藏节点单元采用神经元全连接方式连接,所述隐藏节点单元通过突触单元与所述输出节点单元采用神经元全连接方式连接。
本发明中,所述突触单元由柔性突触器件实现,以使得突触单元具备脉冲时序依赖可塑性stdp,突触单元阵列接收来自前一层神经元携带信息的刺激信号作为突触前脉冲,结合后一层神经元所激发的动作电位脉冲作为突触后脉冲,突触前脉冲和突触后脉冲的时间差决定突触连接单元的突触权重调节量。
本发明中,所述柔性突触器件包括基于柔性材料制备的多端突触器件。
本发明中,所述柔性材料突触器件主要通过控制晶体管器件的栅极,作为突触的输入端口,器件源漏极之间的沟道电阻状态代表突触权重状态。本发明所提供的突触器件,主要通过设计脉冲宽度、频率、间隔时间、施加方式实现脉冲时序依赖可塑性(stdp),以此作为脉冲神经网络突触调节规则。
本发明中,所述突触器件包括基于石墨烯、黑磷、氮化硼bn、二硫化钼mos2、二硫化钨ws2等二维材料输出特性曲线和mos晶体管相似的元器件。可选地,突触器件主要通过控制晶体管器件的栅极,作为突触的输入端口,器件源漏极之间的沟道电阻状态代表突触权重状态。
本发明中,所述突触单元包括信号输入单元和信号传递单元。所述信号输入单元的信号来自外部输入,更具体的为前级神经第一脉冲电压的输入;所述信号传递单元可根据权重的大小传递前级神经元的第一脉冲信号到后级神经单元,还用于接收后级神经单元的第二脉冲电压,并利用前级神经单元与后级神经单元产生脉冲的时序关系来调节权重。
本发明中,所述信号输入单元包括:4个n型晶体管mc1-mc4,以及4个n型晶体管m1-m4;前级脉冲信号vc1与n型晶体管mc1的栅端连接,n型晶体管mc1的源端和n型晶体管m1的漏端连接,前级脉冲信号vc2与n型晶体管mc2的栅端连接,n型晶体管mc2的源端和n型晶体管m2的漏端连接,前级脉冲信号vc3与n型晶体管mc3的栅端连接,n型晶体管mc3的源端和n型晶体管m3的漏端连接,前级脉冲信号vc4与n型晶体管mc4的栅端连接,n型晶体管mc4的源端和n型晶体管m4的漏端连接,n型晶体管mc1-mc4的漏端和第一至第四反相器的输入连接。需要特别说明,可依据实际应用情况增减所述n型晶体管的个数,使得所述信号输入单元有良好的扩展特性。
本发明中,所述信号传递单元包括:第一反相器、第二反相器、第三反相器和第四反相器。第一至第四反相器的输出为信号传递单元的输出信号vo1、vo2、vo3、vo4,第一至第四反相器的输入和n型晶体管mc1-mc4的漏端以及n型晶体管m4的漏端连接。需要特别说明,可依据实际应用情况增减所述反相器的个数。
本发明中,所述第一至第四反相器包括p型晶体管和n型晶体管。p型晶体管的源端和电源电压vdd连接,p型晶体管的栅端接入固定电平vc,p型晶体管的漏端和n型晶体管的漏端连接,n型晶体管的栅端接入输入信号vin,n型晶体管的源端和地gnd相连。
本发明所构思的以上技术方案与现有技术相比,具有以下有益效果:
本发明所采用脉冲神经网络均结合基于柔性材料的突触器件,所述突触器件具有脉冲时序依赖可塑性stdp,使得所提出的脉冲神经网络在硬件上具有可行性和普遍适用性。
本发明提供的采用的基于脉冲时序可塑性(stdp)的学习规则,相比较基于其他算法的脉冲神经网络,更适合执行数据庞大的任务,并且提高了硬件训练水平,对训练样本的要求更低,训练次数需要更少。将兴奋性突触和抑制性突触改为用一种突触实现,当权重较大时,对后级神经元起兴奋作用,当权重较小时,对后级神经元起抑制作用。
附图说明
图1为应用于柔性材料的脉冲神经网络结构示意图。
图2为100模块中脉冲神经网络单元(snnnthstage)电路示意图。
图3为200模块中反相器(inverter)电路示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
本发明公开了一种基于柔性材料电子突触器件的硬脉冲神经网络电路。本发明根据柔性材料电子突触器件的仿生突触特性,提出了以实现加快训练速度、提高训练精度为目标的脉冲神经网络模型。柔性材料电子突触器件作为神经网络中的关键突触功能模块,相比于传统cmos技术下的突触功能电路模块,以其低功耗、高密度、与cmos技术相兼容等突出优点,在加速神经网络处理速度、打破冯·诺伊曼瓶颈方面展现出巨大潜力,迅速发展。
本发明提出基于柔性材料的脉冲神经网络,期待能开发出具有应用价值和优势的脉冲神经网络。
图1为基于柔性材料的脉冲神经网络结构图。
如图1示,本发明的脉冲神经网络结构由n个脉冲神经网络单元级联而成,脉冲神经网络单元的输入信号端口有vc1、vc2、vc3、vc4,所述脉冲神经网络单元的输出信号端口为vo1、vo2、vo3、vo4,需要说明的是该信号输入和输出端口具有可扩展性,可根据实际应用增减所述端口的个数。
在第n(n>1)级脉冲神经网络单元中,脉冲神经网络单元的输入信号为n-1(n>1)级脉冲神经网络单元的输出信号提供;第n(n>1)级脉冲神经网络单元的输出信号为n+1级脉冲神经网络单元的输入信号。所述脉冲神经网络在输入输出端口以及脉冲神经网络单元的级联数上具有可扩展性。所述脉冲神经网络电路是基于电子突触器件实现的,能够模拟生物突触特性,实现脉冲信息的输入以及突触权重调整功能。
所述电子突触器件采用二维柔性材料制备,包括石墨烯、黑磷、hbn、氮化硼bn、二硫化钼mos2、二硫化钨ws2等二维材料等。所述述电子突触器件的工作原理如下:主要通过控制晶体管器件的栅极,作为突触的输入端口,器件源漏极之间的沟道电阻状态代表突触权重状态。本发明所提供的突触器件,主要通过设计脉冲宽度、频率、间隔时间、施加方式实现脉冲时序依赖可塑性(stdp),以此作为脉冲神经网络突触调节规则。
图2为脉冲神经网络单元(snnnthstage)电路示意图。
如图2示,所述脉冲神经网络单元包括信号输入单元和信号传递单元。所述信号输入单元的信号来自外部输入,更具体的为前级神经第一脉冲电压的输入;所述信号传递单元可根据权重的大小传递前级神经元的第一脉冲信号到后级神经单元,还用于接收后级神经单元的第二脉冲电压,并利用前级神经单元与后级神经单元产生脉冲的时序关系来调节权重。
所述信号输入单元包括由n型晶体管mc1、mc2、mc3、mc4,需要说明的是所述n型晶体管的个数具有可扩展性,可根据实际应用增减所述n型晶体管的个数。
前级脉冲信号vc1与n型晶体管mc1的栅端连接,n型晶体管mc1的源端和n型晶体管m1的漏端连接,前级脉冲信号vc2与n型晶体管mc2的栅端连接,n型晶体管mc2的源端和n型晶体管m2的漏端连接,前级脉冲信号vc3与n型晶体管mc3的栅端连接,n型晶体管mc3的源端和n型晶体管m3的漏端连接,前级脉冲信号vc4与n型晶体管mc4的栅端连接,n型晶体管mc4的源端和n型晶体管m4的漏端连接,n型晶体管mc1-mc4的漏端和第一至第四反相器的输入连接。
所述信号传递单元包括n型晶体管mcall、第一反相器、第二反相器、第三反相器和第四反相器。需要说明的是所述反相器的个数具有可扩展性,可根据实际应用增减所述反相器的个数。第一至第四反相器的输出为信号传递单元的输出信号vo1、vo2、vo3、vo4,第一至第四反相器的输入和n型晶体管mc1-mc4的漏端以及n型晶体管m4的漏端连接。
图3为脉冲神经网络中反相器(inverter)模块图。
如图3示,所述反相器电路包括p型晶体管和n型晶体管。p型晶体管的源端和电源电压vdd连接,p型晶体管的栅端接入固定电平vc,p型晶体管的漏端和n型晶体管的漏端连接,n型晶体管的栅端接入输入信号vin,n型晶体管的源端和地gnd相连。
在不脱离本发明的精神和范围内,任何本领域普通技术人员皆可根据本发明所揭示的内容做出许多变形和修改,这些也应视为本发明的保护范围。