一种基于铁电隧穿结的电子突触电路及神经网络

1.本技术涉及一种神经网络电路设计领域，特别地涉及一种基于铁电隧穿结的电子突触电路及神经网络。


背景技术：

2.随着人工智能和大数据等信息技术产业的高速发展，人们社会生产和日常生活中对计算机的处理速度和性能要求越来越高。计算机需要处理的数据量呈指数增长，这给数据的存储和计算都带来了空前的压力。目前最常用的计算机架构是传统的冯诺依曼架构，其具有存算分离的特点，这就使得计算机在对海量的数据进行处理时，不得不在微处理器和存储器之间频繁地进行数据迁移，进而导致了计算速度大幅下降，能耗大幅增加的问题，也就是所谓冯诺依曼瓶颈。
3.为了解决冯诺依曼架构的问题，研究人员将目光转向了类脑计算技术。通过仿照大脑中的神经元与突触的连接方式，完成神经科学理论建模进而解决在传统架构中无法高速处理的复杂计算问题。lif神经元模型是神经形态计算架构常用的最基础的模型之一，其本质将神经元抽象化成电容，将神经元交流的方式转化为动作电位和脉冲。而在lif神经元模型中，输入神经元的电信号的电位，以及最终输出脉冲的稳定性，都是可以提升神经元模型稳定性和处理速度的核心之一。
4.作为一种新兴的计算范式，若通过硬件电路从物理层面模拟神经元或神经突触的行为，预期可以实现低功耗、高计算性能的神经形态计算。因此选择合理的计算方法和设计搭建硬件电路也是实现神经形态计算的重要问题。


技术实现要素：

5.本技术提出了一种神经网络，包括多个神经元电路，以及多个电子突触电路，其中所述电子突触电路中的至少一个配置为从一个突触前神经元电路接收第一输入信号、第二输入信号和控制信号，并接收一个突触后神经元电路的反馈信号；其中，所述电子突触电路至少包括：开关单元，耦合到所述突触前神经元电路和所述突触后神经元电路，配置为在来自于突触前神经元电路的控制信号的影响下控制所述电子突触电路与所述突触后神经元电路的连接状态；输入单元，耦合到所述突触前神经元电路和所述突触后神经元电路，配置为在来自于所述突触后神经元电路的反馈信号的控制下接收来自所述突触前神经元电路的第一输入信号和第二输入信号；权值计算单元，耦合在所述开关单元和地之间，并与所述输入单元耦合，所述权值计算单元至少包括铁电隧穿结，所述铁电隧穿结配置为从所述输入单元接收所述第一输入信号和第二输入信号，以更新所述铁电隧穿结的隧穿电阻。
6.特别的，所述突触后神经元电路至少包括比较器，其负输入端耦合到所述电子突触电路的开关单元，所述比较器的正输入端配置为接收预设恒定信号，所述比较器的输出端耦合到所述电子突触电路的输入单元；电阻，其耦合在所述比较器的负输入端和电源之间；电容，其耦合在所述比较器的负输入端和地之间；当所述开关单元将所述突触后神经元
电路与所述电子突触电路相连，且所述铁电隧穿结导通，所述比较器的负输入端电压下降，当该电压下降到低于所述预设恒定信号时，所述比较器配置为输出所述反馈信号。
7.特别的，所述开关单元至少包括第一晶体管，其控制极配置为接收所述控制信号，其第一极耦合到所述比较器的负输入端，其第二极耦合到所述铁电隧穿结的第一端。
8.特别的，所述输入单元至少包括第二晶体管，其控制极配置为接收所述反馈信号，其第一极配置为接收所述第一输入信号，其第二极耦合到所述铁电隧穿结的第一端；第三晶体管，其控制极配置为接收所述反馈信号，其第一极配置为接收所述第二输入信号，其第二极耦合到所述铁电隧穿结的第二端；第四晶体管，其具有与第三晶体管互补的类型，其控制极配置为接收所述反馈信号，其第一极接地，第二极耦合到所述铁电隧穿结的第二端。
9.特别的，所述突触后神经元电路还包括延迟单元，其耦合在所述比较器的输出端与所述输入单元的输入端之间，配置为在所述控制信号和所述反馈信号的有效电平之间产生时间间隔。
10.特别的，所述铁电隧穿结的第一端配置为接收所述第一输入信号，所述铁电隧穿结的第二端配置为接收所述第二输入信号；所述控制信号在所述第一输入信号跳转到无效电平之后且所述第二输入信号跳转到有效电平之前跳变到有效电平，所述第一输入信号在所述第二输入信号有效电平跳转到无效电平时跳变到有效电平；所述第二输入信号的有效电平在一次脉冲期间逐渐升高，所述第一输入信号的有效电平在一次脉冲期间逐渐降低。
11.特别的，所述反馈信号的有效电平幅值大于所述第一输入信号或第二输入信号有效电平的最大幅值。
12.本技术还公开了一种电子突触电路，配置为从一个突触前神经元电路接收第一输入信号、第二输入信号和控制信号，并接收一个突触后神经元电路的反馈信号；其中，所述电子突触电路至少包括开关单元，耦合到所述突触前神经元电路和所述突触后神经元电路，配置为在来自于突触前神经元电路的控制信号的影响下控制所述电子突触电路与所述突触后神经元电路的连接状态；输入单元，耦合到所述突触前神经元电路和所述突触后神经元电路，配置为在来自于所述突触后神经元电路的反馈信号的控制下将接收来自所述突触前神经元电路的第一输入信号和第二输入信号；权值计算单元，耦合在所述开关单元和地之间，并与所述输入单元耦合，所述权值计算单元至少包括铁电隧穿结，所述铁电隧穿结配置为从所述输入单元接收所述第一输入信号和第二输入信号，以更新所述铁电隧穿结的隧穿电阻。
13.特别的，所述开关单元至少包括第一晶体管，其控制极配置为接收所述控制信号，其第一极耦合到所述比较器的负输入端，其第二极耦合到所述铁电隧穿结的第一端。
14.特别的，所述输入单元至少包括第二晶体管，其控制极配置为接收所述反馈信号，其第一极配置为接收所述第一输入信号，其第二极耦合到所述铁电隧穿结的第一端；第三晶体管，其控制极配置为接收所述反馈信号，其第一极配置为接收所述第二输入信号，其第二极耦合到所述铁电隧穿结的第二端；第四晶体管，其具有与第三晶体管互补的类型，其控制极配置为接收所述反馈信号，其第一极接地，第二极耦合到所述铁电隧穿结的第二端。
15.特别的，所述铁电隧穿结的第一端配置为接收所述第一输入信号，所述铁电隧穿结的第二端配置为接收所述第二输入信号；所述控制信号在所述第一输入信号跳转到无效电平之后且所述第二输入信号跳转到有效电平之前跳变到有效电平，所述第一输入信号在
所述第二输入信号有效电平跳转到无效电平时跳变到有效电平；所述第二输入信号的有效电平在一次脉冲期间逐渐升高，所述第一输入信号的有效电平在一次脉冲期间逐渐降低。
16.特别的，所述反馈信号的有效电平幅值大于所述第一输入信号或第二输入信号有效电平的最大幅值。
17.本技术还公开了一种电子系统，包括如前述的神经网络。
18.本技术还公开了一种电子设备，包括如前述的神经网络。
19.采用本技术的方案，一方面由于本方案从电路的物理结构出发对神经元进行模拟，可以获得低功耗、高计算性能的优势；一方面使用stdp机制对神经元形态电路的信号传输进行优化，可以进一步缩短电路处理耗费时间。在电路设计上使用铁电隧穿结可以通过其非易失特性等特点再一次降低电路的功耗，提升处理速度。本方案提出的新型神经网络结构也对推动神经形态电路的发展具有积极的意义。
附图说明
20.下面，将结合附图对本技术的优选实施方式进行进一步详细的说明，其中：
21.图1所示为根据本技术的一个实施例的神经网络模型示意图；
22.图2所示为一种电子突触的stdp机制特性曲线示意图；
23.图3a所示为根据本技术的一个实施例的电子突触电路和部分突触后神经元电路示意图；
24.图3b所示为图3a所示的电路的工作时序图；
25.图4所示为根据本技术的一个实施例的电子突触电路的归一化后的电导随时间变化的变化曲线。
具体实施方式
26.在以下实施例的具体描述中，将参考构成本技术一部分的所附的附图。所附的附图通过示例的方式示出了能够实现本技术的特定的实施例。示例的实施例并不旨在穷尽根据本技术的所有实施例。可以理解，在不偏离本技术的范围的前提下，可以利用其他实施例，也可以进行结构性或者逻辑性的修改。因此，以下的具体描述并非限制性的，且本技术的范围由所附的权利要求所限定。
27.对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。对于附图中的各单元之间的连线，仅仅是为了便于说明，其表示至少连线两端的单元是相互通信的，并非旨在限制未连线的单元之间无法通信。另外，两个单元之间线条的数目旨在表示该两个单元之间通信至少所涉及的信号数或至少具备的输出端，并非用来限定该两个单元之间只能如图中所示的信号来进行通信。
28.在以下的详细描述中，可以参看作为本技术一部分用来说明本技术的特定实施例的各个说明书附图。在附图中，相似的附图标记在不同图式中描述大体上类似的组件。本技术的各个特定实施例在以下进行了足够详细的描述，使得具备本领域相关知识和技术的普通技术人员能够实施本技术的技术方案。应当理解，还可以利用其它实施例或者对本技术的实施例进行结构、逻辑或者电性的改变。
29.晶体管可指任何结构的晶体管，例如场效应晶体管(fet)或者双极型晶体管(bjt)。当晶体管为场效应晶体管时，根据沟道材料不同，可以是氢化非晶硅、金属氧化物、低温多晶硅、有机晶体管等。根据载流子是电子或空穴，可以分为n型晶体管和p型晶体管。其控制极是指场效应晶体管的栅极，第一极可以为场效应晶体管的漏极或源极，对应的第二极可以为场效应晶体管的源极或漏极；当晶体管为双极型晶体管时，其控制极是指双极型晶体管的基极，第一极可以为双极型晶体管的集电极或发射极，对应的第二极可以为双极型晶体管的发射极或集电极。
30.传统的计算机架构将设备分成计算单元和存储单元，完成一次计算需调用计算单元对要处理的数据进行计算，之后将计算结果存入存储单元。在面对较大的数据和较为复杂的计算过程时，传统的计算机架构需要将计算过程拆分成多个简单的计算，多次重复上述步骤，在得到最终计算结果之前会产生多个中间值并存入存储单元，计算时再调用这些中间值完成最终结果的计算。
31.本技术提出的人工神经网络(下简称神经网络)，可以有效简化复杂的计算过程，同时可以避免存算分离带来的问题。
32.图1是根据本技术的一个实施例的神经网络模型示意图。在神经网络中包括多个节点又称神经元，两个神经元之间可以通过电子突触相连接。突触将电信号从电子突触前神经元传递至突触后神经元，传递的路径取决于神经元之间电子突触的权值。权值越高代表两个神经元之间的连接更加紧密。
33.如图1所示，根据本技术的一个实施例，神经网络中的神经元可以与多个神经元相连接，两个神经元之间通过电子突触连接并传递信号。需要完成的计算可以被转化为在神经网络中的多次循环计算，单次的计算过程可以被转化为在神经网络中从用户设置的初始神经元开始传递信号，途径多个神经元和电子突触，最终传输至用户设置的目标神经元的过程。神经网络基于预设的学习机制自行调整神经元之间的权值，从而实现不同问题的计算过程。
34.各电子突触可以至少从一个神经元接收信号(相对于该突触称为突触前神经元)，和/或可以至少向一个神经元发送信号(相对于该突触称为突触后神经元)。
35.图2所示为一种电子突触的stdp学习机制特性曲线示意图。其中，横轴的时间δt代表突触后神经元发射信号的时刻与突触前神经元发射信号时刻之间的时间差，纵轴的δw代表电子突触的权值变化率。由图2可知，针对这种电子突触，当δt为正的时候，电子突触的权值变化率会随着δt的增大而减小。
36.为了制备具有如上的stdp学习机制特性曲线的电子突触，本技术提供了一种电子突触电路。特别的，这种电子突触电路中包括铁电隧穿结(ftj)。
37.随着半导体器件技术的发展，一些具有电阻可调节以及非易失特性的新型器件被提出，包括阻变存储器、相变存储器、铁电隧穿结(ftj)等。其中，铁电隧穿结具有高密度、低功耗和高运行速度等优点，因此受到了科研界和产业界的广泛关注。
38.ftj是一种基于铁电材料的新型隧穿结，是中间以超薄铁电层为势垒，两边为非对称导电层的异质结构，当向ftj的两端施加电压时，会使ftj整体内部的势垒的高度产生变化，从而改变隧穿电阻。它的结构有多种，常见的有硅、绝缘层、铁电层、金属四种材料依次堆叠而成的mfis结构，也有mfs、mfm、mfim结构。但是，即便撤掉所施加电压，其上述导通特
性并不会发生改变，从而使ftj的隧穿电阻保持不变，直至其施加电压发生改变从而再次对其隧穿电阻进行设定。因此铁电隧穿结常被当作线性电阻用作存储器。
39.以铁电隧穿结制成的存储器具有非易失性、无破坏读出、读写速度快、功耗低等优点，并且与传统的铁电存储器相比，还具有结构简单、尺寸小、易于集成、使用寿命长等优势，可进一步拓宽铁电存储器的应用范围。
40.图3a所示为根据本技术的一个实施例的电子突触电路和部分突触后神经元电路示意图。图3b所示为图3a所示的电路的工作时序图。
41.如图3a所示，电子突触电路200与其突触后神经元电路300耦合，同时电子突触电路200也与突触前神经元电路(未示出)耦合。根据一个实施例，突触前神经元电路可以具有与突触后神经元电路类似的电路结构。
42.根据一个实施例，每一个神经元电路在发射信号的时候可以至少发射四个信号，包括stdp wl1，stdp wl2，lif wl，这三个信号可以通过在后突触提供给后方神经元电路作为控制信号和输入信号；还有stdp bl,这个信号可以提供给在前突触作为控制信号，该在前突触连接在该神经元电路和前方的神经元电路之间。这里所谓的“前”或者“后”都是相对于在用户输入的信号传输路径中，相对来说更靠近最起始的神经元电路的就成为“前”，相对来说更远离最起始的神经元电路的就成为“后”。
43.针对一个特定的电子突触电路来说，lif wl为突触前神经元电路提供的控制信号，决定了电子突触电路与突触后神经元电路的连接状态。stdp wl1和stdp wl2为突触前神经元电路提供的输入信号，决定了电子突触电路权值的更新值。反馈信号stdp bl由突触后神经元电路提供，决定了将电子突触电路的当前权值修改为更新值的时机。
44.根据一个实施例，如图3a所示，电子突触电路200可以至少包括开关单元201、输入单元202和权值计算单元203。
45.根据一个实施例，开关单元201可以至少包括例如nmos晶体管m21，其栅极可以配置为接收来自于突触前神经元电路的控制信号lif wl。如图3b所示，lif wl包括多个高电平短脉冲，当lif wl为高电平时，电子突触电路200被启动工作，与突触后神经元电路300的电连接导通。
46.根据一个实施例，输入单元202可以至少包括例如nmos晶体管m22和m23，以及pmos晶体管m24。
47.根据一个实施例，m22的漏极可以配置为接收来自一个突触前神经元电路的输入信号stdp wl1,源极可以耦合到权值计算单元203，栅极可以配置为接收来自于突触后神经元电路的反馈信号stdp bl。
48.根据一个实施例，m23的漏极可以配置为接收来自突触前神经元电路的输入信号stdp wl2，源极可以耦合到权值计算单元203，栅极可以配置为接收来自于突触后神经元电路的反馈信号stdp bl。其中，输入信号stdp wl1和stdp wl2可以来自同一个突触前神经元电路中的输出。如图3b所示，stdp wl1和stdp wl2可以是周期相同，波形不同的脉冲信号。
49.根据一个实施例，m24的源极可以耦合到m23的源极和权值计算单元203，栅极可以配置为接收来自于突触后神经元电路的反馈信号stdp bl，漏极可以接地。
50.根据一个实施例，权值计算单元203可以至少包括铁电隧穿结ftj。根据一个实施例，ftj的第一端耦合到m21以及m22的源极，另一端可以耦合到m24的源极。
51.如图3a所示，神经元电路例如突触后神经元电路300可以至少包括，比较器301、电阻302以及电容303。比较器301负输入端可以与电子突触电路200耦合(例如可以与晶体管m21的漏极耦合)，同时还通过电阻302耦合到电源。比较器301的正输入端配置为接收预设阈值电压vth。一旦比较器301负输入端电压vout低于正输入端电压vth，则该神经元会输出输出信号y(其中包括lif wl’、stdp wl1’和stdp wl2’和stdp bl)。
52.根据一个实施例，神经元电路还可以包括延迟单元304配置为确保stdp bl的高电平脉冲与突触前神经元电路输出的lif wl的高电平脉冲之间具有一定的时间差。
53.根据本技术的一个实施例，对ftj的结构以及与之相应的铁电层材料、铁电层厚度，绝缘层材料、绝缘层厚度、金属材料、以及si的掺杂种类和掺杂浓度等参数不做限制，可由实际需要进行调整。
54.根据本技术的一个实施例，对m21、m22、m23、m24的栅长、掺杂浓度和栅绝缘层厚度等器件参数不做限制，可由实际需要进行调整。
55.根据一个实施例，如图3b所示，当vout高于vth时，突触后神经元电路不会输出信号y，因此stdp bl也是低电平。在这种情况下，输入单元202中的晶体管m22和m23断开，此时晶体管m24导通，ftj的阻值在上一次两端被施加电压时设定，因此在此时尽管其两端施加的电压被撤除，ftj的隧穿电阻不变。
56.当lif wl的高电平来临时，电容303中的电荷会通过电子突触电路中ftj所在的通路泄放。如果经过一次泄放，vout降低到低于vth的水平，则突触后神经元电路300发射信号y，stdl bl跳转到高电平。
57.根据一个实施例，一个神经元电路会有多个在前电子突触电路与其耦合。当这些电子突触电路中的任何一个能够使vout降低到低于vth的水平，该神经元电路都会发射信号y，并且所有与其耦合的在前电子突触电路都会收到stdp bl的高电平。
58.但如果经过一次的泄放，vout无法降低到低于vth的水平，并且其他的在前电子突触电路也没有实现这个目标，则在lif wl高电平过后电源会继续给电容303充电，并且在下一次lif wl高电平来临的时候再次对电容303中的电荷进行泄放。经过数次的泄放或者积分，就可能达到vout降低到低于vth的水平的目标。
59.当stdp bl为高电平来临时，m24断开，m22和m23导通，分别将stdp wl1和stdp wl2提供到ftj的两端，从而对ftj的隧穿电阻值进行改变，更新该电子突触电路的权值。当然，如上所述，stdp bl高电平的到来可能是该电子突触电路自己引发的，也可能是其他与该神经元电路300耦合的电子突触电路引发的。
60.但是无论是哪个电子突触电路引发，神经元电路300都会发射stdp bl，从而所有的与其耦合的在前电子突触电路的权值都会发生改变。由于不同的突触前神经元提供输入信号的时间不同，在神经元电路300都会发射stdp bl给各个在前电子突触的时候，写入的权值可能有不同，或者说铁电隧穿结ftj的隧穿电阻被设置的值可能有所不同。
61.当输入信号lif wl高电平再次来临时，权值更新后的电子突触电路200将以更新后的隧穿电阻对电容303中的电荷进行泄放。
62.为了实现图2所示的电子突触属性，根据一个实施例，针对图3a所示的电路，如图3b所示，输入信号stdp wl1与stdp wl2的波形不同，周期相同。
63.根据一个实施例，lif wl可以在stdp wl1从有效电平跳变到无效电平的同时或之
后且stdp wl2跳变到有效电平的同时或之前跳变到有效电平。在stdp wl2由有效电平跳变到无效电平时，stdp wl1跳变到有效电平。
64.根据一个实施例，stdp wl2的下降沿与stdp wl1的上升沿基本重合。根据一个实施例，stdp wl2的上升沿与stdp wl1的下降沿之间具有一定的时间间隔。根据本技术的一个实施例，lif wl下一个高电平到来的时刻位于stdp wl1的下降沿与stdp wl2的上升沿之间的时间间隔中。
65.根据一个实施例，stdp wl2高电平脉冲的幅值随时间逐渐升高。根据一个实施例，stdp wl1高电平脉冲的幅值随时间逐渐降低。根据一个实施例，stdp wl1和stdp wl2高电平脉冲的幅值的最大值或最小值根据铁电层材料特性可以相同或者不同。
66.根据一个实施例，为了满足m22和m23的导通规则，stdp bl高电平脉冲幅值应大于stdp wl1和stdp wl2的高电平脉冲的幅值的最大值。
67.图4所示为根据本技术的一个实施例的电子突触电路的归一化后的电导随时间变化的变化曲线。如图4所示，横轴的δt为突触后神经元发射信号时刻与预设的突触后神经元发射信号时刻之间的时间差，纵轴的δw表示电子突触电路中m22的电导率。为使曲线更加直观，对电导率的变化曲线针对δt进行归一化处理。
68.根据一个实施例，δt中预设的突触后神经元发射信号时刻为stdp bl的高电平脉冲到stdp wl2的下降沿与stdp wl1的上升沿重合位置的时间(也可以相对其他的时刻计算δt，但是产生的变化曲线与图4就会有差别，无法实现图2所示特性曲线的机制)。如果stdp bl的高电平在stdp wl2的下降沿与stdp wl1的上升沿重合位置之后到来，则δt为正，在这个阶段stdp wl1为正且逐渐降低，stdp wl2为0，ftj的电导率以及对应的电子突触的权值变化率会随着δt的增大而变小(电子突触的权值变化率与ftj的电导率呈正相关)。如果stdp bl的高电平在stdp wl2的下降沿与stdp wl1的上升沿重合位置之前到来，则δt为负，在这个阶段stdp wl1为0，stdp wl2为正且逐渐升高，m22的电导率以及对应的电子突触的权值变化率会随着δt的增加而变小。ftj的电导变化幅度大小受到stdp wl2的高电平最大幅值的影响。
69.当然，根据不同的电子突触的stdp机制曲线，也可以采用不同的输入和控制信号。
70.本技术的方案中利用铁电隧穿结ftj的记忆特性和非易失特性，将其应用到电子突触中，通过调整施加在ftj两端的电压值来设置ftj的隧穿电阻，从而设定突触的特定的权值，可以在一定程度上简化电路设计的同时实现多个元件的功能。同时由于其高密度、低功耗和高运行速度的优点，可以进一步降低电路及设备的功耗，提升运行效率。将其运用在神经形态计算的网络设计中，可以实现低功耗、高计算性能的神经形态计算。
71.在计算和优化过程中，电路无需将计算的权值和其他输入信号的中间值进行存储，也无需在下一次计算前再次调用中间值，减少了线路的使用次数，提高了计算速度，降低了电路功耗。
72.上述实施例仅供说明本技术之用，而并非是对本技术的限制，有关技术领域的普通技术人员，在不脱离本技术范围的情况下，还可以做出各种变化和变型，因此，所有等同的技术方案也应属于本技术公开的范畴。