一种联想记忆中多次泛化和分化的神经形态电路

1.本发明涉及神经形态电路技术领域，尤其涉及一种联想记忆中多次泛化和分化的神经形态电路。


背景技术：

2.忆阻器是一种带记忆的非线性电阻，无需内部电源即可存储信息，所以应用时能量消耗少，在数字存储、人工神经网络、数字逻辑电路和非线性电路中有着巨大的潜在应用。由于忆阻器非易失性，结构简单且和现在的mos管工艺兼容等特点，使其成为突触仿生的完美候选物。无源非易失性忆阻器可以很好地模拟突触特征，是模仿记忆和学习等现象的基本模块。
3.在生物学中，经典的巴甫洛夫联想记忆实验中，主要由四个基本生理现象组成：学习、遗忘、泛化、分化。但现有的基于巴甫洛夫联想记忆的神经形态电路中，大多只是验证了两个神经元之间的联想学习及遗忘现象，并不涉及多个神经元之间的验证问题，也无法实现多个神经元之间的多次泛化和分化现象。


技术实现要素：

4.本发明的目的是提供一种联想记忆中多次泛化和分化的神经形态电路，该电路能仿生巴甫洛夫联想记忆中的多次泛化和彻底分化现象，也能仿生传统巴甫洛夫联想记忆中的学习和遗忘现象，具有广阔的应用前景。
5.本发明的目的是通过以下技术方案实现的：
6.一种联想记忆中多次泛化和分化的神经形态电路，所述电路包括三个输入信号端in1、in2、in3，一个总输出信号out，其中：
7.输入信号端in1、in2、in3定义为三个前神经元，前神经元in1对应巴甫洛夫联想记忆中的非条件反射信号，前神经元in2和in3对应条件反射信号；
8.所述输入信号端in1、in2、in3输入的信号经处理后得到对应的三个输出信号out1、out2、out3，三个输出信号out1、out2、out3再经或门u12后得到总输出信号out；其中，所述或门u12定义为后神经元，所述总输出信号out为后神经元接受刺激后发出的信号；
9.所述电路具体包括控制模块、运算模块和三个反馈模块，且所述控制模块、运算模块和三个反馈模块位于前后神经元之间，其中：
10.所述控制模块用于控制三个前神经元in1、in2、in3的输入信号，接收三个反馈模块发出的反馈信号v
f1
、v
f2
、v
f3
，并得到输入给所述运算模块的三个前向电压v
pre1
、v
pre2
、v
pre3
；
11.所述运算模块接收来自所述控制模块输入的三个前向电压v
pre1
、v
pre2
、v
pre3
，并分别对所述前向电压v
pre1
、v
pre2
、v
pre3
处理后得到三个输出信号out1、out2、out3；
12.所述三个反馈模块分别接收由电压自定义模块abm输出的电压v
f
作为输入，将电压v
f
与接入的比较电压v
th1
进行比较，根据比较结果输出高电平或低电平的反馈信号v
f1
、
v
f2
、v
f3
，并将反馈信号v
f1
、v
f2
、v
f3
输出给所述控制模块；其中，电压自定义模块abm连接着运放a1的输出和前向电压v
pre2
，用于将两个电压进行相关自定义运算后输出电压v
f
。
13.由上述本发明提供的技术方案可以看出，上述电路能仿生巴甫洛夫联想记忆中的多次泛化和彻底分化现象，也能仿生传统巴甫洛夫联想记忆中的学习和遗忘现象，具有广阔的应用前景。
附图说明
14.为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
15.图1为本发明实施例提供的联想记忆中多次泛化和分化的神经形态电路的整体结构示意图；
16.图2为本发明实施例所述控制模块的结构示意图；
17.图3为本发明实施例所述运算模块的结构示意图；
18.图4为本发明实施例所述反馈模块1的结构示意图；
19.图5为本发明所举实例步骤一执行时的波形示意图；
20.图6为本发明所举实例步骤二执行时的输入波形示意图；
21.图7为本发明所举实例步骤三执行时的波形示意图；
22.图8为本发明所举实例步骤四执行的波形示意图；
23.图9为本发明所举实例步骤五执行的波形示意图；
24.图10为本发明所举实例步骤六执行的波形示意图；
25.图11为本发明所举实例步骤七执行的波形示意图；
26.图12为本发明所举实例步骤八执行的波形示意图。
具体实施方式
27.下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。
28.下面将结合附图对本发明实施例作进一步地详细描述，如图1所示为本发明实施例提供的联想记忆中多次泛化和分化的神经形态电路的整体结构示意图，所述电路包括三个输入信号端in1、in2、in3，一个总输出信号out，其中：
29.输入信号端in1、in2、in3定义为三个前神经元，前神经元in1对应巴甫洛夫联想记忆中的非条件反射信号(食物信号)，前神经元in2和in3对应条件反射信号(1khz铃声信号和2khz铃声信号)；具体实现中，输入信号可以采用周期为2s，幅度为
±
5v，占空比为50％的脉冲信号；
30.所述输入信号端in1、in2、in3输入的信号经处理后得到对应的三个输出信号out1、out2、out3，三个输出信号out1、out2、out3再经或门u12后得到总输出信号out；其中，
所述或门u12定义为后神经元，总输出信号out为后神经元接受刺激后发出的信号，具体在巴甫洛夫联想记忆中的表现是分泌唾液。
31.所述电路具体包括控制模块、运算模块和三个反馈模块，且所述控制模块、运算模块和三个反馈模块位于前后神经元之间，由于在生物上前后神经元之间的部位称为突触，故在本神经形态电路中前
‑
后神经元中间的运算模块、控制模块以及反馈模块可看作生物中的突触，其中：
32.如图2所示为本发明实施例所述控制模块的结构示意图，所述控制模块用于控制三个前神经元in1、in2、in3的输入信号，接收三个反馈模块发出的反馈信号v
f1
、v
f2
、v
f3
，并得到输入给所述运算模块的三个前向电压v
pre1
、v
pre2
、v
pre3
，其中：
33.前神经元in1输入的信号直接接到电阻m1，此时所述运算模块的前向电压v
pre1
即为前神经元in1输入的信号；
34.前神经元in1输入的信号和前神经元in2输入的信号经过与门u4接入双路开关u6的控制端；前神经元in1输入的信号和经过非门u2的前神经元in2输入的信号共同接入与门u7；经过非门u1的前神经元in1输入的信号和前神经元in2输入的信号接入与门u8；与门u7和与门u8接入或门u9；或门u9接入双路开关u10的控制端，双路开关u10的输出端得到输入给所述运算模块的前向电压v
pre2
；
35.前神经元in1输入的信号和经过非门u2后前神经元in2输入的信号共同接入与门u3，与门u3的输出接开关s1的控制正端，开关s1的输出正端接开关s7的输出正端；开关s3的控制正端接与门u4的输出，开关s3的输出正端接双路开关s5的输出正端和开关s7的输出负端；开关s5的输出端得到输入给所述运算模块的前向电压v
pre3
；
36.前神经元in3输入的信号接开关s2控制正端，开关s2的输出正端接开关s7的输出正端和电阻r2，开关s2的输出负端接电压求和单元sum1的输出端；
37.电压求和单元sum1的输入端分别为接地电压v1和开关s4的输出正端；电压求和单元sum2的输入端分别为开关s6的输出正端和电压求和单元sum3的输出端；电压求和单元sum3的输入端为接地电压v9和开关s11的输出正端；
38.双路开关u10的上开关接双路开关u5的输出(双路开关u5的两个输出短接)，双路开关u10的下开关接双路开关u6的输出(双路开关u6的两个输出短接)；双路开关u5的上开关接开关s8输出负端，双路开关u5的下开关接开关s9输出负端；双路开关u6的上开关接电压求和单元sum2输出端，双路开关u6的下开关接开关s10输出负端；
39.反馈信号v
f3
接开关s4和s6的控制正端；反馈信号v
f2
接开关s7、s8、s9、s10的控制正端；反馈信号v
f1
接开关s11的控制正端，且经过非门u11后接入开关s5的控制正端；
40.如图3所示为本发明实施例所述运算模块的结构示意图，在所述运算模块中，输入的前向电压v
pre1
为非条件反射信号，作为输出信号out1与所述后神经元u12直连；
41.输入的前向电压v
pre2
和v
pre3
为条件反射信号，以前向电压v
pre2
为例：
42.首先，所述前向电压v
pre2
经过由忆阻器m2、电阻r7和运放a1构成的反向运算电路；
43.运算结果再经过绝对值模块abs，并将绝对值模块abs输出的电压在运放a4中与激活电压v
th2
进行比较，根据比较结果决定运放a4输出信号out2为高电平或低电平,激活电压v
th2
是根据单独输入in2时的(测试)电压，与自定义的遗忘阻值5kω的运算比例关系决定的，其中：
44.当绝对值模块abs输出的电压小于激活电压v
th2
时，运放a4输出信号out2为低电平，v
pre2
>vth
+
＝1v(忆阻器m2的正阈值电压)，则所述忆阻器m2的阻值下降，即权值增大，这一过程为巴甫洛夫联想记忆中的学习；
45.当所述忆阻器m2的阻值下降到2kω时，定义为学习完成，此时单独向所述前神经元in2输入信号，得到的前向电压v
pre2
再经过由忆阻器m2、电阻r7和运放a1构成的反向运算电路；运算结果再经过绝对值模块abs，此时绝对值模块abs输出的电压就大于激活电压v
th2
，运放a4输出信号out2为高电平，则后神经元u12输出为1；
46.当所述前向电压v
pre2
小于忆阻器m2的负阈值电压时，例如v
pre2
<vth
‑
＝
‑
1v(忆阻器m2的负阈值电压)，忆阻器m2的阻值上升，即权值下降，这一过程为巴甫洛夫联想记忆中的遗忘，当所述忆阻器m2的阻值上升到5kω时，定义为遗忘完成(未学习时的遗忘表现为无关联)，此时单独向所述前神经元in2输入信号，得到的前向电压v
pre2
再经过由忆阻器m2、电阻r7和运放a1构成的反向运算电路；运算结果再经过绝对值模块abs，此时绝对值模块abs输出的电压小于激活电压v
th2
，运放a4输出信号out2为低电平，则后神经元u12输出为0；
47.所述前向电压v
pre3
与所述前向电压v
pre2
的处理过程相同。
48.所述三个反馈模块分别接收由电压自定义模块abm输出的电压v
f
作为输入，将电压v
f
与接入的比较电压v
th1
、v
th3
、v
th4
进行比较，根据比较结果输出高电平或低电平的反馈信号v
f1
、v
f2
、v
f3
，并将反馈信号v
f1
、v
f2
、v
f3
输出给所述控制模块；其中，电压自定义模块abm连接着运放a1的输出和前向电压v
pre2
，用于将两个电压进行相关自定义运算后输出电压v
f
。
49.举例来说，如图4所示为本发明实施例所述反馈模块1的结构示意图，在所述三个反馈模块中，以输出反馈信号v
f1
的反馈模块1为例：
50.电压自定义模块abm输出的电压v
f
连接到所述反馈模块1的运放a3的负极，和运放a3正极接入的比较电压v
th1
构成比较器电路，运放a3的输出接到开关s12的控制正端，开关s12的输出正端接到电压求和单元sum4的输入端，比较结果经开关s12进入电压求和单元sum4，在电压求和单元sum4内和另一定值电压v14一起求和，并将求和结果输出到忆阻器m4的正端(plus端)，其中：
51.当电压自定义模块abm输出的电压v
f
>比较电压v
th1
时，运放a3输出低电平，开关s12打开，则输出到忆阻器m4正端的reset电压只有求和后的定值电压v14，本实例中定值电压v14设定为
‑
12v，由于定值电压v14大于忆阻器m4的负阈值电压
‑
12.1v，则忆阻器m4阻值不发生改变，定值电压v14通过由运放a8，电阻r14和忆阻器m4构成的反向运算电路，此时若运放a8的输出电压大于比较电压v
th5
，本实例中v
th5
设定为6.5v，则运放a9输出反馈信号v
f1
为低电平，视为无反馈；
52.当电压自定义模块abm输出的电压v
f
<比较电压v
th1
时，运放a3输出高电平，开关s12闭合，则输出到忆阻器m4正端的reset电压为定值电压v14+另一定值v11＝
‑
12.2v，该另一定值v11设定为
‑
0.2v，且小于忆阻器m4的负阈值电压
‑
12.1v，则忆阻器m4的阻值上升，在不到1s的信号时间内阻值上升至0.2kω，定值电压v14和v11之和再通过由运放a8，电阻r14和忆阻器m4构成的反向运算电路，若运放a8的输出电压小于比较电压v
th5
，则运放a9输出反馈信号v
f1
为高电平，视为有反馈；
53.其余两个反馈模块2和3的反馈机制与所述反馈模块1相同。
54.具体实现中，比较电压v
th1
，v
th3
，v
th4
是根据v
f
所反映的忆阻器m2的阻值来设定的；
v
th5
是根据加到忆阻器m4，经过运放算出的电压来设定的。
55.具体实现中，所述电路中采用的忆阻器均为阈值型忆阻器，其中：
56.所述运算模块中采用的忆阻器参数为：初始电阻值rinit＝5kω；最大电阻值roff＝8kω；最小电阻值ron＝0.1kω；正阈值电压vth
+
＝1v；负阈值电压vth
‑
＝
‑
1v；
57.所述三个反馈模块中采用的忆阻器参数为：初始电阻值rinit＝0.1kω；最大电阻值roff＝0.2kω；最小电阻值ron＝0.1kω；正阈值电压vth
+
＝1v；负阈值电压vth
‑
＝
‑
12.1v。
58.下面以具体的实例对上述神经形态电路的运行过程进行详细说明，在本实例中定义忆阻器阻值初始态的5kω为遗忘完成，下降至2kω为学习完成，具体过程为：
59.步骤一：神经元in1、in2、in3分别单独输入信号，观测神经元u12的输出表现；
60.步骤二：神经元in1、in2一起输入刺激进行in1与in2之间的学习80s，学习完成后在单独刺激神经元in2和in3，观察神经元u12的输出表现；
61.步骤三：神经元in1和in2一起输入刺激加强学习后再单独给神经元in3输入刺激，循环几次，观察神经元u12的输出表现；
62.步骤四:单独输入神经元in1进行f1遗忘，观察忆阻器m2阻值参数，再输入神经元in2刺激，观察神经元u12输出表现，表明完成遗忘；
63.步骤五：先同步骤二一样进行80s的学习，观察忆阻器m2阻值参数，发现比步骤二的第一次学习更快，再单独刺激神经元in2和in3，观察神经元u12的输出表现；
64.步骤六：先同步骤三一样，发现完成神经元分化现象的循环周期比步骤三少，即1循环。再单独刺激神经元in2进行f2遗忘，发现比第一次的f1遗忘需要更长的时间来进行；
65.步骤七：先同步骤二一样进行80s的学习，观察忆阻器m2阻值参数，发现比步骤五的第二次学习更快，再单独刺激神经元in2和in3，观察神经元u12的输出表现；
66.步骤八：不进行任何刺激，进行160s的自然遗忘时间，刺激神经元in2，观察神经元u12的输出表现。
67.当步骤一即测试过程开始时，由于反馈信号v
f1
＝v
f2
＝v
f3
＝0，开关s7、s8打开，神经元in2和in3都不会对后神经元u12产生作用，所以out端输出为0，证明神经元in1突触与其余两个突触之间并无联系，即神经元in1导通至电阻m1，神经元in2和in3单独输入的信号都无法传递到后神经元u12。如图5所示为本发明所举实例步骤一执行时的波形示意图，当单独对神经元in1输入信号时，后神经元u12输出为高电平(逻辑1)；但当单独对神经元in2或in3输入信号时，后神经元u12并无反应，此时在生物学上并无产生联想记忆。
68.当步骤二执行，第一次学习，如图6所示为本发明所举实例步骤二执行时的输入波形示意图，在第一个脉冲期间，电压自定义模块abm的输出电压v
f
>比较电压v
th3
，反馈vf2输出高电平，使开关s7
‑
s10闭合，神经元in2的学习电压为v9，神经元in3的学习电压为v3，由于开关s8
‑
s10控制着忆阻器m2的三类遗忘，所以使得神经元in2具有遗忘功能。统一进行80s的学习过程，即神经元in1和in2进行联想记忆，根据学习的深度我们规定忆阻器m2的阻值下降为2kω时学习完成，又根据电压v6和激活电压v
th2
确定了m2的阻值上升到为5kω时达到遗忘效应，观察忆阻器m2的阻值在61s学习完成(31个脉冲周期)。在80s的学习后，神经元in2和in3单独测试一个脉冲，即神经元in2施加的是v6，神经元in3施加的是v1，发现神经元u12输出都为1，说明神经元in1和in2完成了联想记忆，并且神经元in3也与in2完成了条
件反射中的泛化。可以在图6中看出：在神经元in2和in3单独测试时，忆阻器m2和m3阻值又会上升，对应着学习完成后，开始了遗忘的过程，而在前面80s的学习阶段，开始忆阻器阻值下降很快，越学习到后面下降速率反而变慢了，很好的复合了生物特征。
69.当步骤三执行，如图7所示为本发明所举实例步骤三执行时的波形示意图，在第一次分化，先刺激神经元in1和in2三个脉冲信号加强它们之间的联系，再单独刺激神经元in3三个脉冲信号，如此循环到第三次，最终在33s处完成神经元in2和in3之间的分化。但是在学习过程中，往往一次泛化和分化并不能完全的认知到事情的本质，所以在下次学习时往往还会伴随着刺激的泛化造成认知的错误，不过经过前一次的泛化(学习)与分化，很明显下一次的泛化(学习)与分化需要的时间更少。
70.不过为了模拟下一次的泛化(学习)和分化，需要先对神经元in2施加遗忘，即步骤四的操作，这一次先模拟f1遗忘，只对神经元in1施加刺激，由于记忆间的相互干扰，此时神经元in2的遗忘电压为v7，in3的遗忘电压为v2，如图8所示为本发明所举实例步骤四执行的波形示意图，由图8可知：28s超过5kω，单独刺激神经元in2，神经元u12输出为0，表明遗忘完成(14个脉冲周期)。此时电压自定义模块的输出电压v
f
<比较电压v
th4
，反馈模块3的输出反馈信号v
f3
为高电平，神经元in2学习电压变成v9+v5，神经元in3的学习电压依旧为v3。
71.如图9所示为本发明所举实例步骤五执行的波形示意图，第二次学习过程依旧是80s的时间，如图9所示在40s时忆阻器m2下降到2kω，经历20个周期完成学习，比第一次的31个周期大幅缩短。
72.如图10所示为本发明所举实例步骤六执行的波形示意图，在第二次学习后，进行第二次分化过程，由于反馈电压vf3输出高电平，此时单独刺激神经元in3的电压变成v1+v4。此次一个循环完成分化，较第一次的三个循环历时更少，这次只给神经元in2输入电压，遗忘模式为f2遗忘，神经元in2的遗忘电压为v6，过程经历了16个周期比第一次更长，在遗忘完成后神经元in2接着输入4个周期的脉冲信号使得电压自定义模块的输出电压v
f
<比较电压v
th1
，反馈v
f1
输出高电平，此时学习电压为v9+v5+v10。
73.如图11所示为本发明所举实例步骤七执行的波形示意图，第三次学习过程依旧是80s的时间，如图11所示在19s时忆阻器m2下降到2kω，经历10个周期完成学习，在进行神经元in2和in3的测试时发现，单独刺激神经元in2，后神经元u12输出高电平，神经元in3因为反馈v
f1
的原因使得开关s5打开，即生物行为上表现为彻底地完成了相似刺激间的分化现象。
74.如图12所示为本发明所举实例步骤八执行的波形示意图，在第三次学习后，进行自然遗忘，无任何刺激，此时电压v8作用到忆阻器m2上，历时160s，在单独刺激神经元in2，后神经元u12输出电压已经为0(低电平)，在图12中也可看出忆阻器m3的阻值一直没有发生变化。
75.至此，上述神经形态电路的完整运行过程结束，实现了预期中的功能。
76.值得注意的是，本发明实施例中未作详细描述的内容属于本领域专业技术人员公知的现有技术。
77.以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范
围为准。