一种基于无乘法器实现的神经元电路

1.本发明涉及神经元电路技术领域，尤其涉及一种基于无乘法器实现的神经元电路。


背景技术：

2.现代人工智能的发展离不开对神经元的探索与学习，特别是人工智能神经网络，使得研究者对神经元模型的要求越来越高。神经元模型的电路需要尽可能简单的同时，能够实现神经元的相应功能。由于神经元模型中通常含有非线性项，因此乘法器在神经元模型的电路实现中是必不可少的。而乘法器价格昂贵、占用较大的硅面积资源并且耗能大，会导致神经元模型的电路实现成本大大增加。因此研究者们提出了许多无乘法器的神经元电路实现方案，主要通过构建线性函数来拟合神经元模型中的非线性项。以hindmarsh-rose(hr)神经元模型为例，gomar等人提出了一种多段线性拟合方案。利用多段线性拟合函数拟合hr神经元模型中的非线性项。拟合后的hr神经元模型也在现场可编程门阵列(fpga)上得到实现。然而相对于模拟电路而言，fpga实现成本较高，并且不容易调试。


技术实现要素：

3.本发明所要解决的技术问题是：通过含偏置的relu函数构建线性函数来拟合hr神经元模型中的非线性项，并通过包含运放、电阻及电容组成的模拟电路实现，使得电路模型成本大大降低。
4.本发明所采用的技术方案：一种基于无乘法器实现的神经元电路，包括：含偏置的relu函数模块电路、第一分段线性函数模块电路、第二分段线性函数模块电路和hr神经元模块电路，含偏置的relu函数模块电路的输出端与第一分段线性函数模块电路和第二分段线性函数模块电路的输入端电性连接，第一分段线性函数模块电路和第二分段线性函数模块电路的输出端与hr神经元模块电路输入端电性连接。
5.进一步的，hr神经元数学表达式如式(1)所示：
[0006][0007]
其中，变量x表示神经元的膜电压，y表示神经元的尖峰变量，也可称为恢复电流，z表示神经元的爆发变量，也可称为适应电流；常数r、s、x1的值分别为0.01，4，1.6；f(x)和g(x)为非线性项，表达式如式(2)所示：
[0008]
f(x)＝x
3-3x2,g(x)＝1-5x2,
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0009]
对于非线性项，利用分段线性函数拟合h1(x)和h2(x)分别拟合f(x)和g(x)，h1(x)和h2(x)的表达式如式(3)所示：
[0010][0011]
拟合后的可以得到hr神经元的模型表达式如式(4)所示：
[0012][0013]
根据电容的积分特性将拟合后hr神经元的模型转为hr神经元模块电路的状态方程，如(5)所示：
[0014][0015]
其中，e＝15v，并且可以通过调节电阻值ri来改变i的值。
[0016]
进一步的，含偏置的relu函数模块电路包括运算放大器u1、u2，电阻ra、rb、rc、rd、re，二极管d1、d2，直流电压v1，电阻ra和电阻rb共同输出一端与运算放大器u1反向输入端相连，运算放大器u1反向输入端和运算放大器u1输出端并联电阻rc，运算放大器u1输出端与电阻rd串联后分别与运算放大器u2反向输入端和电阻re连接，运算放大器u1反向输入端和运算放大器u1输出端反向串联二极管d1，运算放大器u2输出端与二极管d1的共同输出端反向串联二极管d2后与电阻re的连接；电阻ra和电阻rb分别与直流电压v1和输入电压v
x
连接；运算放大器u1、u2的同向输入端接地。
[0017]
进一步的，第一分段线性函数模块电路包括电阻r1、r2、r3、r4、r5、r6、r7、r
δ1
，运算放大器u
11
、u
12
，电阻r1、r2、r3、r4和r
δ1
共同输出一端与运算放大器u
11
反向输入端连接，运算放大器u
11
反向输入端还与电阻r5串联后与运算放大器u
11
输出端连接，运算放大器u
11
输出端串联电阻r6后一端与运算放大器u
12
反向输入端连接，运算放大器u
12
反向输入端还与电阻r7串联后与运算放大器u
12
输出端连接；电阻r1、r2、r3、r4分别与含偏置的relu函数模块电路输出端连接；运算放大器u
11
、u
12
的同向输入端接地。
[0018]
进一步的，第二分段线性函数模块电路包括电阻r8、r9、r
10
、r
11
、r
12
、r
13
、r
δ2
，运算放大器u
13
、u
14
，电阻r8、r9、r
10
、r
δ2
共同输出一端与运算放大器u
13
反向输入端连接，运算放大器u
13
反向输入端还与电阻r
11
串联后与运算放大器u
13
输出端连接，运算放大器u
13
输出端与电阻r
12
串联后一端与运算放大器u
14
反向输入端连接，运算放大器u
14
反向输入端与电阻r
13
串联后与运算放大器u
14
输出端连接；电阻r8、r9、r
10
分别与含偏置的relu函数模块电路输出端
连接；运算放大器u
13
、u
14
的同向输入端接地。
[0019]
进一步的，hr神经元模块电路包括电阻r
’1、r
’2、r
’3、r
’4、r
’5、r
’6、r
’7、r
’8、r
’9、r’10
、r’11
、r’12
、ri，电容c1、c2、c3，运算放大器u
21
、u
22
、u
23
、u
24
、u
25
，电阻ri、r
’1、r
’2共同输出一端与运算放大器u
21
的反相输入端连接，运算放大器u
21
反向输入端和运算放大器u
21
输出端并联电容c1，电阻r
’3串联第一分段线性函数模块电路后两端分别与运算放大器u
21
反向输入端和运算放大器u
21
输出端连接；运算放大器u
21
输出端串联第二分段线性函数模块电路和电阻r
’4后与运算放大器u
22
反向输入端连接，运算放大器u
22
反向输入端与运算放大器u
22
输出端并联电容c2和电阻r
’5，运算放大器u
22
输出端串联电阻r
’6后与运算放大器u
23
反向输入端连接，运算放大器u
23
反向输入端和运算放大器u
23
输出端串联电阻r
’7，运算放大器u
23
输出端还与电阻r
’2连接；电阻r
’1还与运算放大器u
25
输出端连接，运算放大器u
25
输出端与运算放大器u
25
反向输入端串联电阻r’12
；运算放大器u
25
反向输入端与电阻r’11
串联后与运算放大器u
24
输出端连接，运算放大器u
24
输出端和运算放大器u
24
反向输入端并联电阻r
’9和电容c3，运算放大器u
24
反向输入端还与电阻r
’8和r’10
连接；运算放大器u
21
、u
22
、u
23
、u
24
、u
25
的同向输入端接地。
[0020]
本发明的有益效果是：
[0021]
1、构建分段线性函数拟合hr神经元模型中的非线性项；设计分段线性函数的模块电路，利用基本运算放大电路和二极管的单向导通特性，设计了一种含偏置的relu函数模块电路，通过叠加多个含偏置的relu函数模块电路以及直流电压实现分段线性函数的模块电路，最后再利用这些分段线性函数模块电路设计拟合后的hr神经元模块电路。
[0022]
2、电路结构简单，实现成本较低并能完整展现hr神经元放电行为。
附图说明
[0023]
图1为本发明中利用分段线性函数拟合hr神经元中非线性项的数值仿真图；
[0024]
图2为本发明中平移后的分段线性函数的分解图；
[0025]
图3为本发明中含偏置的relu函数模块电路结构图；
[0026]
图4(a)为本发明中第一分段线性函数模块电路结构图，图4(b)为第二分段线性函数模块电路结构图；
[0027]
图5为本发明中拟合后的hr神经元模块电路结构图；
[0028]
图6(a)为本发明中第一分段线性函数模块电路的仿真结果，图6(b)为第二分段线性函数模块电路的仿真结果；
[0029]
图7为本发明中拟合后的hr神经元模块电路的仿真结果。
具体实施方式
[0030]
下面结合附图和实施例对本发明作进一步说明，此图为简化的示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明有关的构成。
[0031]
一种基于无乘法器实现的神经元电路，包括：含偏置的relu函数模块电路、第一分段线性函数模块电路、第二分段线性函数模块电路和hr神经元模块电路，含偏置的relu函数模块电路的输出端与第一分段线性函数模块电路和第二分段线性函数模块电路的输入端电性连接，第一分段线性函数模块电路和第二分段线性函数模块电路的输出端与hr神经
元模块电路输入端电性连接。
[0032]
进一步的，hr神经元表达式如式(1)所示：
[0033][0034]
其中，变量x表示神经元的膜电压，y表示神经元的尖峰变量，也可称为恢复电流，z表示神经元的爆发变量，也可称为适应电流；常数r、s、x1的值分别为0.01，4，1.6；f(x)和g(x)为非线性项，表达式如式(2)所示：
[0035]
f(x)＝x
3-3x2,g(x)＝1-5x2,
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0036]
因此对于非线性项，本发明利用分段线性函数h1(x)和h2(x)分别拟合f(x)和g(x)，h1(x)和h2(x)的表达式如式(3)所示：
[0037][0038]
如图1为分段线性函数h1(x)和h2(x)和非线性函数f(x)和g(x)的拟合结果，可以看出分段线性函数与非线性函数的图像基本一致。
[0039]
图2为平移后分段线性函数的分解图；显然平移后的分段线性函数可以由多个含有偏置的relu函数h(x)复合而成，其中，h1(x)-m1由h1(x)、h2(x)、h3(x)和h4(x)复合而成，h2(x)-m2由h5(x)、h6(x)和h7(x)复合而成，即：
[0040][0041][0042]
对于函数h1(x)-m1，当x《
–
1.3时，显然有k1+k2＝18，当
–
1.3《x《
–
0.35时，有k2＝8，当
–
0.35《x《2.8时，有k3＝
–
2.2，当x》2.8时，有k3+k4＝18；
[0043]
对于函数h2(x)-m2，当x《
–
1.3时，显然有k5+k6＝16.2，当
–
1.3《x《
–
0.1时，有k6＝10，当x》
–
0.1时，有k7＝
–
9；
[0044]
因此根据以上关系，h(x)的各个参量得出，如表1所示：
[0045]
表1分段线性函数中各个h(x)的数值参数
[0046][0047]
拟合后的hr神经元的模型表达式如式(4)所示：
[0048][0049]
因而根据电容的积分特性可以将拟合后的hr神经元数学模型转为电路状态方程，如(5)所示：
[0050][0051]
其中，e＝15v，并且可以通过调节电阻值ri来改变i的值。
[0052]
本发明实例中，运算放大器的型号均为tl082cp、二极管的型号均为1n4001。
[0053]
图3为含偏置的relu函数模块电路结构图，记为h(v
x
)；该模块电路主要由运算放大器u1和u2，二极管d1和d2，直流电压源v1，电阻ra、rb、rc、rd和re组成；h(v
x
)的输入端记为a端，电阻ra的左端连接a端的输入电压v
x
，ra右端连接运算放大器u1的反相端，记为b端；电阻rc的左端连接b端，rc右端连接u1的输出端，记为c端；电阻rb的右端连接b端，rb的左端连接直流电压源v1；电阻rd的左端连接c端，rd的右端连接运算放大器u2的反相端，记为d端；二极管d1的负极和re的左端同时与d端连接，d1的正极连接u2的输出端，记为e端；二极管d2的负极与e端连接，同时d2的正极与电阻re的右端连接，记为f端，f端即为h(v
x
)的输出端；运算放大器u1和u2的同相端接地；其中，通过改变二极管d1和d2的导通方向可以改变输出函数的极性，含偏置的relu函数模块电路的表达式为：
[0054][0055]
因此，可以通过控制电阻ra和rb来实现不同的h(v
x
)，其中，rc、rd和re固定为10kω，v1为
±
15v。
[0056]
图4(a)为第一分段线性函数的电路结构图和图4(b)为第二分段线性函数的电路结构图；第一分段线性函数h1(x)的电路模块h1(v
x
)主要由4个含有偏置的relu函数模块电路h1(v
x
)、h2(v
x
)、h3(v
x
)和h4(v
x
)，运算放大器u
11
和u
12
，直流电压源v，电阻r1～r7和r
δ1
组成；
为250kω，电阻r
’9为1mω，电阻r’10
为2.343mω，直流电压源为15v。
[0062]
图6(a)为本发明中第一分段线性函数模块电路模块和图6(b)第二分段线性函数模块电路模块的仿真结果，可以看出，电路仿真结果与图2中的数值仿真结果一致，因为运算放大器的饱和特性，h1(v
x
)的模块电路在v
x
《-1.69v的范围内达到了饱和；h2(v
x
)的模块电路在v
x
》1.95v和v
x
《-1.7v的范围内达到了饱和。
[0063]
图7为本发明中拟合后的hr神经元模块电路实现结果，可以看出，通过改变ri的阻值，即改变公式(4)中的i值，拟合后的hr神经元模块电路能够展示出周期簇发、混沌簇发以及周期尖峰的放电行为，实验结果证明本发明的合理性，此外采用模拟电路实现神经元能够大大降低实现成本，同时能丰富地展现神经元的放电行为。
[0064]
本发明有益效果为构建分段线性函数拟合hr神经元模型中的非线性项；设计分段线性函数的模块电路，利用基本运算放大电路和二极管的单向导通特性，设计了一种含偏置的relu函数模块电路，通过叠加多个含偏置的relu函数模块电路以及直流电压实现分段线性函数的模块电路，最后再利用这些分段线性函数模块电路设计拟合后的hr神经元模块电路；电路结构简单，实现成本较低并能完整展现hr神经元放电行为。
[0065]
以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。