一种基于连续耦合神经网络的模拟电路

1.本实用新型涉及人工智能机器以及类脑机器人技术领域，具体指一种基于连续耦合神经网络的模拟电路。


背景技术：

2.近年来，受脑神经科学的启发的深度学习引发了新一轮人工智能的研究热潮。然而，生物神经系统的连接极为复杂，不仅有自下而上的前馈和同层递归，更有大量的自上而下的反馈，以及来自其他神经子系统的外部连接，这些都是目前的深度模型尚未实现的。作为自然界最优秀的智能体，生物大脑是进行人工智能研究最重要的参考。因此，研究大脑机制，开发受脑启发的人工智能技术，是未来智能化时代的核心领域
[1-4]
。目前，以开发新一代人工智能机器以及类脑机器人为主要目标的类脑研究已经被列入我国脑计划。
[0003]
在视觉皮层神经网络模型中，脉冲耦合神经模型(pcnn)能够对哺乳动物视觉皮层进行较为精细的模拟，被国内外研究证实是最接近视皮层的人工神经网络模型。如图1所示，pcnn模型最早由eckhorn等人根据猫的视觉区域同步脉冲发放现象提出
[5]
，随后johnson和padgett对该模型进行了深入分析，发现了耦合链接和相乘调制是pcnn模型中模拟生物学树突结构的重要部分
[6]
。
[0004]
siegel和ringach在真实视觉皮层收集到的放电序列表明，真实视觉皮层神经元模型在动态周期性信号的激励下会表现出复杂的非线性动力学特性
[7]
。然而，pcnn神经元仅能输出固定周期的信号，与真实神经元的工作方式仍存在差异。
[0005]
为了实现模拟真实神经元输出的生物特征，了解到pcnn模型背后的神经生理实验中，视皮层神经网络的输出值应该为连续值，通过对网络的输出部分进行修改，得到了如图4所示的连续耦合神经网络模型(successive-convolutionalneural network,scnn)，达到了模拟真实神经元工作方式的目的。
[0006]
但是，如何将连续耦合神经网络模型应用在硬件设备上，实现高效的计算电路是当务之急。


技术实现要素：

[0007]
本实用新型提供一种基于连续耦合神经网络的模拟电路，该模拟的等效电路可以应用在硬件设备上，实现高效的计算电路。
[0008]
本实用新型提供的技术方案为：
[0009]
一种基于连续耦合神经网络的模拟电路，该模拟电路由树突电路和胞体电路构成；所述胞体电路中，电源em的正极和电阻g
m1
串联连接，电源es的负极和可变电阻g
s1
串联连接，其正极接地；电阻g
m1
、可变电阻g
s1
的另一端和信号发生器y(t)及漏电电容器c1的一端并联连接后通过纵向电导g
12
和树突电路连接；漏电电容器c1的另一端和电源em的负极并联接入信号发生器y(t)中；所述树突电路中，电源em的正极和电阻g
m2
串联连接，电源es的负极和可变电阻g
s2
串联连接，电源es的正极接地；可变电阻g
s2
、电阻g
m2
的另一端和漏电电容
器 c2并接后通过纵向纵向电导g
12
和胞体电路连接；漏电电容器c2的另一端和电源em的负极连接。
[0010]
本实用新型的输出特性可以模拟真实视觉皮层神经元的生物特性，所以该等效电路模型可以应用在硬件设备上，实现高效的计算电路。而且本实用新型依据的scnn模型可以用于动态目标检测和识别技术中，开发高效的视频处理算法和图像分割算法，并应用于医学影像诊断等领域。同时在计算机视觉和类脑计算理论与应用领域提供新的研究思路。
附图说明
[0011]
图1为pcnn模型结构示意图；
[0012]
图2为生物神经元的分室模型；
[0013]
图3真实神经元尖峰间隔放电序列；
[0014]
图4为scnn模型结构示意图；
[0015]
图5为连续耦合神经元在不同输入下的输出信号：(a)输入信号s＝0时的输出信号；(b)输入信号s＝1时的输出信号；(c)输入信号s＝3时的输出信号； (d)输入信号s＝sin(t)时的输出信号；
[0016]
图6为激活函数图像；(a)为sigmod函数图像(b)为relu函数图像(c) 为tanh函数图像(d)为softplus函数图像；
[0017]
图7为本实用新型的电路原理图；
[0018]
图8为本实用新型信号发生器电路图；
[0019]
图9为神经元编码过程示意图；
[0020]
图10连续耦合神经网络编码流程图；
[0021]
图11为μ＝0.8，s
ij
＝0.21*(squar(0.2πt,50)+1)时尖峰间隔直方图和回归图： (a)尖峰间隔直方图；(b)尖峰间隔回归图；
[0022]
图12为本实用新型在不同输入值下的输出的结果(尖峰间隔直方图和尖峰间隔回归图)
[0023]
(a)s
ij
＝0.21*(squar(2πt,50)+1)时的尖峰间隔直方图；
[0024]
(b)s
ij
＝0.21*(squar(2πt,50)+1)时的回归图；
[0025]
(c)s
ij
＝0.4*(squar(0.2πt,50)+1)时的尖峰间隔直方图；
[0026]
(d)s
ij
＝0.4*(squar(0.2πt,50)+1)时的回归图；
[0027]
(e)s
ij
＝0.7*(squar(0.4πt,50)+1)时的尖峰间隔直方图；
[0028]
(f)s
ij
＝0.7*(squar(0.4πt,50)+1)时的回归图；
[0029]
(g)s
ij
＝0.5*(squar(1.2πt,50)+1)时的尖峰间隔直方图；
[0030]
(h)s
ij
＝0.5*(squar(1.2πt,50)+1)时的回归图。
具体实施方式
[0031]
首先从理论依据对本实用新型进一步详细说明。
[0032]
参照图1，脉冲耦合神经模型(pcnn)的状态方程如下：
[0033][0034]
其中，耦合链接部分为l
ij
[n]，前馈输入部分为f
ij
[n]，相乘调制部分为u
ij
[n]，动态阈值部分为e
ij
[n]，脉冲输出部分为y
ij
[n]。αf，α
l
，αe为各部分的衰减因子。 vf和ve为动作电位的权重因子。m
ijkl
和w
ijkl
为周围神经元的连接权重。
[0035]
如图2所示，是真实神经元工作原理的示意图，胞体整合来自其他神经元的输入信息f，树突接受其他神经元轴突传来的冲动l，传给胞体，并由胞体传出。根据dario ringach等人的研究，真实神经元在接受自然图像刺激时，其尖峰放电序列间隔直方图表现为多周期分布
[8]
，如图3所示。
[0036]
为了实现模拟真实神经元输出的生物特征，了解到pcnn模型背后的神经生理实验中，视皮层神经网络的输出值应该为连续值，通过对网络的输出部分进行修改，得到了如图4所示的scnn模型。
[0037]
该神经元模型分为前馈输入、耦合链接输入、非线性相乘调制、动态阈值和连续输出五部分。其中前馈输入代表该神经元接受的来自于外部的输入信号。耦合链接输入代表周围神经元对该神经元的输入信号。这两部分信号通过非线性相乘调制器进行计算。连续输出部分将动态阈值与调制后的输入信号进行计算，并将结果输出。其动力学方程为：
[0038][0039]
其中，前馈输入部分为f
ij
[n]，耦合链接部分为l
ij
[n]，非线性相乘调制部分为u
ij
[n]，动态阈值部分为e
ij
[n]，脉冲输出部分为y
ij
[n]。αf，α
l
，αe为各部分的衰减因子，β为连接系数。vf和ve为动作电位的权重因子。m
ijkl
和w
ijkl
为周围神经元的连接权重。
[0040]
其中，f(x)＝(e
ij
[n]-u
ij
[n])该模型保留了pcnn模型的耦合输入和动态阈值部分，因而该模型能够表现出视皮层神经网络的不应期和耦合振荡的现象。将激活函数换为连续函数，则会丰富模型的动力学特性，以达到模拟真实神经元工作方式的目的。
[0041]
scnn模型的动力学特性分析如下：
[0042]
无耦合连接时，令m
ijkl
＝0，w
ijkl
＝0，β＝0，动力学方程(2)可简化为：
[0043][0044]
当s＝0时，神经元没有输入信号，上述方程可以进一步简化为：
[0045][0046]
简化后可以得到：
[0047]
e[n]＝exp(-αe)e[n-1]+ve/(1+e
(e[n-1])
)
ꢀꢀꢀꢀꢀꢀꢀ
(5)
[0048]
通过方程(5)可以得到方程的稳定点：
[0049][0050]
由于f(e)＝e(1+ee)是单调递增的函数，当e趋于无穷大时，f(e)也趋于无穷大，因此，当时，scnn模型仅有一个固定点，否则，该模型没有固定点。实际上，由于ve是复位电压，该电压总是正值，因此，当αe》0时，scnn模型有且仅有一个固定点。该固定点的导数为：
[0051][0052]
当时，该固定点是稳定的。令y＝ee，(7)可以简化为：
[0053][0054]
因为y＝ee》0，当y＝0.5，e＝ln0.5时，f(y)达到极值点。因此，如果即ln(-0.22v
e-1)《
±
αe《 ln(0.22v
e-1)，该固定点是稳定的。
[0055]
当s＝c，f[0]＝0，公式(2)可以简化为：
[0056][0057]
简化后可以得到：
[0058][0059]
当e＝ln0.5时，f(y)达到极值点。因此，如果即ln(-0.22v
e-1)《
±
αe《ln(0.22v
e-1)，该固定点是稳定的。
[0060]
当s＝h(n)时，通过链式法则可以简化式(7)：
[0061]
[0062]
如果f
t
(e)＝e，则t为e的周期。因为是一个单调递增的函数，因此对于特定周期e，更大的输入会得到更大的导数，这会减小输出信号的周期。
[0063]
上述结论可以通过实验证实，不同输入下scnn的神经元输出如图5所示。
[0064]
使用sigmod、relu、tanh、softplus作为激活函数对模型进行测试。四个激活函数的函数图像如图6所示。
[0065]
由图6可知，sigmod与tanh函数图像类似，不同的是sigmod值域范围为[0, 1]，而tanh的值域范围为[-1,1]。relu的函数图像与softplus类似，所不同的是relu在原点处并不连续。
[0066]
在scnn模型中，几种激活函数的动力学特性测试如表1，表2所示。
[0067]
表1 直流信号下系统的动力学行为
[0068][0069]
表2 交流信号下系统的动力学行为
[0070][0071]
hodgkin和seigel的研究表明，真实神经元在直流信号激励下会表现周期行为，在交流信号下会表现混沌行为。因此，连续耦合神经网络应使用sigmod 作为激活函数。模型
的状态方程同公式(2)。
[0072]
基于上述scnn模型，设计一种模拟其特点的等效电路，如图7所示，一种基于连续耦合神经网络的模拟电路，该模拟电路由树突电路和胞体电路构成；所述胞体电路中，电源em的正极和电阻g
m1
串联连接，电源es的负极和可变电阻 g
s1
串联连接，其正极接地；电阻g
m1
、可变电阻g
s1
的另一端和信号发生器y(t) 及漏电电容器c1的一端并联连接后通过纵向电导g
12
和树突电路连接；漏电电容器c1的另一端和电源em的负极并联接入信号发生器y(t)中；所述树突电路中，电源em的正极和电阻g
m2
串联连接，电源es的负极和可变电阻g
s2
串联连接，电源es的正极接地；可变电阻g
s2
、电阻g
m2
另一端和漏电电容器c2并接后通过纵向纵向电导g
12
和胞体电路连接；漏电电容器c2的另一端和电源em的负极连接。
[0073]
其中信号发生器y(t)采用中国专利号为2020105142678，名称为：sigmoid 函数电路及神经元电路的文献公开的内容，具体电路图见图8。
[0074]
胞体电路中，em是电源，用于模拟胞内静息电位，es是电源，用于模拟突触后电位。g
m1
,g
m2
为电阻，模拟膜固有漏电导，g
s1
为可变电阻，表示突触的输入电导。c1为漏电电容器，用于模拟膜电容。
[0075]
树突电路中，g
s2
为可变电阻，表示突触的输入电导，em是电源，用于模拟胞内静息电位，es是电源，用于模拟突触后电位。c2为模拟膜电容的漏电电容器。
[0076]
两部分电路由g
12
纵向电导连接起来，模拟胞体和树突之间的信号传导。
[0077]
通过两部分的组合，该电路实现了相乘调制功能。
[0078]
在该电路中，f,l作为突触输入电导信号，可以通过调整它们的值实现不同组合的调制耦合功能。以此实现具有一定生物学特性的功能。图12为调整输入值f后，具体输出结果的示意图，该scnn模型输出部分的激活函数使用了sigmod 函数，因此可以获得连续输出。从图12中可以看到，在改变各输入值时产生的尖峰间隔直方图中，scnn模拟电路表现出了多峰分布的特性，并且周期性集中于一倍周期，二倍周期，三倍周期和四倍周期处，这与真实神经元在周期信号激励下的输出特性接近。
[0079]
本实用新型的效果验证
[0080]
在神经生理学实验中，神经元的动作电位首先通过电极进行监测和记录。然后利用带通滤波器去除环境和设备的背景噪声。最后，通过all or none coding 的方式进行脉冲编码，如果电位高于阈值电位，则神经元产生兴奋，反之，则神经元不兴奋。编码过程如图9所示。
[0081]
基于以上原理，分析scnn的动力学特性验证scnn模型的输出特点：
[0082]
为了得到连续耦合神经网络的尖峰放电序列，采用all or none coding的方式对输出序列进行编码，其流程图如图10所示。
[0083]
滤波器设计为：
[0084][0085]
μ为参数，当μ＝0.8，s
ij
＝0.21*(squar(0.2πt,50)+1)时，尖峰序列间隔直方图和回归图如图11所示。
[0086]
从图11中可以看到，系统的脉冲序列的尖峰分布直方图表现为多周期特性，但其周期主要分布在0.1附近。对比图3，可以看到scnn模型在该信号激励下和真实神经元在自
然图像激励下的输出特性接近，均具有多周期分布特性。
[0087]
因此，该模拟电路具有模拟真实神经元的生物特点的功能。
[0088]
参考文献
[0089]
[1]吴飞,阳春华,兰旭光,等.人工智能的回顾与展望[j].中国科学基金,2018,32(3):243-250.
[0090]
[2]施路平,裴京,赵蓉.面向人工通用智能的类脑计算[j].人工智能,2020(1):6-15.
[0091]
[3]陶建华,陈云霁.类脑计算芯片与类脑智能机器人发展现状与思考[j].中国科学院院刊,2016,31(7):803-811.
[0092]
[4]郑南宁.人工智能新时代[j].智能科学与技术学报,2019,1(1):1-3.
[0093]
[5]r.eckhorn,h.j.reitboeck,m.arndt,andp.w.dicke,“aneuralnetworkforfeaturelinkingviasynchronousactivity:resultsfromcatvisualcortexandfromsimulations,”inmodelsofbrainfunction,r.m.j.cotterill,ed.cambridge,u.k.:cambridgeuniv.press,1989,pp.255
–
272.
[0094]
[6]johnsonjl,padgettml.pcnnmodelsandapplications[j].ieeetransactionsonneuralnetworks,1999,10(3):480-498.
[0095]
[7]siegelrm.non-lineardynamicalsystemtheoryandprimaryvisualcorticalprocessing[j].physicad:nonlinearphenomena,1990,42(1-3):385-395.
[0096]
[8]ringachdl,mineaultpj,tringe,etal.spatialclusteringoftuninginmouseprimaryvisualcortex[j].naturecommunications,2016,7(1):1-9。