一种短时突触可塑性工作记忆计算系统及方法与流程

1.本发明涉及机器学习和生物神经学领域，尤其涉及一种短时突触可塑性工作记忆计算系统及方法。


背景技术：

2.近年来随着非欧空间数据在深度学习和神经网络当中的广泛使用，研究人员借鉴了卷积网络、循环网络和深度自动编码器的思想，定义和设计了专门用于处理图数据的图神经网络。最早的图神经网络是由franco等人于2009年提出的，该方法基于不动点理论，通过压缩映射不断的更新图节点隐藏状态，最终实现图信息的学习。后来为了在图神经网络中利用卷积操作，2013年bruna等人基于图谱理论从卷积定理出发，通过将图数据进行傅里叶变换从而实现图卷积操作，提出了基于谱方法的图卷积神经网络。由于谱方法具有时空复杂度较高的弊端，2016年出现的chebnet和gcn对谱方法中的卷积核进行参数化，大大降低了时空复杂度。此后图神经网络得到了不断的发展。
3.随着图数据的不断加大和基于谱方法的图卷积操作复杂性的不断提升，研究人员开始从另一个方向思考图卷积神经网络的设计方式，因此justin gilmer于2017年提出了基于空域(spatial
‑
domain)卷积的消息传递网络(mpnn)。从设计理念上看，空域卷积与深度学习中的卷积的应用方式类似，其核心在于聚合邻居结点的信息。比如说，一种最简单的无参卷积方式可以是：将所有直连邻居结点的隐藏状态加和，来更新当前结点的隐藏状态。消息传递网络(mpnn)是一种空域卷积模型。严格意义上讲，消息传递网络不是一种具体的模型，而是一种空域卷积的形式化框架。它将空域卷积分解为两个过程：消息传递与状态更新。每一个卷积层通过聚合每一个图节点本身的信息及其邻居的传递过来的特征进行状态的更新，随后又将更新过后的状态向下一层传递，最终实现图信息的捕获和学习。
4.工作记忆(working memory)是一种能够将目标相关信息暂时保存并用于操作即将发生动作的能力，是生物进行学习、推理等高级认知活动的基础。前额叶皮层(pfc)是与工作记忆最密切相关的大脑区域。与工作记忆相关的神经活动是由于在前额叶皮质(prefrontal cortex)中的神经元集群的选择性同步发放活动引起的。当神经元受到特定的刺激时,神经元会产生持续性的增强发放活动。这种持续性发放活动不仅依赖于持续的神经元刺激而得以保存，而且在一段没有刺激的延迟期内依旧保存在工作记忆中,并用于后续的操作以指导后来的刺激。这种现象源于神经元的短时突触可塑性。当一系列的刺激作用在突触前神经元,会使突触连接效率发生改变,从而导致突触后膜电位(epsp)幅度的增加或减少,这种现象称为神经元的突触可塑性,突触可塑性是工作记忆的基础。突触可塑性(synapse plasticity)分为短时突触可塑性(short
‑
term synaptic plasticity)和长时突触可塑性(long
‑
term synaptic plasticity)。在神经元接收到外部刺激后，短时突触可塑性会显著地改变突触的模式选择性和它们之间的信息传递，通过对信息的短时抑制和短时增强处理，因此能够隐式地保存信息并用于后续的操作，从而实现工作记忆中对信息的短暂存储和操作。
5.为了探究短时突触可塑性的工作机理，获取生物神经元数据，人们目前只能使用cmos纳米电极和mems探针等技术获取生物神经元数据，并不能够通过软件算法仿真的形式模拟神经元的短时突触可塑性，如何模拟神经元的短时突触可塑性是当前亟需解决的难题。


技术实现要素：

6.针对上述存在的问题或不足，为了解决短时突触可塑性难以通过软件算法模拟的问题，本发明提供了一种短时突触可塑性工作记忆计算系统及方法。
7.一种基于消息传递网络的短时突触可塑性工作记忆计算系统，包括：
8.傅里叶变换层，用于对神经元刺激信号序列通过傅里叶变换转换为刺激信号频谱图；神经元刺激信号序列属于时域信息，无法直接被消息传递网络处理计算，因此该傅里叶变换层接收神经元刺激信号序列，然后通过傅里叶变换将此时域信息转换为频域的频谱图数据；傅里叶变换层计算得到的数据直接输入后续消息传递网络进行短时突触可塑性的模拟计算，此外该图数据还用于消息传递网络的构造。
9.消息传递网络，用于模拟工作记忆的短时突触可塑性特征，包括由刺激信号频谱图构造的短时增强型消息传递网络和短时抑制型消息传递网络，网络中层与层之间神经元的连接关系由刺激信号频谱图的邻接矩阵确定，；短时增强型消息传递网络和短时抑制型消息传递网络分别模拟短时突触可塑性的短时增强与短时抑制特征，经过消息传递网络计算得到的数据可以输入到输出层进行进一步计算处理。
10.输出层，用于接收消息传递网络的计算结果，实现工作记忆发放特性的输出，包括池化层、全连接层和激活函数层，所述池化层对消息传递网络的计算结果进行平均池化计算，整合神经元刺激的短时增强处理结果和短时抑制处理结果；所述全连接层接收平均池化处理之后的计算结果，通过最小二乘法进行拟合计算，分析出刺激信号依据短时突触可塑性对神经元造成的最终影响；所述激活函数层，使用激活函数对全连接层的输出进行非线性激活处理，模拟计算出生物神经元的工作记忆发放特性。
11.进一步地，傅里叶变换层用于对神经元刺激信号序列通过傅里叶变换转换为刺激信号频谱图，刺激信号频谱图中每一个节点表示一个生物神经元，节点数等于要模拟的生物神经元数量，节点值表示某时刻输入到该神经元的刺激信号强度信息，节点之间带权边表示不同生物神经元之间的信息传递关系。
12.进一步地，短时增强型图神经网络的权重值为刺激信号频谱图节点值的平方，用于实现信息传递的增强兴奋处理；短时抑制型图神经网络的权重值为刺激信号频谱图节点值的倒数，用于完成信息传递的减弱抑制处理。
13.进一步地，消息传递网络的网络层数为32至128层。层数设为32至128层，避免层数过大造成过拟合。
14.进一步地，激活函数层使用relu函数对全连接层的输出进行非线性激活处理，模拟计算出生物神经元的工作记忆发放特性。
15.一种基于消息传递网络的短时突触可塑性工作记忆计算方法，其特征在于，包括以下步骤：
16.步骤1：将神经元刺激信号时间序列输入傅里叶变换层，通过傅里叶变换计算得到
刺激信号频谱图；
17.步骤2：计算步骤1中得到的图数据的邻接矩阵，并依据此邻接矩阵分别构造短时增强型消息传递网络和短时抑制型消息传递网络；
18.步骤3：初始化消息传递网络权重和全连接层权重；
19.步骤4：将步骤1的计算结果输入到消息传递网络，信号分别传入至短时增强型消息传递网络和短时抑制型消息传递网络，短时增强型消息传递网络和短时抑制型消息传递网络分别对信号进行计算分析，模拟短时突触可塑性的兴奋和抑制表达，最后将表达的结果传输至后续的输出层部分；
20.步骤5：输出层首先对步骤4中的处理结果进行平均池化计算，然后输入全连接层进行拟合计算，最后使用激活函数对结果进行非线性激活处理，最终得到基于短时突触可塑性的神经元工作记忆发放特性的表达输出；
21.步骤6：判断计算是否完成，若存在新一轮的神经元输入刺激，则计算未完成，跳转至步骤4，否则跳转至步骤7；
22.步骤7：所有计算完成，计算结束，计算系统关闭。
23.进一步地，所述步骤4中，将步骤1的计算结果输入到消息传递网络，信号分别传入至短时增强型消息传递网络和短时抑制型消息传递网络，短时增强型消息传递网络和短时抑制型消息传递网络分别对信号进行计算分析，计算时，前一层的输出输入到下一层完成消息的传递，然后根据图节点自身的初始状态和上一层传递过来的更新状态进行权重矩阵乘法运算以实现消息的再次更新，模拟短时突触可塑性的兴奋和抑制表达，经过消息传递网络计算得到的数据作为表达的结果传输至后续的输出层部分。
24.本发明的有益效果如下：
25.本发明利用消息传递网络中隐藏信息的传递和更新方法与工作记忆中短时突触可塑性的工作原理的相似性，提出了一种使用消息传递网络来实现短时突触可塑性工作记忆模拟计算的系统及方法，首先通过傅里叶变换得到神经元刺激信号频谱图，依据该频谱图的邻接矩阵来构造两个消息传递网络，并通过这两个消息传递网络模拟短时抑制和短时增强效应，对图节点隐藏状态进行传递和更新，从而实现短时突触可塑性的模拟计算，最后通过输出层的平均池化、全连接层拟合和非线性函数激活三个计算步骤，模拟生物神经元的工作记忆发放特性，从而实现短时突触可塑性工作记忆的软件算法模拟计算。
附图说明
26.图1是本发明的一种基于消息传递网络的短时突触可塑性工作记忆计算系统结构示意图；
27.图2是本发明模拟的神经元突触效率特性示意图；
28.图3是本发明消息传递网络结构示意图；
29.图4是本发明消息传递网络类型示意图；
30.图5是本发明基于消息传递网络的短时突触可塑性工作记忆计算过程流程图。
具体实施方式
31.为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方
式作进一步地详细描述。
32.一种基于消息传递网络的短时突触可塑性工作记忆计算系统，包括：
33.傅里叶变换层，用于对神经元刺激信号序列通过傅里叶变换转换为刺激信号频谱图；
34.消息传递网络，用于模拟工作记忆的短时突触可塑性特征，包括由刺激信号频谱图构造的短时增强型消息传递网络和短时抑制型消息传递网络；
35.输出层，用于接收消息传递网络的计算结果，实现工作记忆发放特性的输出。
36.其中，傅里叶变换层用于对神经元刺激信号序列通过傅里叶变换转换为刺激信号频谱图；刺激信号频谱图中每一个节点表示一个生物神经元，节点数等于要模拟的生物神经元数量，节点值表示某时刻输入到该神经元的刺激信号强度信息，节点之间带权边表示不同生物神经元之间的信息传递关系。
37.短时增强型图神经网络的权重值为刺激信号频谱图节点值的平方，用于实现信息传递的增强兴奋处理；短时抑制型图神经网络的权重值为刺激信号频谱图节点值的倒数，用于完成信息传递的减弱抑制处理。
38.图1为本发明一种基于消息传递网络的短时突触可塑性工作记忆计算系统结构示意图。该计算系统分为3个部分：傅里叶变换层、消息传递网络、输出层。傅里叶变换层用于对神经元刺激信号序列进行傅里叶变换。将时域信息转换为频域的频谱图数据，图中每一个节点表示一个生物神经元，节点数等于要模拟的生物神经元数量，节点值表示某时刻输入到该神经元的刺激信号强度信息，节点之间带权边表示不同生物神经元之间的信息传递关系。消息传递网络用于模拟工作记忆的短时突触可塑性特征，从而进行工作记忆模拟计算。本发明使用了两种类型的消息传递网络分别模拟了短时突触可塑性的短时增强与短时抑制特征。输出层用于接收消息传递网络的计算结果，首先对其进行平均池化计算，整合神经元刺激的短时增强处理结果和短时抑制处理结果，然后通过全连接层进行进一步的最小二乘法拟合计算，分析出刺激信号依据短时突触可塑性对神经元造成的最终影响，其最终影响主要体现在突触的易化、抑制或增强；最后使用relu函数对全连接层的输出进行非线性激活处理，最终模拟计算出生物神经元的工作记忆发放特性。
39.图2为本发明模拟的神经元突触效率特性示意图。与工作记忆相关的神经活动是由于在前额叶皮质(prefrontal cortex)中的神经元集群的选择性同步发放活动引起的。当神经元受到特定的刺激时,神经元会产生持续性的增强发放活动或抑制发放活动，之后随着时间的推移恢复到正常水平。在神经元集群中主要有两类神经元：抑制型神经元、增强型神经元。抑制型神经元在接收到一次刺激后，会剧烈减弱突触效率，然后慢慢恢复到正常水平；增强型神经元在接收到一次刺激后，会剧烈增强突触效率，然后慢慢恢复到正常水平。
40.图3为本发明计算系统中消息传递网络结构示意图；消息传递网络由傅里叶变换层得到的频谱图构造而来，网络中每一层神经元的数量等于图中节点数量，也就是要模拟的生物神经元数量；网络层数不固定，可以为32至128层之间，但不宜过大，否则容易造成过拟合；网络中层与层之间神经元的连接关系由输入图的邻接矩阵确定。消息传递网络在计算时，根据图节点自身的初始状态和上一层传递过来的隐藏状态进行权重矩阵乘法运算，实现消息的的更新。该更新后的隐藏状态会传递到下一层用以进行消息的再次更新，体现
了消息的传递过程。在整个计算过程中，只需一次外部的输入刺激就可以进行信息的隐藏存储和传递更新，模拟了短时突触可塑性的基本工作原理。本发明中用到的两类消息传递网络都是基于此结构构造而来。
41.图4为本发明计算系统中消息传递网络类型示意图。本发明中所用到的消息传递网络有两种类型：短时增强型消息传递网络、短时抑制型消息传递网络。这两种类型网络的基本结构是一致的，由傅里叶变换层得到的频谱图构造而来。短时增强型图神经网络的权重值为输入图节点值的平方，用于实现信息传递的增强兴奋处理；短时抑制型图神经网络的权重值为输入图节点值的倒数，用于完成信息传递的减弱抑制处理。消息传递网络在计算时，前一层的输出输入到下一层完成消息的传递，然后根据图节点自身的初始状态和上一层传递过来的更新状态进行权重矩阵乘法运算以实现消息的再次更新。在整个计算过程中，只需一次外部的输入刺激就可以进行信息的隐藏存储和传递更新，模拟了短时突触可塑性的基本工作原理，而且本发明中使用的两类网络也分别模拟了短时突触可塑性的短时增强与短时抑制特征。
42.输出层分为3个部分：池化层，全连接层和激活函数层。池化层对消息传递网络的计算结果进行平均池化计算，从而整合神经元刺激的短时增强处理结果和短时抑制处理结果，同时对整个网络在结构上做正则化防止过拟合。全连接层负责接收平均池化处理之后的计算结果，然后对其进行最小二乘法拟合计算，分析出刺激信号依据短时突触可塑性对神经元造成的最终影响。最后的激活函数层使用relu函数对全连接层的输出进行非线性激活处理，最终模拟计算出生物神经元的工作记忆发放特性。当激活函数输出值是有限的时候，基于梯度的优化方法会更加稳定，因为特征的表示受有限权值的影响更显著；当激活函数的输出是无限的时候，模型的训练会更加高效。
43.一种基于消息传递网络的短时突触可塑性工作记忆计算方法，包括以下步骤：
44.步骤1：将神经元刺激信号时间序列输入傅里叶变换层，通过傅里叶变换计算得到刺激信号频谱图；
45.步骤2：计算步骤1中得到的图数据的邻接矩阵，并依据此邻接矩阵分别构造短时增强型消息传递网络和短时抑制型消息传递网络；
46.步骤3：初始化消息传递网络权重和全连接层权重；
47.步骤4：将步骤1的计算结果输入到消息传递网络，信号分别传入至短时增强型消息传递网络和短时抑制型消息传递网络，短时增强型消息传递网络和短时抑制型消息传递网络分别对信号进行计算分析，模拟短时突触可塑性的兴奋和抑制表达，最后将表达的结果传输至后续的输出层部分；
48.步骤5：输出层首先对步骤4中的处理结果进行平均池化计算，然后输入全连接层进行拟合计算，最后使用激活函数对结果进行非线性激活处理，最终得到基于短时突触可塑性的神经元工作记忆发放特性的表达输出；
49.步骤6：判断计算是否完成，若存在新一轮的神经元输入刺激，则计算未完成，跳转至步骤4，否则跳转至步骤7；
50.步骤7：所有计算完成，计算结束，计算系统关闭。
51.步骤4中，将步骤1的计算结果输入到消息传递网络，信号分别传入至短时增强型消息传递网络和短时抑制型消息传递网络，短时增强型消息传递网络和短时抑制型消息传
递网络分别对信号进行计算分析，计算时，前一层的输出输入到下一层完成消息的传递，然后根据图节点自身的初始状态和上一层传递过来的更新状态进行权重矩阵乘法运算以实现消息的再次更新，模拟短时突触可塑性的兴奋和抑制表达，经过消息传递网络计算得到的数据作为表达的结果传输至后续的输出层部分。
52.图5是本发明计算过程流程图，阐明了基于消息传递网络神经网络的短时突触可塑性工作记忆计算流程。该计算过程分为7个部分。首先将神经元刺激信号时间序列通过傅里叶变换计算得到频谱图，然后计算得到该图数据的邻接矩阵并构造消息传递网络，之后初始化消息传递网络连接权重和全连接层权重。至此整个计算系统构造完毕，可以开始进行后续的计算过程。神经元刺激信号频谱图输入消息传递网络进行短时兴奋和短时抑制计算，然后输出层对结果进行平均池化、全连接层拟合和relu非线性激活计算，最终实现短时突触可塑性的模拟计算，得到神经元工作记忆发放特性的表达输出。此时一轮计算完毕，判断是否存在新一轮的神经元输入刺激，若存在则重复上述过程，否则所有计算完成，计算结束。