一种多模态神经形态网络核的制作方法
【技术领域】
[0001] 本发明涉及一种神经形态网络核。
【背景技术】
[0002] 神经网络是一种模仿生物大脑突触-神经元结构进行数据处理的计算系统，由分 为多层的计算节点和层间的连接组成。每个节点模拟一个神经元，执行某个特定运算，例如 激活函数，节点之间的连接模拟神经突触，连接对于来自上一层节点输入的加权值代表了 突触权重。神经网络具有强大的非线性、自适应信息处理能力。
[0003] 人工神经网络中的神经元将来自连接输入的累加值用激活函数处理后作为自身 的输出。对应于不同的网络拓扑结构、神经元模型和学习规则，人工神经网络又包括感知 器、Hopfield网络、波耳兹曼机等数十种网络模型，可以实现多种多样的功能，在模式识别、 复杂控制、信号处理和最优化等方面都有应用。传统的人工神经网络数据可以认为是通过 神经元脉冲的频率信息编码，各层神经元依次串行运行。人工神经网络模拟了生物的神经 系统分层结构，但是未能完全匹配皮层的信息处理结构.例如时间序列对学习的影响，而 作为真正的生物皮层在处理信息上来说，对信息数据的学习不是独立静态的，而是随着时 间有着上下文的联系的。脉冲神经网络是近十几年来出现的新型神经网络，被称为是第三 代神经网络。脉冲神经网络中的数据以神经元脉冲信号的时空信息编码，网络的输入输出 以及神经元之间的信息传递表现为神经元发送的脉冲和发送脉冲的时间信息，神经元需要 同时并行运行。与传统的人工神经网络相比，脉冲神经网络在信息处理方式、神经元模型、 并行性等方面有较大不同，运行方式更接近于真实的生物系统。脉冲神经网络应用精确定 时的脉冲序列对神经信息进行编码和处理，这种包含时间计算元素的计算模型更具生物解 释性，是进行复杂时空信息处理的有效工具，可以处理多模态的信息并且信息处理更加实 时。但脉冲神经网络的神经元模型的不连续性、时空编码的复杂性、网络结构的不确定性导 致很难在数学上完成对网络整体的描述，因此难以构建有效且通用的有监督学习算法，限 制了其的计算规模和精确度。
【发明内容】
[0004] 有鉴于此，确有必要提供一种既可以进行人工神经网络计算也可以进行脉冲神经 网络计算的神经形态网络核。
[0005] -种多模态神经形态网络核，包括：模式寄存器、轴突输入单元、突触权重存储单 元、树突单元和神经元计算单元；
[0006] 所述模式寄存器与所述轴突输入单元、树突单元以及神经元计算单元连接，控制 上述单元运行在人工神经网络模式或脉冲神经网络模式；
[0007] 所述轴突输入单元与所述树突单元连接，接收并存储轴突输入；
[0008] 所述突触权重存储单元与所述树突单元连接，存储突触权重矩阵；
[0009] 所述树突单元与所述神经元计算单元连接，包括树突乘加单元与树突累加单元， 运行在人工神经网络模式时，所述轴突输入向量与突触权重矩阵送入所述树突乘加单元进 行乘加运算，运行在脉冲神经网络模式时，所述轴突输入向量与突触权重矩阵送入所述树 突累加单元进行累加运算；
[0010] 所述神经元计算单元包括第一计算单元与第二计算单元，运行在人工神经网络模 式时，所述树突乘加单元发来的乘加运算结果送入所述第一计算单元进行人工神经网络运 算，运行在脉冲神经网络模式时，所述树突累加单元发来的累加运算结果送入所述第二计 算单元进行脉冲神经网络计算。
[0011]与现有技术相比，本发明提供的多模态神经形态网络核既可以进行人工神经网络 运算，也可以进行脉冲神经网络运算，且可以按照需要在人工神经网络运行模式和脉冲神 经网络运行模式间切换，能够进行实时快速、多模态或复杂时空信号计算并能保证计算的 精确度。
【附图说明】
[0012] 图1为本发明第一实施例提供的人工神经网络和脉冲神经网络的混合计算系统 中基本计算单元结构图。
[0013] 图2为本发明的串联结构示意图
[0014] 图3为本发明的并联结构示意图。
[0015] 图4为本发明的并行结构示意图。
[0016] 图5为本发明的学习结构示意图。
[0017] 图6为本发明的反馈结构示意图。
[0018] 图7为本发明提供的混合计算系统中计算单元层级结构示意图。
[0019] 图8为本发明提供的人工神经网络和脉冲神经网络的混合计算系统。
[0020] 图9为本发明第二实施例中将人工神经网络输出的数值量转换为脉冲序列的示 意图。
[0021] 图10为本发明第二实施例中将脉冲神经网络输出的频率编码脉冲序列转换为数 值量示意图。
[0022] 图11为本发明第二实施例中将脉冲神经网络输出的群体编码脉冲序列转换为数 值量示意图。
[0023] 图12为本发明第二实施例中将脉冲神经网络输出的时间编码脉冲序列转换为数 值量示意图。
[0024] 图13为本发明第二实施例中将脉冲神经网络输出的二值编码脉冲序列转换为数 值量示意图。
[0025] 图14为本发明第三实施例提供的多模态神经形态网络核结构框图。
[0026] 图15为本发明第三实施例提供的多模态神经形态网络核运行在人工神经网络时 的结构框图。
[0027] 图16为人工神经网络模式下多模态神经形态网络核一个时间步的运行流程图。
[0028] 图17为本发明第三实施例提供的多模态神经形态网络核运行在脉冲神经网络时 的结构框图。
[0029] 图18为脉冲神经网络模式下多模态神经形态网络核一个时间步的运行流程图。
[0030] 图19为本发明第四实施例提供的人工神经网络和脉冲神经网络的混合系统。
[0031] 图20为本发明第四实施例中路由节点结构框图。
[0032] 图21为本发明第四实施例中路由数据包结构图。
[0033] 图22为本发明第四实施例中路由节点工作流程图。
[0034] 主要元件符号说明
[0035]
[0036] 如1下【具体实施方式】将结合?述附图进1步说明本发明。 ' '
【具体实施方式】
[0037] 下面将结合附图及具体实施例对本发明提供的多模态神经形态网络核作进一步 的详细说明。
[0038] 本发明第一实施例提供一种人工神经网络和脉冲神经网络的混合计算系统100， 包括至少两个基本计算单元110,该至少两个基本计算单元110中，至少一个为人工神经网 络计算单元，承担人工神经网络计算，至少一个为脉冲神经网络计算单元，承担脉冲神经网 络计算，该至少两个基本计算单元Iio按照拓扑结构相互连接，共同实现神经网络计算功 能。
[0039] 请参见图1，所述至少一人工神经网络计算单元与所述至少一脉冲神经网络计算 单元分别可以看作一个独立的神经网络，该神经网络中包括多个神经元115,该多个神经元 115之间通过突触116连接，组成单层或多层结构。突触权重代表突触后神经元接收突触前 神经元输出的加权值。
[0040] 所述至少一脉冲神经网络计算单元用于对接收到的数据执行脉冲神经网络计算。 所述至少一脉冲神经网络计算单元的输入数据、输出数据以及神经元115间传递的数据为 尖峰脉冲序列，所述至少一脉冲神经网络计算单元中所述神经元115的模型为基于尖峰 脉冲计算的神经元模型，可以为但不限于泄漏-积分-点火模型、尖峰脉冲响应模型以及 Hodgkin-Huxley模型中的至少一种。
[0041] 所述至少一人工神经网络计算单元用于对接收到的数据执行人工神经网络计算。 所述至少一人工神经网络计算单元的输入数据、输出数据以及神经元115间传递的数据为 数值量。所述至少一人工神经网络计算单元进一步按照神经元模型、网络结构、学习算法的 不同，可以为感知器神经网络计算单元、BP神经网络计算单元、Hopfield神经网络计算单 元、自适应谐振理论神经网络计算单元、深度信念神经网络计算单元和卷积神经网络计算 单元中的至少一种。
[0042] 所述至少一人工神经网络计算单元以及至少一脉冲神经网络计算单元拓扑连接 以形成一复合神经网络计算单元。
[0043] 所述拓扑连接的拓扑结构包括串联结构、并联结构、并行结构、学习结构以及反馈 结构中的至少一种。
[0044] 请参见图2,所述两个基本计算单元110串联连接以形成一串联复合计算单元 120a。所述两个基本计算单元110分别为第一基本计算单元IlOa与第二基本计算单元 ll〇b，所述第一基本计算单元IlOa的输出端连接第二基本计算单元IlOb的输入端。所述 第一基本计算单元IlOa与第二基本计算单元IlOb中，一个为人工神经网络计算单元，另 一个为脉冲神经网络计算单元。系统输入首先经过第一基本计算单元IlOa处理，处理后的 结果作为第二基本计